JP4750443B2 - 単一のイメージからのラジオメトリック較正 - Google Patents

単一のイメージからのラジオメトリック較正 Download PDF

Info

Publication number
JP4750443B2
JP4750443B2 JP2005083501A JP2005083501A JP4750443B2 JP 4750443 B2 JP4750443 B2 JP 4750443B2 JP 2005083501 A JP2005083501 A JP 2005083501A JP 2005083501 A JP2005083501 A JP 2005083501A JP 4750443 B2 JP4750443 B2 JP 4750443B2
Authority
JP
Japan
Prior art keywords
color
function
pixel
pixels
inverse response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005083501A
Other languages
English (en)
Other versions
JP2005292132A5 (ja
JP2005292132A (ja
Inventor
シュム ヘウン−ヤン
グ ジンウェイ
エス．リン ステファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2005292132A publication Critical patent/JP2005292132A/ja
Publication of JP2005292132A5 publication Critical patent/JP2005292132A5/ja
Application granted granted Critical
Publication of JP4750443B2 publication Critical patent/JP4750443B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

以下に説明する様々な実施形態は、一般に、イメージ処理に関し、より詳細には、ただし、排他的にではなく、イメージのラジオメトリック較正（ｒａｄｉｏｍｅｔｒｉｃ ｃａｌｉｂｒａｔｉｏｎ）に関する。
一部のアプリケーションでは、イメージの色（すなわち、測定色）が、イメージキャプチャデバイス（本明細書で単にデバイスとも呼ぶ）によって受け取られた実際の色（すなわち、情景放射輝度（ｓｃｅｎｅ ｒａｄｉａｎｃｅ））とより正確に一致するように、イメージキャプチャデバイスを較正することが望まれる。
図１（従来の技術）は、応答関数１０４を有するデジタルカメラ１０２を含むシステム１００の実施例を示す。動作の際、デジタルカメラ１０２は、情景１０６のイメージを（情景１０６の情景放射輝度を介して）キャプチャし、デジタルイメージ１０８を形成するのに使用される測定色を出力する。デジタルイメージ１０８の測定色は、応答関数１０４（ラジオメトリック応答とも呼ぶ）で情景放射輝度に関係する。一般に、応答関数１０４は、非線形であり、カメラに依存する。さらに、応答関数は、カメラが同一のモデルである場合でも、異なる可能性がある。
カメラ１０２は、応答関数１０４の「逆関数」を見出して、理想的には、測定色が正確に合致する情景放射輝度にマップされるようにすることにより、較正することができる。１つのタイプのアプローチでは、ユーザは、「基準」色情景（すなわち、既知の色の諸領域を有する）を撮影し、カメラ１０２によって出力される測定色を実際の色と比較することができるようにする。このため、このタイプのアプローチは、「基準」のイメージを要する。別のタイプのアプローチでは、情景のいくつかのイメージが要求される。１つの特定のアプローチでは、イメージのすべてが位置合わせされて、様々な既知の露出設定の下で一連のイメージが撮影される（すなわち、カメラおよび情景の位置を変えずに撮影される）。
しかし、これらの従来の問題解決法は、一部のシナリオでは、カメラによってキャプチャされる「基準」イメージも、異なる露出設定を有する一連の位置合わせされたイメージも利用できない可能性があるという欠点を有する。例えば、一部のシナリオでは、あるイメージだけが利用でき、イメージをキャプチャするのに使用されたカメラおよび露出設定の知識がまったくないことがあり得る。
説明する様々な実施形態の諸態様によれば、単一のイメージからのラジオメトリック較正のためのシステムおよび方法が提供される。一態様では、情景の実際の色が事前に（ａ ｐｒｉｏｒｉ）知られていない情景の単一のデジタルイメージから、カメラの逆応答関数を計算するシステムが使用される。システムは、情景の２つの色の間の「エッジ」に相当するイメージのピクセルを分析する。このため、これらの「エッジ」ピクセルは、カメラによって測定された、それら２つの「成分」色から形成された混合色を表す。理想的なケースでは、そのような混合色は、ＲＧＢ色空間の中で混合色の成分色を結ぶ線分上に位置することを証明することができる。しかし、通常の現実のカメラの応答関数は、測定された混合色が、混合色の測定された成分色に対して非線形であることを生じさせる。この態様によれば、システムは、少なくともある程度、（ａ）適切なエッジピクセルを見出すこと、および（ｂ）エッジピクセルの測定された混合色と混合色の測定された成分色を線形分布にマップする関数を算出することによって逆応答関数を算出する。
別の態様では、既知のカメラの所定の逆応答関数を含む基準データが、逆応答関数を算出する際に使用される。この態様を含む一実施形態では、ベイズ推定技術を使用して逆応答関数を見出す。
限定的ではなく、網羅的ではない諸実施形態を、以下の図を参照して説明する。
様々な実施形態は、情景の実際の色が事前に知られていない情景の単一のデジタルイメージから、カメラの逆応答関数を計算する方法およびシステムを対象とする。それらの実施形態は、情景の２つの色の間の「エッジ」に相当するイメージのピクセルを分析する。「エッジ」ピクセルは、カメラによって測定された、それら２つの「成分」色から形成された混合色を表す値を有する。カメラの応答関数は、測定された混合色が、混合色の測定された成分色に対して非線形となることを生じさせる。以下に説明する諸実施形態は、少なくともある程度、エッジピクセルを見出し、次に、エッジピクセルの混合色と測定された成分色を線形分布にマップする関数を算出することにより、逆応答関数を算出することができる。いくつかの実施形態を以下に説明する。
図２は、一実施形態による、単一のイメージから逆応答関数を算出することができる較正システム２０１を示すブロック図である。この実施例では、システム２０１は、エッジピクセル検出器（ｄｅｔｅｃｔｏｒ）２０３と、色アナライザ（ａｎａｌｙｚｅｒ）２０５と、逆応答エスティメータ（ｅｓｔｉｍａｔｏｒ）２０７と、いくつかの実際のカメラから収集された逆応答関数を含むデータストア２０９とを含む。逆応答データのこのコレクションを本明細書で、基準データとも呼ぶ。一実施形態では、逆応答関数データは、Grossberg, M.D. and Nayar, S.K., "What is the Space of Camera Response Functions", Proc. IEEE Comp. Vision and Pattern Recognition (CVPR '03)-Vol. II, June 2003, pp. 602-609において説明されるＤｏＲＦ（Ｄａｔａｂｅｓｅ ｏｆ Ｒｅｓｐｏｎｓｅ Ｆｕｎｃｔｉｏｎｓ（応答関数のデータベース））を含む。較正システム２０１の前述した諸要素は、一部の実施形態では、ソフトウェアコンポーネントとして実装されることが可能である。
一実施形態では、エッジピクセル検出器２０３は、ピクセルのそれぞれが、ある色を有するある領域と、別の色を有する別の領域とを画像化する（ｉｍａｇｅ）、デジタルイメージ１０８内のエッジピクセルを見出すように構成される。それらのピクセルのそれぞれは、混合色の成分色の役割をする２つの色から導出された混合色を表す。
一実施形態では、色アナライザ２０５は、エッジピクセル検出器２０３によって見出されたピクセルの混合色および成分色の測定値を獲得するように構成される。また、この実施形態では、逆応答エスティメータ２０７が、見出されたピクセルの混合色と成分色を線形分布にマップする逆応答関数を生成するように構成される。較正システム２０１の一実施形態は、図３に関連して以下に説明するとおり動作して、逆応答関数を算出する。
図３は、一実施形態による、単一のイメージから逆応答関数を算出する際の較正システム２０１（図２）の動作フローを示す。この典型的な動作フローを、図２および図３に関連して以下に説明する。
ブロック３０２で、システム２０１は、デジタルイメージ１０８（図１）内のエッジピクセルを見出す。この実施形態では、エッジピクセル検出器２０３が、デジタルイメージ１０８内のエッジピクセルを見出して、観察セットを形成する。前述したとおり、エッジピクセルは、情景１０６の２つの色の間における「エッジ」に相当するピクセルである。エッジピクセルは、カメラによって測定された、それら２つの「成分」色から形成された混合色を表す値を有する。
典型的なエッジピクセルを、３×３のピクセルパッチ（ｐａｔｃｈ）４００を示す図４に例示する。パッチ４００の左上隅のピクセル４０１は、「対角線」陰影付けで示される一様な色（本明細書で第１の色と呼ぶ）を有する。さらに、パッチ４００内のピクセル４０１の下の２つのピクセルは、同一の一様な第１の色を有する。これに対して、パッチ４００の右上隅のピクセル４０３は、「点（ｄｏｔ）」陰影付けで示される、異なる一様な色（本明細書で第２の色と呼ぶ）を有する。ピクセル４０３の下の２つのピクセルも、同一の一様な第２の色を有する。パッチ４００の中央の列のピクセル４０５、４０７、および４０９は、第１の色と第２の色の両方の領域を有し、このため、本明細書でエッジピクセルと呼ぶ。第１の色および第２の色は、本明細書で、エッジピクセル４０５の成分色とも呼ぶ。エッジピクセル４０５は、第１の色と第２の色の組合せから形成された「混合」色を出力する。
一実施形態では、エッジピクセル検出器２０３は、エッジピクセルを検出するＣａｎｎｙエッジ検出器（例えば、Canny, J., "A Computational Approach to Edge Detection", IEEE Tras. Pattern Analysis and Machine Intelligence, Vol. 8, No. 6, June 1986, pp. 679-698参照）を含む。他の諸実施形態では、異なるエッジ検出器を使用することができる。
ブロック３０４で、エッジピクセルの各領域の測定色が獲得される。この実施形態では、色アナライザ２０５が、エッジピクセルの成分色と同一の色を有する非エッジピクセル（ｎｏｎ−ｅｄｇｅ ｐｉｘｅｌ）を使用して、各エッジピクセルからの測定された混合色を獲得するように構成される。例えば、エッジピクセル４０５に関して、色アナライザ２０５は、エッジピクセル４０５の第１の色の領域の測定色として、ピクセル４０１の測定色を使用することができる。同様に、色アナライザ４０５は、エッジピクセル４０５の第２の色の領域の測定色として、ピクセル４０３の測定色を使用することができる。
さらに、この実施形態では、色アナライザ４０５は、エッジピクセルが、逆応答関数を算出する際に使用するのに適しているかどうかを判定する。例えば、一実施形態では、色アナライザ２０５は、（ａ）第１の色および第２の色の変化（ｖａｒｉａｎｃｅ）（ユークリッドＲＧＢ距離に関する）が、規定された閾値の範囲内（すなわち、第１の色および第２の色が十分に一様である）にあるかどうか、および（ｂ）第１の色の平均（ｍｅａｎ）色と第２の色の平均色が、互いに少なくとも規定された距離にある（すなわち、第１の色と第２の色が、効果イメージ雑音（ｅｆｆｅｃｔ ｉｍａｇｅ ｎｏｉｓｅ）を小さくするだけ十分に離れている）かどうかを判定する。さらに、この実施形態では、第１の色および第２の色によって境界が定められた範囲外の混合色を有するエッジピクセルを含むエッジ領域（本明細書でエッジウインドウと呼ぶ）は、無視される。他の諸実施形態では、色アナライザ２０５は、異なる方法を使用して、エッジピクセルの成分色の測定色を獲得することができる。
ブロック３０６で、エッジピクセルの測定色が獲得される。この実施形態では、色アナライザ２０５は、各エッジピクセルから測定された混合色を獲得するように構成される。理想的なケースでは、混合色は、ＲＧＢ色空間の中で混合色の成分色を結ぶ線分上に位置することを証明することができる。図４のエッジピクセルがＲＧＢ空間内にプロットされた実施例を、図５に示す。点５０１は、ＲＧＢ空間内におけるピクセル４０１の色を表し、点５０３は、ＲＧＢ空間内におけるピクセル４０３の色を表す。これらの色は、パッチ４００（図４）内のエッジピクセルの成分色である。点５０５は、ＲＧＢ色空間内におけるエッジピクセル４０５の色を表し、点５０７は、ＲＧＢ色空間内におけるエッジピクセル４０７の色を表し、以下同様である。図５に示すとおり、エッジピクセル４０５の色、エッジピクセル４０７の色、およびエッジピクセル４０９の色（それぞれ、点５０５、５０７、および５０９で表す）は、ピクセル４０１の色とピクセル４０３（それぞれ、点５０１、および５０３で表す）の色を結ぶ線分上に位置する。
しかし、現在の市販のカメラにおいて、エッジピクセルの測定色は、エッジピクセルの測定された成分色に対して非線形である。実施例を図６に示す。点６０１が、ＲＧＢ空間内におけるピクセル４０１（図４）の測定色を表し、点６０３が、ＲＧＢ空間内におけるピクセル４０３（図４）の測定色を表す。これらの測定色は、パッチ４００（図４）のエッジピクセルの測定された成分色である。点６０５が、ＲＧＢ色空間内におけるエッジピクセル４０５（図４）の測定色を表し、点６０７が、ＲＧＢ色空間内におけるエッジピクセル４０７の測定色を表し、以下同様である。図６に示すとおり、エッジピクセル４０５の色、エッジピクセル４０７の色、およびエッジピクセル４０９の色（それぞれ、点６０５、６０７、および６０９で表す）は、ピクセル４０１の測定色とピクセル４０３の測定色（それぞれ、点６０１および６０３で表す）を結ぶ曲線セグメント（ｃｕｒｖｅ ｓｅｇｍｅｎｔ）上に位置する。
ブロック３０８で（図１および図３を再び参照すると）、測定された混合色と混合色の成分色を線形化する（例えば、測定された非線形の測定色をＲＧＢ色空間の中で線形分布にマップする）関数が算出される。一実施形態では、色アナライザ２０５が、測定された混合色と測定された成分色を線形化する関数ｇを算出する。さらに、一実施形態では、色アナライザ２０５は、ｇ（０）＝０およびｇ（１）＝１になるように線形化関数の定義域（ｄｏｍａｉｎ）と値域（ｃｏ−ｄｏｍａｉｎ）を正規化して、スケーリングの違いを考慮に入れるように構成されることが可能である。
さらに、この実施形態では、次に、逆応答ジェネレータ２０７が、線形化関数ｇ、およびデータストア２０９からの基準データを使用して逆応答関数２１１を生成する。一実施形態では、基準データは、不完全な色データの間隔にわたって線形化関数ｇの補間および補外を行うのに使用される。代替の実施形態では、線形化関数ｇをカメラの逆応答関数として使用して、逆応答ジェネレータ２０７およびデータストア２０９を実装しなくてもよいようにすることもできる。逆応答関数を算出する際の動作フローの一実施形態を、図９に関連して以下に説明する。以上のようにして、較正システム２０１は、単一のイメージから逆応答関数を有利に見出すことができる。さらに、実際の情景色は、事前に知られていなくてもよい。このため、較正システム２０１は、逆応答関数を見出すのに、カメラ、またはカメラによってキャプチャされた複数のイメージ、あるいはイメージをキャプチャするのに使用された露出の知識を要さない。
前述の動作フローは、図３に関連して順次に説明しているが、他の諸実施形態では、動作は、異なる順序で、かつ／または並行に実行されてもよい。
測定エッジピクセル色を線形化する単純化した実施例を、図７および図８に図示する。図７では、点７０１が、ＲＧＢ空間内におけるエッジピクセルの一方の成分色の測定色（Ｍ１とも呼ぶ）を表す。点７０３が、ＲＧＢ空間内におけるエッジピクセルの他方の成分色の測定色（Ｍ２とも呼ぶ）を表す。点７０５が、エッジピクセルの測定された混合色（Ｍｐとも呼ぶ）を表す。図７で見ることができるとおり、情景をキャプチャするのに使用されたカメラの非線形応答関数に起因して、曲線が、点７０１、７０３、および７０５を結ぶ。曲線７０６、７０８、および７１０は、点７０５で表される測定された混合色（Ｍｐ）の成分色とは異なる成分色を有する、他のエッジピクセルの測定色の分布を表す。通常のイメージでは、多数のそのような曲線が存在するが、図を煩雑にするのを避けるため、以上のいくつかだけを図７に示す。
前述したとおり、次に、色アナライザ２０５が、測定された混合色と測定された成分色を線形化する関数を算出する。理想的には、関数は、各エッジピクセルに関連する測定色（すなわち、測定された成分色と測定された混合色）を線分にマップする。
関数ｇと呼ぶ線形化関数を伴う実施例を図８に示す。点８０１が、線形化関数ｇによる変換後の、ＲＧＢ色空間内における点７０１（図７）の色を表す。換言すると、点８０１は、線形化関数ｇの適用後における、測定された成分色（すなわち、Ｍ１）のＲＧＢ色空間内における色、すなわち、ｇ（Ｍ１）を表す。同様に、点８０３は、線形化関数ｇの適用後における、他方の測定された成分色（すなわち、Ｍ２）のＲＧＢ色空間内における色、すなわち、ｇ（Ｍ２）を表す。点５０５が、線形化関数による変換後における、測定された混合色（Ｍｐ）のＲＧＢ色空間内における色、すなわち、ｇ（Ｍｐ）を表す。図８に示すとおり、変換済みの測定色、Ｍ１、Ｍｐ、およびＭ２（それぞれ、点８０１、８０３、および８０５で表す）は、線分上に位置する。同様に、図７の曲線７０６、７０８、および７１０が、理想的には、線形化関数ｇによって変換されて、それぞれ、線分８０６、８０８、および８１０になる。
図９は、一実施形態による、測定された混合色を線形化する関数を算出する際における、ブロック３０８（図３）の動作フローの流れ図である。他の諸実施形態では、異なるアプローチを使用して線形化関数を算出することができる。図２および図３を参照すると、ブロック３０８の一実施形態が、以下の動作フローを含む。
ブロック９０２で、測定された混合色、および混合色に対応する測定された成分色を使用して、尤度関数が獲得される。この実施形態では、色アナライザ２０５が、この関数を獲得する。より詳細には、この実施形態において、色アナライザ２０５は、マップ済みの各混合色（Ｍｐ）の、混合色（Ｍｐ）に対応するマップ済みの成分色（Ｍ１とＭ２）を結ぶ線分までの距離に基づき、尤度関数を獲得する。エッジピクセルのＭｐ、Ｍ１、およびＭＳは、本明細書で、エッジピクセルトリプル（ｔｒｉｐｌｅ）とも呼ぶ。マップ済みの混合色の、混合色のマップ済みの成分色を結ぶ線分までの距離、ｄ（Ｍｐ）は、以下の数式１を使用して、エッジピクセルトリプルから算出することができる。
Figure 0004750443
ただし、×は、２つのベクトル間の外積演算（ｃｒｏｓｓ ｐｒｏｄｕｃｔ ｏｐｅｒａｔｉｏｎ）である。
マップ済みの各混合色の距離の合計、Ｄ（ｇ；Ω）を、以下の数式２を使用して算出することができる。
Figure 0004750443
ただし、Ωは、ブロック３０２（図３）で以前に見出されたエッジピクセルに合致するエッジピクセルトリプルのセットである。一部の代替の実施形態では、数式２を最小化して、基準データを使用することなしに、逆応答関数を算出することができる。例えば、数式２は、もたらされる数式が平滑であるとともに単調でなければならないという制約を使用して、最小化することができる。ただし、この実施形態では、ベイズ推定技術を使用して逆応答関数を算出するのに基準データを使用する。
ベイズ推定技術は、事前（ｐｒｉｏｒ）モデルおよび尤度関数を使用して、事後分布（ａ ｐｏｓｔｅｒｉｏｒｉ ｄｉｓｔｒｉｂｕｔｉｏｎ）を算出することができる。この実施形態では、距離の合計が最小化されるべきであるため、尤度関数は、逆応答関数ｇを所与するエッジピクセルトリプルΩの尤度（すなわち、ｐ（Ω｜ｇ））を、数式２を使用する指数分布としてモデル化することによって形成される。このため、この尤度関数は、以下の数式３を使用して定義することができる。
Figure 0004750443
ただし、Ｚは、正規化定数であり、λは、経験的に１０４に設定される。他の諸実施形態では、λとして異なる値を使用することができる。
ブロック９０４で、データストア２０９からの基準データを使用して、事前（ａ ｐｒｉｏｒｉ）モデルが獲得される。この実施形態では、逆応答ジェネレータ２０７が、５つの成分を使用して、前述したＤｏＲＦ（すなわち、基準データ）に対してＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ（主成分解析））変換を実行することにより、事前モデルを獲得する（例えば、Jollife, I.T., "Principal Component Analysis", Springer Verlag, 1986参照）。一実施形態では、逆応答ジェネレータ２０７は、以下の数式４で示すとおり、最初の５つの主成分で基準データを表す。
ｇ＝ｇ０＋ｃＨ （４）
ただし、ｇ０は（＝）、平均逆応答である［ｇＲ０，ｇＧ０，ｇＢ０］Ｔであり、Ｈは、列が最初のＮ＝５の固有ベクトルから成る行列であり、ｃ＝［ｃＲ，ｃＧ，ｃＢ］Ｔは、逆応答関数ｇ＝［ｇＲ，ｇＧ，ｇＢ］Ｔを表すＲ３×Ｎの係数ベクトルである。
逆応答ジェネレータ２０７は、この実施形態では、次に、数式５に示すとおり、ＰＣＡの形態の基準データから有限ガウス混合モデル（例えば、McLachlan, G.J. and Basford, K.E., "Mixture Models", Marcel Dekker, 1988参照）を形成することにより、逆応答関数のモデルを獲得する。
Figure 0004750443
ただし、パラメータαｉは、混合比率であり、η（ｇ；μｉ，Σｉ）は、ｇの正規化されたガウス分布（Ｇａｕｓｓｉａｎ）（数式８）である。Ｋは、一実施形態では、ＥＭ（期待値最大）アルゴリズム（例えば、Dempster, A.P., Laird, N.M, and Rubin, D.B., "Maximum Likelihood from Incomplete Data via the EM algorithm (with Discussions)", JRSS(B), Vol. 39, pp.1-38, 1977参照）を使用することによって経験的に獲得された、５に等しく設定される。
他の諸実施形態では、数式４のモデルは、適切なカスタムの、または市販のＰＣＡツールおよびＥＭアルゴリズムツールを使用してあらかじめ計算し、データストア２０９の中に格納することができる。他の諸実施形態では、異なる技術を使用して、事前モデルを獲得することができる。
ブロック９０６で、前述の尤度関数および事前モデルを使用して逆応答関数が獲得される。この実施形態では、逆応答ジェネレータ２０７が、逆応答関数を獲得する。最適な逆応答関数ｇ＊は、事後分布の最大確率を見出すことにより、獲得することができる。事後分布は、ベイズ推定において、事前モデルと尤度関数の積として定義される。このため、最大事後（ＭＡＰ）解である最適な逆応答関数ｇ＊は、以下の数式６を使用して見出すことができる。
ｇ＊＝ａｒｇ ｍａｘ ｐ（Ω｜ｇ）ｐ（ｇ） （６）
ただし、ｐ（Ω｜ｇ）およびｐ（ｇ）はそれぞれ、数式３および数式５として与えられている。
数式６の対数をとることにより、ｇ＊は、以下の数式７としても表すことができる。
ｇ＊＝ａｒｇ ｍｉｎλＤ（ｇ；Ω）−ｌｏｇｐ（ｇ） （７）
この数式は、この実施形態では、ｇの係数を０に初期設定して、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ最適化アルゴリズム（例えば、Press, W.H., Teukolsky, S.A, Vetterling, W.T., Flannery B.P., "Numerical Recipes in C", Cambridge University Press, 1992参照）によって計算される。他の諸実施形態では、異なる最適化アルゴリズムを使用してｇ＊を見出すことができる。一実施形態では、最適化アルゴリズムが収束した後、各次元で順次にグリーディ局所探索（ｇｒｅｅｄｙ ｌｏｃａｌ ｓｅａｒｃｈ）（例えば、Resende, M.G.C. and Ribeiro, C.C., "Greedy randomized adaptive search procedures" in Handbook of Metaheuristics, F. Glover and G. Kochenberger, eds., Kluwer Academic Publishers, pp.219-249, 2003参照）を使用して、結果をさらに正確にすることができる。
前述の動作フローは、図９に関連して順次に説明しているが、他の諸実施形態では、動作は、異なる順序で、かつ／または並行に実行されることも可能である。
図１０は、一実施形態による、較正システム２１０（図２）におけるデータフロー１０００を示すデータフロー図である。以下の一実施形態によれば、カメラから受け取られたイメージデータが流れて通り、イメージの色を調整することができるように処理される。デジタルイメージデータ１００３が、エッジピクセル抽出プロセス１００５によって受け取られる。一実施形態では、例えば、較正システム２０１（図２）のエッジ検出器２０３が、ブロック３０２（図３）に関連して前述したとおり、デジタルイメージデータ１００３に対してエッジピクセル抽出プロセス１００５を実行する。エッジピクセル抽出プロセス１００５は、さらなる処理に適したエッジピクセル（例えば、エッジウインドウが成分色の十分な一様性および分離を示すエッジピクセル）を特定するエッジピクセルデータ１００７を出力する。
測定色抽出プロセス１００９が、エッジピクセルデータ１００９に対して実行される。一実施形態では、例えば、色アナライザ２０５（図２）が、エッジピクセルデータ１００７に対して色抽出プロセス１００９を実行して、ブロック３０４および３０６（図３）に関連して前述したとおり、測定色を抽出する。測定色抽出プロセス１００９は、測定色データ１０１１を出力する。一実施形態では、エッジピクセルデータ１００７は、エッジピクセルトリプルの前述したセットΩを含む。
次に、逆応答生成プロセス１０１３が、測定色データ１０１１に対して実行される。一実施形態では、例えば、逆応答ジェネレータ２０７（図２）が、基準データ１０１５を使用して逆応答生成プロセス１０１３を実行する。一部の代替の実施形態では、逆応答ジェネレータ２０７は、基準データ１０１５を使用する必要がない。基準データ１０１５は、実際のカメラからの逆応答を含み、１つの典型的なインプリメンテーションでは、データストア２０９（図２）から取り出される。逆応答生成プロセス１０１３は、一実施形態では、ブロック３０８に関連して前述したとおり実行され、推定の逆応答１０１７を出力する。一実施形態では、逆応答生成プロセス１０１３は、ブロック９０２、９０４、および９０６（図９）に関連して前述したとおり、ベイズ推定技術を使用して推定の逆応答１０１７を算出する。次に、推定の逆応答１０１７を使用してデジタルイメージデータ１００３を変換し、キャプチャされた情景の放射輝度によりよく合致する色を有するイメージを生成することができる。
前述のデータフローは、図１０に関連して順次に説明しているが、他の諸実施形態では、諸プロセスは、データに対して異なる順序で、かつ／または並行に実行されることも可能である。さらに、図１０の諸プロセスは、以上の説明のとおり、システム２０１（図２）によって実行されることに加え、任意の適切なシステムまたはコンポーネントによって実行されることも可能である。
前述した様々な実施形態は、較正システム（例えば、図２のシステム２０１）のコンピュータ環境において実施することができる。較正システムにおいて使用するのに適した典型的なコンピュータ環境を図１１に関連して以下に説明する。
図１１は、本明細書で説明する技術および／またはコンポーネントを実施するのに使用することができる汎用コンピュータ環境１１００を示す。コンピュータ環境１１００は、コンピューティング環境の一実施例に過ぎず、コンピュータアーキテクチャおよびネットワークアーキテクチャの用法または機能の範囲について何ら限定を示唆するものではない。また、コンピュータ環境１１００が、典型的なコンピュータ環境１１００に例示したコンポーネントのいずれの１つ、または組合せに関連する依存関係または要件も有するものと解釈してはならない。
コンピュータ環境１１００は、コンピュータ１１０２の形態で汎用コンピューティングデバイスを含む。コンピュータ１１０２のコンポーネントには、１つまたは複数のプロセッサまたは処理装置１１０２、システムメモリ１１０６、ならびにプロセッサ１１０４からシステムメモリ１１０６までを結合するシステムバス１１０８が含まれることが可能であるが、以上には限定されない。
システムバス１１０８は、様々なバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート（ａｃｃｅｌｅｒａｔｅｄ ｇｒａｐｈｉｃｓ ｐｏｒｔ）、およびプロセッサバスまたはローカルバスを含め、いくつかのタイプのバス構造のいずれかの１つまたは複数を表す。例として、そのようなアーキテクチャには、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＭＣＡ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＥＩＳＡ（Ｅｎｈａｎｃｅｄ ＩＳＡ）バス、ＶＥＳＡ（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）ローカルバス、メザニン（Ｍｅｚｚａｎｉｎｅ）バスとしても知られるＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｓ）バス、ＰＣＩエクスプレス（Ｅｘｐｒｅｓｓ）バス、ユニバーサルシリアルバス（ＵＳＢ）、セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）（ＳＤ）バス、またはＩＥＥＥ１３９４バス（すなわち、ＦｉｒｅＷｉｒｅバス）が含まれることが可能である。
コンピュータ１１０２は、様々なコンピュータ可読媒体を含むことが可能である。そのような媒体は、コンピュータ１１０２がアクセスすることができる任意の利用可能な媒体であることが可能であり、揮発性媒体と不揮発性媒体、リムーバブルな媒体と非リムーバブルな媒体がともに含まれる。
システムメモリ１１０６は、ランダムアクセスメモリ（ＲＡＭ）１１１０などの揮発性メモリの形態、および／または読み出し専用メモリ（ＲＯＭ）１１１２またはフラッシュＲＡＭなどの不揮発性メモリの形態でコンピュータ可読媒体を含む。始動中などに、コンピュータ１１０２内部の要素間で情報を転送するのを助ける基本ルーチンを含む基本入出力システム（ＢＩＯＳ）１１１４が、ＲＯＭ１１１２またはフラッシュＲＡＭの中に格納される。ＲＡＭ１１１０は、通常、処理装置１１０４が即時にアクセスすることができ、かつ／または現在、処理しているデータおよび／またはプログラムモジュールを含む。
コンピュータ１１０２は、他のリムーバブルな／非リムーバブルな、揮発性／不揮発性のコンピュータ可読媒体も含むことが可能である。例として、図１１は、非リムーバブルな不揮発性の磁気媒体（図示せず）に対して読み取りおよび書き込みを行うためのハードディスクドライブ１１１６、リムーバブルな不揮発性の磁気ディスク１１２０（例えば、「フロッピー（登録商標）ディスク」）に対して読み取りおよび書き込みを行うための磁気ディスクドライブ１１１８、およびＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、または他の光媒体などのリムーバブルな不揮発性の光ディスク１１２４に対して読み取りまたは書き込みを行うための光ディスクドライブ１１２２を示す。ハードディスクドライブ１１１６、磁気ディスクドライブ１１１８、および光ディスクドライブ１１２２はそれぞれ、１つまたは複数のデータ媒体インターフェース１１２５でシステムバス１１０８に接続される。代替として、ハードディスクドライブ１１１６、磁気ディスクドライブ１１１８、および光ディスクドライブ１１２２は、１つまたは複数のインターフェース（図示せず）でシステムバス１１０８に接続することができる。
ディスクドライブ、および関連するコンピュータ可読媒体により、コンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの不揮発性ストレージがコンピュータ１０２に提供される。実施例は、ハードディスク１１１６、リムーバブルな磁気ディスク１１２０、および非リムーバブルな光ディスク１１２４を示しているが、磁気カセットまたは他の磁気記憶装置、フラッシュメモリカード、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）または他の光ストレージ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）などの、データを格納することができ、コンピュータがアクセスすることができる他のタイプのコンピュータ可読媒体も、典型的なコンピューティングシステムおよびコンピューティング環境を実施するのに利用できることが認識されよう。
例として、オペレーティングシステム１１２６、１つまたは複数のアプリケーションプログラム１１２８、他のプログラムモジュール１１３０、およびプログラムデータ１１３２を含め、任意の数のプログラムモジュールが、ハードディスク１１１６、磁気ディスク１１２０、光ディスク１１２４、ＲＯＭ１１１２、および／またはＲＡＭ１１１０に格納されることが可能である。そのようなオペレーティングシステム１１２６、１つまたは複数のアプリケーションプログラム１１２８、他のプログラムモジュール１１３０、およびプログラムデータ１１３２（または以上の何らかの組合せ）のそれぞれにより、分散ファイルシステムをサポートする常駐コンポーネントのすべて、または一部が実装されることが可能である。
ユーザは、キーボード１１３４やポインティングデバイス１１３６（例えば、「マウス」）などの入力デバイスを介して、コマンドおよび情報をコンピュータ１１０２に入力することができる。その他の入力デバイス１１３８（特に図示せず）には、マイク、ジョイスティック、ゲームパッド、サテライトディッシュ、シリアルポート、スキャナ、および／または類似のデバイスが含まれることが可能である。以上の入力デバイス、およびその他の入力デバイスは、システムバス１１０８に結合された入出力インターフェース１１４０を介して処理装置１１０４に接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）などの他のインターフェースまたはバス構造で接続してもよい。
モニタ１１４２、または他のタイプのディスプレイデバイスも、ビデオアダプタ１１４４などのインターフェースを介して、システムバス１１０８に接続することができる。モニタ１１４２に加えて、他の出力周辺デバイスには、入出力インターフェース１１４０を介してコンピュータ１１０２に接続することができる、スピーカ（図示せず）やプリンタ１１４６などのコンポーネントが含まれることが可能である。
コンピュータ１１０２は、リモートコンピューティングデバイス１１４８などの、１つまたは複数のコンピュータに対する論理接続を使用するネットワーク化された環境において動作することができる。例として、リモートコンピューティングデバイス１１４８は、ＰＣ、ポータブルコンピュータ、サーバ、ルータ、ネットワークコンピュータ、ピアデバイス、または他の一般的なネットワークノードなどであることが可能である。リモートコンピューティングデバイス１１４８は、コンピュータ１１０２に関連して本明細書で説明した要素または特徴の多く、またはすべてを含むことが可能なポータブルコンピュータとして例示されている。代替として、コンピュータ１１０２は、ネットワーク化されていない環境において動作することもできる。
コンピュータ１１０２とリモートコンピュータ１１４８の間の論理接続は、ローカルエリアネットワーク（ＬＡＮ）１１５０および汎用のワイドエリアネットワーク（ＷＡＮ）１１５２として示される。
ＬＡＮネットワーキング環境において実装される場合、コンピュータ１１０２は、ネットワークインターフェースまたはネットワークアダプタ１１５４を介してローカルネットワーク１１５０に接続される。ＷＡＮネットワーキング環境において実装される場合、コンピュータ１１０２は、通常、ワイドネットワーク１１５２を介して通信を確立するためのモデム１１５６、または他の手段を含む。コンピュータ１１０２に対して内部にあることも、外部にあることも可能なモデム１１５６は、入出力インターフェース１１４０、または他の適切な機構を介してシステムバス１１０８に接続することができる。図示したネットワーク接続は、実施例であり、コンピュータ１１０２とコンピュータ１１４８の間で少なくとも１つの通信リンクを確立する他の手段も使用することができることを認識されたい。
コンピューティング環境１１００で例示したようなネットワーク化された環境では、コンピュータ１１０２に関連して示したプログラムモジュール、またはプログラムモジュールの諸部分は、リモートメモリ記憶装置の中に格納することができる。例として、リモートアプリケーションプログラム１１５８が、リモートコンピュータ１１４８のメモリデバイス上に存在する。例示の目的で、アプリケーションまたはプログラム、ならびにオペレーティングシステムなどの他の実行可能プログラムコンポーネントは、本明細書では、別々のブロックとして図示している。ただし、そのようなプログラムおよびコンポーネントは、様々な時点で、コンピューティングデバイス１１０２の異なる記憶コンポーネントの中に存在し、コンピュータの少なくとも１つのデータプロセッサによって実行されることが認識されよう。
様々なモジュールおよび技術を本明細書では、１つまたは複数のコンピュータ、または他のデバイスによって実行される、プログラムモジュールなどの、コンピュータ実行可能命令の一般的なコンテキストで説明することができる。一般に、プログラムモジュールには、特定のタスクを実行する、または特定の抽象データ型を実装するための、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。これらのプログラムモジュールなどは、ネイティブコードとして実行されることも、仮想マシンまたは他のジャストインタイム（ｊｕｓｔ−ｉｎ−ｔｉｍｅ）コンパイル実行環境などにおいて、ダウンロードされ、実行されることも可能である。通常、プログラムモジュールの機能は、様々な実施形態において、所望に応じて組み合わせることも、分散させることもできる。
以上のモジュールおよび技術のインプリメンテーションは、何らかの形態のコンピュータ可読媒体上に格納することも、そのような媒体を介して伝送することもできる。コンピュータ可読媒体は、コンピュータがアクセスすることができる任意の利用可能な媒体であることが可能である。例として、限定としてではなく、コンピュータ可読媒体は、「コンピュータ記憶媒体」および「通信媒体」を含むことが可能である。
「コンピュータ記憶媒体」には、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータを格納するために任意の方法または技術で実装された、揮発性媒体および不揮発性媒体、リムーバブルな媒体および非リムーバブルな媒体が含まれる。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気記憶装置、あるいは所望の情報を格納するのに使用することができ、コンピュータがアクセスすることができる他の任意の媒体が含まれるが、以上には限定されない。
「通信媒体」は、通常、搬送波などの変調されたデータ信号、または他のトランスポート機構中にコンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータを具現化する。通信媒体には、あらゆる情報配信媒体も含まれる。「変調されたデータ信号」という用語は、信号内に情報を符号化するような形で特性の１つまたは複数が設定された、または変更された信号を意味する。単に非限定的な例として、通信媒体には、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響媒体、ＲＦ媒体、赤外線媒体、またはその他の無線媒体などの無線媒体が含まれる。以上の媒体のいずれかの組合せも、コンピュータ可読媒体の範囲内に含まれる。
本明細書全体で、「一実施形態」、「実施形態」、または「例示的な実施形態」について述べてきたが、これは、説明した特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。このため、そのような言い回しの使用は、１つだけに限らない実施形態を指すことが可能である。さらに、説明した特徴、構造、または特性は、１つまたは複数の実施形態において、任意の適切な形で組み合わせることができる。
ただし、本発明を、特定の詳細の１つまたは複数なしに、あるいは他の方法、リソース、資材などを使用して実施できることも、当業者は認識することができよう。その他、周知の構造、リソース、または動作は、単に本発明の諸態様を不明瞭にするのを避けるため、詳細に図示する、または説明することはしていない。
例示的な実施形態および応用例を図示し、説明してきたが、本発明は、前述した構成およびリソースそのものに限定されない。請求する発明の範囲を逸脱することなく、本発明の方法およびシステムの構成、動作、および詳細において、当業者には明白な様々な改変、変更、および変形を実施することができる。
情景のピクチャを撮影してデジタルイメージを生成するカメラを示すブロック図（従来の技術）である。 一実施形態による単一のイメージから逆応答関数を算出することができるシステムを示すブロック図である。 一実施形態による、単一のイメージから逆応答関数を算出する際における図１のシステムの動作フローを示す流れ図である。 一実施形態による、単一のイメージから逆応答関数を算出する際に使用される、イメージ内のエッジピクセルを示す図である。 ＲＧＢ（赤−緑−青）色空間の中で図４に示したピクセルのイメージ放射照度（ｉｒｒａｄｉａｎｃｅ）を示す図である。 ＲＧＢ色空間の中で図４に示したピクセルの測定色を示す図である。 ＲＧＢ空間の中で、典型的なエッジピクセルの測定色、およびピクセルの成分色の測定色を示す図である。 逆応答関数を使用して図７に示した測定色を変換した後にもたらされた分布を示す図である。 一実施形態による、測定された混合色を線形化する関数を算出する、図３に示した動作フローをより詳細に示す流れ図である。 一実施形態による、単一のイメージから逆応答関数を算出する際のデータフローを示すデータフロー図である。 以上の諸実施形態を実施するのに適した典型的なコンピューティング環境を示すブロック図である。
符号の説明
１０８ デジタルイメージ
２０１ 較正システム
２０３ エッジピクセル検出器
２０５ 色アナライザ
２０７ 逆応答ジェネレータ
２０９ 基準逆応答データ
２１１ 逆応答
１１０４ 処理装置
１１０６ システムメモリ
１１０８ システムバス
１１２５ データ媒体インターフェース
１１２６ オペレーティングシステム
１１２８ アプリケーションプログラム
１１３０ プログラムモジュール
１１３０ 他のプログラムモジュール
１１３２ プログラムデータ
１１３４ キーボード
１１３６ マウス
１１３８ 他のデバイス
１１４０ 入出力インターフェース
１１４２ モニタ
１１４４ ビデオアダプタ
１１４６ プリンタ
１１４８ リモートコンピューティングデバイス
１１５４ ネットワークアダプタ
１１５２ インターネット
１１５６ モデム
１１５８ リモートアプリケーションプログラム

Claims (30)

  1. カメラの逆応答関数を算出する方法であって、
    第１のピクセルが、第１の色を有する第１の領域、および第２の色を有する第２の領域を画像化し、該第１のピクセルは、前記第１の色と前記第２の色から導出された混合色を表す前記カメラの出力イメージ内で該第１のピクセルを見出すステップであって、前記第１の色および前記第２の色は、前記混合色の成分色の役割をするステップと、
    前記第１の色および前記第２の色の前記カメラによる測定値を獲得するステップと、
    前記混合色の前記カメラによる測定値を獲得するステップと、
    前記第１の色の前記測定値、前記第２の色の前記測定値、および前記混合色の前記測定値を色空間の中で線形分布にマップする関数を見出すステップとを備えることを特徴とする方法。
  2. 複数のピクセルイメージの各ピクセルが、異なる色の２つの領域を画像化し、前記異なる色から導出された混合色を表す前記出力イメージ内で該複数のピクセルを見出すステップであって、各ピクセルの前記異なる色は、該ピクセルの混合色の成分色の役割をするステップと、
    前記複数のピクセルの各ピクセルの前記異なる色の前記カメラによる測定値を獲得するステップと、
    前記複数のピクセルの前記混合色の前記カメラによる測定値を獲得するステップと、
    前記第１のピクセルの前記色の前記測定値と前記複数のピクセルを色空間の中で線形分布にマップする関数を見出すステップとをさらに備えることを特徴とする請求項１に記載の方法。
  3. 前記第１の色の前記測定値は、前記第１の色だけを画像化する第２のピクセルから獲得されることを特徴とする請求項１に記載の方法。
  4. 前記第２のピクセルは、前記第１のピクセルに隣接することを特徴とする請求項１に記載の方法。
  5. 前記第１の色の前記測定値、前記第２の色の前記測定値、および前記混合色の前記測定値を線形分布にマップする関数を見出すステップは、前記色空間の中で前記混合色のマップされた成分色を結ぶ線分までのマップされた各混合色測定値の距離の合計を最小化する距離関数を算出するステップをさらに含むことを特徴とする請求項１に記載の方法。
  6. 前記第１のピクセルの前記色の前記測定値と前記複数のピクセルを線形分布にマップする関数を見出すステップは、既知のカメラの所定の応答関数に応じて前記関数を算出するステップをさらに含むことを特徴とする請求項２に記載の方法。
  7. ベイズ推定アルゴリズムを使用して前記関数を算出するステップをさらに備えることを特徴とする請求項１に記載の方法。
  8. 前記所定の応答関数をガウス混合モデルとしてモデル化するステップをさらに備えることを特徴とする請求項６に記載の方法。
  9. 前記距離関数を指数分布関数に組み込むステップをさらに備えることを特徴とする請求項５に記載の方法。
  10. 事前モデルと尤度関数の積として定式化された最大事後ＭＡＰ解を見出すステップをさらに備え、前記事前モデルは、所定の応答関数から導出されたガウス混合モデルであり、前記尤度関数は、前記色空間内における前記混合色のマップされた成分色を結ぶ線分までのマップされた各混合色測定値の距離から導出された指数分布関数であり、前記逆応答関数は、前記ＭＡＰ解から導出されることを特徴とする請求項２に記載の方法。
  11. 前記出力イメージの情景色の少なくともいくつかは事前に知られていないことを特徴とする請求項１に記載の方法。
  12. 請求項１に記載の方法を実行するための命令を有することを特徴とするマシン可読媒体。
  13. 各ピクセルが、第１の色を有する第１の領域、および第２の色を有する第２の領域を画像化し、該ピクセルは、前記第１の色と前記第２の色から導出された混合色を表すデジタルイメージ内で、複数のピクセルを見出すエッジピクセル検出器であって、前記第１の色および前記第２の色は、該ピクセルの前記混合色の成分色の役割をする検出器と、
    前記エッジピクセル検出器に動作上、結合された色アナライザであって、前記複数のピクセルの前記混合色の測定値および前記成分色の測定値を獲得するアナライザと、
    前記複数のピクセルの前記混合色の前記測定値と前記成分色の前記測定値を色空間の中で線形分布にマップする逆応答関数を生成する逆応答ジェネレータとを備えることを特徴とするシステム。
  14. 前記逆応答ジェネレータは、前記複数のピクセルに関して、前記色空間の中で前記混合色のマップされた成分色を結ぶ線分までのマップされた各混合色測定値の距離の合計を最小化する距離関数を算出することを特徴とする請求項１３に記載のシステム。
  15. 既知のカメラの所定の応答関数を含む基準データを含むデータストアをさらに備え、前記逆応答ジェネレータは、前記データストアの前記基準データに依拠して前記逆応答関数を算出することを特徴とする請求項１３に記載のシステム。
  16. 前記逆応答ジェネレータは、ベイズ推定アルゴリズムをさらに使用して前記逆応答関数を算出することを特徴とする請求項１５に記載のシステム。
  17. 前記逆応答ジェネレータは、前記所定の応答関数をガウス混合モデルとしてさらにモデル化することを特徴とする請求項１５に記載のシステム。
  18. 前記逆応答ジェネレータは、前記距離関数を指数分布関数にさらに組み込むことを特徴とする請求項１４に記載のシステム。
  19. 前記逆応答ジェネレータは、事前モデルと尤度関数の積として最大事後ＭＡＰ解をさらに算出し、前記事前モデルは、所定の応答関数から導出されたガウス混合モデルであり、前記尤度関数は、前記色空間内における前記混合色のマップされた成分色を結ぶ線分までのマップされた各混合色測定値の距離から導出された指数分布関数であり、前記逆応答関数は、前記ＭＡＰ解から導出されることを特徴とする請求項１３に記載のシステム。
  20. 前記ＭＡＰ解は、前記逆応答関数の役割をすることを特徴とする請求項１９に記載のシステム。
  21. 前記逆応答ジェネレータは、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ最適化法を使用して前記ＭＡＰ関数を算出することを特徴とする請求項１９に記載のシステム。
  22. 各ピクセルが、第１の色を有する第１の領域、および第２の色を有する第２の領域を画像化し、該ピクセルは、前記第１の色と前記第２の色から導出された混合色を表すデジタルイメージ内で、複数のピクセルを見出すエッジピクセル検出器であって、前記第１の色および前記第２の色は、該ピクセルの前記混合色の成分色の役割をする検出器、
    前記エッジピクセル検出器に動作上、結合された色アナライザであって、前記複数のピクセルの前記混合色の測定値および前記成分色の測定値を獲得するアナライザ、および
    前記複数のピクセルの前記混合色の前記測定値と前記成分色の前記測定値を色空間の中で線形分布にマップする逆応答関数を生成する逆応答ジェネレータ
    としてコンピュータを機能させるプログラムを記憶したことを特徴とするマシン可読記憶媒体。
  23. 複数のピクセルの各ピクセルが、異なる色の２つの領域を画像化し、前記異なる色から導出された混合色を表す出力イメージ内で、該複数のピクセルを見出すための手段であって、各ピクセルの前記異なる色は、該ピクセルの混合色の成分色の役割をする手段と、
    前記複数のピクセルの各ピクセルの前記異なる色の測定値を獲得するための手段と、
    前記複数のピクセルの前記混合色の測定値を獲得するための手段と、
    前記複数のピクセルの前記色の前記測定値を前記色空間の中で線形分布にマップする逆応答関数を算出するための手段と
    してコンピュータを機能させるプログラムを記憶したことを特徴とするマシン可読記憶媒体。
  24. 逆応答関数を算出するための前記手段は、前記色空間の中で前記混合色のマップされた成分色を結ぶ線分までのマップされた各混合色測定値の距離の合計を最小化する距離関数を生成するための手段をさらに含むことを特徴とする請求項２３に記載のマシン可読記憶媒体。
  25. 逆応答関数を算出するための前記手段は、既知のカメラの所定の応答関数に依拠して前記関数をさらに算出することを特徴とする請求項２３に記載のマシン可読記憶媒体。
  26. 前記プログラムは前記コンピュータを前記所定の応答関数をガウス混合モデルとしてモデル化するための手段としてさらに機能させることを特徴とする請求項２５に記載のマシン可読記憶媒体。
  27. 前記プログラムは前記コンピュータを前記距離関数を指数分布関数に組み込むための手段としてさらに機能させることを特徴とする請求項２４に記載のマシン可読記憶媒体。
  28. 前記プログラムは前記コンピュータを、最大事後ＭＡＰ解を事前モデルと尤度関数の積として見出すための手段としてさらに機能させ、前記事前モデルは、所定の応答関数から導出されたガウス混合モデルであり、前記尤度関数は、前記色空間内における前記混合色のマップされた成分色を結ぶ線分までのマップされた各混合色測定値の距離から導出された指数分布関数であり、前記逆応答関数は、前記ＭＡＰ解から導出されることを特徴とする請求項２３に記載のマシン可読記憶媒体。
  29. 前記ＭＡＰ解は、前記逆応答関数の役割をすることを特徴とする請求項２８に記載のマシン可読記憶媒体。
  30. ＭＡＰ解を見出すための前記手段は、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ最適化法を使用して前記ＭＡＰ解を見出すことを特徴とする請求項２８に記載のマシン可読記憶媒体。
JP2005083501A 2004-03-23 2005-03-23 単一のイメージからのラジオメトリック較正 Expired - Fee Related JP4750443B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/809,167 US7450754B2 (en) 2004-03-23 2004-03-23 Radiometric calibration from a single image
US10/809,167 2004-03-23

Publications (3)

Publication Number Publication Date
JP2005292132A JP2005292132A (ja) 2005-10-20
JP2005292132A5 JP2005292132A5 (ja) 2008-05-08
JP4750443B2 true JP4750443B2 (ja) 2011-08-17

Family

ID=34939017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005083501A Expired - Fee Related JP4750443B2 (ja) 2004-03-23 2005-03-23 単一のイメージからのラジオメトリック較正

Country Status (7)

Country Link
US (3) US7450754B2 (ja)
EP (1) EP1600893B1 (ja)
JP (1) JP4750443B2 (ja)
KR (1) KR101183343B1 (ja)
CN (1) CN100429924C (ja)
AT (1) ATE386313T1 (ja)
DE (1) DE602005004693T2 (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7414753B2 (en) * 2004-05-06 2008-08-19 Canon Kabushiki Kaisha Color characterization using nonlinear regression
US20060028562A1 (en) * 2004-08-09 2006-02-09 Martin Schmitz Fast area-selected filtering for pixel-noise and analog artifacts reduction
US7505606B2 (en) * 2005-05-19 2009-03-17 Microsoft Corporation Detecting doctored images using camera response normality and consistency
KR100815160B1 (ko) * 2005-12-08 2008-03-19 한국전자통신연구원 베이시안 호프 변환을 이용한 선형 특징 추출 장치 및 그방법
US7602976B2 (en) * 2006-02-17 2009-10-13 Sony Corporation Compressible earth mover's distance
US7577684B2 (en) * 2006-04-04 2009-08-18 Sony Corporation Fast generalized 2-Dimensional heap for Hausdorff and earth mover's distance
US7865031B2 (en) * 2006-04-18 2011-01-04 Tandent Vision Science, Inc. Method and system for automatic correction of chromatic aberration
JP2008067308A (ja) * 2006-09-11 2008-03-21 Fuji Xerox Co Ltd 色処理装置、色処理方法およびプログラム
SE531942C2 (sv) * 2007-02-01 2009-09-15 Flir Systems Ab Metod för bildbehandling av IR-bilder innefattande kontrastförhöjande filtrering
US7792357B2 (en) * 2007-05-30 2010-09-07 Microsoft Corporation Chromatic aberration correction
JP2008306512A (ja) * 2007-06-08 2008-12-18 Nec Corp 情報提供システム
CN101349856B (zh) * 2007-07-20 2010-06-02 鸿富锦精密工业（深圳）有限公司 投影系统
US8149300B2 (en) * 2008-04-28 2012-04-03 Microsoft Corporation Radiometric calibration from noise distributions
US8111290B2 (en) 2008-06-06 2012-02-07 Microsoft Corporation Radiometric calibration using temporal irradiance mixtures
US20100053332A1 (en) * 2008-08-27 2010-03-04 Nova Research, Inc. Frustrated internal reflection uncooled infrared camera
US8595689B2 (en) 2008-12-24 2013-11-26 Flir Systems Ab Executable code in digital image files
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
WO2012170946A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Low power and small form factor infrared imaging
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
CN102203827B (zh) * 2009-10-02 2013-05-29 香港中文大学 用于编辑图像的方法和装置
US20110080506A1 (en) * 2009-10-07 2011-04-07 Ping-Kuo Weng Image sensing device and system
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US20110285895A1 (en) * 2010-05-21 2011-11-24 Chung Shan Institute Of Science And Technology Image Sensing Device and Processing System
US10079979B2 (en) * 2011-05-13 2018-09-18 Valeo Schalter Und Sensoren Gmbh Camera arrangement for a vehicle and method for calibrating a camera and for operating a camera arrangement
US8620070B2 (en) * 2011-05-31 2013-12-31 Korean Electronics Technology Institute Corresponding image processing method for compensating colour
KR101227936B1 (ko) * 2011-05-31 2013-01-30 전자부품연구원 대응 영상의 컬러 보정 방법 및 그 기록매체
WO2012170954A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
KR101778353B1 (ko) 2011-06-10 2017-09-13 플리어 시스템즈, 인크. 적외선 이미징 장치용 불균일성 교정 기술
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US8928781B2 (en) 2011-11-30 2015-01-06 Microsoft Corporation Response function determination by rank minimization
CN103091615B (zh) * 2011-12-30 2014-04-16 展讯通信（上海）有限公司 测量图像传感器的响应曲线的方法及装置
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US20140327796A1 (en) * 2013-05-02 2014-11-06 National Chung Cheng University Method for estimating camera response function
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
US9697593B2 (en) * 2014-01-28 2017-07-04 Ittiam Systems (P) Ltd. System and method for tone mapping on high dynamic range images
TWI542217B (zh) * 2014-03-12 2016-07-11 瑞昱半導體股份有限公司 像素值校正裝置與方法
CN108205812B (zh) * 2017-11-22 2021-12-17 广东工业大学 一种颜料色彩混合比例匹配的方法
CN108057645B (zh) * 2018-02-07 2024-01-23 合肥美亚光电技术股份有限公司 色选机的相机调准装置及其控制方法
US11373302B2 (en) 2020-05-01 2022-06-28 Adasky, Ltd. Thermal camera, and method thereof for early diagnosis of infectious diseases
US11920980B2 (en) * 2022-01-31 2024-03-05 Viavi Solutions Inc. Rolling principal component analysis for dynamic process monitoring and end point detection

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4663591A (en) * 1985-08-16 1987-05-05 General Electric Company Method for reducing image artifacts due to periodic signal variations in NMR imaging
US4808984A (en) * 1986-05-05 1989-02-28 Sony Corporation Gamma corrected anti-aliased graphic display apparatus
US5363318A (en) * 1992-03-23 1994-11-08 Eastman Kodak Company Method and apparatus for adaptive color characterization and calibration
US5568571A (en) * 1992-12-14 1996-10-22 University Microfilms, Inc. Image enhancement system
US5832140A (en) * 1993-12-14 1998-11-03 Staplevision Inc. Automated quality assurance image processing system
DE4343905C2 (de) * 1993-12-22 1996-02-15 Roland Man Druckmasch Verfahren zur Steuerung der Farbführung bei einer Druckmaschine
US5754309A (en) * 1995-06-06 1998-05-19 Apple Computer, Inc. Tone correction for multi-level halftoned images
JPH09203664A (ja) * 1996-01-25 1997-08-05 C G A Kk 色合い検査装置
US5767922A (en) * 1996-04-05 1998-06-16 Cornell Research Foundation, Inc. Apparatus and process for detecting scene breaks in a sequence of video frames
JP2834437B2 (ja) * 1996-09-09 1998-12-09 学校法人 文教大学学園 表色系変換方法
US6208753B1 (en) * 1998-02-27 2001-03-27 International Business Machines Corporation Quality of digitized images through post-scanning reregistration of their color planes
JP2923894B1 (ja) 1998-03-31 1999-07-26 日本電気株式会社 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体
JP3492202B2 (ja) * 1998-06-24 2004-02-03 キヤノン株式会社 画像処理方法、装置および記録媒体
US6654493B1 (en) * 1998-11-13 2003-11-25 Lightsurf Technologies, Inc. Charactering and calibrating an image capture device
US6825884B1 (en) * 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
US6437823B1 (en) * 1999-04-30 2002-08-20 Microsoft Corporation Method and system for calibrating digital cameras
US20020122589A1 (en) 1999-11-29 2002-09-05 Donald M. Reiman Constructing profiles to compensate for non-linearities in image capture
US6686921B1 (en) * 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
DE10101890A1 (de) 2001-01-16 2002-08-01 Deutsches Krebsforsch HPV-spezifische Peptide, die die Bindung von HPV an die Wirtszelle blockieren
US6639594B2 (en) * 2001-06-03 2003-10-28 Microsoft Corporation View-dependent image synthesis
CN1184796C (zh) * 2001-07-26 2005-01-12 佳能株式会社 图象处理方法和设备以及图象处理系统
US7065236B2 (en) * 2001-09-19 2006-06-20 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
JP4013699B2 (ja) 2002-08-20 2007-11-28 松下電器産業株式会社 画像処理装置および画像処理方法
EP2280376B1 (en) * 2002-02-12 2015-10-28 Panasonic Intellectual Property Corporation of America Image processing apparatus and image processing method
US20040066388A1 (en) * 2002-07-16 2004-04-08 Leather Mark M. Method and apparatus for improved transform functions for non gamma corrected graphics systems
US7663640B2 (en) * 2003-07-02 2010-02-16 The Trustees Of Columbia University In The City Of New York Methods and systems for compensating an image projected onto a surface having spatially varying photometric properties

Also Published As

Publication number Publication date
DE602005004693T2 (de) 2009-02-12
DE602005004693D1 (de) 2008-03-27
US20090080772A1 (en) 2009-03-26
CN1674636A (zh) 2005-09-28
US7986830B2 (en) 2011-07-26
US7463769B2 (en) 2008-12-09
EP1600893A2 (en) 2005-11-30
KR101183343B1 (ko) 2012-09-14
KR20060044605A (ko) 2006-05-16
ATE386313T1 (de) 2008-03-15
US7450754B2 (en) 2008-11-11
EP1600893A3 (en) 2006-07-19
EP1600893B1 (en) 2008-02-13
US20060008141A1 (en) 2006-01-12
JP2005292132A (ja) 2005-10-20
US20050213813A1 (en) 2005-09-29
CN100429924C (zh) 2008-10-29

Similar Documents

Publication Publication Date Title
JP4750443B2 (ja) 単一のイメージからのラジオメトリック較正
US9299004B2 (en) Image foreground detection
US9330334B2 (en) Iterative saliency map estimation
US10019823B2 (en) Combined composition and change-based models for image cropping
KR101330361B1 (ko) 입력 이미지 내의 비네팅을 보정하는 컴퓨터 구현 프로세스
EP2879080B1 (en) Image processing device and method, and computer readable medium
JP2012032370A (ja) 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体
US9609180B2 (en) Radiometric calibration from noise distributions
US8774519B2 (en) Landmark detection in digital images
US6934421B2 (en) Calculating noise from multiple digital images having a common noise source
Takamatsu et al. Estimating camera response functions using probabilistic intensity similarity
Frigo et al. Motion driven tonal stabilization
US8903124B2 (en) Object learning method, object tracking method using the same, and object learning and tracking system
US20170104976A1 (en) Multi-Image Color Refinement with Application to Disparity Estimation
AU2018202801A1 (en) Method, apparatus and system for producing a foreground map
EP3225024A1 (en) Method and system for determining parameters of an image processing pipeline of a digital camera
Zou et al. Statistical analysis of signal-dependent noise: application in blind localization of image splicing forgery
JP4568692B2 (ja) 画像補正システム、画像補正方法およびこの方法のプログラム
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
Wang et al. Color-constant information embedding
US8433144B2 (en) Systems and methods for detecting red-eye artifacts
JP2002312787A (ja) 画像処理装置および画像処理方法、記録媒体、並びにプログラム
JP5739790B2 (ja) 色計算装置、色計算方法及びプログラム
JP2019008841A (ja) シーン推定装置及び方法、コンピュータプログラム並びに記録媒体
JP2010128540A (ja) 有色物体同定装置、有色物体同定方法および有色物体同定プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110513

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110519

R150 Certificate of patent or registration of utility model

Ref document number: 4750443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees