JP4378810B2 - 測色変換係数算出方法と測色的撮像方法、および測色変換係数算出装置と測色的撮像装置、並びに測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体 - Google Patents
測色変換係数算出方法と測色的撮像方法、および測色変換係数算出装置と測色的撮像装置、並びに測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体 Download PDFInfo
- Publication number
- JP4378810B2 JP4378810B2 JP29704499A JP29704499A JP4378810B2 JP 4378810 B2 JP4378810 B2 JP 4378810B2 JP 29704499 A JP29704499 A JP 29704499A JP 29704499 A JP29704499 A JP 29704499A JP 4378810 B2 JP4378810 B2 JP 4378810B2
- Authority
- JP
- Japan
- Prior art keywords
- colorimetric
- spectral
- illumination light
- image data
- imaging system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
- Spectrometry And Color Measurement (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、空間内の特定の位置に配した同一平面上の複数の色票をデジタルスチルカメラやデジタルビデオカメラなどのカメラで撮影することによって得られた画像から、その位置を照射する照明光の分光特性を算出し、画像を測色的に得る測色撮影装置に関する。推定された照明光の分光特性を用いた変換により、例えば、撮影した画像から空間の測色値を求めたり、撮影系の撮像特性固有でない測色的に定義された空間の画像を蓄積したり、同一の照明下で撮影したシーンや被写体の画像データの色や明るさを補正するカラー画像処理や、環境照明の分析を行う環境調査など好適に利用可能である。
【0002】
【従来の技術】
従来、撮影系により撮影した空間の画像データは、撮影系固有の特性によって記述されるのが一般的である。また、これらの画像データを測色画像データに変換する方法は、およそ以下のような状況であった。
【0003】
(a)ICCのデバイスの色特性記述ファイルを用いて、撮影系固有の画像データを測色画像データに変換する。尚、ICCとは所謂”International Color Consorthium”の略称である。
(b)また、現実のシーンを撮影した画像の色を、光源の影響を考慮して自動的に演算補正する自動色補正装置。
【0004】
しかしながら、前記(a)や(b)の方法には、それぞれ以下の問題点を有していた。
【0005】
(a)ICCのデバイスの色特性記述ファイルでは、撮影される光源毎にそれら特性記述ファイルを必要とし、照明の条件毎に全ての特性記述ファイルを準備する必要があった。また、このような「色の補正」の為には、シーンがどのような種類の光源で照らされていたかが重要な情報である。撮影されてある画像だけからではそのような情報が得られない為に、一般には、画像補正を行う者が必要なその情報(そのシーンがどのような種類の光源で照らされていたかを示す情報)を測定機等を用いて撮影条件毎に得なければならない必要があった。
また、光源の分光特性を得る場合には、一般的に、これ専用の測定機器を利用しようとする場合は、機器が高額であること、重い事、大きい事、測定に要する時間が長くかかる事、あるいは測定データを処理する装置との間にインターフェイスを必要とする事、といった諸問題があった。また、これらと撮像系とを一体化させることを考慮した場合は、その価格が高額になること、また重量が重くなること、サイズが大きくなること、そして需要が乏しいこと(市場規模が小さいこと)、などの観点から普通はけっして合理的な事ではなかった。
【0006】
また、(b)の色補正装置は、光源の影響を考慮した色補正のための情報を人間が入力することなく行うために、画像から照明光源の種類を自動的に精度良く判別する手段は存在していなかった。
【0007】
【発明が解決しようとする課題】
本発明は前記従来の技術がもつ問題点に鑑みなされたものであって、光源の分光特性測定の為の専用の機器を必要とすること無く、撮像系を利用することによって、低コストで簡便・迅速にしかも精度よく光源の特性を推定することが出来、その推定結果を利用して、撮像系の各特性に影響を受けない色としての測色画像データを、撮影された画像データから求めることを可能とするのに好適な手段として、撮影された画像データから測色画像データへ変換するための測色変換係数の算出や、その測色変換係数算出を用いて測色的データを得る測色的撮像の為の、測色変換係数算出方法や測色的撮像方法、そして測色変換係数算出装置や測色的撮像装置、並びにそれに好適な測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体を提供することを目的とする。
【0008】
【課題を解決するための手段】
前記課題を解決するために本発明が提供する手段は、まず請求項1の発明にあっては、
分光反射率が異なる複数の色票を同一の面上に配した標準板を、分光特性を求めたい照明光が照射する空間内の所望する位置に設置し、該標準板の複数の色票を撮像系により撮像した画像データを用いて、該標準板を照射する照明光の分光特性を最適化法を用いて推定し、推定した分光特性と撮像系の分光感度特性とを用いて、撮像系により撮像した空間の画像データを、撮像した空間の測色値へと変換する変換係数を求める測色変換係数算出方法であって、
(イ) 前記標準板上の各色票に対応する撮像応答値を前記画像データから抽出し、抽出した全ての撮像応答値rijを列成分とする応答値ベクトルrを作成して目的変数とする目的変数作成ステップ;
(ロ) 前記目的変数作成ステップの前後いずれかの順序で行うか、あるいは該目的変数作成ステップと並行して行い、前記照明光の分光特性を複数の色票から得られる撮像応答値rijの数nより小さい次数dで表現するための基底関数bk(λ)を列の成分とするd列の基底関数行列Bと、前記標準板上の異なる複数の色票の分光反射率sj(λ)および前記撮像系の分光感度特性ci(λ)の各波長の成分における積を成分とする行列との積として説明変数行列Tを作成する説明変数行列作成ステップ;
(ハ) 前記応答値ベクトルrを目的変数とし、前記説明変数行列Tと、照明光分光特性を基底関数の線形結合で表すための重みベクトルwとの積で表し、最適化法を施すことにより最適な重みベクトルwを算出する分析ステップ;
(チ) 前記(ロ)の説明変数行列作成ステップ及び前記(ハ)の分析ステップに対して、それの前後いずれかの順序で行なうかあるいはそれと並行して行い、照明光の種類を判別し、判別された種類の照明光がもつ分光特性を特定の次元で表現するための、照明光の種類に対応した基底関数を選択する基底関数選択ステップ;
そして、(ニ) 前記最適な重みベクトルwと、照明光の種類に対応した基底関数行列Bの積から前記標準板を照射する照明光の分光特性eを算出する変換ステップ;によって前記照明光の分光特性を推定し、
次いで、
(ホ) 前記照明光の分光特性eと、前記撮像系の分光感度特性ci(λ)から第二の説明変数を作成する第二の説明変数作成ステップ;
(ヘ) 前記第二の説明変数作成ステップの前後いずれかの順序で行うか、あるいは該第二の説明変数作成ステップと並行して行い、前記照明光の分光特性eと人の視感度特性Ch(λ)から第二の目的変数を作成する第二の目的変数作成ステップ;
(ト) 前記第二の目的変数と第二の説明変数とを用いて最適化法を施すことにより、撮像応答値を測色値表現する測色変換行列Mを得る測色値表現分析ステップ;
前記(イ)〜(ハ)、(チ)、及び(ニ)〜(ト)のステップを行なうこと、
を特徴とする測色変換係数算出方法である。
【0009】
尚、標準板の分光反射率が異なる複数の色票を配した前記の面は、好ましくは平面である。但し、本発明の目的にある分光特性の推定に関わる精度上、特に問題に成らない程度であれば、必ずしも平面でなくても良い(一部に又は全部に曲面部が存在しても良い)。
また、その面の一部に又は全部に曲面部が存在したとしても、本発明に関わる推定方法のステップの途中か/又は最後で、または推定装置の撮像手段、解析手段、設定手段、あるいはその他に別途付加する手段で、前記の面が平面ではない為に生じる誤差を補正する為のステップ(又は機能)を備えることにより、本発明を好適に適応可能となる。しかしその場合でも、本発明に関わる照明光の分光特性推定方法あるいは分光特性推定装置を適用して実際に具現化したソフトウェアやハードウェアの開発コスト、開発に要する期間、あるいはソフトウェアやハードウェアの製品としての価格などを考慮すると、前記の標準板の分光反射率が異なる複数の色票を配した前記の面は、やはり平面であることの方が経済性の良さや市場競争力の強さをよりいっそう得やすい等の理由からより好ましい。
【0011】
また、請求項2に記載の発明にあっては、分光反射率が異なる複数の色票を同一の面上に配した標準板を、分光特性を求めたい照明光が照射する空間内の所望する位置に設置し、該標準板の複数の色票を撮像系により撮像した画像データを用いて、該標準板を照射する照明光の分光特性を推定し、推定した分光特性と撮像系の分光感度特性とを用いて、撮像系により撮像した空間の画像データを、撮像した空間の測色値へと変換する変換係数を求め、該変換係数を用いて撮像系により撮影された空間の画像データを、測色画像データへ変換する測色的撮像方法であって、
請求項1に記載の測色変換係数算出方法によって得られた変換係数を取得したうえ、
(リ) 前記第二の最適解から、前記撮像系により撮像した画像データを測色画像データへ変換する変換ステップ; のステップを行なうこと、
を特徴とする測色的撮像方法である。
【0012】
また、請求項3に記載の発明にあっては、空間内の所望する位置を照射する照明光の分光特性を推定し、該空間の照明下で撮影された撮像系固有の画像データを、測色値に基づくデータへ変換する係数を算出する測色変換係数算出装置であって、
(ヌ) 分光反射率が異なる複数の色票を同一の面上に配した標準板を前記所望の位置に設置した場合に、該標準板を撮像可能であり、その撮像系の入射光に対する分光感度特性が既知であり、且つ撮像された該複数の色票の画像データを記録可能である撮像手段;
(ル) 撮像された前記複数の色票の画像データから、前記照明光の分光特性の推定値を算出する解析手段;
(ヲ) 前記照明光の分光特性の推定値、撮像系の入射光に対する分光感度特性、および人の視感度特性を用いて、撮影された撮像系固有の前記画像データを測色画像データへ変換する係数を算出する変換係数算出手段;
以上の(ヌ)乃至(ヲ)を全て具備しており、
該(ル)解析手段は、請求項1に記載の測色変換係数算出方法の前記(イ)〜(ハ)、(チ)、及び(ニ)を利用し、
該(ヲ)変換係数算出手段は、請求項1に記載の測色変換係数算出方法の前記(ホ)〜(ト)を利用すること、
を特徴とする測色変換係数算出装置である。
【0014】
また、請求項4に記載の発明にあっては、
空間内の所望する位置を照射する照明光の分光特性を推定し、その空間の照明下で撮影された撮像系固有の画像データを測色に基づく値へ変換する変換係数を算出し、撮像された画像データを該変換係数を用いて変換する測色的撮像装置であって、
(ヌ) 分光反射率が異なる複数の色票を同一の面上に配した標準板を前記所望の位置に設置した場合に、該標準板を撮像可能であり、その撮像系の入射光に対する分光感度特性が既知であり、且つ撮像された該複数の色票の画像データを記録可能である撮像手段;
(ル) 撮像された前記複数の色票の画像データ、及び、照明光の種類を判別し該判別された種類の照明光がもつ分光特性を特定の次元で表現するために、照明光の種類に対応して選択した該基底関数を用いて、前記照明光の分光特性の推定値を算出する解析手段;
(ヲ) 前記照明光の分光特性の推定値、撮像系の入射光に対する分光感度特性、および人の視感度特性を用いて、撮影された撮像系固有の画像データを測色画像データへ変換する変換係数を算出する変換係数算出手段;
(ワ) 撮影された撮像系固有の画像データを前記変換係数を用いて測色画像データへ変換する画像変換処理手段;
以上の(ヌ)〜(ワ)を全て具備することを特徴とする測色的撮像装置である。
【0016】
また、請求項5に記載の発明にあっては、
分光反射率が異なる複数の色票を同一の面上に配した標準板を、分光特性を求めたい照明光が照射する空間内の所望する位置に設置し、該標準板の複数の色票を撮像系により撮像した画像データを用いて、該標準板を照射する照明光の分光特性を推定し、
推定した分光特性と撮像系の分光感度特性とを用いて、撮像系により撮像した空間の画像データを、撮像した空間の測色値へと変換する変換係数を求める測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、
(ツ) 前記標準板上の各色票に対応する撮像応答値を前記画像データから抽出し、抽出した全ての撮像応答値rijを列成分とする応答値ベクトルrを作成して目的変数とする目的変数ベクトル作成ステップ;
(ネ) 前記目的変数ベクトル作成ステップの前後いずれかの順序で行うか、あるいは該目的変数作成ステップと並行して行い、前記照明光の分光特性を複数の色票から得られる撮像応答値rijの数nより小さい次数dで表現するための基底関数bk(λ)を列の成分とするd列の基底関数行列Bと、前記標準板上の異なる複数の色票の分光反射率sj(λ)および前記撮像系の分光感度特性ci(λ)の各波長の成分における積を成分とする行列との積として説明変数行列Tを作成する説明変数行列作成ステップ;
(ナ) 前記目的変数ベクトルrを、前記説明変数行列Tと、照明光分光特性を基底関数の線形結合で表すための重みベクトルwとの積で表し、最適化法を施すことにより最適な重みベクトルwを算出する分析ステップ;
(チ) 前記(ネ)の説明変数行列作成ステップ及び前記(ナ)の分析ステップに対して、それの前後いずれかの順序で行なうかあるいはそれと並行して行い、照明光の種類を判別し、判別された種類の照明光がもつ分光特性を特定の次元で表現するための、照明光の種類に対応した基底関数を選択する基底関数選択ステップ;
そして、(ラ) 前記最適な重みベクトルwと、照明光の種類に対応した基底関数行列Bの積から前記標準板を照射する照明光の分光特性eを算出する変換ステップ;
によって前記照明光の分光特性を推定し、
次いで、
(ム) 前記照明光の分光特性eと、前記撮像系の分光感度特性ci(λ)から第二の説明変数を作成する第二の説明変数作成ステップ;
(ウ) 前記第二の説明変数作成ステップの前後いずれかの順序で行うか、あるいは該第二の説明変数作成ステップと並行して行い、前記照明光の分光特性eと人の視感度特性Ch(λ)から第二の目的変数を作成する第二の目的変数作成ステップ;
(エ) 前記第二の目的変数と第二の説明変数とを用いて最適化法を施すことにより、撮像応答値を測色値表現する変換行列Mを得る測色値表現分析ステップ;
以上の(ツ)〜(エ)、乃び(ネ)のステップを全て具備すること、
を特徴とする測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体である。
【0017】
<作用>
本発明によればまず、請求項1に示す測色変換係数算出方法、あるいは請求項3に示す測色変換係数算出装置によって、空間内の測定対象とする位置に標準板を設置し、空間内の測定点とする位置から撮像手段を用いて標準板を撮影することによって得られる画像データを、解析手段において、照明光の分光特性を特定の次元で表現するための基底関数と撮像手段の撮像特性データと標準板の各色票表面の分光反射率データとに基づいて解析することにより、空間内の測定対象とする位置の照明光の分光特性データを得、この照明光の分光特性と撮像系の分光感度特性から撮像系によって得られた画像データを測色画像データへ変換する変換係数を測色変換係数算出手段により算出しすることができる。
また、請求項2に示す測色撮像方法、請求項4に示す測色撮像装置によって、請求項1の撮影系の画像データを測色値へ変換する測色変換係数算出方法、あるいは請求項3に示す測色測色変換係数算出装置によって得られた、変換係数を用いて撮像系により撮影された画像データを測色画像データへ画像変換処理手段により変換することができる。この測色画像データは撮像系固有の特性によらず、色が定義されたデータとなり、測色的な取り扱いが可能となる。
【0018】
【発明の実施の形態】
<1.構成>
以下、本発明に関わる装置構成について例示し、図面を参照しつつより詳細に説明する。
【0019】
図1は本発明の一実施形態に係わる測色撮像装置の構成を示す説明図である。
同図において、1は標準板であり、空間内の測定対象位置に撮像手段の方向へ前記色票の面を向けて設置する。その表面上には、分光反射率がそれぞれ異なる(例えば)合計24個の色票を配列している。
尚、それぞれの色票の表面の反射特性は、拡散性が高く、同一色票内ではその拡散性及び反射率が実質一様であるように作成してある。
【0020】
また、2はデジタルスチルカメラ(以下では単にデジタルカメラと呼ぶ)である。ここでは、RGBの3チャンネルの光センサーが検出した電位信号を処理して、各画素のRGB階調値をカラー画像データとして画像ファイルに記録する撮像手段と、撮像手段の露光条件であるシャッタースピードと絞り値を制御して各露光条件を画像データと共に画像ファイルに記録する設定手段とを兼ね備えたデジタルカメラである。
【0021】
また、3は撮像手段で得られた標準板の画像ファイルを入力〜解析して、照明光の分光特性データとして、(例えば)波長域380〜780nmの範囲にわたり5nm間隔で合計81個分の分光分布のデータを出力する解析手段であり、計算機(コンピュータ)が用いられる。
【0022】
また、撮像された画像ファイルは3の計算機によって、撮像系固有の画像データから測色データへ変換される。
【0023】
<2.動作>
2−1.全体動作
以下、本発明に関わる測色撮像方法や測色撮像装置の一例について、図面を参照しつつ、全体の処理のステップあるいは全体の動作について説明する。
【0024】
図2は、本実施形態に係わる測色撮像装置を用いた全体の動作フローを示すブロック図である。
【0025】
(ブロック図のs1)
ユーザが、標準板1を測定対象位置に設置し、デジタルカメラ2をデジタルカメラ2の撮像範囲内で標準板1が適切な大きさに撮像されるような測定位置に設置し、標準板1の法線方向とデジタルカメラ2の撮像系の光軸とが一致するように標準板1とデジタルカメラ2の方向を調整する。
【0026】
(ブロック図のs2)
ユーザが、標準板1の表面から反射する光がデジタルカメラ2の適性露光範囲に収まるようにデジタルカメラ2の露光条件であるシャッタースピードと絞り値を設定する。
【0027】
(ブロック図のs3)
ユーザが、デジタルカメラ2のシャッターを切り、デジタルカメラ2が、撮像を行い、画像データと露光条件を画像ファイルに記録する。また、同様の手順により同一照明下で撮影の本来の目的となる空間を撮影し、画像ファイルに記憶する。
【0028】
(ブロック図のs4)
ユーザが、デジタルカメラ2に記録された画像ファイルを計算機3へ入力する。
【0029】
(ブロック図のs5)
ユーザが、計算機3のモニターへ標準板1を含む画像ファイル中の画像データを表示させ、観察して、画像内の標準板1が占めている位置を指定する。
【0030】
(ブロック図のs6)
計算機3は、照明光の分光分布を特定の次元で表現するための基底関数と、デジタルカメラ2の撮像特性データ(階調特性、分光感度特性、適正応答範囲)と、標準板1の各色票面の分光反射率データとに基づいて、画像ファイル内に記録された標準板の画像データと、画像ファイル内に記録された標準板撮像時のデジタルカメラ2の露光条件とに対応して解析処理を施し、標準板1を照射した照明光の分光分布データを出力する。その後、この照明光の分光分布データと、予め得て計算機内に記憶させておいたデジタルカメラ2の分光感度特性を記述したデータから解析処理を施し、デジタルカメラ2で得た画像データを測色データへ変換する測色変換係数を算出する。
【0031】
(ブロック図のs7)
計算機3が、解析処理で計算された測色変換係数に基づき、s 4で入力したデジタルカメラ2からの画像ファイルの画像データを測色データへ変換する。
【0032】
尚、上記s1〜s7は、部分的に又は全体的に、ユーザー(人間)の作業によるのではなく、自動で処理することも可能である。省力化や迅速化の為には一般にその方が好ましい。また、s 4では一度に撮影した画像データ全てを計算機3に入力したが、s 4では測色変換係数を得るための標準板1を撮影した画像データのみを入力し、s 7の段階で残る撮影した画像データ全てを計算機3に入力してもよい。
【0033】
2−2.解析処理
以下、本発明に関わる測色撮像方法あるいは測色撮像装置の一例について、デジタルカメラ2に固有な画像データから測色画像データへ変換する係数を算出する解析処理について、図3のフローチャートに基づいて説明する。
【0034】
(フローチャートのs8)
デジタルカメラで標準板を含むシーンを撮影した画像データが記載されたファイルを、通信線で接続されたデジタルカメラから入力し、計算機3へ記録する。
【0035】
(フローチャートのs9)
標準板の画像データをモニターへ表示し、撮影された画像内の標準板の位置をユーザに指定させ、この指定位置より特定される各色票内の中心付近の一定領域の画素について(例えば)3 チャンネル(R,G,B)それぞれの平均値を計算し、(例えば)24個の色票に対応した階調値;
gRj ,gGj ,gBj
から成る、例えば合計72個の階調値データを得る。ここで添字jは色票番号である。
尚、チャンネルは前記(R,G,B)の3チャンネルが最も一般的である。
【0036】
(フローチャートのs10)
全色票に対応した(例えば)3×24個の階調値データから、あらかじめ記録してあるデジタルカメラ2の適正応答範囲内にないデータn0 個を除き、全部でn個〔=(72−n0 )個〕の階調値データを得る。
【0037】
(フローチャートのs11)
デジタルカメラ2への入射光のエネルギー量とデジタルカメラ2が出力する階調値との非線形な関係を関数F(x)としてあらかじめ記録した階調特性データによって、n個の階調値データを、エネルギー量に線形で0〜1に標準化された線形階調値データ;
【0038】
【数1】
【0039】
(ここで i:チャンネル(R,G,B), j:色票番号 )
へ変換する。
【0040】
(フローチャートのs12)
標準板を撮影した際にデジタルカメラで設定した露光条件であるシャッタースピード(t)と絞り値(f)とを、画像データが記録されたファイルから読み込み、n個の線形階調値データをこれらの露光条件によりシャッタースピード1あたりかつ絞り値1あたりの階調値に標準化し、応答値データ
【0041】
【数2】
【0042】
とし、これらをn次元の1列の応答値ベクトル
【0043】
【数3】
【0044】
で表す。
【0045】
(フローチャートのs13)
あらかじめ記録してある、デジタルカメラ2の入射光の分光エネルギー(例えば)波長域380〜780nmの範囲で5nm間隔に対する応答値の関係を記述した3チャンネルそれぞれの分光感度特性データ;
ci (λ)
と、標準板上の全色票の分光反射率をやはり380〜780nmの範囲で5nm間隔で記述した24個の分光反射率データ;
sj (λ)
と、照明光の分光分布をd次元で表現するためのd個の基底関数;
bk (λ)
とから、n行×d列の説明変数行列;
【0046】
【数4】
【0047】
を次のように作成する。
【0048】
【数5】
【0049】
【数6】
【0050】
λ: 波長(λ1,λ2,λ3,‥‥,λ81)
B: 各列が基底関数bk(λ)を示す基底関数行列(81行×d列)
【0051】
(フローチャートのs14)
照明の分光分布をd個の基底関数;
bk (λ)
の線形結合で表すためのd個の重み係数から成る重みベクトルを
【0052】
【数7】
【0053】
とすると、応答値ベクトル;
【0054】
【数8】
【0055】
は、
【0056】
【数9】
【0057】
と表わすことができることから、説明変数;
【0058】
【数10】
【0059】
に対して、応答値ベクトル;
【0060】
【数11】
【0061】
を目的変数とした線形重回帰分析を施し、得られた偏回帰係数を重みベクトル
【0062】
【数12】
【0063】
とする。
但し、照明の分光分布を基底関数の線形結合で表すための次数dは、適正応答範囲内の応答値の数nより小さくなければならない。
【0064】
(フローチャートのs 15)
d個の基底関数を収めた基底関数行列;
【0065】
【数13】
【0066】
とd次元の重みベクトル
【0067】
【数14】
【0068】
とにより、
【0069】
【数15】
【0070】
を計算し、未知であった照明光の分光分布データを、380〜780nmの範囲の5nm間隔で合計81個の分光分布の推定値を収めたベクトル
【0071】
【数16】
【0072】
として得る。
【0073】
(フローチャートのs16)
波長域380〜780nmの範囲で5nm間隔で記述したCIE1931の2°視野の標準観測者の等色関数;
【0074】
【数17】
【0075】
から等色関数行列;
【0076】
【数18】
【0077】
を次のように作成する。
【0078】
【数19】
【0079】
(フローチャートのs17)
デジタルカメラ2の分光感度特性データ;
Ci (λ)
からカメラ分光感度行列;
【0080】
【数20】
【0081】
を次のように作成する。
【0082】
【数21】
【0083】
(フローチャートのs18)
また、3×3の重み係数からなる重みベクトルを
【0084】
【数22】
【0085】
とすると、デジタルカメラ2の分光感度特性と推定された照明の分光特性と標準観測者の等色関数の関係は、
【0086】
【数23】
【0087】
と、表わすことができるから、等色関数行列と推定された照明の分光特性を収めた行列から、
【0088】
【数24】
【0089】
を第二の目的変数行列として作成する。
【0090】
(フローチャートのs19)
デジタルカメラ2の分光感度特性を収めた行列と推定された照明の分光特性を収めた行列から第二の説明変数行列である
【0091】
【数25】
【0092】
を作成する。
【0093】
(フローチャートのs20)
線形重回帰分析を施し、3×3の重み係数からなる測色変換行列
【0094】
【数26】
【0095】
を得る。
【0096】
2−3.画像変換処理
以下、本発明に関わる測色撮像方法あるいは測色撮像装置の一例について、解析処理で計算された測色変換係数である3×3の重み係数からなる測色変換行列、
【0097】
【数27】
【0098】
を用い、デジタルカメラ2からの画像ファイルの画像データを測色データへ変換する画像変換処理について図4のフローチャートに基づいて説明する。
【0099】
(フローチャートのs21)
デジタルカメラ2からの画像ファイルの3チャンネル(R,G,B)の画像データを、
【0100】
【数28】
【0101】
(ここで、o:画素番号)
とすると、入射光のエネルギー量とデジタルカメラ2の出力階調値の関係を記述した関数F(x)を用い、画像データを、エネルギー量に線形で0〜1に標準化された線形画像データ;
【0102】
【数29】
【0103】
(ここで i:チャンネル(R,G,B), o:画素番号 )
へ変換する。
【0104】
(フローチャートのs22)
測色変換係数を記述した測色変換行列
【0105】
【数30】
【0106】
を用いて、線形画像データを測色データ;
【0107】
【数31】
【0108】
を得る。
【0109】
<3.変形例>
以上本発明に関わる推定方法及び推定装置について例を挙げてその実施形態を説明したが、それ以外にも例えば次のような変形例も考えられる。
【0110】
(a)解析手段が出力する照明光の分光特性データとしては、分光分布データである必要はなく、分光特性に対応するその他の値もしくは分光分布データから計算される値でも好ましい。
(b)解析手段において、標準板を撮影した際の露光条件を使用しなくても、照明光の相対的な分光特性を解析し、出力することも好ましい。
【0111】
(c)色票によっては撮像応答値が撮像系の適正な応答範囲にない場合があるが、同一の撮像手段によって異なる露光条件で撮像した異なる撮像応答値を解析手段で適切に利用することも好ましい。
(d)標準板上の色票の数、照明の分光分布を基底関数で表すための次数、扱う全ての分光データの波長範囲、扱う全ての分光データの波長間隔などは固定ではなく、適正な推定精度を得られる範囲内であれば、必要に応じて選択することも好ましい。
(e)標準板上の色票の分光反射率の組み合わせは、用途や目的に応じて推定精度を高めるために最適化することも好ましい。
【0112】
(f)固定した露光条件により撮像する場合には、解析手段において露光条件による標準化の補正を、敢えて施さないことも好ましい。
【0113】
(g)解析手段において、露光条件による標準化の補正は、撮像応答値ではなく説明変数の方に施すことも好ましい。
(h)解析手段において、CIE1931の2°視野標準観測者の等色関数の代わりに、CIE1964の10°視野補助標準観測者の等色関数を用いることも好ましい。
(i)標準板の画像データには撮像系のノイズ成分が含まれている。その為、解析手段の中に、色票部をサンプリングした後の各種分析値から又は画像データから、ノイズ成分を除去(若しくは低減)する処理を組み込んでおくことも好ましい。
【0114】
(j)解析手段において、入力する露光条件は、画像データを含むファイルから入力するのではなく、デジタルカメラから露光条件を直接入力するとか、あるいはユーザが入力する、という事も好ましい。
(k)解析手段において、使用する標準板の指定位置の情報をユーザが入力する事を必要とせず、画像データを自動的に分析し標準板の指定位置を検出する処理を行なうよう機能を解析手段の中へ組み込むことも好ましい。
(l)解析手段は、必ずしも電子計算機(コンピュータ)を用意しなくても、独立した専用の装置を設けたり、あるいはマイコンをデジタルカメラの中に撮像系と一体で組み込んでおくことも好ましい。
【0115】
(m)画像変換手段は、必ずしも解析手段に用いた電子計算機(コンピュータ)によって行なう必要はなく、この画像変換は別の計算機によって行なっても良いし、これら変換機能を独立した専用の装置を設けたり、デジタルカメラの中に撮像系と一体で組み込んでおくことも好ましい。
【0116】
(n)撮像系は、必ずしもデジタルスチルカメラではなくてもよく、例えばデジタルビデオカメラか又はフィルム撮影用カメラと、イメージスキャナとを組み合わせて利用するなど、画像データを取得できる技術であるならばデジタルスチルカメラ以外の機器を利用することも好ましい。
【0117】
(o)設定手段として挙げた前記の例は、撮像手段と一体となったデジタルカメラであるが、必ずしも設定手段が撮像手段と一体に組み立てられている必要はなく、撮像手段以外の部分、例えば電子計算機に装備されていることも好ましい。
【0118】
(p)前記の例では、回帰分析としては線形な重回帰分析を挙げているが、例えば、照明光の分光特性が基底ベクトルと非線形な関係にある場合や、解析手段において画像のデータに線形化をほどこさない場合などには、適宜、非線形な回帰分析を行うことが好ましい場合もある。
(q)本実施例において行う回帰分析では、標準板上の各色票に対する撮像系の各チャンネルの応答値の重みを一様に扱っているが、例えば、撮像系の特定の応答値が照明光の分光特性と相関が低いような場合には、標準板上の色票や撮像系のチャンネルによって異なる重みを置いた回帰分析を行うことも好ましい。
【0119】
(r)照明光の分光特性を特定の次元で表現するための基底関数については、解析手段が、異なる複数の光源の種類毎にそれぞれ異なる基底関数を保持しておき、推定誤差などを利用して光源の種類を適切に選択する機能も備えておくことによって、その選択結果に対応した、より適切な基底関数を用いて照明光の分光特性を推定できるようにすることも好ましい。
【0120】
(s)上記変形例(r)に示した「光源の種類を適切に選択する機能」を備えておく場合、解析手段が出力する照明光の分光特性データとしては、「光源の種類を適切に選択する機能」が同定する光源の種類であってもよい。
【0121】
【発明の効果】
以上説明したように、本発明によれば、空間内の測定対象とする位置に標準板を設置し、空間内の測定点とする位置から撮像手段を用いて標準板を撮影することによって得られる画像を、照明光の分光特性を特定の次元で表現するための基底関数,撮像手段の撮像特性データ,及び標準板の各色票表面の分光反射率データ、に基づいて解析することにより、空間内の測定対象とする位置の照明光の分光特性を推定し、撮像手段を用いて得られた画像データを測色データへ変換できる測色変換係数を算出し、前記の画像データを測色データへ変換できる。これによって前記のような専用の照明光の分光特性測定機器を敢えて用いることも無く、撮像で得られた画像データを測色データへ変換する方法および装置を提供することが出来た。
【図面の簡単な説明】
【図1】本発明に関わる測色撮像装置の一例について、その概略構成を模式的に示す説明図。
【図2】本発明に関わる測色撮像装置の一例について、その全体の動作を説明するフローチャート。
【図3】本発明に関わる測色撮像装置の一例について、解析手段が行う処理を説明するフローチャート。
【図4】本発明に関わる測色撮像装置の一例について、画像変換処理手段が行う処理を説明するフローチャート。
【符号の説明】
1・・・標準板
2・・・撮像手段(デジタルカメラ)
3・・・解析手段(電子計算機)
Claims (5)
- 分光反射率が異なる複数の色票を同一の面上に配した標準板を、分光特性を求めたい照明光が照射する空間内の所望する位置に設置し、該標準板の複数の色票を撮像系により撮像した画像データを用いて、該標準板を照射する照明光の分光特性を最適化法を用いて推定し、推定した分光特性と撮像系の分光感度特性とを用いて、撮像系により撮像した空間の画像データを、撮像した空間の測色値へと変換する変換係数を求める測色変換係数算出方法であって、
(イ) 前記標準板上の各色票に対応する撮像応答値を前記画像データから抽出し、抽出した全ての撮像応答値rijを列成分とする応答値ベクトルrを作成して目的変数とする目的変数作成ステップ;
(ロ) 前記目的変数作成ステップの前後いずれかの順序で行うか、あるいは該目的変数作成ステップと並行して行い、前記照明光の分光特性を複数の色票から得られる撮像応答値rijの数nより小さい次数dで表現するための基底関数bk(λ)を列の成分とするd列の基底関数行列Bと、前記標準板上の異なる複数の色票の分光反射率sj(λ)および前記撮像系の分光感度特性ci(λ)の各波長の成分における積を成分とする行列との積として説明変数行列Tを作成する説明変数行列作成ステップ;
(ハ) 前記応答値ベクトルrを目的変数とし、前記説明変数行列Tと、照明光分光特性を基底関数の線形結合で表すための重みベクトルwとの積で表し、最適化法を施すことにより最適な重みベクトルwを算出する分析ステップ;
(チ) 前記(ロ)の説明変数行列作成ステップ及び前記(ハ)の分析ステップに対して、それの前後いずれかの順序で行なうかあるいはそれと並行して行い、照明光の種類を判別し、判別された種類の照明光がもつ分光特性を特定の次元で表現するための、照明光の種類に対応した基底関数を選択する基底関数選択ステップ;
そして、(ニ) 前記最適な重みベクトルwと、照明光の種類に対応した基底関数行列Bの積から前記標準板を照射する照明光の分光特性eを算出する変換ステップ;によって前記照明光の分光特性を推定し、
次いで、
(ホ) 前記照明光の分光特性eと、前記撮像系の分光感度特性ci(λ)から第二の説明変数を作成する第二の説明変数作成ステップ;
(ヘ) 前記第二の説明変数作成ステップの前後いずれかの順序で行うか、あるいは該第二の説明変数作成ステップと並行して行い、前記照明光の分光特性eと人の視感度特性Ch(λ)から第二の目的変数を作成する第二の目的変数作成ステップ;
(ト) 前記第二の目的変数と第二の説明変数とを用いて最適化法を施すことにより、撮像応答値を測色値表現する測色変換行列Mを得る測色値表現分析ステップ;
前記(イ)〜(ハ)、(チ)、及び(ニ)〜(ト)のステップを行なうこと、
を特徴とする測色変換係数算出方法。 - 分光反射率が異なる複数の色票を同一の面上に配した標準板を、分光特性を求めたい照明光が照射する空間内の所望する位置に設置し、該標準板の複数の色票を撮像系により撮像した画像データを用いて、該標準板を照射する照明光の分光特性を推定し、推定した分光特性と撮像系の分光感度特性とを用いて、撮像系により撮像した空間の画像データを、撮像した空間の測色値へと変換する変換係数を求め、該変換係数を用いて撮像系により撮影された空間の画像データを、測色画像データへ変換する測色的撮像方法であって、
請求項1に記載の測色変換係数算出方法によって得られた変換係数を取得したうえ、
(リ) 前記第二の最適解から、前記撮像系により撮像した画像データを測色画像データへ変換する変換ステップ; のステップを行なうこと、
を特徴とする測色的撮像方法。 - 空間内の所望する位置を照射する照明光の分光特性を推定し、該空間の照明下で撮影された撮像系固有の画像データを、測色値に基づくデータへ変換する係数を算出する測色変換係数算出装置であって、
(ヌ) 分光反射率が異なる複数の色票を同一の面上に配した標準板を前記所望の位置に設置した場合に、該標準板を撮像可能であり、その撮像系の入射光に対する分光感度特性が既知であり、且つ撮像された該複数の色票の画像データを記録可能である撮像手段;
(ル) 撮像された前記複数の色票の画像データから、前記照明光の分光特性の推定値を算出する解析手段;
(ヲ) 前記照明光の分光特性の推定値、撮像系の入射光に対する分光感度特性、および人の視感度特性を用いて、撮影された撮像系固有の前記画像データを測色画像データへ変換する係数を算出する変換係数算出手段;
以上の(ヌ)乃至(ヲ)を全て具備しており、
該(ル)解析手段は、請求項1に記載の測色変換係数算出方法の前記(イ)〜(ハ)、(チ)、及び(ニ)を利用し、
該(ヲ)変換係数算出手段は、請求項1に記載の測色変換係数算出方法の前記(ホ)〜(ト)を利用すること、
を特徴とする測色変換係数算出装置。 - 空間内の所望する位置を照射する照明光の分光特性を推定し、その空間の照明下で撮影された撮像系固有の画像データを測色に基づく値へ変換する変換係数を算出し、撮像された画像データを該変換係数を用いて変換する測色的撮像装置であって、
(ヌ) 分光反射率が異なる複数の色票を同一の面上に配した標準板を前記所望の位置に設置した場合に、該標準板を撮像可能であり、その撮像系の入射光に対する分光感度特性が既知であり、且つ撮像された該複数の色票の画像データを記録可能である撮像手段;
(ル) 撮像された前記複数の色票の画像データ、及び、照明光の種類を判別し該判別された種類の照明光がもつ分光特性を特定の次元で表現するために、照明光の種類に対応して選択した基底関数を用いて、前記照明光の分光特性の推定値を算出する解析手段;
(ヲ) 前記照明光の分光特性の推定値、撮像系の入射光に対する分光感度特性、および人の視感度特性を用いて、撮影された撮像系固有の画像データを測色画像データへ変換する変換係数を算出する変換係数算出手段;
(ワ) 撮影された撮像系固有の画像データを前記変換係数を用いて測色画像データへ変換する画像変換処理手段;
以上の(ヌ)〜(ワ)を全て具備することを特徴とする測色的撮像装置。 - 分光反射率が異なる複数の色票を同一の面上に配した標準板を、分光特性を求めたい照明光が照射する空間内の所望する位置に設置し、該標準板の複数の色票を撮像系により撮像した画像データを用いて、該標準板を照射する照明光の分光特性を推定し、
推定した分光特性と撮像系の分光感度特性とを用いて、撮像系により撮像した空間の画像データを、撮像した空間の測色値へと変換する変換係数を求める測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、
(ツ) 前記標準板上の各色票に対応する撮像応答値を前記画像データから抽出し、抽出した全ての撮像応答値rijを列成分とする応答値ベクトルrを作成して目的変数とする目的変数ベクトル作成ステップ;
(ネ) 前記目的変数ベクトル作成ステップの前後いずれかの順序で行うか、あるいは該目的変数作成ステップと並行して行い、前記照明光の分光特性を複数の色票から得られる撮像応答値rijの数nより小さい次数dで表現するための基底関数bk(λ)を列の成分とするd列の基底関数行列Bと、前記標準板上の異なる複数の色票の分光反射率sj(λ)および前記撮像系の分光感度特性ci(λ)の各波長の成分における積を成分とする行列との積として説明変数行列Tを作成する説明変数行列作成ステップ;
(ナ) 前記目的変数ベクトルrを、前記説明変数行列Tと、照明光分光特性を基底関数の線形結合で表すための重みベクトルwとの積で表し、最適化法を施すことにより最適な重みベクトルwを算出する分析ステップ;
(チ) 前記(ネ)の説明変数行列作成ステップ及び前記(ナ)の分析ステップに対して、それの前後いずれかの順序で行なうかあるいはそれと並行して行い、照明光の種類を判別し、判別された種類の照明光がもつ分光特性を特定の次元で表現するための、照明光の種類に対応した基底関数を選択する基底関数選択ステップ;
そして、(ラ) 前記最適な重みベクトルwと、照明光の種類に対応した基底関数行列Bの積から前記標準板を照射する照明光の分光特性eを算出する変換ステップ;
によって前記照明光の分光特性を推定し、
次いで、
(ム) 前記照明光の分光特性eと、前記撮像系の分光感度特性ci(λ)から第二の説明変数を作成する第二の説明変数作成ステップ;
(ウ) 前記第二の説明変数作成ステップの前後いずれかの順序で行うか、あるいは該第二の説明変数作成ステップと並行して行い、前記照明光の分光特性eと人の視感度特性Ch(λ)から第二の目的変数を作成する第二の目的変数作成ステップ;
(エ) 前記第二の目的変数と第二の説明変数とを用いて最適化法を施すことにより、撮像応答値を測色値表現する変換行列Mを得る測色値表現分析ステップ;
以上の(ツ)〜(エ)、乃び(ネ)のステップを全て具備すること、
を特徴とする測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29704499A JP4378810B2 (ja) | 1999-10-19 | 1999-10-19 | 測色変換係数算出方法と測色的撮像方法、および測色変換係数算出装置と測色的撮像装置、並びに測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29704499A JP4378810B2 (ja) | 1999-10-19 | 1999-10-19 | 測色変換係数算出方法と測色的撮像方法、および測色変換係数算出装置と測色的撮像装置、並びに測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001116620A JP2001116620A (ja) | 2001-04-27 |
JP4378810B2 true JP4378810B2 (ja) | 2009-12-09 |
Family
ID=17841498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29704499A Expired - Lifetime JP4378810B2 (ja) | 1999-10-19 | 1999-10-19 | 測色変換係数算出方法と測色的撮像方法、および測色変換係数算出装置と測色的撮像装置、並びに測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4378810B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001186540A (ja) * | 1999-12-27 | 2001-07-06 | Toppan Printing Co Ltd | 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003198860A (ja) | 2001-10-18 | 2003-07-11 | Seiko Epson Corp | 色変換方法、色変換装置、色変換行列生成方法および色変換行列生成プログラム |
JP4541737B2 (ja) * | 2004-03-23 | 2010-09-08 | キヤノン株式会社 | ストロボ装置及び撮像装置及びその補正値算出方法及びプログラム |
JP4715288B2 (ja) * | 2004-08-23 | 2011-07-06 | 凸版印刷株式会社 | 分光反射率候補算出方法、色変換方法、分光反射率候補算出装置、色変換装置、分光反射率候補算出プログラム、色変換プログラム |
JP5196840B2 (ja) * | 2007-04-26 | 2013-05-15 | キヤノン株式会社 | 情報処理装置および方法 |
JP5518167B2 (ja) * | 2012-12-11 | 2014-06-11 | キヤノン株式会社 | 情報処理装置および方法 |
-
1999
- 1999-10-19 JP JP29704499A patent/JP4378810B2/ja not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001186540A (ja) * | 1999-12-27 | 2001-07-06 | Toppan Printing Co Ltd | 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体 |
JP4529210B2 (ja) * | 1999-12-27 | 2010-08-25 | 凸版印刷株式会社 | 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2001116620A (ja) | 2001-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3767541B2 (ja) | 光源推定装置、光源推定方法、撮像装置および画像処理方法 | |
JP4478358B2 (ja) | ディジタル画像の輝度調整のためのディジタル画像処理方法及び装置 | |
CN102046062B (zh) | 信号处理系统和信号处理方法 | |
US20090128649A1 (en) | Reflectance Spectra Estimation and Colour Space Conversion Using Reference Reflectance Spectra | |
US8160331B2 (en) | Image processing apparatus and computer program product | |
US20050231740A1 (en) | Image input system, conversion matrix calculating method, and computer software product | |
JP4715288B2 (ja) | 分光反射率候補算出方法、色変換方法、分光反射率候補算出装置、色変換装置、分光反射率候補算出プログラム、色変換プログラム | |
KR20170100717A (ko) | 분광반사율 추정을 이용한 피부 분석 장치 및 방법 | |
JP4798354B2 (ja) | 分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラム | |
JP4415446B2 (ja) | 測色画像変換方法及び測色画像変換装置並びに測色画像変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
JP4378810B2 (ja) | 測色変換係数算出方法と測色的撮像方法、および測色変換係数算出装置と測色的撮像装置、並びに測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
JP2001311666A (ja) | 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
JP4957411B2 (ja) | 分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラム | |
JP4529210B2 (ja) | 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
JP4692190B2 (ja) | 分光反射率推定方法、分光反射率推定装置、ならびに分光反射率推定プログラム | |
JP3780750B2 (ja) | 測色的色表現方法と測色的色表現装置ならびに測色的色表現プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
JP2006067423A (ja) | 画像品質定量評価方法及びその装置 | |
JP3577977B2 (ja) | 照明光分光特性推定装置 | |
US20040174433A1 (en) | Image processing apparatus | |
JP4349568B2 (ja) | 物体認識装置、物体認識方法、プログラム及び記録媒体 | |
JP3783446B2 (ja) | 照明光の分光特性推定方法及び分光特性推定装置、並びに分光特性推定プログラムを記録した情報記録媒体 | |
JP5120936B2 (ja) | 画像処理装置および画像処理方法 | |
JP2002350355A (ja) | 光沢ムラ評価装置、光沢ムラ評価方法及び該方法を実行するためのプログラムを格納したコンピュータ読み取り可能な記憶媒体 | |
JP2009182845A (ja) | 画像処理装置および画像処理方法 | |
JP2001208609A (ja) | 測色的色表現方法と測色的色表現装置、並びに測色的色表現プログラムを記録したコンピュータ読み取り可能な情報記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060919 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080814 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090907 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |