JP5150096B2 - 画像出力装置の性能を制御するための方法、および画像に基づくカラーキャリブレーションのためのシステム - Google Patents

画像出力装置の性能を制御するための方法、および画像に基づくカラーキャリブレーションのためのシステム Download PDF

Info

Publication number
JP5150096B2
JP5150096B2 JP2006343628A JP2006343628A JP5150096B2 JP 5150096 B2 JP5150096 B2 JP 5150096B2 JP 2006343628 A JP2006343628 A JP 2006343628A JP 2006343628 A JP2006343628 A JP 2006343628A JP 5150096 B2 JP5150096 B2 JP 5150096B2
Authority
JP
Japan
Prior art keywords
color
image
output device
printed
eigenfunctions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006343628A
Other languages
English (en)
Other versions
JP2007171967A (ja
Inventor
ファン ジガン
ケー. メスサ ラリット
ロン ワン ヤオ
ワン シェン−ゲ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JP2007171967A publication Critical patent/JP2007171967A/ja
Application granted granted Critical
Publication of JP5150096B2 publication Critical patent/JP5150096B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • H04N1/6036Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis involving periodic tests or tests during use of the machine
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • H04N1/6047Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis wherein the test pattern is part of an arbitrary user image

Description

開示されたシステムおよび方法は、画像に基づく効率的なカラーキャリブレーションおよび、色の一貫性の向上、より詳しくは、印刷中に行われる連続あるいは動的キャリブレーションの使用および、ページ毎での調整の可能化を対象としている。
多くのビジネス用途において、カラー文書はコミュニケーションの要素として必要不可欠となっている。カラーであることは、知識および思想の共有を容易にする。カラー出力装置の開発に携わる企業は、こうした装置の総合画質を向上させる方法を追求し続けている。画質の知覚に影響を及ぼす点は、プリンタによる画像の質が、文書毎、日毎、週毎等で一貫して生成できるかどうかである。ユーザは、高画質のカラーおよびグレースケール出力を生成するプリンタや複写機に慣れている。ユーザはさらに、組織内の別の装置や、家庭あるいはその他の場所での装置を含む、互換性のある任意の出力装置で、一貫した画質のカラー画像が再生できることを期待している。従って、印刷色が予測可能であり一貫性を持つよう効率的に維持されるという商業上の必要性が残っている。
米国特許第6,975,949号(L.K.メスサら、「全幅アレイ走査分光光度計」(FULL WIDTH ARRAY SCANNING SPECTROPHOTOMETER by L.K.Mestha et al.))は、ページ全体を検知するための全幅アレイ(FWA)分光光度計の使用を扱っている。
同様に、米国特許出願第10/248,387号(L.K.メスサら、「空間色プロファイルを求め、マーキングシステムを較正するためのシステムおよび方法」(SYSTEMS AND METHODS FOR OBTAINING A SPATIAL COLOR PROFILE,AND CALIBRATING A MARKING SYSTEM,by Mestha et al.)、2003年1月15日出願、第2004/0136013A1号として公開)は、多数のパッチを含み、そのうちのいくつかはグレーの階調再現曲線(TRC)を得るために、低速走査方向(y方向)に沿って並んで配置されている、特別に設計されたテストパターンを利用する手法を示している。
カラー印刷の顧客は、自らの文書(画像)をカラーで正確に再現することを要求するのみならず、経時変化しない出力を要求する。経時的な色の一貫性は、多くの場合キャリブレーションにより実現あるいは維持できる。既存のプリンタキャリブレーション方法のほとんどは、テンプレートに基づいている。つまりこの方法では、プリンタがテストテンプレート一式を印刷する必要があるということである。実際の出力がその後、キャリブレーション処理を動作させる誤差信号を発生させるよう、測定され、所望の出力と比較される。テンプレートに基づく手法は、本来、一般的に「オフライン」で、「不連続」である。従って、このような手法は、通常の印刷処理を停止させることを必要とする。このことは、短時間運転であれば特に支障をきたすものではないかもしれないが、キャリブレーションが印刷ジョブの間に予定されているような場合、印刷ジョブがキャリブレーションのために長時間の中断する必要が生じると、明らかに不便であり、効率に影響を及ぼす。また、オフラインキャリブレーションは「不連続」なイベントであり、キャリブレーションとキャリブレーションの間の期間に明らかな色の誤差が蓄積される場合、一般的に2つの連続したキャリブレーション間には大きな時間間隔があるということである。
米国特許第6,975,949号 米国特許公開第2004/0136013A1号 米国特許第6,384,918号 米国特許公開第2004/0165199号 米国特許第5,749,020号
本明細書に開示される発明は、顧客の(印刷ジョブ)画像を使用しながら、各ページに対して連続して実行されるオンライン方法のキャリブレーションにより、向上した色の一貫性を提供するシステムおよび方法である。開示される方法は、トレーニング段階およびキャリブレーション段階の少なくとも2つの段階を含んでいる。キャリブレーションは印刷中に連続して実行されるが、全体の色ずれが少数の固有関数の線形結合としてモデル化される先行するトレーニング段階はオフラインで実施される。その結果情報は、その後、ページ毎のあらゆる画像の色ずれを動的に制御するのに用いられる。
印刷テストテンプレートの代わりに、開示されるシステムおよび方法は、インラインセンサあるいは分光光度計(全幅/部分幅/低価格発光ダイオード(LCLED))が印刷システムの測定装置として使用される場合に、印刷された複数の画像ページからキャリブレーション情報を抽出する。キャリブレーション段階は、「リアルタイム」かつ「連続的」であり、印刷画像の付随パッチ領域から外れた色を直接用いることが可能である。また、印刷された画像の付随パッチ領域から測定結果が作成される場合に、システムの色の一貫性を高めるために採用される低ランク近似法も開示されている。開示された方法の効果は、とりわけ、顧客への利便性(キャリブレーションは、印刷処理に「埋め込まれ」ておりユーザに気付かれない)および、キャリブレーションの正確さ(どのような色ずれもタイムリーに補正し、色の変化を大幅に低減するよう、キャリブレーションが連続して実行される)が挙げられる。
テンプレートに基づくキャリブレーションと画像に基づく手法との主な相違点は、測定の数である。テンプレートに基づくキャリブレーションでは、必要な数のパッチを印刷でき、オフラインで測定されるので、測定点を完全に制御できる。テストテンプレートは、色空間のどの部分の誤差も確実に取り込み、測定できるよう綿密に設計されている。一方、画像に基づく方法では、キャリブレーション情報は、画像の各所にランダムに作成された測定点を有する顧客の印刷された画像から抽出される。従ってこれらの測定点は、画像に依存しており、このキャリブレーションシステムは、非常に制限された制御となる。画像に基づく手法における最大の課題は、印刷生成ジョブの実行中に不定期に発生する利用可能な限定された一連の測定結果から、色空間全体にわたって色の変化を導き出すことである。よって、開示されたシステムおよび方法は、中断なく(連続的に)使用できるカラー印刷エンジンを、インラインセンサを用いて効率的に較正するようにするものである。
本発明の一態様は、画像に基づく制御のための方法であって、全体の色ずれがモデルされるトレーニング処理と、印刷ジョブの完了中に連続して実行されるキャリブレーション処理と、を含む方法である。
また、本発明の他の態様は、画像出力装置の性能を制御するための方法であって、前記画像出力装置の変動をモデルによって特徴付けするステップと、前記画像出力装置の、現在の状況に関するデータを定期的に収集するステップと、前記画像出力装置に施される調整を決定するため、前記データを前記モデルに適用するステップと、を含む方法である。
本発明のさらに他の態様は、画像に基づくカラーキャリブレーションのためのシステムであって、前記システムに動作可能に接続するデジタルフロントエンドプロセッサにより処理されるような初期設定のデジタル画像データに応じて、印刷されたカラー文書をレンダリングするための画像出力装置と、前記画像出力装置の性能を特徴付ける情報を記憶するためのメモリと、前記印刷されたカラー文書に堆積した画像の色を検出し、前記色を表す出力を生成するのに適したカラーセンサと、前記色を表す前記出力を受信し、前記画像出力装置の前記性能を特徴付ける前記情報と併せて、前記印刷されたカラー文書のレンダリングにおいて続いて用いる修正設定を生成するためのキャリブレーションプロセッサと、を含むシステムである。
本システムおよび方法は、好適な実施形態に関連して記載されるが、当然のことながら、記載された実施形態の範囲を限定するものではない。むしろ、添付の特許請求の範囲の精神および範囲内に含んでもよいものとして、あらゆる代替手段、修正、および同等物を対象とすることを意図している。ここで図面を参照すると、各々の図は、印刷装置あるいは同様の出力装置を自動的に較正する方法および装置を示している。本開示では、レベル3やグレーバランスのキャリブレーション、あるいは4−4や3−4プロファイルのような多次元カラーマネージメントのルックアップテーブル(LUT)を作成するための処理を広く対象として「キャリブレーション」という用語を用いている。
開示されたシステムおよび方法は、キャリブレーションに手動操作やオペレータの関与を必要としない測色(例えば、印刷ジョブのシート)のために、カラープリンタの出力経路に、全幅アレイ(FWA)あるいは同様のページ走査機構とオンラインでの分光光度計測色システムとの組み合わせを採用している。画像に基づく制御システムは、印刷された画像のカラーパッチあるいは領域を検出し、測色し、十分に正確なレベルが得られるまで色変換テーブルおよび/または階調再現曲線を自動的に再調整することにより、原色の1つまたは複数に対する色変換テーブルおよび/または階調再現値を調整しようとするものである。キャリブレーションの後、制御システムは、通常の印刷経路で用いるための、調整した色変換テーブルおよび/または階調再現曲線(TRC)を返す。本処理は、システム管理者あるいは最小限の対話を行ったユーザにより許可される。
図1は、開示されたシステムおよび方法の実現可能な一実施形態であるXerox iGen3(商標)Digital Production Pressを示している。本実施形態では、プリンタあるいは同様の出力装置100は、デジタル画像データに応じて、印刷されたカラー文書を生成するのに適した電子写真印刷システムを提供する。プリンタ100は、プロセッサの制御下で動作し、さらに、印刷エンジン104に動作可能に接続する紙あるいは印刷可能な担体の供給源102、出力経路106、フィニッシャー108を含む。図示したように、印刷エンジン104は、複数の結像/現像サブシステム110を有する多色エンジンであり、サブシステム110は、後に画像を担体に転写するベルト114上に単色画像(例えば、CMYK)を生成するのに適している。
本プリンタは、現像されたカラー領域あるいはパッチの反射率を検出するための接続した反射スキャナ11を有するマーキング装置104、110を備える。一実施形態では、スキャナ11は、文書経路に設置した、オンライン全幅アレイスキャナであってもよい。あるいは、図1に示すように、スキャナ11は、トナーあるいは同様のマーキング材料のパッチが検出できる場所である感光体あるいは中間転写体に近接した走査アレイであってもよい。他の実施形態では、走査アレイ11を、融解したトナーあるいは同様のマーキング材料のパッチが検出できる出力経路106に設置してもよい。マーキング装置104は、さらに色検出装置12を備えているが、本システムおよび方法は、マーキング装置のみに制限されるものではなく、プリンタ、モニタ、あるいはその他の画像化装置のような任意の画像出力/表示システムに、開示されたシステムおよび方法の態様を採用してもよい。さらに当然のことながら、上述のセンサにより生成される信号は、ページ毎の方法で特徴付けられるが、異なるページのみならず、文書あるいは印刷されたページの異なる部分で実行される検出動作の結果であってもよい。
開示された実施形態では、色検出装置12は、分光光度計である。分光光度計は、画像の印刷された色を表す信号を含むスペクトル情報を提供し、好ましくはL*、a*、b*値、XYZ等、所望の色記述による値を含む。このような分光光度計の1つは、米国特許第6,384,918号(ハッブル3世ら、「変位の影響を受けない光学系を有するカラープリンタの色制御のための分光光度計」(Hubble,III et al. for a SPECTROPHOTOMETER FOR COLOR PRINTER COLOR CONTROL WITH DISPLACEMENT INSENSITIVE OPTICS))に開示されているものであってもよい。該分光光度計は、カラープリンタの出力経路で移動している印刷されたテストシート上のテストパッチのようなカラーのターゲット領域を非接触で測定するものである。テストパッチは、複数の異なる色の光を順次角度をつけて照射され、光検出器がそれに応じて電気信号を供給する。該分光光度計は、反射された照射光(複数の照射源は約10以上の個別のLEDを備える)を約1対1の倍率のレンズでテストパッチから光検出器に伝達するためのレンズシステムを備える。例示的な分光光度計は、標準の用紙搬送路のバッフル間隔内で可変的に動く、移動しているカラーターゲット領域の非接触の測色を実現する。
プリンタ100に接続したデジタルフロントエンド(DFE)は、プリンタでの画像のレンダリングを制御し、装置独立パラメータで規定されているような入力画像をプリンタによるレンダリングに合ったCMYK印刷パラメータに処理するための、従来の画像色分解経路を備える。例えば、装置独立空間(例えば、LAB)にある原画像をCMY空間に変換するのに、3次元(3−D)ルックアップテーブル(LUT)を用いてもよい。CMY空間は、下色除去/グレー成分置換により、CMYK空間に変換される。階調再現曲線(TRC)の線形化は、本開示の主題であるキャリブレーションおよび特徴付け処理を含んでいる。階調再現曲線から生じる特殊な線形化信号は、マーキング装置110で実際に印刷される前にハーフトーン画像に変換される。
開示された実施形態は、印刷された複数または各画像ページからのキャリブレーション情報を、印刷システム100にて測定装置として用いられているインラインセンサ11(全幅/部分幅/LCLED)で抽出するものである。本方法は、「リアルタイム」かつ「連続的」であり、画像から外れた色を直接用いることが可能である。以下に、画像における付随パッチ領域から測定結果が作成される場合に、システムの色の一貫性を高めるために一実施形態で採用している低ランク近似法を詳細に記載する。
当然のことながら、以下の処理の一部またはすべては、印刷システム100の1つまたは複数のプロセッサで動作するソフトウェアで実施してもよい。一実施形態では、プロセッサ100は、本明細書に記載の方法に従って、印刷システム(およびDFE)の動作を継続的に監視および調整する、専用のキャリブレーションプロセッサを有してもよい。このような技術の効果は、i)顧客への利便性(キャリブレーションは印刷処理に埋め込まれており、ユーザに気付かれず、通常の印刷処理が中断なく実行し続けられる)、およびii)キャリブレーションの正確さ(キャリブレーションは各ページに連続して実行され、どのような色ずれもタイムリーに補正する)である。
文書生成のための電子写真あるいは静電印刷システムに関して記載するが、記載した方法は、様々な種類の出力装置に適用できる。さらに、印刷処理に用いる担体の性質あるいは種類は、紙に限定されるものではなく、色制御が要求される写真材料、布地およびセラミックなどを含んでもよい。
全幅/部分幅/LCLEDスポット分光光度計が用いられている場合に、フィードフォワード手法で付随パッチ領域を抽出する方法についての詳細が、米国特許第6,975,949号(ラリット(以前はリンガッパ)K.メスサら、「全幅アレイ走査分光光度計」(“Full WIDTH ARRAY SCANNING SPECTROPHOTO
METER,”by Lalit (formerly Lingappa) K Me
stha,et al.)に開示されている。一実施形態では、色の一貫性およびあらゆるエッジの欠落を確実にするため、領域がローパスフィルタ処理(8×8画素領域)される。開示された分光光度計の特有の特徴は、複数回繰り返されるパターンにて複数の異なる色を発光する近接配置された複数のLED照射源を有する少なくとも1つの略線形の長形照射アレイを含む、印刷された印刷媒体シートの全幅走査カラー解析のための全幅アレイ分光光度計を提供することである。該分光光度計は、順次照射し、前記印刷媒体シートにわたって延出する横方向照射バンドから反射された光を受光するよう、プリンタ用紙経路を横方向にわたるように直線的に十分に延出している。
スキャナを用いるオフライン測定に関し、米国特許公開第2004/0165199号(R.ビクター・クラッセンら(R.Victor Klassen,et al.)(上述を参照))は、さらなる解析をするべき領域を決定し、その後、印刷された画像を走査した低解像度画像を用い、それによって各画素の色差を求めるよう、印刷されたページを解析する方法を示している。インラインセンサの測定は一般的に領域から得られるので、領域の画像色が上述のようにある程度の均一性を示す場合、非常にデータを解釈しやすくなる。測定結果は、強いエッジが存在する領域から得られる場合、破棄され、推定/キャリブレーションに用いられない。
プリンタの入出力間のマッピング関数(色補正関数)は、通常、非常に複雑でモデル化が困難なので、キャリブレーション処理の間にプリンタを正確に特徴付けるには、多くの場合、何百あるいは何千もの測定を必要とする。しかしながら、最近の研究で、色補正関数そのものとは異なり、ずれによって生じる関数の増分は、非常になだらかで概してうまく機能することが明らかになっている。また、米国特許第5,749,020号(L.K.メスサら、「基底関数による階調再現曲線の座標系化」(L.K.Mestha et al.,for “COORDINITIZATION OF THE TONE R
EPRODUCTION CURVE IN TERMS OF BASIS FUNCTIONS”))は、少数の固有関数でのTRCの近似を提案している。シミュレーショ
ンの結果、後述のように、各TRCは電子写真に対して、一般的にせいぜい3つの固有関数で正確にうまくモデルできることを示している。当然のことながら、特異値分析(SVD)、主成分分析(PCA)、離散コサイン変換(DCT)、フーリエやウェーブレットを含む、様々な種類の固有関数が採用可能である。プリンタの色ずれの挙動を特定するには、合計約12のパラメータで十分である。これらのパラメータは、その後、リアルタイムでの色補正更新のために、1から5(以下)回の同数の測定を必要とする。理想的には、本システムおよび方法は、パラメータ毎に1つの測定が必要である。しかしながら、測定結果が線形独立ではない可能性もあり、追加の測定を必要とする。
簡単に上述したように、図2を参照すると、本方法の一実施形態では、トレーニング段階210およびキャリブレーション段階220の2つの段階を有している。トレーニング段階210は、基底ベクトル212 V(n,i)を作成するのに必要である。予想されるずれ空間を網羅するよう基底ベクトルを特徴付けるために、制御された環境でずれを再現することが重要である。この方法で使用すると有利であることが明らかにされている基底ベクトルは、特異値分解(SVD)固有関数、主成分分析(PCA)固有関数、離散コサイン変換(DCT)ベクトル、フーリエベクトル、ウェーブレット、その他の基底ベクトルを含むことに注目されたい。
色ずれは、i)環境室にて印刷ジョブを実行することで、温度/湿度といった環境条件を変える、ii)公称の動作設定値から意図した境界に向かって色が変化するあるいは外れるよう、印刷システムのプロセス制御ターゲット(設定値)を操作する、という少なくとも2つの方法で作成することができる。制御された環境における設定値の変更は、実現しやすいと考えられる。設定値変更の例として、感光体の帯電、レーザ出力およびドナーバイアス電圧が、電子写真マーキングエンジンの各色分解に用いられる一般的な設定値である。当然のことながら、代替の設定値あるいは代替のマーキング技術を採用してもよく、これらにさらにトレーニング段階を適用してもよい。
設定値の候補となるリストの1つは、分解毎に9つの設定値を有しており、各設定値は、少なくとも3つのプロセスアクチュエータ(例えば、感光体の帯電、レーザ出力およびドナーバイアス電圧)の、最小値、公称値および最大値の組み合わせから得られる。色セットの候補となるリストおよび、そのインライン分光光度計での予想される測定結果は、ブラック(K)=0および、133のシアン(C)、マゼンタ(M)、イエロー(Y)の色と、それとは別に938のCM、MY、YC、CMK、MYK...CMYK等といった色の他の組み合わせを有する。従って、合計3135のあり得るCMYKの組み合わせをトレーニング段階に用いることが可能である。LCLEDインラインセンサを用いれば、1ページにつき11色が印刷されているとして、これらの色すべてを測定するには285ページかかる。その上、この処理は、設定値のどの部分リストも含んでいない。当然のことながら、田口式「実験計画法」を、オフライン実験の数を削減可能とする一法としてもよい。
最低でも、合計10,260ページの印刷になる、約36の実験が必要とされることが判明した。制御された、実験室のような環境であれば実行不可能ではないが、CMYKの色および設定値の組み合わせの数を厳選することにより、固有関数を特徴付けるためのデータ収集に要する実験時間は、さらに削減可能であることが判明した。
さらに具体的には、与えられた実験に対する3135色のL*、a*、b*値を表す各列で、列ベクトルを形成するとする。すると、各列の平均色ベクトルXmeanは、式1で与えられる。
Figure 0005150096
Pは、各実験の3135色のL*、a*、b*値で構成されている各列に対して平均値を除去して得た行列とする。従って、Pは、3135×3行、36列のL*、a*、b*値の差分行列となる。すると、固有関数は以下の式で求められる。
Figure 0005150096
式2において、行列Uは、列がベクトルV(n,i)(n=1,2,3...,36)で記述された固有関数で構成されている。固有関数V(n,i)は、パラメータ「i」で表された入力色に対するn番目の固有関数の要素である。行列Σは、対角行列であり、階数順の固有値の二乗で構成されている。Σ行列の固有値に基づき、ベクトルV(n,i)に必要な固有関数の総数を決定することが可能となる。
上述のように、トレーニング段階210は、オフラインで実行されると考えられる。トレーニング段階210の間に、色ずれ空間の固有関数が測定データから作成される。さらに具体的には、固有関数の値は、印刷動作中にカラーシステムを制御するのに用いるためのシステムメモリに記憶される。
一実施形態では、全体の色ずれは、少数の固有関数の線形結合としてモデルされている。具体的には、与えられた入力色iに対する、k番目の印刷における出力の色ずれベクトルΔo(k,i)およびk番目の印刷において推定される色x(k,i)は、式3、式4で与えられる。
Figure 0005150096
合計が固有関数(nでインデックスされる)全体にわたっている場合、V(n,i)は、入力色iに対するn番目の固有関数の要素である。係数α(k,n)は、k番目の印刷において推定されるモデルパラメータであり、係数eは、モデル化誤差および測定誤差である。トレーニングにおいて、固有関数の数および実際の形状が、予想されるずれ空間に対する特異値解析を用いて実験的に決定される。ずれ空間は、一般的に、画像出力端末あるいはプリンタが動作すると予想される範囲内にある。従って、ずれ空間が既知であり、その上下限がプロセス設定値の変更により制御された環境において再現可能であると見なすことは、非現実的ではない。
印刷システムに応じて、入出力で表されるシステムを用いて、入力i、ずれΔo、および出力xは、適切な色空間で表される。例えば、センサが分光光度計である場合、出力は、例えば反射スペクトル/L***といった装置独立空間にあり、入力画素がCMYK空間で記述されている場合、入力画素に対して求められる。このようなシステムに対しては、iはCMYK空間で表され、Δoおよびxは、反射スペクトル/L***で表される。ベクトルx(k,i)は、測定量の集まりであり、k番目の印刷におけるセンサからの反射スペクトル/L***である。ベクトルxmean(i)は、測定量の平均値を表し、オフライン実験でのV(n,i)の特徴付けの間に求められる反射スペクトル/L***である。分光光度計センサが装置独立の測定結果をCMYK値に変換する変換ルックアップテーブルを有する場合、印刷システムを、対応するCMYK入力に対してCMYK出力をするシステムと見なすこともできる。その場合、ベクトルx(k,i)は、測定量の集まりであり、センサからの出力CMYK値である。ベクトルxmean(i)は、測定量の平均値であり、オフライン実験でのV(n,i)の特徴付けの間に求められるCMYK値となる。
図2のキャリブレーション段階220は、印刷処理中に実行される。1ページ印刷されると、その出力は、インラインカラーセンサ一式で測定される。測定は、ページの小さくてもかなりの分割部分あるいは帯状部分を対象とすることで十分である可能性もあるが、全幅アレイが用いられている場合には、ページ全体から好適にサンプルされる。センサから得られる測定データは、所望の出力と比較される。その差異が、モデルパラメータの推定に用いられる。式4は、典型的な直線回帰モデルであり、α(k,n)は、最小二乗法あるいは制御資料(例えば、L.ユング、「システム同定 ユーザのための理論」、プレンティスホール社、ニュージャージー、1987年(L. Ljung,“Systen
Udebtufucatuibm Theory for User”,Prenti
ce−Hall,Inc.,NJ 1987))に示されたシステム同定法を使用することによって容易に推定されることに注目されたい。付随の測定結果を用いてモデルパラメータが決定されると、色空間全体に対する色ずれが以下の式で予測可能となる。
Figure 0005150096
上付き文字*は、色空間の異なる領域において推定/補間された量を意味し、オフライン実験でのV(n,i)の特徴付けの間に用いられる以外の領域で得られるルックアップテーブル(LUT)分解能によって決まる。情報はその後、予め作成されたプロファイルLUT(L***−>CMYK)の更新に用いられる。これらのLUTは、後に続くページの印刷が準備される際、別のこうした更新が要求されるまで、ずれを補正するための色テーブルの調整に適用される。式5〜6は、TRCおよび色変換行列のような、他の色変換モデルおよび/またはパラメータの更新の作成にも用いることが可能である。特に記載しないが、キャリブレーション処理は機械制御パラメータの設定あるいは調整を対象とすることも可能である。
図3も参照すると、キャリブレーション段階220に関わるいくつかのステップを説明するフローチャートの例が示されている。具体的には、310で、TRC230を表すLUTの値が初期化され、システムメモリ(例えば、RAM)に記憶され、312に表すようにページの印刷あるいはレンダリングに用いられる。上述のように、出力ページは、ステップ314で前述のセンサを用いて測定される。測定ステップの結果は、その後、(おそらく一時的にメモリに記憶され)プロセッサに進み、プロセッサは測定結果を採用し、予め特徴付けられた固有関数を用いてαを推定し(ステップ316)、Δo*およびx*を予測する(ステップ318)。固有関数を用いて決定された、予測されたずれに基づいて、ルックアップテーブルは、その後、320で調整される。当然のことながら、図3に示した方法は、ステップ320の前に、予測されたずれが調整を必要とするレベルであるかどうかを決定するための、1つまたは複数の閾値あるいは他のテストを採用してもよい。つまり、プロセス制御の観点から、システムの調整は、ずれが前のレベルから許容値あるいは許容範囲を超える場合にのみ行うようにしてもよい。
本明細書に開示されたシステムは、固有関数の線形結合としてモデルされているが、本明細書に提示された記述は、他のモデル化方法を排除するものではない。例えば、さらにΔo(i)も多項式関数で表してもよい。多項式係数、従ってΔo*(i)は、測定サンプルから推定することも可能である。
キャリブレーション段階に関して採用される概略のステップを記載したので、次に、ずれベクトルΔo*を用いてLUTの色調整を算出する方法を説明した実施例に注目されたい。具体的には、実施例でL***からCMYKへのプロファイルLUTを調整する方法を記載する。
nの種々の値に対する固有関数および、CMYK(プリンタへの入力)−>L***(センサ出力)とCMYK(プリンタへの入力)−>CMYK(センサ出力)の色空間の組み合わせが、メモリ(図2の210)にて利用でき、対応する係数α(k,n)が画像データを用いてリアルタイムに求められるので、式5〜6は、容易に算出可能であり、補正空間でのずれベクトルが求められる。例えば、L***からCMYKへのLUTを調整するため、CMYK−>CMYK空間の固有関数で算出されるΔo*(i)を必要とする。簡単にするため、これをΔo*(i)=ΔoCMYKとする。sをL***−>CMYKのLUTの出力値とする。テーブルのすべてのエントリに対して色ずれを補正するため、CMYK値sはs−ΔoCMYK(s)に修正される。
この調整の方法は、以下のように証明される。色値sが印刷エンジンに送られるとすると、理想的な出力は、oCMYK(s)=sとなる。しかし、色ずれがあるので、実際の出力は、o’CMYK(s)=oCMYK(s)+ΔoCMYK(s)となる。ずれが小さい(例えばΔE10未満)と仮定し、色値sが、s−ΔoCMYK(s)に修正されると、出力結果は、o’CMYK[s−ΔoCMYK(s)]=oCMYK[s−ΔoCMYK(s)]+ΔoCMYK[s−ΔoCMYK(s)]となる。oCMYK[s−ΔoCMYK(s)]=s−ΔoCMYK(s)であり、ΔoCMYK[s−ΔoCMYK(s)]は ΔoCMYK(s)で近似(二次誤差は無視)されることに注目すれば、o’CMYK[s−ΔoCMYK(s)]≒s−ΔoCMYK(s)+ΔoCMYK(s)=sが得られる。よって、出力のずれが補正される。
上述のように、本システムおよび方法は、画像の付随テストパッチ領域からの情報を用いた色補正LUTの構築および更新(印刷動作中に動的に)を可能にする。開示された実施形態は、ランクを落としたプリンタで、例えばプロセス設定値調整のようなオフラインずれテストにて演繹的に求められた固有/基底関数を用いる、低ランク近似法を採用している。さらに、開示された方法は、色空間の特定の点/領域を表すテストパッチの使用を必要としない。むしろ、固有関数を用いる効果として、色空間の任意の場所に位置付けられた付随パッチに対して測定を行うことが可能となる。従って、開示された方法は、印刷エンジンのキャリブレーションの維持に必要とする測定の数を削減し、LUTに必要な更新を算出するために任意の付随パッチ領域を効率的に使用することを可能とする。
一般的な意味では、本方法は、固有関数によるプリンタずれ空間の簡単な分解および、印刷が連続して実行されている間の色制御のための該分解の効率的な使用を採用している。インラインカラーセンサ(例えば、スポット、部分、全幅)は、最高速度および連続現場測定用に開発されているので、開示された方法およびシステムは、ますます有用となる。その結果、印刷ジョブの連続実行中にすべてのページに対して色の一貫性を維持するための色制御において、ずれ空間を特徴付けるための固有/基底関数の適用がより多用されるようになる。このような基本的なレベルにおいてこのような基底関数を使用することで、本明細書に明示していないさらなるプロセス制御も可能となる。
インライン全幅アレイスキャナおよび分光光度計を有する、開示されたシステムおよび方法の例示的な機械的実施形態の図である。 本明細書の実施形態で開示された方法の態様を示す概略のフローチャートである。 図2に示すキャリブレーション段階の詳細を示すフローチャートである。

Claims (2)

  1. 画像出力装置の性能を制御するための方法であって、
    前記画像出力装置の変動を、特異値分(SVD)固有関数、または、主成分分析(PCA)固有関数からなる複数の固有関数により各々が表される複数の階調再現曲線の近似法でありかつ2次誤差を無視した近似法を採用する色ずれモデルによって、特徴付けするステップと、
    画像が印刷される付随パッチ領域から出力画像の印刷中に収集されたデータでありかつ前記画像出力装置の現在の状況に関しかつセンサを用いて前記画像出力装置によって生成されかつ印刷された出力から測定された反射スペクトルを含むデータを定期的に収集するステップと、
    前記画像出力装置に施される調整を決定するため、前記データを前記色ずれモデルに適用するステップと、
    を含む方法。
  2. 画像に基づくカラーキャリブレーションのためのシステムであって、
    前記システムに動作可能に接続するデジタルフロントエンドプロセッサにより処理される初期設定のデジタル画像データに応じて、印刷されたカラー文書をレンダリングするための画像出力装置と、
    複数の固有関数を記憶すると共に、特異値分(SVD)固有関数、または、主成分分析(PCA)固有関数からなる当該複数の固有関数により各々が表される複数の階調再現曲線の近似法でありかつ2次誤差を無視した近似法を採用する色ずれモデルに関して前記画像出力装置の性能を特徴付ける情報を記憶するためのメモリと、
    画像が印刷される付随パッチ領域から出力画像の印刷中に前記印刷されたカラー文書に形成した画像の色の反射スペクトルを検出し、前記反射スペクトルを表す出力を生成するのに適したカラーセンサと、
    前記色を表す前記出力を受信し、各々が前記複数の固有関数により表される複数の階調再現曲線の近似法を採用する色ずれモデルに関して、前記画像出力装置の前記性能を特徴付け、前記印刷されたカラー文書のレンダリングにおいて続いて用いる修正設定を生成するためのキャリブレーションプロセッサと、
    を含むシステム。
JP2006343628A 2005-12-21 2006-12-20 画像出力装置の性能を制御するための方法、および画像に基づくカラーキャリブレーションのためのシステム Expired - Fee Related JP5150096B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/314104 2005-12-21
US11/314,104 US7800779B2 (en) 2005-12-21 2005-12-21 System and method for image based control using inline sensors

Publications (2)

Publication Number Publication Date
JP2007171967A JP2007171967A (ja) 2007-07-05
JP5150096B2 true JP5150096B2 (ja) 2013-02-20

Family

ID=38173097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006343628A Expired - Fee Related JP5150096B2 (ja) 2005-12-21 2006-12-20 画像出力装置の性能を制御するための方法、および画像に基づくカラーキャリブレーションのためのシステム

Country Status (2)

Country Link
US (1) US7800779B2 (ja)
JP (1) JP5150096B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10812685B2 (en) 2018-02-26 2020-10-20 Ricoh Company, Ltd. Color tone control device and image forming apparatus

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7589846B2 (en) * 2004-06-30 2009-09-15 Ricoh Company, Ltd. Method and apparatus for image forming capable of effectively correcting alignment errors of elementary color outputs to be superposed into an image
US8699103B2 (en) * 2005-06-15 2014-04-15 Xerox Corporation System and method for dynamically generated uniform color objects
US7800779B2 (en) 2005-12-21 2010-09-21 Xerox Corporation System and method for image based control using inline sensors
US7835043B2 (en) * 2006-09-06 2010-11-16 Hewlett-Packard Development Company, L.P. Imaging device and calibration method therefor
US7969624B2 (en) * 2006-12-11 2011-06-28 Xerox Corporation Method and system for identifying optimal media for calibration and control
US8264704B2 (en) * 2007-08-29 2012-09-11 Xerox Corporation Method of automatically controlling print quality in digital printing
US7880928B2 (en) * 2007-12-21 2011-02-01 Xerox Corporation Color image process controls methods and systems
JP2009274273A (ja) * 2008-05-13 2009-11-26 Canon Inc 画像処理装置、画像処理方法、およびプログラム
US7773222B2 (en) * 2008-05-27 2010-08-10 Xerox Corporation UV enhanced full width array scanning spectrophotometer
US8705119B2 (en) 2008-08-19 2014-04-22 Xerox Corporation Applications, systems and methods for identifying and monitoring critical colors in customer print jobs
US7961321B2 (en) * 2008-08-19 2011-06-14 Xerox Corporation Applications, systems and methods for identifying and monitoring critical colors in a print job and using an embedded color sensing device to measure critical color test patterns inserted in the print job
US8374398B2 (en) * 2008-10-14 2013-02-12 Bell and Howell, LLC. Linear image lift array for transported material
US8139857B2 (en) * 2009-03-18 2012-03-20 Xerox Corporation Local regression methods and systems for image processing systems
JP2011077844A (ja) * 2009-09-30 2011-04-14 Seiko Epson Corp 印刷装置およびキャリブレーション方法
US8358839B2 (en) * 2009-11-30 2013-01-22 Xerox Corporation Local regression methods and systems for image processing systems
EP2528738B1 (en) * 2010-04-07 2019-06-05 Hewlett-Packard Development Company, L.P. Color printing system calibration
JP2012070360A (ja) * 2010-08-26 2012-04-05 Ricoh Co Ltd 制御装置、画像形成装置、及び制御方法
JP2012122968A (ja) * 2010-12-10 2012-06-28 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP5618211B2 (ja) * 2011-02-09 2014-11-05 株式会社リコー 制御装置、画像形成装置、及び制御方法
CN103380402B (zh) 2011-02-28 2016-08-10 惠普发展公司,有限责任合伙企业 打印作业的方法、连续颜色校准方法、打印系统和包括该打印系统的电子照相数字印刷机
US8485655B2 (en) 2011-04-06 2013-07-16 Hewlett-Packard Development Company, L.P. Inkjet-printing mechanism calibration
US8885219B2 (en) 2011-04-19 2014-11-11 Xerox Corporation Printing system color validation swatch methods and systems
US9124754B2 (en) * 2011-06-08 2015-09-01 Hewlett-Packard Indigo B.V. System and method for position calibration of a spot of an optical sensor
JP5578147B2 (ja) * 2011-08-11 2014-08-27 コニカミノルタ株式会社 印刷システム、印刷方法、および印刷プログラム
JP5794471B2 (ja) * 2011-08-19 2015-10-14 株式会社リコー 制御装置、画像形成装置、及び制御方法
US8928781B2 (en) * 2011-11-30 2015-01-06 Microsoft Corporation Response function determination by rank minimization
EP2836903A1 (en) 2012-04-12 2015-02-18 Hewlett-Packard Indigo B.V. Printing with target color data
CN102800055B (zh) * 2012-06-28 2015-04-08 西安电子科技大学 图像盲去模糊的低秩分解方法
WO2015014399A1 (en) 2013-07-31 2015-02-05 Hewlett-Packard Indigo B.V. Capturing image data of printer output
CN103578120B (zh) * 2013-11-11 2016-03-30 浙江大学 保持时序平稳与低秩结构特性的三维人体运动数据补全方法
JP6536013B2 (ja) * 2014-11-06 2019-07-03 株式会社リコー 画像形成システム
CN107211067B (zh) 2015-03-31 2020-11-24 惠普发展公司,有限责任合伙企业 校正扫描仪模块之间的色差
JP6194925B2 (ja) 2015-06-10 2017-09-13 コニカミノルタ株式会社 画像読取装置及び画像形成システム
US9955041B2 (en) 2015-06-12 2018-04-24 Xerox Corporation System and method for tone reproduction curve color resolution enhancement in a three-dimensional object printer
JP2017123588A (ja) * 2016-01-08 2017-07-13 富士ゼロックス株式会社 色処理装置、画像形成装置および画像形成システム
US10416601B2 (en) 2016-01-14 2019-09-17 Hp Indigo B.V. Adjusting imaging apparatuses
US9917985B2 (en) * 2016-04-29 2018-03-13 Konica Minolta Laboratory U.S.A., Inc. Method and system for checking color among a printer having an in-line sensor and printers without an in-line sensor
JP6680070B2 (ja) * 2016-05-12 2020-04-15 株式会社リコー 画像形成装置、画像形成ユニット、およびプログラム
JP6544332B2 (ja) 2016-10-04 2019-07-17 コニカミノルタ株式会社 画像形成装置及びプログラム
US11562137B2 (en) 2020-04-14 2023-01-24 Bank Of America Corporation System to correct model drift for natural language understanding

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6153868A (ja) * 1984-08-24 1986-03-17 Dainippon Screen Mfg Co Ltd 画像走査信号処理におけるキャリブレーション装置
US4839722A (en) * 1987-10-30 1989-06-13 Colorocs Corporation Method and apparatus for providing improved color correction in a subtrative color printing system
JPH0250859A (ja) * 1988-08-11 1990-02-20 Dainippon Screen Mfg Co Ltd 色分解条件設定方法および装置
US5212546A (en) * 1990-07-03 1993-05-18 Electronics For Imaging, Inc. Color correction system employing reference pictures
JP2534384B2 (ja) * 1990-09-21 1996-09-11 三田工業株式会社 画像形成装置のための自己診断システム
JPH0611937A (ja) * 1991-11-14 1994-01-21 Matsushita Electric Ind Co Ltd 画像濃度制御装置
US5448277A (en) * 1993-06-30 1995-09-05 Xerox Corporation Virtual process controls test pattern for electronic printers
DE4431270C2 (de) * 1993-10-21 1997-01-16 Roland Man Druckmasch Verfahren zur Steuerung der Farbführung einer autotypisch arbeitenden Druckmaschine
JP3039312B2 (ja) * 1994-09-13 2000-05-08 富士ゼロックス株式会社 画像形成装置
US5739927A (en) 1995-06-07 1998-04-14 Xerox Corporation Method for refining an existing printer calibration using a small number of measurements
JP3714701B2 (ja) * 1995-06-22 2005-11-09 富士写真フイルム株式会社 色変換方法
JP3186587B2 (ja) * 1995-11-20 2001-07-11 富士ゼロックス株式会社 画像形成装置
US6404920B1 (en) * 1996-09-09 2002-06-11 Hsu Shin-Yi System for generalizing objects and features in an image
US5749020A (en) * 1996-11-21 1998-05-05 Xerox Corporation Coordinitization of tone reproduction curve in terms of basis functions
US6178007B1 (en) 1997-01-21 2001-01-23 Xerox Corporation Method for continuous incremental color calibration for color document output terminals
US5903796A (en) * 1998-03-05 1999-05-11 Xerox Corporation P/R process control patch uniformity analyzer
US6088095A (en) * 1998-11-12 2000-07-11 Xerox Corporation Model-based spectral calibration of color scanners
US6744531B1 (en) * 1998-12-29 2004-06-01 Xerox Corporation Color adjustment apparatus and method
US6384918B1 (en) * 1999-11-24 2002-05-07 Xerox Corporation Spectrophotometer for color printer color control with displacement insensitive optics
US6538770B1 (en) * 1999-11-24 2003-03-25 Xerox Corporation Color printer color control system using dual mode banner color test sheets
US7307752B1 (en) * 2000-05-05 2007-12-11 Xerox Corporation On-line calibration system for a dynamically varying color marking device
US6621576B2 (en) * 2001-05-22 2003-09-16 Xerox Corporation Color imager bar based spectrophotometer for color printer color control system
JP4860854B2 (ja) * 2001-09-28 2012-01-25 キヤノン株式会社 カラー画像形成装置システム
US7267799B1 (en) * 2002-08-14 2007-09-11 Detekt Biomedical, L.L.C. Universal optical imaging and processing system
US7295340B2 (en) * 2003-01-15 2007-11-13 Xerox Corporation Systems and methods for obtaining a spatial color profile, and calibrating a marking system
US7375851B2 (en) * 2003-01-21 2008-05-20 Xerox Corporation State-space based modeling of pixel elements of a dynamically varying color marking device
US7315394B2 (en) * 2003-02-25 2008-01-01 Xerox Corporation Calibration method for an imaging device
US7295349B2 (en) * 2003-06-11 2007-11-13 Xerox Corporation Systems and methods for compensating for print defects
US7884964B2 (en) * 2003-08-05 2011-02-08 Xerox Corporation Methods and systems for controlling out-of-gamut memory and index colors
US7095531B2 (en) * 2003-11-06 2006-08-22 Xerox Corporation Systems and methods for compensating for streaks in images
US7383261B2 (en) * 2004-01-16 2008-06-03 Xerox Corporation Reference database and method for determining spectra using measurements from an LED color sensor, and method of generating a reference database
US6975949B2 (en) * 2004-04-27 2005-12-13 Xerox Corporation Full width array scanning spectrophotometer
US7376272B2 (en) * 2004-06-14 2008-05-20 Xerox Corporation Method for image segmentation to identify regions with constant foreground color
US7333208B2 (en) * 2004-12-20 2008-02-19 Xerox Corporation Full width array mechanically tunable spectrophotometer
US7505173B2 (en) * 2005-06-15 2009-03-17 Xerox Corporation System and method for spatial gray balance calibration using hybrid sensing systems
US7800779B2 (en) 2005-12-21 2010-09-21 Xerox Corporation System and method for image based control using inline sensors
US7633647B2 (en) * 2006-08-09 2009-12-15 Xerox Corporation Method for spatial color calibration using hybrid sensing systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10812685B2 (en) 2018-02-26 2020-10-20 Ricoh Company, Ltd. Color tone control device and image forming apparatus

Also Published As

Publication number Publication date
US20070139734A1 (en) 2007-06-21
JP2007171967A (ja) 2007-07-05
US7800779B2 (en) 2010-09-21

Similar Documents

Publication Publication Date Title
JP5150096B2 (ja) 画像出力装置の性能を制御するための方法、および画像に基づくカラーキャリブレーションのためのシステム
US7505173B2 (en) System and method for spatial gray balance calibration using hybrid sensing systems
US7633647B2 (en) Method for spatial color calibration using hybrid sensing systems
CN100595684C (zh) 用于调整多标记引擎系统中图像质量或一致性的方法和系统
US8259369B2 (en) Color characterization or calibration targets with noise-dependent patch size or number
US9057646B2 (en) Image forming apparatus for measuring a color of a measurement image
US8797589B2 (en) Color management and calibration using a scanner or camera
US8451519B2 (en) Method and apparatus for controlling color in multicolor marking platform
US9066052B2 (en) Image forming apparatus for forming a measurement image on a sheet
US8553288B2 (en) Image forming apparatus capable of performing accurate gradation correction
US8831443B2 (en) Image forming apparatus and method for calibrating density and color
US8928943B2 (en) Image processing apparatus and image processing method
JP5654975B2 (ja) 画像印刷システムをデジタル制御して印刷画像の所望の色濃度を達成する方法およびシステム
US9019561B1 (en) Profiling data spacing for different halftone states using a single tone reproduction curve
US20110032545A1 (en) Controlling process color in a color adjustment system
US10148828B2 (en) Image forming apparatus, image forming system, and non-transitory recording medium storing a computer readable program
US20150098095A1 (en) Image forming apparatus that performs calibration for maintaining image quality
WO2014129306A1 (en) Measurement apparatus
JP5752015B2 (ja) マーキング装置の出力色を較正するための方法及びシステム
US20080068625A1 (en) Image control system and method incorporating a graininess correction
US10126694B2 (en) Image forming apparatus capable of performing calibration
KR20220127158A (ko) 정보 처리 디바이스 및 화상 형성 장치의 제어 방법
US20160358045A1 (en) Estimating color plane registration
JP6668759B2 (ja) 画像形成装置、階調補正方法、および階調補正プログラム
US11681252B2 (en) Image forming apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121203

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees