JP5496230B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP5496230B2
JP5496230B2 JP2012012114A JP2012012114A JP5496230B2 JP 5496230 B2 JP5496230 B2 JP 5496230B2 JP 2012012114 A JP2012012114 A JP 2012012114A JP 2012012114 A JP2012012114 A JP 2012012114A JP 5496230 B2 JP5496230 B2 JP 5496230B2
Authority
JP
Japan
Prior art keywords
semi
designated
transparent
dither
translucent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012012114A
Other languages
English (en)
Other versions
JP2013153270A (ja
Inventor
道彦 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012012114A priority Critical patent/JP5496230B2/ja
Publication of JP2013153270A publication Critical patent/JP2013153270A/ja
Application granted granted Critical
Publication of JP5496230B2 publication Critical patent/JP5496230B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置および画像処理方法に関し、より詳細には、パーソナルコンピュータ等で生成された描画データを最適に処理する画像処理装置および画像処理方法に関するものである。
背面に描画されているオブジェクトが透けて見えるように、前面のオブジェクトを市松模様状に間引く半透明指定が知られている。
例えば、Graphic Device Interfaceコマンド(通常、GDIコマンド。Windows(登録商標)の表示描画コマンドの一種。)には、この半透明指定に対応するコマンドが存在している。
特開2009-110427号公報
上記の従来技術を実際のアプリケーションであるマイクロソフト社製パワーポイントを例に説明する。たとえば図1に示すようなホール全体見取り図において、符号101のホール1の前面に、半透明指定されたグレーのオブジェクトを図2のように描く場合、ユーザは、グレーのオブジェクトを選択し、以下のように指定する。すなわち、ユーザは、図2で示すようなGUI201「オートシェイプの書式設定」の部分で、塗りつぶしの色指定202でグレーを指定し、併せて半透明指定203をチェックして半透明指定を行う。これにより、オブジェクト204に示すようにグレーのオブジェクトの背面のホール1が透けてみえるように設定を行うことができる。
図2の半透明指定されたオブジェクトであるオブジェクト204は、実際には図3に示すように描画されている。まず、何も描画されていない状態の背景301に対してオブジェクト302がGDIコマンドによる表現の1つRaster Operation (通常ROP。以下ROPと記す。)の“上書き”処理によって描画される。ROPとは2つ以上のオブジェクトをビット演算によって重ね合わせる描画方法である。“上書き”処理では上に重ねるオブジェクトが常に有効な処理となる。次に半透明指定されたグレーのオブジェクト303がROPの“XOR”処理によって描画される。“XOR”処理とは重ね合わせるオブジェクト同士の各ビットをXORで演算する処理である。更に半透明パターンオブジェクト304をROPの“AND”処理によって描画する。最後に再び半透明指定されたグレーのオブジェクト303と同等の半透明指定されたグレーのオブジェクト305をROPの“XOR”処理で描画する。“AND”処理とは重ね合わせるオブジェクト同士の各ビットをANDで演算する処理である。これにより、半透明パターン304の白の部分が半透明指定されたグレーのオブジェクト303或いは305に、半透明パターン304の黒の部分がオブジェクト302に描画され、描画結果306が得られる。このようにしてオブジェクト302に含まれる丸が透けて見える描画結果が得られるのである。
参考までに半透明指定がされないときの例を図4に示す。図4では、ユーザにより、GUI201のオートシェイプの指定で、半透明指定203の半透明指定のチェックが外されている。その結果、オブジェクト401は、オブジェクト101のホール1の部分はグレーで塗りつぶされ、下のホール1の部分が透けて見えないことがわかる。
また、このときの実際の描画状況を図5に示す。まずオブジェクト502がROPの“上書き”処理で描画される。次にグレーの塗りつぶし指定されたグレーのオブジェクト503を、上記オブジェクト502の上にROPの“上書き”処理による描画することで描画結果504を得る。
ここで、図3、図5の描画結果を印刷する場合、プリンタの中間調処理のディザ処理が施されることになる。そのディザ処理で用いる2値化ディザの一例を図6に示す。このディザは、グラフィックの階調を滑らかに再現するためのディザであり、低線数ディザと呼ばれる。もちろん、このディザは1例に過ぎず、さまざまなディザが知られている。
ティザ処理とは、ディザの数値1つ1つを画像の1画素に対応させ、その画素で入力値とディザの値を比較して入力値がディザの数値より大きいときにその画素を黒くすることで2値化する処理である。
ここで、図3の描画結果306の一部を拡大した入力信号を図7に示す。この図7に示した入力信号に図6のディザを適用して2値化した結果を図8に示す。図8からわかるように、従来のディザ処理を行うと、図3の描画結果306のグレーのオブジェクトに対応する部分がなくなり、丸の部分しか印刷されないことになる。
参考までに、図5の描画結果504に対して図6のディザを適用して2値化した結果を図9に示す。この図9のように、図8の場合でも本来はグレーのオブジェクト302に対応する黒画素が存在するべきであった。そうならなかった理由はプリンタの中間調処理のディザと上記半透明パターンオブジェクトとが干渉を起こし、本来塗られる部分が塗られなかったためである。
以上の説明ではモノクロの場合を例にとり説明を行っている。モノクロの場合、濃度が変わってしまうだけですむが、カラーの場合、打つべき場所に打つべきカラードットが形成されず色味までが変わってしまうことになる。
こうした問題への対策として、特許文献1では、半透明指定されたオブジェクトの印刷が行われる際に、本来印刷されるべき濃度で印刷されるか確認し、印刷されない場合には警告を行っている。
しかし、特許文献1記載の方法を使っても、ユーザの意図通りの濃度にオブジェクトは印刷されない。
本発明に係る画像処理装置は、半透明指定されたオブジェクトを含む画像に対してディザ処理するディザ処理手段を有する画像処理装置であって、半透明指定されたオブジェクトのON画素の輝度値又は濃度値の変化に対して、前記ディザ処理後のオブジェクトのON画素数が線形に変化するように、前記ディザ処理の前に前記半透明指定されたオブジェクトに対して輝度値又は濃度値の補正処理を行う補正処理手段を備えることを特徴とする。
本発明によれば、半透明指定された画像の出力の意図しない濃度変化を抑える画像処理装置、画像処理方法及びプログラムを提供することができる。
従来技術において、半透明指定が可能なオブジェクトを示す図である。 従来技術において、所定のアプリケーションにおいて半透明指定を指定する方法を説明するための図である。 従来技術において、半透明指定がされた際に、半透明設定されたオブジェクトの作成の様子を示す図である。 従来技術において、所定のアプリケーションにおいて半透明指定が指定されていない場合の塗りつぶしを説明するための図である。 従来技術において、半透明指定がされていない際の、塗りつぶされたオブジェクトの作成の様子を示す図である。 プリンタ等の画像形成装置の中間調処理のディザ処理で用いる2値化ディザの一例を示す図である。 図3のオブジェクト303の一部の入力信号を示す図である。 図7に示した入力信号に図6に示すディザを適用して2値化した結果を示す図である。 図5のオブジェクト503に対して図6のディザを適用して2値化した結果を示す図である。 本発明の一実施形態における画像処理装置が備える制御系の概略構成を示すブロック図である。 本発明の一実施形態に係る半透明指定されたオブジェクトの描画方法を示す図である。 本発明の一実施形態に係る図11の処理方法の詳細を示す図である。 本発明の一実施形態に係る図11の半透明パターンオブジェクト1103の一例を示す図である。 本発明の一実施形態に係る図12の合成画像1207の一部を拡大した信号を示す図である。 本発明の一実施形態に係る図14に示した信号に図6に示すディザを適用して2値化した結果を示す図である。 本発明の一実施形態に係る印刷用画像データの作成手順を示すフローチャートである。 本発明の一実施形態に係る半透明指定されたオブジェクトの理想出力特性を示す図である。 本発明の一実施形態に係る図6のディザの図13の黒画素部分をマスクするためのパターンを示す図である。 本発明の一実施形態に係る図6のディザ及び図18のマスクパターンを合成した合成ディザを示す図である。 本発明の一実施形態に係る図19の合成ディザから算出された半透明指定されたオブジェクトにおける入力値に対する出力ドット数を結んだ特性を示す図である。 本発明の一実施形態に係る図17と図20とから色味補正テーブルを作成する過程を示す図である。 本発明の一実施形態に係る図21から導き出される色味補正テーブルを示す図である。 本発明の一実施形態に係る図12のオブジェクト1202及び1204の色味を補正したのちの合成画像1207の一部を拡大した信号を示す図である。 本発明の一実施形態に係る図26に示した信号に図6に示すディザを適用して2値化した結果を示す図である。 本発明の一実施形態に係る半透明指定されたオブジェクトの描画処理方法を示す図である。 本発明の一実施形態に係る図25の処理方法の詳細を示す図である。 本発明の一実施形態に係る図26の合成画像2607の一部を拡大した信号を示す図である。 本発明の一実施形態に係る図27に示した信号に図6に示すディザを適用して2値化した結果を示す図である。 本発明の一実施形態に係る図26の背景オブジェクト2602及び半透明パターンオブジェクト2604の色味を補正した後の合成画像2607の一部の信号を示す図である。 本発明の一実施形態に係る図29に示した信号に図6に示すディザを適用して2値化した結果を示す図である。 本発明の一実施形態に係る印刷用画像データの作成手順を示すフローチャートである。 本発明の一実施形態に係る背景の理想出力特性を示す図である。 本発明の一実施形態に係る図6のディザの図13の白画素部分をマスクするためのパターンを示す図である。 本発明の一実施形態に係る図6のディザ及び図33のマスクパターンを合成した合成ディザを示す図である。 本発明の一実施形態に係る図34の合成ディザから算出された背景における入力値に対する出力ドット数を結んだ特性を示す図である。 本発明の一実施形態に係る図32と図35とから色味補正テーブルを作成する過程を示す図である。 本発明の一実施形態に係る図36から導き出される色味補正テーブルを示す図である。 本発明の一実施形態に係る図26の背景2601、背景オブジェクト2602及び半透明パターンオブジェクト2604の色味を補正した後の合成画像2607の一部をの信号を示す図である。 本発明の一実施形態に係る図38に示した信号に図6に示すディザを適用して2値化した結果を示す図である。
以下、本発明を実施するための最良の形態について図面を用いて説明する。
図10は、本発明の一実施形態に係る画像処理装置における制御系の概略構成を示すブロック図である。
図10において、制御部10は画像処理装置全体を制御する制御手段としての制御部である。この制御部10は、種々の演算、制御、判別などの処理動作を実行するCPU11を有する。また、制御部10は、ROM12、RAM13などの記憶部を有する。ROM12は、図16及び32を参照して後述される処理など、CPU11によって実行される処理の制御プログラムなどを格納する。RAM13は、CPU11の処理動作中のデータや入力データなどを一時的に格納する。
この制御部10には、入力操作部14及び表示部15が接続されている。入力操作部14は、所定の指令あるいはデータなどを入力するキーボードあるいは各種スイッチなどを含む。表示部15は、画像処理装置の入力・設定状態などをはじめとする種々の表示を行う。
上記画像処理装置は、表示部15において、図2に示すようなGUI201を表示することができる。また、ユーザが入力操作部14に対してそのGUI201の半透明のチェックボックスにチェックを行うことで、半透明指定が行われる。なお、本発明の一実施形態では、画像処理装置が画像データを取得する方法はいずれの方法であっても良い。例えば、ユーザが入力操作部14を操作して所定のアプリケーション上で作成しても良い。また、磁気ディスクや光ディスク等の着脱可能なメディアの読み取り装置を備える場合は、該メディアを介して画像データを入力するようにしても良い。さらに、スキャナ等の画像読取装置を内蔵、またはネットワークを介して接続されている場合は、上記画像読取装置にて読み取られた画像データを入力することで、該画像データを取得するようにしても良い。
また、本発明の一実施形態では、画像処理装置は、ROM12からプログラムを読み出し、図16及び32に示す後述する処理を行って、印刷用画像データ(PDLコマンド)を作成する。そして、該作成された印刷用画像データをプリンタ等の画像形成装置に送信する。該画像形成装置は、送信された印刷用画像データに基づいて印刷を行う。この画像形成装置は、画像処理装置と一体化されていても良いし、別個に設けられて画像処理装置とネットワーク等を介して接続されていても良い。
(第1の実施形態)
本実施形態に係る、印刷用画像データの作成手順を図16のフローを用いて説明する。なお、本実施形態では説明を簡単にするためモノクロで説明する。
まず、ユーザが、画像処理装置が有する所定のアプリケーションにより表示部15に表示されたファイルの中から印刷対象となるファイルを入力操作部14を介して指定する。該指定に基づいて、CPU11は、GDIコマンドから印刷用言語であるPDL(Page Description Languageの略でページ記述言語の意味)コマンドに変換する。
このPDLコマンドには、半透明指定されたオブジェクトが含まれているものとする。この場合において、CPU11はまず、PDLコマンドの生成のために、ROM12に予め格納された格子状(例えば、市松模様状)の半透明パターンオブジェクトを読み出す。そしてCPU11は、上記半透明指定されたオブジェクトに対し、前記半透明パターンオブジェクトをROPと共に組み合わせてPDLコマンドを生成し、RAM13に格納し、処理はステップ1601に進む。具体的には、半透明指定されたオブジェクトにROPの“XOR”指定、半透明パターンオブジェクトにROPの“AND”指定、更に半透明指定されたオブジェクトにROPの“XOR”指定された組み合わせのPDLコマンドが生成される。
ステップ1601において、CPU11は、生成されたPDLコマンドに半透明指定されたオブジェクトが含まれているか否かについて解析する。
ステップ1601の具体的な処理としては、CPU11は、例えばRAM13に格納されたPDLコマンドにおいて、図11に示す処理に対応するコマンドが含まれているか否かを判断する。対応するコマンドが含まれている場合、CPU11は、現在印刷しようとしているPDLコマンドには半透明指定されたオブジェクトが含まれていると判断する。半透明指定されたオブジェクトが含まれていると判断された場合、処理は、S1602に進む。含まれていないと判断された場合、処理は終了する。なお、前述のとおり本実施形態においては、半透明指定されたオブジェクトが含まれている。
図11には、GDIコマンドにおける半透明指定されたオブジェクトの一般的な描画方法が示されている。まず、背景1101に半透明指定されたオブジェクト1102をROPの“XOR”で合成し、その上に半透明パターンオブジェクト1103をROPの“AND”で合成し、更にその上に半透明指定されたオブジェクト1104をROPの“XOR”で合成する。
更に詳細な処理を図12A、B、Cを参照して説明する。
図12Aは図11の背景1101に半透明指定されたオブジェクト1102をROPの“XOR”で合成する処理の詳細を示したものである。K=0(ビットパターンでは”00000000”)の背景1201にK=32(ビットパターンでは”00100000”)である半透明指定されたオブジェクト1202をROPの“XOR”で合成する。その結果、K=32(ビットパターンでは”00100000”)の合成画像1205が得られる。ここで、本実施形態において、Kは濃度値である。なお、Kは濃度に限定されず、他の実施形態においては輝度値であっても良い。
次に図12Bは図12Aで合成された画像1205に対して、半透明パターンオブジェクト1102をROPの“AND”で合成する処理の詳細を示したものである。半透明パターンオブジェクト1203を、合成画像1205の合成部分(K=32、ビットパターンでは”00100000”)とROPの“AND”演算する。半透明パターンオブジェクト1203は、白(ビットパターンでは”00000000”)と、黒(ビットパターンでは”11111111”)とからなる。演算の結果、半透明パターンオブジェクト1103の白部分はK=0(ビットパターンでは”00000000”)、黒部分はK=32(ビットパターンでは”00100000”)の合成画像1206が得られる。
更に図12Cは図12Bで合成された画像1206に対して、半透明指定されたオブジェクト1104をROPの“XOR”で合成する処理の詳細を示したものである。合成画像1206のK=32(ビットパターンでは”00100000”)部分と半透明指定されたオブジェクトK=32(ビットパターンでは”00100000”)をROPの“XOR”で合成する。その結果、白(ビットパターンでは”00000000”)が得られる。また、合成画像1206のK=0(ビットパターンでは”00000000”)と半透明指定されたオブジェクトK=32(ビットパターンでは”00100000”)をROPの“XOR”で合成する。その結果、K=32(ビットパターンでは”001000000”)が得られる。これらの演算によって合成画像1207が得られ、半透明指定されたオブジェクトK=32の半透明表現が可能となる。
このようにPDLコマンドにおいて同じ領域に、ROPの“XOR”“AND”“XOR”処理及び白と黒が周期的に出てくるような半透明パターンオブジェクトによって合成画像が作られる場合に半透明指定されていると判断し、処理はステップS1602へ進む。
一方、印刷用画像データとすべきPDLコマンドにROPの“XOR”“AND”“XOR”処理が含まれていない場合は、CPU11は、半透明指定がされていないと判断し、該PDLコマンドをそのまま印刷用PDLコマンドとして終了する。
ステップS1602において、CPU11は、RAM13からROPの“AND”で合成する半透明パターンオブジェクト1103を抽出し、RAM13に格納し、処理はステップS1603へ進む。
ステップS1603において、CPU11は、半透明指定されたオブジェクトの理想出力特性を算出する。半透明指定されたオブジェクトの出力濃度(出力)は、半透明処理前のオブジェクトの濃度(入力)と、半透明指定されたオブジェクトが載る部分である半透明パターンオブジェクトの白画素部分の画素数と、総画素数とを用いて次の式で算出できる。
出力=入力×白画素数÷総画素数
RAM13に格納された半透明パターンオブジェクト1301の半透明指定されたオブジェクトが描画される部分の画素数、すなわち白画素の数は128であり、半透明パターンオブジェクト1301の総画素数は256である。従って、この例では次の計算で半透明指定されたオブジェクトの理想出力特性1701が得られる。
出力=入力×128÷256
得られた理想出力特性はRAM13に格納される。
次に、S1604とS1605では、半透明指定されたオブジェクトに対してディザ601を適用した場合に、出力はいくつになるか(実出力特性)の算出を行う。
まずステップS1604においてCPU11は半透明パターンオブジェクト1301とディザ601の合成をおこなう。詳細には、半透明指定されたオブジェクトは半透明パターンオブジェクト1301の白画素部分にのみ描画されるので、半透明指定されたオブジェクトが半透明パターンオブジェクト1301の黒画素部分には描画されないようにする。そのために、この黒画素部分に対応する部分に対してディザの閾値を最大値である255に設定したマスクパターン1801を生成しRAM13に格納する。次にROM12から呼び出したディザ601と、RAM13から呼び出したマスクパターン1801とを比較して大きい方の値を有効にすることで、ディザ601とマスクパターン1801とを合成する。この合成により得られたディザを、半透明指定されたオブジェクトの実出力特性確認用合成ディザ1901としてRAM13に格納する。
次にステップS1605において、CPU11は半透明指定されたオブジェクトの実出力特性を算出する。まず、RAM13から半透明指定されたオブジェクトの実出力特性確認用合成ディザ1901が呼び出され、この実出力特性確認用合成ディザ1901の各閾値と0から順に1つずつ255まで増加させた数値(オブジェクトの数値)とがそれぞれ比較される。オブジェクトの数値のそれぞれについて、前記閾値よりオブジェクトの数値の方が大きくなる場合の閾値の数をカウントすることで、半透明指定されたオブジェクトの実出力特性2001を獲得し、これをRAM13に格納する。
例えば、ステップS1605では、まず、オブジェクトの数値が0であるとき、実出力特性確認用合成ディザ1901の各閾値と0とが比較される。オブジェクトの数値である0はいずれの閾値よりも大きくはないため、閾値よりオブジェクトの数値の方が大きくなる場合の閾値の数のカウントは0である。次に、実出力特性確認用合成ディザ1901の各閾値と、オブジェクトの数値として1(0を1つ増加させた値)とが比較され、閾値よりオブジェクトの数値である1の方が大きくなる場合の閾値の数をカウントする。以降、オブジェクトの数値を順に1つずつ増加させて、オブジェクトの数値ごとに、閾値よりオブジェクトの数値の方が大きくなる場合の閾値の数をカウントする。オブジェクトの数値をX軸、得られた閾値の数をY軸として、半透明指定されたオブジェクトの実出力特性2001を獲得する。
次にステップS1606において、CPU11は、まず、RAM13に格納された半透明指定されたオブジェクトの理想出力特性1701と半透明指定されたオブジェクトの実出力特性2001を読み出す。CPU11は、読み出した理想出力特性1701及び実出力特性2001を用いて、図22に示すような、半透明指定されたオブジェクトの(色味)補正テーブル2201を算出してRAM13に格納する。詳細には、CPU11は、まず、図21に示す通り、入力に対する理想出力値を半透明指定されたオブジェクトの理想出力特性2101から読み取る。例えば入力K=32に対する理想出力値はK=16である。次に、CPU11は、読み取った理想出力値になりうる入力値を半透明指定されたオブジェクトの実出力特性2102から読み取る。例えば入力K=32に対する理想出力値として、K=16が読み取られる。従って、出力がK=16となる入力値としてK=48が実出力特性2102から読み取られる。つまり、入力K=32をK=48に置き換えれば、実出力としてK=16が得られる。このようにして、理想出力値を取り得る入力値を実出力特性から算出し、当該入力値を結ぶことにより、図22に示すような半透明指定されたオブジェクトの色味補正テーブル2201が得られる。
すなわち、色味補正テーブル2201は、ディザ処理したときのON画素数(疑似中間調で表現したオブジェクトの濃度)が、半透明指定されたオブジェクトの理想的な濃度に対応するように、入力画像の輝度値又は濃度値を補正するための補正テーブルである。換言すれば、色味補正テーブル2201は、半透明指定による入力オブジェクトのON画素の濃度値等の変化に対して、ディザ処理後のオブジェクトのON画素数が線形に変化するように、入力オブジェクトに対して濃度値等の補正を行うための補正テーブルである。
なお、色味補正テーブル2201を生成するために、ディザの閾値テーブルの縦横の画素数と、半透明指定されたオブジェクトにおける最も小さな規則パターンの縦横の画素数との最小公倍数から求められた縦横の画素数を持つ領域に対して処理を行っても良い。
以上のようにステップS1604からS1606では、CPU11は、まず、複数の異なる濃度値又は輝度値に変化させた半透明指定されたオブジェクトにおけるON画素をディザ処理することにより複数の画像を得る。CPU11は、得られた複数の画像のそれぞれのON画素数を実出力としてカウントする。そしてCPU11は、当該実出力と、ディザ処理後の理想的な出力画素数とを用いて、補正テーブルを生成する。
次にステップS1607において、半透明指定されたオブジェクト1202及び半透明指定されたオブジェクト1204に対して、半透明指定されたオブジェクトの色味補正テーブル2201を用いて色味補正を行い、補正処理後のオブジェクトをRAM13に戻す。この色味補正を行わない場合、半透明指定されたオブジェクトK=32の時の描画結果1401にディザ601を適用すると出力結果は図15のように白くなっていた。しかし、半透明指定されたオブジェクトK=32に上記色味補正を行いK=48に補正した場合は、半透明指定されたオブジェクトは、描画結果2301となる。さらに、描画結果2301にディザ601を適用すると出力結果は図24のようになる。K=16(0〜255の256階調)の出力結果は、総画素数256のディザ601を用いた場合、次のとおりである。
16÷255×256≒16
出力結果として黒画素が16であればよいので、図24が望ましい出力結果であることが分かる。つまり、0から255の256階調で表現したディザ処理前のオブジェクトの濃度と、疑似中間調で表現したディザ処理後のオブジェクトの濃度との間に差異がないことが分かる。このようにS1607では、半透明指定されたオブジェクトのON画素の輝度値又は濃度値の変化に対して、ディザ処理後のオブジェクトのON画素数が線形に変化するように、ディザ処理の前に半透明指定されたオブジェクトに対して輝度値又は濃度値の補正を行う。
以上のように、本実施形態では、半透明指定されたオブジェクトの輝度値又は濃度値をパターンとディザの組み合わせによって調整することだけで、ディザ処理後のオブジェクトを意図された濃度又は輝度で出力することを可能とする。
また、図22のような色味補正テーブルを作成することで、半透明指定されたオブジェクトが均一でない場合でも意図されたものに近い濃度での出力を可能とする。すなわち、半透明指定されたオブジェクトが単色でなく、例えばグラデーションや写真のように複数色からなる場合でも、色味補正テーブルを用いて補正を行えば、意図されたものに近い濃度で出力が可能になる。
なお、本実施形態において、色味補正を行う度に図16に示された全ての処理を行っているが、すでに色味補正テーブルが作成されているときは、ステップS1603からS1606の処理を行わずに、既存の色味補正テーブルを用いて色味補正を行っても良い。
(第2の実施形態)
第1の実施形態では、半透明指定されたオブジェクトのみを半透明パターンオブジェクトとディザの組み合わせによって調整していた。本実施形態では半透明指定されたオブジェクトの背景に描画される背景オブジェクトに関しても色味補正を実施する。
すなわち、第1の実施形態では、生成された補正テーブルは、半透明指定されたオブジェクトにおけるON画素の位置に対応する、画像中の画素に対して適用される補正テーブルであった。本実施形態では、半透明指定されたオブジェクトにおけるOFF画素の位置に対応する、画像中の画素に対して適用される補正テーブルを用いて色味補正を実施する例を説明する。
本実施形態における処理は、主に図31のフローチャートを用いて説明する。
まず、ユーザが、画像処理装置が有する所定のアプリケーション上で、表示部15に表示されたファイルの中から印刷対象となるファイルを入力操作部14を介して指定する。該指定に基づいて、CPU11は、Graphic Device Interfaceコマンドから印刷用言語であるPDL(Page Description Languageの略でページ記述言語の意味)コマンドに変換する。
このPDLコマンドには、半透明指定されたオブジェクトが含まれているものとする。この場合において、CPU11はまず、PDLコマンドの生成のために、ROM12に予め格納された格子状(例えば、市松模様状)の半透明パターンオブジェクトを読み出す。そしてCPU11は、上記半透明指定されたオブジェクトに対し、前記半透明パターンオブジェクトをROPと共に組み合わせてPDLコマンドを生成し、RAM13に格納し、処理はステップ1601に進む。具体的には、半透明指定されたオブジェクトにROPの“XOR”指定、半透明パターンオブジェクトにROPの“AND”指定、更に半透明指定されたオブジェクトにROPの“XOR”指定された組み合わせのPDLコマンドが生成される。
ステップ3101において、CPU11は、図2に示すようなアプリケーション等で作成されたPDLコマンドに半透明指定されたオブジェクトが含まれているか否かについて解析する。
ステップ3101の具体的な処理としては、CPU11は、例えばRAM13に格納されたPDLコマンドにおいて、図25に示す処理に対応するコードデータが含まれているか否かを判断する。そのようなコマンドが含まれている場合、CPU11は、現在印刷しようとしているPDLコマンドには半透明指定されたオブジェクトが含まれていると判断する。半透明指定されたオブジェクトが含まれていると判断された場合、処理は、S3102に進む。含まれていないと判断された場合、処理は終了する。なお、前述のとおり本実施形態においては、半透明指定されたオブジェクトが含まれている。
図25には、Graphic Device Interfaceコマンドにおける半透明指定されたオブジェクトの一般的な描画方法が示されている。まず、背景2501に半透明指定されたオブジェクトの背景に描画される背景オブジェクト2502をROPの“上書き”で合成する。その上に、半透明指定されたオブジェクト2503をROPの“XOR”で合成し、更にその上に半透明パターンオブジェクト2504をROPの“AND”を合成する。最後にその上に半透明指定されたオブジェクト2505をROPの“XOR”で合成する。
更に詳細な処理を図26A、B、C、Dを参照して説明する。
図26Aは図25の背景2501に背景オブジェクト2502をROPの“上書き”処理で合成する処理の詳細を示したものである。K=0(ビットパターンでは”00000000”)の背景2601にK=218(ビットパターンでは”11011010”)である背景オブジェクト2602をROPの“上書き”処理で合成する。その結果、K=218(ビットパターンでは”11011010”)の合成画像2606が得られる。ここで、本実施形態において、Kは濃度値である。なお、Kは濃度に限定されず、他の実施形態においては輝度値であっても良い。
次に図26Bは図26Aで合成された画像2606に対して、半透明指定されたオブジェクト2603をROPの“XOR”処理で合成する処理の詳細を示したものである。合成画像2606の背景オブジェクト2602を描画した領域K=218(ビットパターンでは”11011010”)のにK=32(ビットパターンでは”00100000”)である半透明指定されたオブジェクト2603をROPの“XOR”処理で合成する。その結果、K=250(ビットパターンでは”11111010”)の合成画像2607が得られる。
次に図26Cは図12Bで合成された画像2607に対して、半透明パターンオブジェクト2604をROPの“AND”処理で合成する処理の詳細を示したものである。半透明パターンオブジェクト2604を合成画像2607の合成領域K=250(ビットパターンでは”11111010”)とROPの“AND”処理する。半透明パターンオブジェクト2604は、白(ビットパターンでは”00000000”)と黒(ビットパターンでは”11111111”)とからなる。処理の結果、半透明パターンオブジェクト2604の白部分はK=0(ビットパターンでは”00000000”)、黒部分はK=250(ビットパターンでは”11111010”)の合成画像2608が得られる。
更に図26Dは図26Cで合成された画像2608に対して、半透明指定されたオブジェクト2605をROPの“XOR”処理で合成する処理の詳細を示したものである。合成画像2608のK=250(ビットパターンでは”11111010”)部分と半透明指定されたオブジェクトK=32(ビットパターンでは”00100000”)をROPの“XOR”処理で合成する。その結果、K=218(ビットパターンでは”11011010”)が得られる。また、合成画像2608のK=0(ビットパターンでは”00000000”)と半透明指定されたオブジェクトK=32(ビットパターンでは”00100000”)をROPの“XOR”処理で合成する。その結果、K=32(ビットパターンでは”001000000”)が得られる。これらの演算によって合成画像2609が得られ、背景オブジェクトK=218の上に半透明指定されたオブジェクトK=32を重ねた半透明表現が可能となる。
このようにPDLコマンドにおいて同じ領域に、ROPの“XOR”“AND”“XOR”処理によって合成画像が作られる場合に半透明指定されていると判断し、処理はステップS3102へ進む。
一方、印刷用画像データとすべきPDLコマンドにROPの“XOR”“AND”“XOR”処理が含まれていない場合は、CPU11は、半透明指定がされていないと判断し、該PDLコマンドをそのまま印刷用PDLコマンドとして終了する。
ステップS3102において、CPU11は、RAM13からROPの“AND”で合成する半透明パターンオブジェクト2603を抽出し、RAM13に格納し、処理はステップS3103へ進む。
ステップS3103において、CPU11は、半透明指定されたオブジェクトの理想出力特性を算出する。半透明指定されたオブジェクトの出力濃度(出力)は、半透明処理前のオブジェクトの濃度(入力)と、半透明指定されたオブジェクトが載る部分である半透明オブジェクトの白画素部分の画素数及び総画素とを用いて次の式でで算出できる。
出力=入力×白画素数÷総画素数
RAM13に格納された半透明パターンオブジェクト1301の半透明指定されたオブジェクトの載る部分の画素数、すなわち白画素の数は128であり、半透明パターンオブジェクト1301の総画素数は256である。従って、この例では次の計算で半透明指定されたオブジェクトの理想出力特性1701が得られる。
出力=入力×128÷256
得られた理想出力特性はRAM13に格納される。
次に、ステップS3104において、CPU11は半透明指定されたオブジェクトの実出力特性を確認するために半透明パターンオブジェクト1301とディザ601の合成をおこなう。詳細には、半透明指定されたオブジェクトは半透明パターンオブジェクト1301の白画素部分にのみ描画されるので、半透明指定されたオブジェクトが半透明パターンオブジェクト1301の黒画素部分には描画されないようにする。そのために、この黒画素部分に対応する部分に対してディザの閾値を最大値である255に設定したマスクパターン1801を生成しRAM13に格納する。次にROM12から呼び出したディザ601と、RAM13から呼び出したマスクパターン1801とを比較して大きい方の値を有効にすることで、ディザ601とマスクパターン1801とを合成する。この合成により得られたディザを、半透明指定されたオブジェクトの実出力特性確認用合成ディザ1901としてRAM13に格納する。
次にステップS3105において、CPU11は半透明指定されたオブジェクトの実出力特性を算出する。まず、RAM13から半透明指定されたオブジェクトの実出力特性確認用合成ディザ1901が呼び出され、この実出力特性確認用合成ディザ1901の各閾値と0から順に1つずつ255まで増加させた数値(オブジェクトの数値)とがそれぞれ比較される。オブジェクトの数値のそれぞれについて、前記閾値より数値の方が大きくなる場合の閾値の数をカウントすることで、半透明指定されたオブジェクト実出力特性2001を獲得し、これをRAM13に格納する。
次にステップS3106において、CPU11は、まず、RAM13に格納された半透明指定されたオブジェクトの理想出力特性1701と半透明指定されたオブジェクトの実出力特性2001を読み出す。CPU11は、読み出した理想出力特性1701及び実出力特性2001を用いて、図22に示すような、半透明指定されたオブジェクトの色味補正テーブル2201を算出してRAM13に格納する。詳細には、CPU11は、まず、図21に示す通り、入力に対する理想出力値を半透明指定されたオブジェクトの理想出力特性2101から読み取る。例えば入力K=32に対する理想出力値はK=16である。次に、CPU11は、読み取った理想出力値になりうる入力値を半透明指定されたオブジェクトの実出力特性2102から読み取る。例えば入力K=32に対する理想出力値として、K=16が読み取られる。従って、出力がK=16となる入力値としてK=48が実出力特性2102から読み取られる。つまり、入力K=32をK=48に置き換えれば、実出力としてK=16が得られる。このようにして、理想出力値を取り得る入力値を実出力特性から算出し、当該入力値を結ぶことにより、図22に示すような半透明指定されたオブジェクト色味補正テーブル2201が得られる。
次にステップS3107において、半透明指定されたオブジェクト1202及び半透明指定されたオブジェクト1204に対して、半透明指定されたオブジェクトの色味補正テーブル2201を用いて色味補正を行い、補正後のオブジェクトをRAM13に戻す。
次にステップS3108において、CPU11は、背景オブジェクトの理想出力特性を算出する。背景オブジェクトの出力濃度は、背景オブジェクトの入力濃度と、半透明指定されたオブジェクトが載らない部分である半透明パターンオブジェクトの黒画素部分の画素数と、総画素数とを用いて次の式で算出できる。
出力=入力×黒画素数÷総画素数
RAM13に格納された半透明パターンオブジェクト1301の半透明指定されたオブジェクトの載らない部分の画素数、すなわち黒画素の数は128であり、半透明パターンオブジェクト1301の総画素数は256である。従って、この例では次の計算で背景オブジェクトの理想出力特性3201が得られる。
出力=入力×128÷256
得られた理想出力特性はRAM13に格納される。
次に、ステップS3109において、CPU11は背景オブジェクトの実出力特性を確認するために半透明パターンオブジェクト1301とディザ601の合成をおこなう。詳細には、背景オブジェクトは半透明パターンオブジェクト1301の黒画素部分ににのみ描画されるので、背景オブジェクトが半透明パターンオブジェクト1301の白画素部分には描画されないようにする。そのために、この白画素部分に対応する部分に対してディザの閾値を最大値である255に設定したマスクパターン3301を生成しRAM13に格納する。次にROM12から呼び出したディザ601と、RAM13から呼び出したマスクパターン3301とを比較して大きい方の値を有効にすることで、ディザ601とマスクパターン3301とを合成する。この合成により得られたディザを、背景オブジェクトの実出力特性確認用合成ディザ3401としてRAM13に格納する。
次にステップS3110において、CPU11は背景オブジェクトの実出力特性を算出する。まず、RAM13から背景オブジェクトの実出力特性確認用合成ディザ3401が呼び出され、この背景オブジェクトの実出力特性確認用合成ディザ3401の各閾値と0から順に1つずつ255まで増加させた数値(オブジェクトの数値)とがそれぞれ比較される。オブジェクトの数値のそれぞれについて、前記閾値より数値の方が大きくなる場合の閾値の数をカウントすることで、半透明指定されたオブジェクト実出力特性3501を獲得し、これをRAM13に格納する。
次にステップS3111において、CPU11は、まず、RAM13に格納された背景オブジェクトの理想出力特性3201と背景オブジェクトの実出力特性3501を読み出す。
CPU11は、読み出した理想出力特性3201及び実出力特性3501を用いて、図37に示すような、背景オブジェクトの色味補正テーブル3701を算出してRAM13に格納する。詳細には、CPU11は、まず、図36に示す通り、入力に対する理想出力値を背景オブジェクトの理想出力特性3601から読み取る。例えば入力K=218に対する理想出力値はK=109である。次に、CPU11は、読み取った理想出力値になりうる入力値を背景オブジェクトの実出力特性3602から読み取る。例えば入力K=218に対する理想出力値として、K=109が読み取られる。従って、出力がK=109となる入力値としてK=235が実出力特性3602から読み取られる。つまり、入力K=218をK=235に置き換えれば、実出力としてK=109が得られる。このようにして、理想出力値を取り得る入力値を実出力特性から算出し、当該入力値を結ぶことにより、図37に示すような背景色味補正テーブル3701が得られる。
次にステップS3112において、CPU11は半透明指定されたオブジェクトと背景オブジェクトが重なる領域を獲得し、RAM13に格納する。
次にステップS3113において、CPU11はRAM13に格納された半透明指定されたオブジェクトが重なる領域を獲得し、背景オブジェクトからその重なる部分を獲得し、RAM13に格納する。
次にステップS3114において、CPU11はRAM13に格納されている背景オブジェクトの半透明指定されたオブジェクトとの重なり部分と色味補正テーブル3701を読み出す。CPU11は背景オブジェクトの半透明指定されたオブジェクトとの重なり部分に背景色味補正テーブル3701を適用して色味補正を行い、背景画像に上書きしてRAM13に戻して処理を終了する。
半透明指定されたオブジェクトK=32、背景218の時の描画結果2701にディザ601を適用すると出力結果は図28のようになる。半透明指定されたオブジェクトの出力、背景オブジェクトの出力、及び合成出力はそれぞれ次の式で表現できる。
半透明指定されたオブジェクトの出力=半透明指定されたオブジェクト×半透明パターンオブジェクトの白画素数÷半透明パターンオブジェクトの総画素数
背景オブジェクトの出力=背景オブジェクト×半透明パターンオブジェクトの黒画素数÷半透明パターンオブジェクトの総画素数
合成出力=半透明指定されたオブジェクトの出力+背景オブジェクトの出力
例えば、半透明指定されたオブジェクトが32、背景画像色が218の時はそれぞれ次のようになる。
半透明指定されたオブジェクトの出力=32×128÷256=16
背景の出力=218×128÷256=109
合成出力=16+109=125
であり、図28の黒画素数96とは異なる。
また、半透明指定されたオブジェクトのみ色味補正をかけた場合の描画結果は図29のようになり、これにディザ601を適用すると出力結果は図30のようになる。図30の黒画素数は112であり、演算結果の125とは異なる。
本実施例で実施した半透明指定されたオブジェクトと背景色をそれぞれに色味補正をかけた場合の描画結果は図38のようになり、これにディザ601を適用すると出力結果は図39のようになる。図42の黒画素数は124であり、理想の出力結果に近い値であることが分かる。
以上のように、本実施形態では、半透明指定されたオブジェクトの重なる部分の背景色をパターンとディザの組み合わせによって調整することだけで、ディザ処理後のオブジェクトを意図された濃度及び輝度での出力を可能とする。また、図22、図37のような色味補正テーブルを作成することで、半透明指定されたオブジェクトが均一でない場合でも意図された濃度及び輝度での出力を可能とする。すなわち、半透明指定されたオブジェクトが単色でなく、例えばグラデーションや写真のように複数色からなる場合でも、色味補正テーブルを用いて補正を行えば、意図されたものに近い濃度及び輝度で出力が可能になる。
(その他の実施形態)
本発明は、複数の機器(例えばコンピュータ、インターフェース機器、リーダ、プリンタなど)から構成されるシステムに適用することも、1つの機器からなる装置(複合機、プリンタ、ファクシミリ装置など)に適用することも可能である。
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記憶媒体に記憶させ、該記憶媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。即ちコンピュータ読み取り可能な記憶媒体も実施例の範囲に含まれる。また、前述のコンピュータプログラムが記憶された記憶媒体はもちろんそのコンピュータプログラム自体も上述の実施形態に含まれる。
かかる記憶媒体としてはたとえばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD―ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。
また前述の記憶媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウエア、拡張ボードの機能と共同して、OS上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。
10 制御部
11 CPU
12 ROM
13 RAM
14 入力操作部
15 表示部

Claims (6)

  1. 半透明指定されたオブジェクトを含む画像に対してディザ処理するディザ処理手段を有する画像処理装置であって、
    半透明指定されたオブジェクトのON画素の輝度値又は濃度値の変化に対して、前記ディザ処理後のオブジェクトのON画素数が線形に変化するように、前記ディザ処理の前に前記半透明指定されたオブジェクトに対して輝度値又は濃度値の補正処理を行う補正処理手段を備えることを特徴とする画像処理装置。
  2. オブジェクトの輝度値又は濃度値に対する前記補正後の輝度値又は濃度値を有する補正テーブルを生成する生成手段をさらに備え、
    前記補正処理手段は、前記補正テーブルを用いて前記補正処理を行うことを特徴とする請求項1に記載の画像処理装置。
  3. 前記生成手段で生成された補正テーブルは、半透明指定されたオブジェクトにおけるON画素の位置に対応する、画像中の画素に対して適用される補正テーブルであり、
    半透明指定されたオブジェクトにおけるOFF画素の位置に対応する、画像中の画素に対して適用される補正テーブルとは異なっていることを特徴とする請求項2に記載の画像処理装置。
  4. 前記生成手段は、
    ディザの閾値テーブルの縦横の画素数と、半透明指定されたオブジェクトにおける最も小さな規則パターンの縦横の画素数との最小公倍数から求められた縦横の画素数を持つ領域に対して、
    複数の異なる濃度値又は輝度値に変化させたON画素をディザ処理することにより得られる複数の画像のそれぞれのON画素数を実出力としてカウントし、当該実出力と、ディザ処理後の理想的な出力画素数とを用いて、前記補正テーブルを生成することを特徴とする請求項2又は3に記載の画像処理装置。
  5. 半透明指定されたオブジェクトを含む画像に対してディザ処理するディザ処理手段を有する画像処理装置で実施される画像処理方法あって、
    半透明指定されたオブジェクトのON画素の輝度値又は濃度値の変化に対して、前記ディザ処理後のオブジェクトのON画素数が線形に変化するように、前記ディザ処理の前に前記半透明指定されたオブジェクトに対して輝度値又は濃度値の補正処理を行う補正処理ステップを備えることを特徴とする画像処理方法。
  6. コンピュータを請求項1から4のいずれか1つに記載の画像処理装置として機能させるためのプログラム。
JP2012012114A 2012-01-24 2012-01-24 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP5496230B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012012114A JP5496230B2 (ja) 2012-01-24 2012-01-24 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012012114A JP5496230B2 (ja) 2012-01-24 2012-01-24 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013153270A JP2013153270A (ja) 2013-08-08
JP5496230B2 true JP5496230B2 (ja) 2014-05-21

Family

ID=49049308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012012114A Expired - Fee Related JP5496230B2 (ja) 2012-01-24 2012-01-24 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5496230B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6234234B2 (ja) 2014-01-14 2017-11-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3004027B2 (ja) * 1990-03-01 2000-01-31 キヤノン株式会社 画像記録装置
JPH11187264A (ja) * 1997-12-17 1999-07-09 Oki Data Corp 画像処理方法および装置
JP2005260559A (ja) * 2004-03-11 2005-09-22 Canon Inc 画像処理装置
JP2007151050A (ja) * 2005-11-30 2007-06-14 Canon Inc 画像処理装置
JP4441562B2 (ja) * 2007-10-31 2010-03-31 キヤノン株式会社 画像処理装置および画像処理方法
JP4577591B2 (ja) * 2008-10-29 2010-11-10 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2012004895A (ja) * 2010-06-17 2012-01-05 Konica Minolta Business Technologies Inc 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP2013153270A (ja) 2013-08-08

Similar Documents

Publication Publication Date Title
US8159694B2 (en) Image processor and image processing method processing an image that includes a semi-transparent object or an image with periodically varying density
JP4290681B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した機械読取可能な記録媒体および印刷物
JP4684857B2 (ja) システム及び画像処理装置及び画像処理装置の制御方法及びプログラム及び記憶媒体
JP6226440B2 (ja) 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
US20120050765A1 (en) Image processing apparatus, image processing method, and storage medium
JP2014117861A (ja) 画像形成装置および画像形成装置の制御方法
JP2000255110A (ja) カラープリントシステム及びその制御方法
JP5496230B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9077914B2 (en) Image processing apparatus and control method thereof printing image data having M tones under infrared light
US9398194B2 (en) Image processing apparatus and method performing density adjustment on image data based on generated density characteristics data
JP2015002442A (ja) 画像処理装置および方法
JP4514168B2 (ja) 画像処理システム及び画像処理方法
JP5012871B2 (ja) 画像処理装置、画像形成装置、及び画像処理プログラム
JP2006033755A (ja) 画像処理装置
JP2007067637A (ja) 画像処理装置及び画像処理システム
JP2015046835A (ja) 画像形成装置及び画像形成方法
JP6559077B2 (ja) 情報処理装置及び情報処理方法
JP6238589B2 (ja) 画像形成装置、画像処理方法、およびプログラム
JP2001239705A (ja) 図形境界作成装置及び作成方法
JP6061654B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
US9256185B2 (en) Printing control device, image forming system, and non-transitory computer-readable medium
US10798267B2 (en) Image processing to set output pixel values subject to edge or thin line correction
JP4395592B2 (ja) 漏洩対策画像生成装置
US10185904B2 (en) Information processing apparatus for setting an attribute of a pixel based on a conformity between pixel values of objects, information processing method for setting an attribute of a pixel based on a conformity between pixel values of objects, and non-transitory computer readable medium for setting an attribute of a pixel based on a conformity between pixel values of objects
JP2005217758A (ja) 色変換装置、色変換プログラム、および色変換方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140304

R151 Written notification of patent or utility model registration

Ref document number: 5496230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees