JP5424546B2 - 画像処理装置及び画像形成システム - Google Patents

画像処理装置及び画像形成システム Download PDF

Info

Publication number
JP5424546B2
JP5424546B2 JP2007238102A JP2007238102A JP5424546B2 JP 5424546 B2 JP5424546 B2 JP 5424546B2 JP 2007238102 A JP2007238102 A JP 2007238102A JP 2007238102 A JP2007238102 A JP 2007238102A JP 5424546 B2 JP5424546 B2 JP 5424546B2
Authority
JP
Japan
Prior art keywords
rendering
sub
buffer
display list
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007238102A
Other languages
English (en)
Other versions
JP2009066926A (ja
Inventor
譲 長沼
健一 桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2007238102A priority Critical patent/JP5424546B2/ja
Publication of JP2009066926A publication Critical patent/JP2009066926A/ja
Application granted granted Critical
Publication of JP5424546B2 publication Critical patent/JP5424546B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Record Information Processing For Printing (AREA)

Description

本発明は画像処理装置及び画像形成システム、特にXPSで描画破綻が起きない画像処理装置及び画像形成システムに関する。
近年、PC(パーソナル・コンピュータ)の普及に伴って、PCからデータをプリントするプリンタ等の印刷装置と、プリンタとスキャナやFAX等を含む複合機等の画像形成システムが普及している。
このプリンタとしては、オフィス等の業務用途では、高速で高品質な画像を印刷するページプリンタが使用されている。ページプリンタの種類としては、例えばレーザーを用いて感光体に印刷するイメージに対応する電荷パターンを作成し、このパターンに従いトナーを感光体に付着させ、トナーを紙に転写して熱と圧力で定着させることで印刷を行うレーザープリンタが広く用いられている。また、レーザーの代わりにLEDアレイを用いたページプリンタである、LEDプリンタ等もよく用いられている。
このページプリンタにおいては、印刷時に印刷されるデータが、ページ記述言語(Page Description Language、PDL)と呼ばれるコンピュータ言語で記載されることが多い。
ページ記述言語は、例えば、紙の上のどの座標からどの座標に線を引くといったベクトル情報や、文字の形状であるフォント情報といった情報を備えている。
このため、ページ記述言語で記載されたデータは、ドットの集合体であるビットマップデータをプリンタに直接送信するよりもデータ容量を削減できることが多い。
このページ記述言語で記載されたデータを、例えばUSBやLAN等を介してページプリンタに送信すると、ページプリンタ内部のCPU(中央演算装置)が解析し、実際に印刷するイメージを作成する。このイメージの作成をレンダリング(描画)又はラスタライズと呼ぶ。
ページプリンタの内部では、レンダリングにより、例えば1200dpi(ドット・パー・インチ)や2400dpiといった、PCの画面(通常は、72dpi)よりも高解像度のビットマップデータを生成している。また、このビットマップデータは、各ページプリンタの特性に合わせたパターンを作成することができる。
このため、PCでビットマップデータを作成して、これを直接プリンタに転送するよりも高品位の印刷を行うことができる。
しかし、ページプリンタ等のプリンタは、PCに比べて主記憶装置等のメモリ容量が少ないことが多い。このため、ページ記述言語で記載されたデータをレンダリングする際に、メモリ容量を削減することが求められる。
そこで、特許文献1を参照すると、ページ記述言語で記載されているデータについて、メモリの使用量を抑えて描画を行う印刷装置が存在する(以下、従来技術1と呼ぶ)。
従来技術1においては、組み合わせてレンダリングする必要がある複数の描画プリミティブ又は描画オブジェクトと呼ばれる描画単位(例えば、描画プリミティブ同士のANDやORなどの論理演算を行うもの)について、印刷データを送信するホストPC側で指定してヘッダ情報を付加する。
このヘッダ情報の付加されている以外の描画プリミティブの描画画像を、ハーフトーンと呼ばれるディザリングパターン等のメモリ使用量の少ない状態に圧縮することで、印刷装置が使用するメモリ容量を削減することができる。
特開2006−168051号公報
しかし、従来技術1の印刷装置では、複数の入れ子(ネスト)構造を記述できるページ記述言語の場合、描画を正常に行うことができない場合があるという問題があった。
特に、マイクロソフト社は、近年、Windows(登録商標)Vista OS(オペレーティング・システム)において、XML形式で記述する高機能なページ記述言語であるXPSを全面的に採用している。このXPSは、何重にも入れ子構造を記載することが可能であるため、従来技術1の印刷装置においては、描画の破綻が起こっていた。
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
本発明の画像処理装置は、ページ記述言語の記載を基に画像処理をする画像処理装置であって、前記ページ記述言語で記載されたデータを記憶する記憶手段と、前記記憶手段に記憶したページ記述言語の入れ子構造に関する記載を解析するページ記述言語解析手段と、前記ページ記述言語解析手段により解析した前記入れ子構造を基に、描画する図形の種類と入れ子構造の深さレベルの情報を含むリストであるディスプレイリストを作成するディスプレイリスト作成手段と、前記ディスプレイリストに従って、前記入れ子構造の深さレベル毎にサブレンダリングバッファを取得して該サブレンダリングバッファにレンダリングを行い、該サブレンダリングバッファの内容を用いて各ページのレンダリングを行うページレンダリング手段とを備え、前記ページレンダリング手段は、同じ深さレベルの前記入れ子構造内の描画を同じサブレンダリングバッファに行うとともに、最も深い深さレベルから逆順に前記入れ子構造内の描画を前記サブレンダリングバッファに行い、最も浅い深さレベルの入れ子構造に対応する前記サブレンダリングバッファの描画データと前記入れ子構造の外側の描画をレンダリングバッファに行って印刷に用いるレンダリングバッファイメージを作成することを特徴とする。
本発明の画像処理装置は、前記ページ記述言語は、XPSを含むXMLを基にしたページ記述言語であることを特徴とする。
本発明の画像形成システムは、請求項1又は2に記載の画像処理装置と、通信装置とを備えることを特徴とする。
本発明によれば、入れ子構造を記述できるページ記述言語で記載されたデータを、正確に描画できる画像処理装置と画像形成システムを提供することができる。
<第1の実施の形態>
(画像処理装置Xの制御構成)
本発明の実施の形態に係る画像処理装置Xは、ページプリンタの画像処理部に相当する部位である。
制御ブロック図である図1を参照すると、画像処理装置Xは、CPU内のXML処理用コ・プロセッサ、SIMD(Single Instruction/Multiple Data)方式の演算器、ROMやRAM等を用いて実行するプログラム等により実現されるプリントデータ受信記憶部201(記憶手段)、PDL解析部202(ページ記述言語解析手段)、ディスプレイリスト作成部203(ディスプレイリスト作成手段)、及びページレンダリング部204(ページレンダリング手段)のような構成要素を備えている。
また、本発明の実施の形態に係るページプリンタは、画像処理装置Xに加えて、公知のCPU(中央演算装置、MPU)、レーザー、感光体(ドラム)、ポリゴンミラー、補助記憶装置(RAM、ROM、HDDやフラッシュメモリ等)、I/O等を備えている。
さらに、USB(ユニバーサル・シリアル・バス)やLAN等であるPC用のインターフェイス(通信装置)等も備えて、画像形成システムとして用いることができる。この画像形成システムには、スキャナやFAX機能等も備えた複合機等としても用いることができる。
以下で、実施の形態に係る画像処理装置Xの制御構成の詳細について説明する。
プリントデータ受信記憶部201は、画像処理装置XのUSBやLAN等で受信したページ記述言語で記載されたデータをバッファリングするRAMや補助記憶装置である。
PDL解析部202は、バッファリングされたデータをページ記述言語の命令により解析してしかるべき処理に分岐する制御手段である。このPDL解析部202は、ページ記述言語の種類毎に異なる解析処理を行うことが可能であり、例えば、マイクロソフト社のXPSに加え、Adobe社のPostScript(登録商標)言語、PRESCRIBE言語等に対応できる。PostScriptの場合には、エミュレータにて対応可能である。
ディスプレイリスト作成部203は、各ページのデータを用いて、入れ子構造を持つデータを効率よくレンダリングするために、レンダリングする描画の最小単位である描画プリミティブに分割したディスプレイリストを作成する。
ここで、本発明の実施の形態に係る画像処理装置Xにおいては、実際に印刷用に用いるビットマップデータであるレンダリングバッファと、これとは別に、一時的に用いる別のバッファを用意してレンダリングを行うことができる。
本発明の実施の形態に係る画像処理装置Xでは、この一時的に用いる別のバッファをサブレンダリングバッファと呼ぶ。
ディスプレイリスト作成部203は、このサブレンダリングバッファを取得することもできる。
ページレンダリング部204は、ディスプレイリストに従い、実際にレンダリングバッファ又はサブレンダリングバッファに対してラスタライズ・オペレーションを行う。これにより、各ページのレンダリングが行われる。また、ページレンダリング部204は、線画エンジン、特定色でのフィル、バイリニア拡大・縮小・回転を行うblter、誤差拡散、色空間変換等の処理を高速に行うためのアクセレレーション機能等を搭載しており、高速なレンダリングを行うことが可能である。
(XPSによるブレンド処理の概略)
ここで、図2と図3を参照して、図2のXPSの記述を基に、レンダリング画像を用いてブレンド処理(半透明描画処理)を行う際の概要について説明する。
まず、XPSの概略について説明する。
XPSは、上述のようにWindows(登録商標)Vista OSに標準で用いられる、高機能なページ記述言語である。XPSは、データベース等で標準に用いられているXML形式で記述され、複数の入れ子構造をとるエレメントから構成される。各エレメントは、例えば<canvas>と</canvas>のようなタグに囲まれた内側に、必要な情報を記述することにより規定される。
各エレメントの内側には別のエレメントを記述することも可能である。このため、XPSでは、レンダリングするイメージが入れ子構造となることがよくある。
ブレンド処理は、上述のような入れ子構造内で描画したイメージを属性値として用いて、別の描画を行うための典型的な例である。具体的には、あるイメージを描画して、その描画したイメージを、他の図形を描画した透明度を記述する透過マスクデータとして使用することが可能である。
ここで、図2を参照して、XPSでのブレンド処理の記載について簡単に説明する。図2は、ブレンド処理を説明するためのXPSを抜粋したものである。
図2のXPSの記述において、<fixed page>エレメントは、あるページに描かれる内容を記述している。すなわち、画像処理装置Xは、<fixed page>〜</fixed page>のタグ内に記述されたエレメントの内容を、1ページに印刷する。
<canvas>エレメントは、任意範囲の図形のレンダリング領域を示しているエレメントである。この<canvas>エレメントにより、複数のエレメントを1単位にまとめることができる。すなわち、<canvas>〜</canvas>間に記載された内容が、描画するイメージの1単位である描画プリミティブ等に翻訳される。
また、この<canvas>エレメントに指定する属性は、内側のエレメントである子エレメントに影響を与える。
<opacitymask>エレメントは、透過の情報であることを明示的に示すエレメントである。<opacitymask>エレメントは、このエレメントの内側のエレメントで描画されたイメージを、透明度を記述するアルファ値を示すイメージとして扱うためのエレメントである。すなわち、画像処理装置Xは、<opacitymask>〜</opacitymask>間の記述で描いたイメージを、透過マスクデータとして使用する。
上述の透過マスクデータは、例えば0〜255(8bit)や0〜65535(16bit)の単位で透過率を規定する。
8bitの場合は、0が完全に透明で、255が完全に不透明であることを示す。同様に、16bitの場合は、0が完全に透明で、65535が完全に不透明であることを示す。
なお、この透過マスクデータは、RGB値やCMYK値等のカラー毎に用意してもよい。
さらに、固定小数点値又は浮動小数点値で表現されていてもよい。この場合は、最大値と最小値を規定する値を決定しておくことが望ましい。
(従来技術1による描画)
図2のXPSをレンダリングする場合、従来技術1によると、<opacitymask>エレメント内の記載内容を、複数の描画プリミティブとしてまとめて、ヘッダ情報を付加することになる。すなわち、図2のXPSの場合は、全体に対してヘッダ情報が付加されて、従来技術1ではコントーン画像用のバッファと呼ばれているレンダリング用のビットマップデータであるレンダリングバッファのみを使用することになる。
このヘッダの付加については、従来技術1では入れ子構造を処理する仕組みが用意されていないので難しいと考えられるが、全体が圧縮されない状態で描画されるものとして説明する。
また、従来技術1の印刷装置では、入れ子構造を処理しないため、<opacitymask>エレメントの描画が終了すると、すぐに背景画像であるレンダリングバッファに対して半透明処理を行う。
よって、図2のXPSのレンダリングは、図3を参照すると以下のように行われる。
まず、図3のレンダリングバッファの描画状態のイメージであるレンダリングバッファイメージ100には、元々、背景の文字等が描かれているとする。
ここで、従来技術1の印刷装置はPDLを解析し、もっとも内側の<canvas>エレメントで、図3の図形描画(1)の矩形を2つ、レンダリングバッファに描画する。この時点でのレンダリングバッファは、レンダリングバッファイメージ101のようなイメージとなる。ここで、背景の文字等が塗りつぶされる。
この図形描画(1)は、<opacitymask>エレメントの内側であるため、これが透過マスクデータになる。
次に、透過マスクデータである背景画像と、図3の図形描画(2)の図形(この場合は、50%グレーの矩形)をレンダリングバッファに対して描画する。この時点でのレンダリングバッファは、レンダリングバッファ102のようなイメージとなる。
ここで、レンダリングバッファ102のイメージは、<opacitymask>エレメントの内側であるため、また透過マスクデータとして用いられることになる。
ここで、実際には、従来技術1は、このような複数の入れ子構造には対応していないためエラー処理を行うのが妥当だと思われる。しかし、ここでは説明のために、<opacitymask>エレメントの情報を用いて描画が進められる場合どうなるかについて解説する。
この場合、従来技術1の印刷装置は、図3の図形描画(3)のカラーの矩形(青成分100%)を描画し、このとき102で生成したイメージのうち、図形描画3に用いられる背景の一部について透過マスクデータとして、描画される矩形とブレンドされたイメージを描画する。
すなわち、最終的なレンダリングバッファのイメージは、レンダリングバッファイメージ103のような画像となる。
しかしながら、図3のような描画結果は、本来XPSの記述が意図していた描画結果とはかけ離れている。すなわち描画の破綻が起こっているといえる。
そこで、本発明の発明者は鋭意研究と実際の印刷データを用いて開発を行い、印刷装置におけるXPSのような高度なページ記述言語での描画に最適な方法を開発するに至った。
本発明の実施の形態に係る画像処理装置Xにおいては、上述のように図2のように入れ子構造のあるページ記述言語の記載を基にレンダリングする際に、サブレンダリングバッファを確保してこれに対して描画するといった仕組みを提供することで、描画の破綻を避けることが可能となる。
(本発明の実施の形態に係る画像処理装置Xによる描画)
図2のXPSを用いて、本発明の実施の形態に係る画像処理装置Xにおいてブレンド処理を行う場合の処理の概要について、図4と図5を参照して説明する。
画像処理装置Xは、プリントデータ受信記憶部201が印刷データを受信し(ステップS701)、PDL解析部202がPDLの解析を行なう(ステップS702)。
この解析したデータを基に、ディスプレイリスト作成部203は<canvas>エレメントが解析された場合は、入れ子構造があると判定する(ステップS703)。
入れ子構造があった場合は、ディスプレイリスト作成部203は<canvas>のカウンタを増加させる(ステップS704)。
この上で、ディスプレイリスト作成部203は、後の行のPDLの記述内容からディスプレイリストを作成する(ステップS705)。
さらに、ディスプレイリスト作成部203は、入れ子構造の内側でサブレンダリングバッファを取得する必要があると判定した際に(ステップS706)、レンダリングバッファとは別にサブレンダリングバッファ(2)を取得して(ステップS707)、サブレンダリングバッファのカウントを増加させる(ステップS708)。
また、ディスプレイリスト作成部203は、入れ子構造の内側でなくなったことを判定し(ステップS709)、<canvas>のカウンタのデクリメント等の処理も行う(ステップS710)。
更に、ディスプレイリスト作成部203は、ディスプレイリストの作成時に、入れ子構造の内側であった場合は、上述のディスプレイリストの描画先として、入れ子構造の階層に対応するサブレンダリングバッファを選択し(ステップS712)、入れ子構造の外側であった場合はレンダリングバッファを選択する(ステップS713)
ディスプレイリスト作成部203は、ディスプレイリストを作成し終えたか判断し(ステップS7014)、まだ1ページ分のディスプレイリストの作成が終わっていない場合は、上述のステップを繰り返す。
ディスプレイリスト作成部203がディスプレイリストが作成し終えた場合は、ページレンダリング部204がディスプレイリストを解釈してレンダリングを行う(ステップS715〜S716)。
ここで、上述のステップを基に、ディスプレイリストが作成された場合、実際にはページレンダリング部がどのように描画を行うのかについて説明する。
まず、図4のレンダリングバッファイメージ110は、図3のレンダリングバッファイメージ100と同様に、ページレンダリング部204により元々の背景文字等が描かれているものとする。
最初に、ページレンダリング部204は、もっとも内側の<canvas>エレメントに対応したディスプレイリストを解釈した場合、図3の図形描画(1)の矩形を描画する。
この描画は、上述のようにディスプレイリストの作成時にディスプレイリスト作成部203がレンダリングバッファとは別にサブレンダリングバッファ(2)を取得しているため、サブレンダリングバッファ(2)に対してレンダリングを行う。この時点でのレンダリングバッファは、レンダリングバッファイメージ111のようになっており、変化しない。
なお、図形描画(1)は、<opacitymask>エレメントの内側であるため、これが透過マスクデータになる。
また、サブレンダリングバッファは、<canvas>エレメントの深さレベルによって取得(確保)して用いるのが好適である。この取得の詳細については後述する。
次に、ページレンダリング部204は、サブレンダリングバッファ(2)の描画データを透過マスクデータとして、図3の図形描画(2)の図形(この場合は、50%グレーの矩形)をサブレンダリングバッファ(1)に対して描画する。図形描画(2)の図形は、もっとも内側の<canvas>エレメントよりも1つ外側の入れ子構造内にあるからである。
ここで、透過マスクデータは透明度を示すため、ページレンダリング部204は、サブレンダリングバッファ(2)とブレンドしたイメージを、サブレンダリングバッファ(1)に対して描画する。また、この時点でのレンダリングバッファは、レンダリングバッファイメージ112のように、まだ変化していない。
サブレンダリングバッファ(1)の描画データは、外側の<opacitymask>エレメントにより、さらに透過マスクデータとして用いられる。
最後に、ページレンダリング部204は、サブレンダリングバッファ(1)の描画データを透過マスクデータとして、図3の図形描画(3)のカラーの矩形(青成分100%)をレンダリングバッファに対して描画する。図形描画(3)の図形は、入れ子構造の外側にあるからである。
これにより、最終的にプリンタが印刷するのに用いるレンダリングバッファ(ビットマップデータ)である、レンダリングバッファイメージ113が作成される。
このようなイメージが、本来のXPSの記述が意図していたものである。
(ページ記述言語のレンダリング例)
次に、図5のフローチャートを用いて、上述の例とは別のXPSである図6のXPSと図7の描画例を参照して、画像処理装置Xを用いて実際に描画する場合のページ記述言語を解釈し、レンダリングする例について、更に詳しく説明する。
(ステップS701)
ステップS701においては、画像処理装置Xのプリントデータ受信記憶部201が、USBやLAN等で接続されているホストであるPC等から、ページ記述言語で記載されている印刷データを受信して記憶する。
なお、印刷データについては、ページ枚のデータ単位でも、文書全体をまとめて受信してもよい。
印刷データを受信すると、印刷前の初期化処理として、ディスプレイリスト作成部203は、CVcnt、SRcntを0とし、サブレンダリングバッファが残っていた場合には解放する。
また、ディスプレイリスト用の、先頭位置と追加位置のポインタについても初期化する。さらに、レンダリングバッファに0フィル等を行いクリアする等の処理を行う。
(ステップS702)
次に、ステップS702においては、ステップS701で受信してプリントデータ受信記憶部201に記憶したページ記述言語の印刷データを、PDL解析部202が1行づつ解釈する。
なお、PDL解析部202は、何行目を解釈しているかについての、行のカウンタを記憶している。
(ステップS703)
次に、ステップS703においては、ステップS702で解釈したデータは<canvas>タグであるかについて、PDL解析部202が判定する。
Yesの場合、PDL解析部202は、ステップS704に処理を進める。
Noの場合、PDL解析部202は、ステップS709に処理を進める。
(ステップS704)
ステップS704においては、ステップS703でPDL解析部202が解析したエレメントが、<canvas>タグだった場合、ディスプレイリスト作成部203は<canvas>エレメントの入れ子構造の深さをカウントするカウンタをインクリメントする。
具体的には、以下で述べる「CVcnt」をインクリメントする。
(<canvas>エレメントのカウント例)
ここで、<canvas>エレメントの入れ子構造における深さレベルのカウントについて、図8を参照して、以下で詳細に説明する。
このカウントした数については、ディスプレイリスト作成部203が、<canvas>のカウンタ(以下、CVcntと呼ぶ)と、サブレンダリングバッファのカウンタ(以下、SRcnt)をRAM等に記憶する。ここで、CVcntの数は、<canvas>エレメントの深さレベルを示し、SRcntは、実際に取得したサブレンダリングバッファの数を示す。
実際のサブレンダリングバッファの取得については、CVcntとSRcntを用いて、以下のように行う。
行601をPDL解析部202が読み込むと、まだ<canvas>タグを読み取っていないのでCVcntとSRcntはデフォルトの値である0である。
行602をPDL解析部202が読み込むと、<canvas>タグを解釈する。これにより、ディスプレイリスト作成部203は、CVcntをインクリメントする。さらに、SRcntよりCVcntが大きいので、ディスプレイリスト作成部203がサブレンダリングバッファを確保して、SRcntをインクリメントする。
行603をPDL解析部202が読み込むと、<canvas>タグを解釈する。これにより、ディスプレイリスト作成部203は、CVcntをインクリメントする。さらに、SRcntよりCVcntが大きいのでサブレンダリングバッファを確保して、SRcntをインクリメントする。
行604をPDL解析部202が読み込むと、</canvas>を解釈する。これにより、ディスプレイリスト作成部203は、CVcntをデクリメントする。サブレンダリングバッファは解放しない。
行605をPDL解析部202が読み込むと、<canvas>を解釈する。これにより、ディスプレイリスト作成部203は、CVcntをインクリメントする。ここで、CVcntはSRcntよりも大きくないのでサブレンダリングバッファを新たに確保する必要はない。
行606をPDL解析部202が読み込むと、</canvas>を解釈する。これにより、ディスプレイリスト作成部203は、CVcntをデクリメントする。しかし、サブレンダリングバッファは解放しない。
行607をPDL解析部202が読み込むと、</canvas>を解釈する。これにより、ディスプレイリスト作成部203は、CVcntをデクリメントする。しかし、サブレンダリングバッファは解放しない。
(ステップS705)
また図5のフローチャートに戻って説明する。
ステップS705においては、<canvas>カウンタのカウント数(CVcnt)に対応するレンダリングバッファを描画先として指定するオブジェクトを作成し、ディスプレイリストに追加する。
(ディスプレイリストの作成)
ここで、図9を参照して、本発明の実施の形態に係る画像処理装置Xで用いられるディスプレイリストについて詳しく説明する。
ディスプレイリストは、描画プリミティブの種類や描画をどのように進めるのかについて記述する属性情報及び付加情報、描画先を示す情報、描画プリミティブを指定する情報、他のオブジェクトへのポインタをまとめたオブジェクトを、ポインタにより接続したような、リスト(リンクリスト)型のデータ構造を備えるデータである。
このディスプレイリストの各オブジェクトには、以下の構成要素を記憶している。
まず、本発明の実施の形態に係る画像処理装置Xにおいては、描画することができる描画プリミティブとして、例えば点、線(直線、ベジェ曲線、スプライン曲線等)、円、だ円、四角形フィル、ポリゴンフィル、フォント、ビットマップデータ等を指定することができる。これらの描画プリミティブの種類を記憶する。
また、描画プリミティブには、描画の際に半透明や透過マスクの描画、図形同士の論理演算(AND、OR、XOR等)を作成することができるため、この属性情報を記憶することができる。
さらに、点、線、ポリゴン等の色やハイライト、金属の反射係数、シェーディング情報、テクスチャ、シェーディングの方法等に加え、言語、ヘルプテキスト、座標変形の情報等の付加情報も記憶することができる。
描画先を指定する情報としては、入れ子構造の深さレベルを基に記述する。実際に保持するデータとしては、記憶装置上のアドレス(ポインタ)を記述する。
さらに、次のオブジェクトを示すポインタを記述する。複数のオブジェクトがまとまって描画される際には、このフラグを含めることができる。
次に、図10を参照して、図6のXPSの描画を行う場合のディスプレイリストの作成の例を、さらに詳細に説明する。
上述の図7のイメージ303のレンダリングをする際は、まず301と302のレンダリングから実行する必要があるので、レンダリングの小単位となるディスプレイリストの作成時も301のディスプレイリストを先に作成する。
まず、PDL解析部202は、<opacitymask>エレメントを解釈して、透過処理を有効にするディスプレイリストであるディスプレイリスト401を作成する。
次に、PDL解析部202は、<canvas>エレメントの入れ子構造を解釈した上でディスプレイリスト402を作成する。上述のように、図6のXPSでは<canvas>エレメントの入れ子構造が発生しているので、後述する入れ子構造の深さレベルのカウントが上がり、サブレンダリングバッファにレンダリングすることになる。よって、ディスプレイリスト402は、このサブレンダリングバッファを取得し、このバッファアドレスを描画先としてもつことを記憶する。
次に、PDL解析部202は、図6における図形描画(4)と図形描画(5)の各描画プリミティブを示す、ディスプレイリスト403を作成する。
最後に、PDL解析部202は、図6における図形描画(6)のディスプレイリストを示すディスプレイリスト404を作成する。このディスプレイリスト404では、<canvas>エレメントの入れ子構造の外側なので、レンダリングバッファを描画先とすることを記憶する。
ディスプレイリスト作成部203は、ディスプレイリストの先頭のオブジェクトを示すポインタを保持している。
また、終端部分のオブジェクトにおける次のオブジェクトを示すポインタのポインタ(アドレス)を保持している。
このポインタのポインタは、デフォルトではnil(空)となっている。上述のように各オブジェクトがディスプレイリストに追加される場合には、オブジェクトのメモリを確保した後で、このポインタのポインタに、追加するオブジェクトのアドレスを記憶する。
(ステップS706)
また、図5のフローチャートに戻って説明する。
ステップS706においては、<canvas>カウンタのカウント数(CVcnt)が、サブレンダリングバッファのカウント数(SRcnt)より多いかについて、ディスプレイリスト作成部203が判断する(<canvas>カウンタの数とサブレンダリングバッファの確保数のカウンタについて比較する)。
Yesの場合、PDL解析部202は、ステップS707に処理を進める。
Noの場合、PDL解析部202は、ステップS709に処理を進める。
(ステップS707)
ステップS707においては、ステップS706で、<canvas>カウンタの数がサブレンダリングバッファの取得数より大きかったときは、ディスプレイリスト作成部203が新たにサブレンダリングバッファを取得する。
(サブレンダリングバッファの取得)
ここで、本発明の実施の形態に係る画像処理装置Xに係るサブレンダリングバッファの取得について説明する。
画像処理装置Xでは、上述のようにPDL解析部202がPDLを解析する。
その上で、上述のように、レンダリングが階層的に指示されていたときは、ディスプレイリスト作成部203が、<canpus>の入れ子構造のレベルにより、一時的なレンダリング用のバッファであるサブレンダリングバッファをRAM又は補助記憶装置内に取得(確保)する。このサブレンダリングバッファは複数用意することが可能である。
以下で、図6の同一レベルの入れ子構造をもつXPSと描画結果の図7を参照して、実際にサブレンダリングバッファを取得する手順について、さらに詳しく説明する。
図6においては、上述のように<canvas>エレメント、すなわち<canvas>〜</canvas>タグの間の命令を解釈してレンダリング画像を生成する。
また、上述のように<opacitymask>エレメント、すなわち<opacitymask>〜</opacitymask>タグの間は透過率である透過マスクデータの定義になる。
図6を参照すると、図形描画(4)のレンダリング結果であるイメージ301を、外側のイメージ303のレンダリングで透過情報として用いる。
具体的には、図形描画(4)は、図6のイメージ301のように、実際に印刷されるページとは別のイメージとして描画する。すなわち、レンダリングバッファとは別のサブレンダリングバッファに描画する。このとき、このイメージ301の背景は黒色で、50%Grayの矩形を描画している。つまり、透過率1.0を黒色とし、透過率0.0を白色としている。
同様に、図形描画(5)のレンダリング結果であるイメージ302は、別のイメージとしてイメージ301と同じサブレンダリングバッファに描画する。ここでも、背景は黒色で、25%Grayの矩形を描画している。なお、書き込むサブレンダリングバッファについては、<canvas>の入れ子構造の深さレベルのカウントを用いて決定する。これについては後述する。
次に、イメージ301とイメージ302のレンダリング結果のイメージを、透過マスクデータとして、イメージ303のレンダリングで背景色とブレンド処理して描画する。
図7を参照すると、イメージ303のレンダリングは、イメージ301とイメージ302のイメージを透過マスクデータとして、青色の矩形イメージとブレンド処理して描画する。
ここで、<canvas>タグから</canvas>タグの間で、子エレメントとして<canvas>エレメントが記述されるデータのとき、サブレンダリングバッファを確保する。
つまり、PDL解析部202が「<canvas>」を解釈して、「</canvas>」を解釈する前に、次の「<canvas>」を入力したときに、ディスプレイリスト作成部203はサブレンダリングバッファを確保する処理を行う。
具体的には、PDL解析部202が子エレメントの<canvas>エレメント内を解釈して、ページ内で描画プリミティブでレンダリングする座標の最小値(左上)と最大値(右下)を割り出す。ディスプレイリスト作成部203は、この座標に対応するデータをC言語でいうcalloc()のようにゼロ・フィルを行ったメモリ領域として、動的にバッファを確保する。ディスプレイリスト作成部203は、このサブレンダリングバッファ用のメモリ領域を、ページの描画終了時に開放する。この解放処理についても後述する。
なお、処理を高速化するため、上述のように子エレメントでの座標を解釈せずに、レンダリングバッファのビットマップデータと同様の容量のサブレンダリングバッファを予め確保又は取得しておいてもよい。
(バッファの使用方法)
次に、実際のサブレンダリングバッファの確保と使用の方法について、図11のXPSを参照して説明する。
図11のXPSを基にレンダリングする場合は、サブレンダリングバッファ2つを用意する。これは、<canvas>の深さレベルの情報に応じて、用意するサブレンダリングバッファの数を決めるためである。
すなわち、PDL解析部202は、行502で<canvas>タグを解釈する。この<canvas>エレメント内部の描画を行うために、ディスプレイリスト作成部203は、サブレンダリングバッファを1つ取得する(これを、サブレンダリングバッファ(3)とする。)。
次に、PDL解析部202は、行503で<canvas>エレメントの内部の<canvas>エレメントを解釈する。これにより、ディスプレイリスト作成部203がサブレンダリングバッファをもう一つ用意する(これを、サブレンダリングバッファ(4)とする。)。
また、PDL解析部202は、行504でも<canvas>エレメントを解釈する。しかし、これは行503の<canvas>エレメントと同じ入れ子構造の深さレベルなのでサブレンダリングバッファを追加せずに、行503で取得したサブレンダリングバッファと同じサブレンダリングバッファに描画する。
つまり、同じ深さレベルのカウントとなる入れ子(ネスト)構造内の描画は、同じサブバンドバッファに描画するようにする。
ここで、図11おける<canvas>の入れ子構造内の描画について、さらに詳しく説明する。
図11に記載のXPSの場合は、まず、サブレンダリングバッファ(4)に、ネストした<canvas>の図形描画(4)と図形描画(5)のイメージを描画する。
次に、サブレンダリングバッファ(3)に、サブレンダリングバッファ(4)の画像情報を使用し、図形描画(6)として透過処理を行ってイメージを描画する。
実際に各行におけるレンダリングの描画先は以下のようになる:
行501 <fixedpage>エレメントで規定される、ページレベルの描画先は、レンダリングバッファ(画像処理装置Xが出力するイメージバッファ、ビットマップデータ)である。
行502 PDL解析部202において<canvas>を読み取ったとき、ディスプレイリスト作成部203が、新規のサブレンダリングバッファ(3)確保する。
行503 PDL解析部において</canvas>を読み取る前に新たな<canvas>を読み取ったので、サブレンダリングバッファ(4)を追加して確保し、図形を描画する。
行504 行502で同じレベルのサブレンダリングバッファ(4)を確保しているのでそれに描画する。
(ステップS708)
ここで、また図5のフローチャートに戻って説明する。
ステップS708においては、ディスプレイリスト作成部203はサブレンダリングバッファのカウント数であるSRcntをインクリメントする。
(ステップS709)
ステップS708においては、ステップS702で解釈したデータは</canvas>タグであるかについて、PDL解析部202が判定する。
Yesの場合、PDL解析部202は、ステップS710に処理を進める。
Noの場合、PDL解析部202は、ステップS714に処理を進める。
(ステップS710)
ステップS710においては、ステップS709で解釈したデータが</canvas>であるなら、ディスプレイリスト作成部203は<canvas>カウンタ(CVcnt)をデクリメントする。
(ステップS711)
ステップS711においては、デクリメントした<canvas>カウンタ(CVcnt)が0ではないかどうかを、ディスプレイリスト作成部203が判定する。
Yes、すなわちCVcntが0でない場合は、PDL解析部202は、ステップS712に処理を進める。
No、すなわちCVcntが0の場合、PDL解析部202は、ステップS713に処理を進める。
(ステップS712)
ステップS712においては、ステップS711でCVcntが0でないなら、ディスプレイリスト作成部203は、描画先をCVcntのカウント数に対応するサブレンダリングバッファに指定したオブジェクトを作成し、ディスプレイリストに追加する。このディスプレイリストには、レンダリングバッファを解放するかどうかの情報を付け加えることもできる。
(ステップS713)
ステップS713においては、ステップS711でCVcntが0のときは、ディスプレイリスト作成部203は、直接印刷するレンダリングバッファを描画先として指定したオブジェクトを作成し、ディスプレイリストに追加する。
(ステップS714)
ステップS714においては、PDL解析部202は、ページ全体のディスプレイリストを作成したかどうか判定する。すなわち、</fixedpage>タグや、</fixeddocument>タグが現れたかどうか、又はステップS701で読み込んだ印刷データが終了したについて解釈する。
Yesの場合、PDL解析部202は、処理をステップS715に進める。
Noの場合、PDL解析部202は、次の行を読み込むように行のカウンタを進めて、処理をステップS702に戻す。
(ステップS715)
ステップS715においては、ディスプレイリストを作成している場合は、ディスプレイリスト作成部203が、ページレンダリング部204にディスプレイリストのポインタを渡たす。
これにより、ページレンダリング部204は、ディスプレイリスト内のオブジェクトにより指示された種類の描画プリミティブを、レンダリングバッファ又はサブレンダリングバッファにレンダリングし、各種の演算処理を行う。
(ステップS716)
レンダリングを終了したら、ディスプレイリスト作成部203は、確保したサブレンダリングバッファを解放する。
このサブレンダリングバッファの解放処理について、以下で詳細に記述する。
(サブレンダリングバッファの解放処理)
サブレンダリングバッファは、基本的に、レンダリングバッファに1ページのイメージの作成を終了した時点で、ディスプレイリスト作成部203が解放する。
もっとも、実際にはディスプレイリストを参照して、入れ子構造が解消した時点で解放するようにすることが可能である。しかしこの場合は、ページ記述言語の記述にエラーがあった場合でも解放されないバッファが残らないように、各ページのレンダリングが終了した時点で、サブレンダリングバッファを解放するようにすることが望ましい。これにより、メモリを効率的に使うことが可能になる。なお、サブレンダリングバッファを解放した時点で、ディスプレイリストも同時に解放する。
なお、メモリ不足等で、サブレンダリングバッファを取得(確保)できなかった場合は、描画を直接レンダリングバッファに行うようにすることで、描画の破綻を最小限に抑えることが可能になる。
サブレンダリングバッファの解放を行うと、1ページの描画を終了する。
ここで、画像処理装置Xを含むページプリンタの制御装置は実際にレンダリングバッファのビットマップデータを感光体に走査露光して静電により潜像を作成する。その上で、トナーを付着させて紙に転写して印刷を行う。カラー・レーザープリンタの場合は、この手順をCMYKの各カラーごとに行う。
この印刷の過程を繰り返して、文書内のすべてのページの印刷が行われる。
以上のように構成することで、本発明の実施の形態に係る画像処理装置Xは以下に掲げるような効果を得ることができる。
まず、従来技術1の印刷装置の場合は、カラー・ラスター・オペレーションやアルファブレンドなど描画不正が起こる可能性があるページ記述言語の記述が含まれている場合のレンダリングでは、描画できる部位のみレンダリングを行っていた。この描画不正が起こった際、描画できない部位に関しては、半透明化を行って破綻が少なく見せるようにレンダリングを行っていた。
この従来技術1の方法では、XMLのように階層的に定義できるページ記述に対してのレンダリングを実現することが難しい。
実際に、XML形式で記述しているXPSにおいては、レンダリングイメージを階層的、すなわち入れ子構造により描画するように定義できる。すなわち、XPSで記述されたデータについて、レンダリング結果のサブレンダリングバッファ内のイメージを使って最終的なレンダリング画像を生成する場合が発生するため、問題となっていた。
このため、XPSによるページ記述をレンダリングする際に、レンダリングの入れ子構造の解決が必要であった。
本発明においては、描画結果のイメージを使用して最終的なレンダリングイメージを生成する場合において、描画対象の指定の入れ子構造に応じてバッファを追加確保することで、問題なく描画することができる。
これにより、従来技術1の印刷装置で起こるような描画の破綻を避けることが可能となる。
また、本発明においては、入れ子構造が問題になるエレメント(XPSの場合は<canvas>エレメント)に注目して、サブレンダリングバッファを取得するためのカウンタを用意した(例えば、CVcntとSRcnt)。これにより、容易に入れ子構造のあるデータを描画できるようになり、ソフトウェアによって必要な工数を少なくするという効果が得られる。
さらに、PDLを解釈するソフトウェアとして実際のプリンタにインストールする際に、レンダリングで支障が生じることがないという効果が得られる。
加えて、入れ子構造に従ってサブレンダリングバッファを取得するようにしたため、例えば<canvas>が出現するたびにすべてバッファを取得するといった方法に比べて、メモリの消費を必要最小限に抑えることができる。
なお、この上述の実施の形態においては、サブレンダリングバッファの取得について、ページ記述言語を解析する際に行うように記述した。
しかし、実際のレンダリング時に取得するように構成することも当然可能である。この場合は、ディスプレイリストの各オブジェクトの描画先を示す情報として、<canvas>カウンタ(CVcnt)の数を記述することもできる。また、サブレンダリングバッファを取得する必要がある場合、これを示すフラグを付加する。この上で、実際のページレンダリング時に、ページレンダリング部204がサブレンダリングバッファの取得を行ってレンダリングする。
なお、この入れ子構造を描画処理する場合に、メモリ容量が十分に確保できる場合、最終的に印刷するレンダリングバッファ(ビットマップデータ)のビット毎に、入れ子構造の深さを記述する深さ(デプス)バッファを用いて、サブレンダリングバッファを用いずに処理することも可能である。
この場合、各描画プリミティブを描画する際に、深さバッファが入れ子構造の上か下かを判断してビットマップデータに書き込むかを判断する処理を順次処理を行う。これにより、破綻のない描画を行うことができる。
しかし、半透明の描画処理を行う場合、この深さバッファだけでは描画の順序が問題になることがある。
この場合は、破綻する箇所に関連するディスプレイリスト内の各描画プリミティブを、<canvas>エレメントの深さによりソート(zソート)した上で再描画することで、描画の破綻を避けることができる。
さらに、上述の深さカウントにおいては、入れ子構造をバイナリーツリーのようなツリー形状で表現して、より複雑な構造を描画することも可能である。
加えて、本発明の実施の形態においては、レーザープリンタを用いて説明したが、本発明の画像処理装置は他の方式のプリンタにも当然、適用できる。
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
本発明の実施の形態に係る画像処理装置Xの制御構成図である。 本発明の実施の形態に係るブレンド処理の概要を説明するためのXPSの記述を示す図である。 従来技術1に係るブレンド処理の概要を説明するためのレンダリングの概念図である。 本発明の実施の形態に係るブレンド処理の概要を説明するためのレンダリングの概念図である。 本発明の実施の形態に係る画像処理装置Xのレンダリングの手順を示すフローチャートである。 本発明の実施の形態に係るサブレンダリングバッファの確保を説明するためのXPSの記述を示す図である。 本発明の実施の形態に係るサブレンダリングバッファの確保を説明するための概念図である。 本発明の実施の形態に係る入れ子構造の深さレベルのカウントについて説明するための概念図である。 本発明の実施の形態に係るディスプレイリストのオブジェクトの構成を示す概念図である。 本発明の実施の形態に係るディスプレイリストを示す概念図である。 本発明の実施の形態に係るサブレンダリングバッファ取得のタイミングを説明するため概念図である。
符号の説明
100〜103、110〜113 レンダリングバッファイメージ
201 プリントデータ受信記憶部
202 PDL解析部
203 ディスプレイリスト作成部
204 ページレンダリング部
301〜303 イメージ
401〜404 ディスプレイリスト
X 画像処理装置

Claims (3)

  1. ページ記述言語の記載を基に画像処理をする画像処理装置であって、
    前記ページ記述言語で記載されたデータを記憶する記憶手段と、
    前記記憶手段に記憶したページ記述言語の入れ子構造に関する記載を解析するページ記述言語解析手段と、
    前記ページ記述言語解析手段により解析した前記入れ子構造を基に、描画する図形の種類と入れ子構造の深さレベルの情報を含むリストであるディスプレイリストを作成するディスプレイリスト作成手段と、
    前記ディスプレイリストに従って、前記入れ子構造の深さレベル毎にサブレンダリングバッファを取得して該サブレンダリングバッファにレンダリングを行い、該サブレンダリングバッファの内容を用いて各ページのレンダリングを行うページレンダリング手段と
    を備え
    前記ページレンダリング手段は、同じ深さレベルの前記入れ子構造内の描画を同じサブレンダリングバッファに行うとともに、最も深い深さレベルから逆順に前記入れ子構造内の描画を前記サブレンダリングバッファに行い、最も浅い深さレベルの入れ子構造に対応する前記サブレンダリングバッファの描画データと前記入れ子構造の外側の描画をレンダリングバッファに行って印刷に用いるレンダリングバッファイメージを作成する
    ことを特徴とする画像形成装置。
  2. 前記ページ記述言語は、XPSを含むXMLを基にしたページ記述言語であることを特徴とする請求項1に記載の画像形成装置。
  3. 請求項1または2に記載の画像形成装置と、
    通信装置とを備えることを特徴とする画像形成システム。
JP2007238102A 2007-09-13 2007-09-13 画像処理装置及び画像形成システム Expired - Fee Related JP5424546B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007238102A JP5424546B2 (ja) 2007-09-13 2007-09-13 画像処理装置及び画像形成システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007238102A JP5424546B2 (ja) 2007-09-13 2007-09-13 画像処理装置及び画像形成システム

Publications (2)

Publication Number Publication Date
JP2009066926A JP2009066926A (ja) 2009-04-02
JP5424546B2 true JP5424546B2 (ja) 2014-02-26

Family

ID=40603703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007238102A Expired - Fee Related JP5424546B2 (ja) 2007-09-13 2007-09-13 画像処理装置及び画像形成システム

Country Status (1)

Country Link
JP (1) JP5424546B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8699042B2 (en) * 2008-06-12 2014-04-15 Konica Minolta Laboratory U.S.A., Inc. Systems and methods for multi-mode color blending
JP5847139B2 (ja) 2013-08-16 2016-01-20 株式会社沖データ 画像形成システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6426798B1 (en) * 1999-03-04 2002-07-30 Canon Kabushiki Kaisha Data structure for printer description file
JP2002196904A (ja) * 2000-11-09 2002-07-12 Texas Instruments Inc プリントドキュメントを指定するページ記述データをピクセルデータへ変換する方法
US7511718B2 (en) * 2003-10-23 2009-03-31 Microsoft Corporation Media integration layer
JP2005238713A (ja) * 2004-02-27 2005-09-08 Canon Inc 印刷システム及び印刷管理方法
JP4164467B2 (ja) * 2004-03-26 2008-10-15 キヤノン株式会社 画像処理装置、画像処理制御方法、及びプログラム
US20060106775A1 (en) * 2004-11-18 2006-05-18 Microsoft Corporation Multilevel device capabilities hierarchy

Also Published As

Publication number Publication date
JP2009066926A (ja) 2009-04-02

Similar Documents

Publication Publication Date Title
EP0654759B1 (en) Printing apparatus
JP5531531B2 (ja) 画像処理システム及び画像処理プログラム
US5852679A (en) Image processing apparatus and method
US6323958B1 (en) Printing apparatus
US20150262046A1 (en) Print data processing apparatus and non-transitory computer readable medium
KR20110009853A (ko) 토너 절약 방법, 토너 절약 시스템 및 화상형성장치
JP2817687B2 (ja) 画像形成装置
JP6202908B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5644214B2 (ja) 印刷制御プログラム、情報処理装置、記憶媒体、印刷装置、印刷システム
JP5424546B2 (ja) 画像処理装置及び画像形成システム
JP6904717B2 (ja) 画像処理装置、その制御方法、およびプログラム
JP4461361B2 (ja) 描画処理方法およびプログラム並びに描画命令出力装置および画像形成装置
JP2001293936A (ja) 描画情報処理装置および描画情報処理方法
JP6755644B2 (ja) 文字処理装置、文字処理方法、文字処理プログラム
JP6492895B2 (ja) 印刷データ処理装置及びプログラム
JP4325339B2 (ja) 印刷システム、ホストコンピュータ及びプリンタドライバ
US20140368888A1 (en) Image forming apparatus, image processing method, and medium
JP2006218819A (ja) 画像形成装置、画像処理装置、プログラムおよび画像処理方法
JP2005038084A (ja) 描画データの変換方法及び変換装置
JP2006012059A (ja) 情報処理装置、情報処理方法、プログラム、及び、記憶媒体
JP3826091B2 (ja) 情報処理装置、及び情報処理方法、プリント装置、及びプリント方法
JP3968989B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記憶媒体
JP2019192087A (ja) 情報処理装置、プログラム、情報処理方法
JP3305071B2 (ja) サーバ装置
JP2019197327A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131126

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5424546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

LAPS Cancellation because of no payment of annual fees