JP4424388B2 - 画像処理回路、表示装置及び印刷装置 - Google Patents

画像処理回路、表示装置及び印刷装置 Download PDF

Info

Publication number
JP4424388B2
JP4424388B2 JP2007211253A JP2007211253A JP4424388B2 JP 4424388 B2 JP4424388 B2 JP 4424388B2 JP 2007211253 A JP2007211253 A JP 2007211253A JP 2007211253 A JP2007211253 A JP 2007211253A JP 4424388 B2 JP4424388 B2 JP 4424388B2
Authority
JP
Japan
Prior art keywords
image data
pixel value
pixel
color information
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007211253A
Other languages
English (en)
Other versions
JP2009047749A (ja
Inventor
義之 小野
高 澤崎
明 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2007211253A priority Critical patent/JP4424388B2/ja
Priority to US12/222,363 priority patent/US8089493B2/en
Priority to EP08014431A priority patent/EP2026282A2/en
Publication of JP2009047749A publication Critical patent/JP2009047749A/ja
Application granted granted Critical
Publication of JP4424388B2 publication Critical patent/JP4424388B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)

Description

本発明は、画像領域に複数の図形画像を並べて配置する技術に関する。
画像処理の分野では、ハッチング処理と呼ばれる技術が知られている。このハッチング処理とは、文字や表又は図形などの画像領域に複数の図形画像を規則的に並べて配置することで、いわゆる網掛けや模様付けなどを行う処理のことである。例えば特許文献1には、ハッチング描画用のブロックパターンを指定された領域内に繰り返し転送するBiTBLT(ビットバウンダリ、ブロック転送)回路を用いて、フレームメモリにハッチングパターンを迅速に展開する技術が開示されている。
特開平05−210381号公報
ところで、画像処理技術の一つとして、アンチエイリアス処理と呼ばれる、画像平滑化の技術が広く知られている。例えば白色と黒色の画素によって表現された文字が描画された画像に、このアンチエイリアス処理を施すと、その文字の輪郭を中間階調のグレー色で補うことができる。これにより、斜めに描画された輪郭部分に発生するジャギーと呼ばれる階段状のギザギザを滑らかな曲線にすることが可能となる。
このようなアンチエイリアス処理を施した画像に対して、さらに上述したハッチング処理を施す場合がある。例えば特許文献1に記載された技術によって、このような中間階調を含む入力画像に対してハッチング処理を行う場合を想定すると、中間階調部分については、非描画領域とみなされてハッチング処理が行われないか、あるいは描画領域とみなされてハッチング処理が施されるかのいずれかの処理が行われることになる。そのため、入力画像における中間階調部分が不自然に浮き立ってしまい、画質が劣化するという問題が発生する。
このように、特に、アンチエイリアス処理が施された文字画像のように、画像の輪郭部分が中間階調である領域に対してハッチングを施した場合には、画像の輪郭がきれいに描画されず、画像の美しさや視認性を損ねてしまうという問題がある。
本発明は、このような背景に鑑みてなされたものであり、その目的は、中間階調を含む画像領域に図形画像を並べて配置する際に生じる画質の劣化を抑制する仕組みを提供することにある。
上記課題を解決するため、本発明は、並べて配置される複数の図形画像を構成する各画素の位置と、その画素値とを記憶する記憶手段と、前記記憶手段に記憶された各位置の画素値と、0を含む多値で各位置の画素値が表された入力画像データに含まれる画素値とを、それぞれ対応する前記位置毎に乗算する第1の乗算手段と、前記入力画像データに含まれる各位置の画素値を当該入力画像データにおける最大画素値から減算した画素値を出力する減算値出力手段と、前記入力画像データに含まれる各位置の画素値又は当該入力画像データに基づく画像の背景となる背景画像データに含まれる各位置の画素値と、前記減算値出力手段から出力された画素値とを、それぞれ対応する前記位置毎に乗算する第2の乗算手段と、前記第1の乗算手段の乗算結果と、前記第2の乗算手段の乗算結果とを、それぞれ対応する前記位置毎に加算し、出力画像データとして出力する加算手段とを備えることを特徴とする画像処理回路を提供する。
これにより、中間階調を含む画像領域に図形画像を並べて配置する際に生じる画質の劣化を抑制することができる。
本発明の好ましい態様において、前記記憶手段は、前記複数の図形画像を構成する各画素の位置を記憶する第1の記憶手段と、前記図形画像の色を表す色情報を、前記複数の図形画像を構成する各画素の画素値として記憶する第2の記憶手段と、前記第2の記憶手段により記憶されている色情報を、前記第1の記憶手段により記憶されている各位置の画素の画素値として出力する色情報出力手段とを備えてもよい。
これにより、中間階調を含む画像領域に対して、第2の記憶手段により記憶されている色情報に基づいた色の図形画像を並べて配置することができる。
本発明の好ましい態様において、前記第2の記憶手段は、複数種類の色情報を記憶しており、前記色情報出力手段は、前記複数の図形画像のうち同一種類の図形画像を構成する画素毎に、前記第2の記憶手段によって記憶されている複数種類の色情報のうちのいずれかを出力してもよい。
これにより、中間階調を含む画像領域において、同一種類で同じ色情報に基づいた色の図形画像を並べて配置することができる。
本発明の好ましい態様においては、前記入力画像データに含まれる各位置の画素値、又は、当該入力画像データの画像の背景を表す背景画像データに含まれる各位置の画素値のいずれかを指定する指定手段と、前記指定手段によって指定された画素値を前記第2の乗算手段に供給する供給手段とを備えてもよい。
これにより、入力画像データに含まれる各位置の画素値、又は、当該入力画像データの画像の背景を表す背景画像データに含まれる各位置の画素値のいずれかを、出力画像データが表す出力画像における背景領域の画素値として指定することができる。
本発明の好ましい態様においては、予め決められた背景色情報を記憶する第3の記憶手段、又は、表示手段又は印刷手段に出力される画像情報を記憶する第4の記憶手段のいずれかを指定する指定手段と、前記指定手段によって指定された記憶手段に記憶されている情報を、前記背景画像データに含まれる画素値として読み出し、前記第2の乗算手段に供給する供給手段とを備えてもよい。
これにより、予め決められた背景色情報を記憶する第3の記憶手段、又は、表示手段又は印刷手段に出力される画像情報が展開される第4の記憶手段のいずれかを、出力画像データが表す出力画像における背景領域の画素値の供給元の記憶手段として指定することができる。
また、本発明は、上記のいずれかに記載の画像処理回路と、前記加算手段から出力される出力画像データに基づいて画像を表示する表示手段とを備えることを特徴とする表示装置を提供する。
これにより、中間階調を含む画像領域に図形画像を並べて配置する際に生じる画質の劣化を抑制することができ、さらに、その結果得られた画像を表示することができる。
また、本発明は、上記のいずれかに記載の画像処理回路と、前記加算手段から出力される出力画像データに基づいて印刷を行う印刷手段とを備えることを特徴とする印刷装置を提供する。
これにより、中間階調を含む画像領域に図形画像を並べて配置する際に生じる画質の劣化を抑制することができ、さらに、その結果得られた画像を印刷することができる。
[実施形態]
以下に説明する実施形態では、或る画像領域に複数の図形画像を並べて配置する処理のことを、「ハッチング」という。このとき配置される複数の図形画像は、全て同一の図形画像であってもよいし、類似の図形画像であってもよいし、全て異なる図形画像であってもよい。例えば全て同一の方向に延びる線分画像を均等な間隔で繰り返し配置することで“斜線掛け”と呼ばれるハッチングを行うことができる。また、2方向に延びる線分画像をそれぞれ均等な間隔で繰り返し配置することで“網掛け”と呼ばれるハッチングを行うことができる。さらに、ハート型とクローバー型の図形を互い違いに配置するようなハッチングもあるし、形状が全て異なる抽象的な図形をランダムに並べて配置するようなハッチングも考えられる。つまり、ハッチングに用いる図形画像の大きさや形状或いはその個数はどのようなものであってもよい。
図1は、本実施形態に係る画像表示装置1の構成を示す図である。
同図に示すように、画像表示装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、VRAM(Video Random Access Memory)14と、記憶性液晶表示体15と、表示制御装置16と、電源17と、電源制御装置18と、コネクタ19と、記憶制御装置20と、I/O21と、キー22と、記憶装置23と、画像処理回路25とを備えている。CPU11は、ROM12に記憶されている制御プログラムを読み出してRAM13に展開し、その制御プログラムに記述された手順に従って処理を実行する。キー22は、利用者によって操作される操作手段であり、ペンデバイスやジョイスティックなどの操作デバイスを含んでいる。I/O21は、キー22の操作状態を監視しており、ユーザによってキー22が操作されるとその操作に応じた信号をCPU11に供給する。電源17は、例えば充電可能な電池であり、電源制御装置18は、電源17のオンオフ制御や電力の残量監視など各種の電源管理を行う。
コネクタ19に対しては、リムーバブルメディアなどの可搬性の外付記憶装置24が着脱自在である。この外付記憶装置24は、例えばSD(Secure Digital)カードのようなフラッシュメモリ内蔵のカード型記憶媒体であってもよいし、例えばフレキシブルディスクなどの磁気媒体を利用したディスク型記憶媒体であってもよい。記憶装置23は、フラッシュメモリやハードディスクなどの不揮発性の記憶媒体であり、画像表示装置1に内蔵されている。記憶装置23又は外付記憶装置24には、テキスト(文字)、グラフィック(図形)又はイメージ(写真画像)などの画像を表す画像データが記憶されている。この画像データは、白を表す「0」という画素値及び黒を表す「1」という画素値によって構成された2値データである。画素値「1」の画素の配置された領域は画像の描画領域であり、画素値「0」の画素が配置された領域は非描画領域(背景領域)である。記憶制御装置20は、CPU11の指示に従い、記憶装置23又は外付記憶装置24から画像データを読み出し、画像処理回路25に供給する。
画像処理回路25は、アンチエイリアス回路255とハッチング回路250とを備えている。アンチエイリアス回路255は、CPU11の指示に従って供給される画像データに対してアンリエイリアス処理を施す。具体的に説明すると、このアンチエイリアス回路255は、供給された画像データに含まれる複数の画素、例えば縦方向4×横方向4の計16個の画素の画素値を平均するなどして1つの画素値を算出し、算出した画素値からなる多値の画像データを生成する。このようにして生成された画像データには、グレー色を表す中間階調の画素値が含まれる。例えば白色と黒色の画素によって表現された文字を表す画像データに対してこのアンチエイリアス処理が施された場合には、その文字の輪郭が中間階調のグレー色で補われることになる。ハッチング回路250は、CPU11の指示に従って供給される画像データに対してハッチングを施し、そのハッチングを施した画像データをVRAM14へと出力する。VRAM14は、フレームバッファであり、記憶性液晶表示体15に表示される1ページ分の画像データを記憶する。記憶性液晶表示体15は、コレステリック液晶や電気泳動などを利用した表示手段であり、電力供給が停止しても画像を表示し続けることができるという記憶性を有している。VRAM14に記憶された画像データは、CPU11の指示の下で表示制御装置16に供給される。表示制御装置16は記憶性液晶表示体15を制御して、供給された画像データに基づいた画像を表示させる。
次に、図2は、ハッチング回路250の構成を示す図である。
同図に示すように、ハッチング回路250は、メモリHと、ハッチングカラーレジスタR0,R1と、背景カラーレジスタR2と、セレクタSと、乗算器MU0,MU1と、減算器SUと、加算器ADとを備えている。このハッチング回路250には、例えば記憶装置23もしくは外付記憶装置24から読み出された2値の画像データに対してアンチエイリアス回路255がアンチエイリアス処理を施すことによって得られる、中間階調値を含む多値の画像データが、入力画像データとして入力される。この入力画像データに含まれる画素値は、最低濃度の画素を示す画素値〜最大濃度の画素を表す画素値が「0」〜「1」で表現されたものである。以下の説明では、入力画像データに含まれる画素値を「α」とよぶ。
ここで、アンチエイリアス回路255から出力される多値画像データが「0」〜「1」の画素値で表されている場合には、その多値画像データの画素値が、そのまま入力画像データの画素値「α」としてハッチング回路250に入力される。ここでは、画素値「α」=「0」が白色(最低濃度)を表し、画素値「α」=「1」が黒色(最高濃度)を表し、0<α<1を満たす「α」が、灰色を表している。一方、アンチエイリアス回路255から出力される多値画像データが、「0」〜「1」よりも大きい整数(例えば「0」〜「15」)からなる画素値で表されている場合には、多値画像データの画素値を、「0」〜「1」の範囲内に収まる値に変換してから、入力画像データの画素値「α」としてハッチング回路250に入力する必要がある。
この多値画像データの画素値から入力画像データの画素値「α」に変換する方法について説明しておく。入力画像データの画素値「α」への変換は、多値画像データに含まれる各々の画素値を多値画像データにおける最大画素値で除算することによって行われる。例えば、多値画像データが、「0」〜「15」(「0」が白色を表し、「15」が黒色を表す)の16階調で表現される場合、多値画像データに含まれる「0」という画素値は、その画素値「0」を最大画素値の15で除算した0÷15=「0」という「α」に変換される。また、入力画像データに含まれる「15」という画素値は、その画素値「15」を最大画素値の15で除算した15÷15=「1」という「α」に変換される。同様にして、入力画像データに含まれる中間階調値の「10」という画素値は、その画素値「10」を最大画素値の15で除算した10÷15≒「0.67」という「α」に変換される。
そして、この入力画像データに対してハッチング回路250によりハッチング処理を施した結果が、出力画像データとして出力される。メモリHには、ハッチング処理を行う際に用いるハッチングパターン(つまり複数の図形画像)を構成する各画素の位置が、ハッチングパターンデータとして記憶されている。
ここで、図3は、格子模様のハッチングを行うためのハッチングパターンデータを模式的に示す図である。
このハッチングパターンデータは、「0」又は「1」という2値のビット値で複数の図形画像が表現されたものである。図において白色の格子を構成する各画素の位置にはパターンビット値「0」が配置され、黒色の格子を構成する各画素の位置にはパターンビット値「1」が配置されている。このハッチングパターン全体のサイズは、VRAM14に確保される1ページ分の画像のサイズと同じである。各々の格子は複数個の画素(例えば16×16=256個の画素)によって構成されるが、ここでは説明を簡単にするために、1つの格子は1つの画素によって構成されているものと仮定する。この場合、ハッチングパターン全体の横方向の長さは、VRAM14における画像1ページ分の横方向の画素数Mに相当する長さである。また、ハッチングパターン全体の縦方向の長さは、VRAM14における画像1ページ分の縦方向の画素数Nに相当する長さである。
以下の説明では、ハッチングパターンデータにおいて左上端に位置する画素の位置座標を(0,0)とし、その画素から数えて下方向にi画素、右方向にj画素進んだ位置の画素を位置座標(i,j)の画素とする。従って、例えば、位置座標(0,0)の画素から数えて右方向に1画素進んだ位置の画素は、位置座標(0,1)にある画素であり、2画素進んだ位置の画素は、位置座標(0,2)にある画素であり、3画素進んだ位置の画素は位置座標(0,3)にある画素である。また、位置座標(0,0)の画素から数えて下方向に1画素進んだ位置の画素は、位置座標(1,0)の画素であり、2画素進んだ位置の画素は、位置座標(2,0)の画素である。このような位置座標の表現方法は、図3に示したハッチングパターンだけに限らず、ハッチング回路250に入力される入力画像データ(後述する図4)や、ハッチング回路250から出力される出力画像データ(後述する図8)においても同じである。
再び図2の説明に戻る。
ハッチングカラーレジスタR0は、ハッチングパターンデータにおいてパターンビット値「0」の位置にある画素の色を表す色情報を格納している。ここでは、例えば青色を表す色情報「C0」が格納されているものとする。ハッチングカラーレジスタR1は、ハッチングパターンにおいてパターンビット値「1」の位置にある画素の色を表す色情報を格納している。ここでは、例えば黄色を表す色情報「C1」が格納されているものとする。この色情報は、本来は色そのものを指定する情報と、その階調値とを含む。ただし、本実施形態では、色情報の階調値として、その色情報が表す色が有るか無いかの2値しか想定していないので、色情報「C0」だけで「青色」であることを意味すると同時に、その色が「有る」ということを意味している。また、色情報「C1」は、「黄色」であることを意味すると同時に、その色が「有る」ということを意味している。
セレクタSには、入力信号として、ハッチングカラーレジスタR0に格納されている色情報「C0」と、ハッチングカラーレジスタR1に格納されている色情報「C1」とが入力される。また、このセレクタSには、選択信号として、メモリHに記憶されているハッチングパターンデータに含まれる各パターンビット値が、上述した画素の位置座標の順番に従って順次入力される。セレクタSは、選択信号としてパターンビット値「0」が入力されている期間は、色情報「C0」を選択して出力し、選択信号としてパターンビット値「1」が入力されている期間は、色情報「C1」を選択して出力する。
上述したメモリHは、ハッチングパターンを構成する各画素の位置を記憶する第1の記憶手段として機能する。また、ハッチングカラーレジスタR0,R1は、ハッチングパターンの色を表す色情報を、そのハッチングパターンを構成する各画素の画素値として記憶する第2の記憶手段として機能する。そして、セレクタSは、ハッチングカラーレジスタR0,R1に記憶されている色情報を、メモリHに記憶されている各位置の画素の画素値として出力する色情報出力手段として機能する。結局、これらのメモリH、ハッチングカラーレジスタR0,R1及びセレクタSが協働することにより、ハッチングパターンを構成する各画素の位置とその画素値を記憶する記憶手段として機能することになる。
乗算器MU0は、第1の乗算手段であり、セレクタSから出力される色情報「C0」又は「C1」と、入力画像データに含まれる各位置の画素値「α」とを、それぞれ対応する画素位置毎に乗算して出力する。この「対応する位置」とは、図3に示した画素の位置座標が同じことを意味している。すなわち、乗算器MU0は、「C0」又は「C1」と「α」とが入力されて、“α×C0”又は“α×C1”を出力することになる。
減算器SUには、入力画像データに含まれる各位置の画素値「α」と、「1」という値とが入力され、この「1」という値から「α」を減算した“1−α”を「β」として出力する。これにより、「α」=「1」の場合は、その「1」という画素値を、入力画像データにおける最大画素値である「1」から減算した1−1=「0」という画素値が減算器SUによって出力されることになる。また、「α」=「0」の場合は、その「0」という画素値を、入力画像データにおける最大画素値である「1」から減算した1−0=「1」という画素値が減算器SUによって出力されることになる。同様にして、「α」≒「0.67」の場合は、その「0.67」という画素値を、入力画像データにおける最大画素値である「1」から減算した1−0.67=「0.33」という画素値が減算器SUによって出力されることになる。つまり、この減算器SUは、入力画像データに含まれる各位置の画素値をその入力画像データにおける最大画素値から減算した値を出力する減算値出力手段として機能する。このようにして、減算器SUからは、入力画像データに含まれる画素値が濃い濃度を表している場合には、薄い濃度を表す画素値が出力され、薄い濃度を表している場合には、濃い濃度を表す画素値が出力される。
背景カラーレジスタR2は、入力画像データによって表される画像が記憶性液晶表示体15に表示されるときの非描画領域(つまり入力画像データに基づく画像の背景となる背景領域)の色を表す色情報を格納している。この色情報は例えば白色を表している。この画像処理回路25では、予め決められた色の背景領域に、入力画像データが表す画像を重ねて描画する、という構成になっている。このため、背景カラーレジスタR2には背景領域の色情報が格納されている。以下、この背景領域の色情報を「背景色情報」という。
乗算器MU1は、第2の乗算手段であり、減算器SUから出力される「β」と、背景カラーレジスタR2から供給される背景色情報とを、対応する画素位置毎に乗算して出力する。すなわち、乗算器MU1からは、“β×背景色情報”が色情報として出力される。
加算器ADは、乗算器MU0から出力される“α×C0”又は“α×C1”と、乗算器MU1から出力される“β×背景色情報”とを、対応する画素位置毎に加算して、その加算した結果を出力画像データとして出力する。すなわち、加算器ADからは、“α×C0+β×背景色情報”という色情報か、“ α×C1+β×背景色情報”という色情報のいずれかが、出力画像データに含まれる各画素の色情報として出力される。
次に、ハッチング回路250の動作について具体的に説明する。
図4は、ハッチング回路250に入力される入力画像データが表す画像の一例として、“N”という文字を表す画像を示した図である。この画像は、図3に示したハッチングパターンと同様に、横方向にM個で縦方向にN個の画素から構成されている。各画素の画素値「α」は、図中の白色部分が「0」であり、黒色部分が「1」であり、さらに灰色の中間階調部分が「0.67」である。画素値「α」が「1」及び「0.67」の領域は、“N”という文字画像が描画される描画領域であり、画素値「α」が「0」の領域は、文字画像が描画されない非描画領域である。以下の説明では、このような入力画像データがハッチング回路250に入力された場合の動作を例示する。
まず、図5を参照して、セレクタS及び乗算器MU0の動作を説明する。
図4に示した入力画像データに含まれる各位置の画素値「α」が、位置座標の順番に従って、ハッチング回路250に入力される。例えば、入力画像データの位置座標(0,0)の画素の画素値「α」は「0」であるため、この「0」という値が入力される。次に、入力画像データの位置座標(0,1)の画素の画素値「α」も「0」であるため、「0」という値が入力される。同様にして、位置座標(0,2)、(0,3)・・・(0,M−1)というように、図4に示した入力画像データの最上方の1ラインの画素値「α」が順次、ハッチング回路250に入力される。1ラインの画素値が全てハッチング回路250に入力されると、次に、上から2番目の1ラインに属する位置座標(1,0)、(1,1)、(1,2)・・・(1,M−1)の画素の画素値「α」が順次、ハッチング回路250に入力される。ここで、位置座標(1,0)、(1,1)、(1,2)、(1,3)の画素の画素値は、それぞれ、「0」、「1」、「1」、「0.67」である。図5では、これらの画素値が順番に入力されている様子を例示している。
この入力動作と並行して、セレクタSには、入力信号として、ハッチングカラーレジスタR0から読み出された色情報「C0」と、ハッチングカラーレジスタR1から読み出された色情報「C1」とが入力され、選択信号として、メモリHから読み出されたハッチングパターンデータが供給される。セレクタSは、選択信号として「0」が入力されている期間は色情報「C0」を選択して出力し、選択信号として「1」が入力されている期間は色情報「C1」を選択して出力する。例えば、図3に示すようなハッチングパターンデータがメモリHに記憶されている場合、ハッチングパターンデータにおける位置座標(1,0)の画素については、パターンビット値が「0」であるため、セレクタSからは色情報「C0」が出力される。続いて、ハッチングパターンデータにおける位置座標(1,1)の画素については、パターンビット値が「1」であるため、セレクタSからは色情報「C1」が出力される。同様にして、ハッチングパターンデータにおける位置座標(1,2)の画素については、パターンビット値が「0」であるため、色情報「C0」が出力され、ハッチングパターンデータにおける位置座標(1,3)の画素については、パターンビット値が「1」であるため、色情報「C1」が出力される。出力された色情報は順次、乗算器MU0に供給される。
乗算器MU0は、入力画像データに含まれる各位置の画素値「α」と、セレクタSから供給された色情報「C0」又は「C1」とを、対応する画素位置毎に乗算し、“α×C0”又は“α×C1”を出力する。例えば、位置座標(1,0)の画素については、「α」が「0」、色情報が「C0」であるため、0×C0=「0」という値が出力される。続いて、位置座標(1,1)の画素については、「α」が「1」、色情報が「C1」であるため、1×C1=「C1」が、つまりセレクタSから供給される色情報「C1」がそのまま出力される。同様にして、位置座標(1,2)の画素については、「α」が「1」であるため、セレクタSから供給される色情報「C0」が出力される。そして、位置座標(1,3)の画素については、セレクタSから供給される「α」が「0.67」、色情報が「C1」であるため、「0.67×C1」が、つまりセレクタSから供給される色情報「C1」が表す色の濃度を0.67倍した色を表す色情報が出力される。このように、乗算器MU0による乗算の結果、入力画像データの画素値「α」が「0」である画素、つまり文字画像が描画されない非描画領域の画素については、「0」という値が出力される。一方、入力画像データの画素値「α」が「1」である画素、つまり文字画像が描画される領域の画素のうち最高濃度の画素については、ハッチングパターンデータにおいて対応する位置のパターンビット値の色情報がそのまま出力されることになる。また、入力画像データの画素値「α」が「0.67」などの中間階調値である画素、つまり文字画像が描画される領域の画素のうち最高濃度以外の濃度の画素については、ハッチングパターンデータにおいて対応する位置のパターンビット値の色情報が表す色の濃度を入力画像データの画素値「α」が表す濃度分だけ乗算した色を表す色情報が出力される。この乗算器MU0から出力された“α×C0”又は“α×C1”、つまり“α×ハッチングパターンの色情報”は、加算器ADに供給される。
続いて、図6を参照して、減算器SU及び乗算器MU1の動作を説明する。
入力画像データの各位置の画素値「α」は、上述した乗算器MU0のほか、減算器SUにも供給される。減算器SUは、この「α」と「1」とが入力され、この「1」から「α」を減算した“1−α”を「β」として出力する。例えば位置座標(1,0)の画素については、αが「0」であるため、1−0=「1」という値が「β」として出力される。続いて、位置座標(1,1)の画素については、αが「1」であるため、1−1=「0」という値が「β」として出力される。同様にして、位置座標(1,2)の画素については、αが「1」であるため、1−1=「0」という値が「β」として出力される。そして、(1,3)の画素については、αが「0.67」であるため、1−0.67=「0.33」という値が「β」として出力される。減算器Suから出力された「β」は、乗算器MU1に供給される。
乗算器MU1には、減算器SUから「β」が供給されるとともに、背景カラーレジスタR2から背景色情報が供給される。乗算器MU1は、この「β」と背景色情報とを、対応する画素位置毎に乗算した“β×背景色情報”を出力する。すなわち、入力画像データの画素値「α」が「0」である画素、つまり文字画像が描画されない非描画領域の画素については、「β」が「1」になるため、乗算器MU1からは背景色情報がそのまま出力される。一方、入力画像データの画素値「α」が「1」である画素、つまり文字画像の描画領域の画素のうち最高濃度の画素については、「β」が「0」になるため、乗算器MU1からは「0」という値が出力される。また、入力画像データの画素値「α」が「0.67」などの中間階調値である画素、つまり文字画像が描画される領域の画素のうち最高濃度以外の濃度の画素については、「β」が入力画像データの画素値「α」を最大画素値から減算した画素値となり、乗算器MU1からは、背景色情報が表す色の濃度をその画素値「β」が表す濃度分だけ乗算した色を表す色情報が出力される。例えば位置座標(1,0)の画素については、減算器SUから供給されるβが「1」であるため、背景カラーレジスタR2から供給される背景色情報がそのまま出力される。続いて、位置座標(1,1)、(1,2)の画素については、いずれも減算器SUから供給されるβが「0」であるため、「0」という値が出力される。そして、位置座標(1,3)の画素については、減算器SUから供給されるβが「0.33」であるため、「0.33×背景色情報」という値が出力される。乗算器MU1から出力された“β×背景色情報”は、加算器ADに供給される。
続いて、図7を参照して、加算器ADの動作を説明する。
加算器ADは、乗算器MU0から供給される“α×ハッチングパターンの色情報”と、乗算器MU1から供給される“β×背景色情報”とを、対応する画素位置毎に加算した“α×ハッチングパターンの色情報+β×背景色情報”の値を出力する。例えば位置座標(1,0)の画素については、乗算器MU0から供給される“α×ハッチングパターンの色情報”の値が「0」であり、乗算器MU1から供給される“β×背景色情報”の値が「背景色情報」であるため、「背景色情報」が出力される。続いて、位置座標(1,1)の画素については、乗算器MU0から供給される“α×ハッチングパターンの色情報”の値が「C1」であり、乗算器MU1から供給される“β×背景色情報”の値が「0」であるため、ハッチングパターンの色情報「C1」が出力される。同様にして、位置座標(1,2)の画素については、“α×ハッチングパターンの色情報”の値が「C0」であり、“β×背景色情報”の値が「0」であるため、ハッチングパターンの色情報「C0」が出力される。そして、位置座標(1,3)の画素については、“α×ハッチングパターンの色情報”の値が「0.67×C1」であり、“β×背景色情報”の値が「0.33×背景色情報」であるため、「0.67×C1+0.33×背景色情報」が出力される。これは、ハッチングパターンの色情報「C1」が示す黄色の濃度を0.67倍した色と、背景色情報が示す白色の濃度を0.33倍した色とを合成した色を表している。
つまり、加算器ADにおいては、図4に示したような入力画像における描画領域の画素の色情報が、ハッチングパターンの色情報に置き換えられる一方、非描画領域の画素の色情報が背景色情報に置き換えられ、これらが出力画像データとして出力されることになる。さらに、入力画像における描画領域の画素のうち中間階調の画素の色情報は、ハッチングパターンの色情報と背景色情報とがその画素の濃度に応じて合成された色情報に置き換えられる。加算器ADから出力された出力画像データは、VRAM14にいったん記憶された後、表示制御装置16によって解釈されて、記憶性液晶表示体15に画像として表示される。
ここで、図8は、出力画像データに基づいて記憶性液晶表示体15に表示される出力画像を示す図である。
同図に示すように、この出力画像は、図4に示した入力画像データと同様に、“N”という文字を表す文字画像が描画された描画領域と、文字画像が描画されていない非描画領域とによって構成されている。ただし、文字画像の描画領域は、図3に示したハッチングパターンに相当する青色と黄色の格子模様になっており、文字画像の非描画領域には、ハッチングは施されておらず、背景色情報が表す白色の背景画像となっている。さらに、文字画像の画像領域のうち画素値が中間階調値である中間階調部分については、ハッチングパターンに相当する青色又は黄色の画像と背景色情報が表す白色の背景画像とが、その中間階調部分の各画素の濃度に応じて合成された合成画像になっている。例えば位置座標(1,0)の画素の色は、背景色の白色であるし、位置座標(1,1)の画素の色はハッチングパターンの色情報「C1」が表す黄色であるし、位置座標(1,2)の画素の色はハッチングパターンの色情報「C0」が表す青色である。そして、位置座標(1,3)の画素の色は、ハッチングパターンの色情報「C1」が表す黄色が67%、背景色の白色が33%で合成された色、つまり背景色になじんだハッチングパターンの色である。
以上説明した実施形態によれば、中間階調を含む入力画像の画像領域に対して、図形画像を並べて配置する処理を行ったとしても、その中間階調部分が不自然に浮き立たないようにすることができる。つまり、ハッチング処理に伴う画質劣化を抑制することが可能となる。また、レジスタ、セレクタ、乗算器、加算器及び減算器からなる比較的簡易な構成の回路を用いるだけで、入力画像における文字などの描画領域だけにハッチングを施すことができ、ハッチング対象となる領域の位置座標或いはメモリアドレスなどを逐一指定する手間が不要となる。また、ハッチングカラーレジスタR0,R1に所望の色を記憶させるだけで、所望の色のハッチングを施すことができる。
[変形例]
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を適宜組み合わせてもよい。
(1)上述した実施形態では、図3に示した格子模様のハッチングパターンを表すハッチングパターンデータがメモリHに記憶されており、図4に示した“N”という文字を表す入力画像データが入力された例を挙げて、ハッチングの詳細を説明したが、ハッチング回路250が施し得るハッチングは上記の例示に限定されない。このハッチング回路250は、入力画像の内容やハッチングパターンが変更されることにより、それらの内容に応じた様々なハッチングを施すことができる。
(2)上述した実施形態では、色情報の階調値として、その色情報が表す色が有るか無いかの2値しか想定していなかったので、ハッチングパターンの色情報C0,C1は、色そのものを意味すると同時に、その色が「有る」ということを意味していた。しかし、記憶性液晶表示体15が同一色を3以上の多階調で表示可能な場合には、この色情報には、色そのものを指定する情報とその階調値とが含まれることになる。
(3)上述した実施形態では、入力画像データに含まれる各位置の画素値をその入力画像データにおける最大画素値から減算した値である「β」を出力する減算値出力手段を、減算器SUによって実現していたが、この減算値出力手段を別の構成によって実現してもよい。要するに、このような値を「β」として出力するものであれば、この減算値出力手段を他の構成で実現させてもよい。
例えば、多値の入力画像データの画素値「α」を選択信号とし、選択信号「0」が入力されると入力信号「1」を選択して出力し、選択信号「1」が入力されると入力信号「0」を選択して出力し、選択信号「0.67」が入力されると入力信号「0.33」を選択して出力するなどというように、入力画像データに含まれる各位置の画素値を、その画素値を入力画像データにおける最大画素値から減算した値「β」に変換して出力するようなセレクタを用いてもよい。
(4)上述した実施形態では、記憶装置23もしくは外付記憶装置24から読み出された2値の画像データに、アンチエイリアス処理を施すことによって得られる多値画像データが入力画像データとしてハッチング回路250に入力される場合を例示した。
このハッチングの対象となる多値画像データは、アンチエイリアス処理を経て多値化された画像データに限らない。例えば、ハッチングの対象となる多値画像データが、もともと中間階調を含む画素値で表現された多値画像データであってもよい。この場合、アンチエイリアス回路255は不要である。
例えば、中間階調の矩形図形を表す多値画像データが、アンリエイリアス処理が施されずにハッチング回路250に入力される場合を想定する。その場合、この多値画像データの画像における図形の描画領域は、ハッチング回路250によって、ハッチングパターンに相当する画像と背景色情報が表す背景画像とが描画領域の画素値の濃度に応じて合成された合成画像に置き換えられることになる。すなわち、図形の描画領域が、ハッチングパターンに相当する画像が背景画像に溶け込んで半透明になったように見える画像になる。このような処理を実現させる回路としてハッチング回路250を用いてもよい。
(5)上述した実施形態では、多値画像データから変換された入力画像データの画素値「α」がハッチング回路250に入力されていたが、「0」〜「15」の16階調などで表現される多値画像データがそのままハッチング回路250に入力されてもよい。この場合には、その多値データの階調値を、「0」〜「1」の階調値で表現される入力画像データの階調値「α」に変換する変換回路を、乗算器MU0及び減算器SUの前段に設けておき、この変換回路によって変換された画素値「α」を、乗算器MU0及び減算器SUに供給すればよい。
また、このような変換回路を設けない場合には、乗算器MU0にて、「0」以外の値と、ハッチングパターンの色情報とを乗算する場合、そのまま乗算すると、ハッチングパターンの色情報が整数倍されてしまう。そこで、ハッチングパターンの色情報を予め「1/整数値」倍しておけばよい。
(6)ハッチング対象領域以外の領域は要するに背景領域であるが、この背景領域を表示するための画像データとしては、上述した実施形態のように背景カラーレジスタR2に格納されている背景色情報を用いてもよいし、ハッチング回路に入力される入力画像データを用いてもよい。後者の場合、乗算器MU1には、背景カラーレジスタR2から読み出される背景色情報に代えて、入力画像データが供給されるような回路構成にすればよい。これにより、出力画像における背景領域の色を、入力画像における背景領域の色と同じにすることができる。
また、背景カラーレジスタR2に格納されている背景色情報、又は、ハッチング回路に入力される入力画像データのうちのいずれかを指定するようにしてもよい。
図9は、この場合のハッチング回路251を示す図である。このハッチング回路251には、背景カラー指定レジスタR3と、セレクタS0とがさらに設けられている。その他の構成については、図2に示したハッチング回路250の構成と同様である。背景カラー指定レジスタR3は、入力画像データの各位置の画素値「α」、又は、背景カラーレジスタR2に格納されている背景色情報のいずれかを指定するための選択信号を格納している。つまり、この背景カラー指定レジスタR3は、入力画像データに含まれる各位置の画素値、又は、背景色情報に含まれる各位置の画素値のいずれかを指定する指定手段として機能する。背景カラー指定レジスタR3に格納されている選択信号は、利用者のキー22操作に基づいてCPU11によって書き換えられてもよい。セレクタS0には、入力信号として、入力画像データの画素値「α」と、背景カラーレジスタR2に格納されている背景色情報とが入力される。また、このセレクタS0には、背景カラー指定レジスタR3に格納されている選択信号が入力される。セレクタS0は、入力画像データの各位置の画素値「α」を指定する選択信号(ここでは「0」)が入力されると、入力画像データの画素値「α」を選択して出力する。一方、背景カラーレジスタR2に格納されている背景色情報を指定する選択信号(ここでは「1」)が入力されると、背景色情報を選択して出力する。つまり、このセレクタS0は、背景カラー指定レジスタR3によって指定された画素値を第2の乗算手段である乗算器MU1に供給する供給手段として機能する。これにより、出力画像における背景領域の色として、入力画像における非描画領域の色又は背景色のいずれかを指定することができる。
(7)上述した実施形態において、VRAM14に記憶された画像データは、表示制御装置16によって、記憶性液晶表示体15に表示されていた。これに対し、ハッチング処理が施された画像データが、印刷に用いられてもよい。例えば、加算器ADから出力された出力画像データがRAM13に書き込まれ、その出力画像データが用紙1枚に印刷する画像に相当する画像データとして印刷部に供給されてもよい。印刷部は、供給された画像データに基づいて印刷を行い、画像データが表す画像を用紙に形成する。
(8)上述した実施形態では、背景カラーレジスタR2に格納されている背景色情報がそのまま乗算器MU1に供給されていたが、この背景カラーレジスタR2に加えて、VRAM14に背景色情報が記憶されている場合には、いずれかの背景色情報が選択されて、乗算器MU1に供給されてもよい。
図10は、この変形例に係るハッチング回路252の構成を示す図である。このハッチング回路252には、背景カラー指定レジスタR4と、セレクタS1とがさらに設けられている。その他の構成については、図2に示したハッチング回路250の構成と同様である。背景カラー指定レジスタR4は、背景カラーレジスタR2に格納されている第1の背景色情報、又は、VRAM14に記憶されている第2の背景色情報のいずれかを指定するための選択信号を格納している。つまり、この背景カラー指定レジスタR4は、予め決められた第1の背景色情報を記憶する背景カラーレジスタR2、又は、記憶性液晶表示体15に出力される画像情報が展開されるVRAM14のいずれかを指定する指定手段として機能する。背景カラー指定レジスタR4に格納されている選択信号は、利用者のキー22操作に基づいてCPU11によって書き換えられてもよい。セレクタS1には、入力信号として、背景カラーレジスタR2に格納されている第1の背景色情報と、VRAM14に記憶されている第2の背景色情報とが入力される。また、このセレクタS1には、背景カラー指定レジスタR4に格納されている選択信号が入力される。セレクタS1は、背景カラーレジスタR2を指定する選択信号(ここでは「0」)が入力されると、背景カラーレジスタR2から読み出された第1の背景色情報を選択して出力する。一方、VRAM14を指定する選択信号(ここでは「1」)が入力されると、VRAM14から読み出された第2の背景色情報を選択して出力する。つまり、このセレクタS1は、背景カラー指定レジスタR4によって指定された記憶手段、すなわち背景カラーレジスタR2又はVRAM14に記憶されている情報を、背景色情報に含まれる画素値として読み出し、第2の乗算手段である乗算器MU1に供給する供給手段として機能する。
また、表示手段又は印刷手段によって画像が出力(表示又は印刷)される場合、その出力画像の画像情報は、RAM13などの記憶手段に展開され、このRAM13にいったん記憶されてから表示手段又は印刷手段へと供給される。このRAM13に記憶された出力画像の画像情報を、上記実施形態における背景色情報として用いてもよい。この場合、背景カラー指定レジスタR4が、予め決められた第1の背景色情報を記憶する背景カラーレジスタR2、又は、出力画像の画像情報が記憶されるRAM13のいずれかを指定する指定手段として機能する。そして、セレクタS1が、背景カラー指定レジスタR4によって指定された記憶手段、すなわち背景カラーレジスタR2又はRAM13に記憶されている背景色情報又は画像情報を、上記実施形態における背景色情報の画素値として読み出し、第2の乗算手段である乗算器MU1に供給する供給手段として機能する。これにより、RAM13などの記憶手段を、背景色情報の供給元として選択することができる。
(9)上述した実施形態において、ハッチング回路250は、画像処理回路25に設けられていた。これに対し、ハッチング回路250が、表示制御装置16などの他のデバイスに設けられていてもよい。
(10)上述したハッチング回路250は、画像データに応じた画像を表示する表示装置を有するパーソナルコンピュータ装置、携帯電話機又は電子ブックなどに用いられてもよい。
画像表示装置1の構成を示す図である。 ハッチング回路250の構成を示す図である。 格子模様のハッチングを行うためのハッチングパターンデータを示す図である。 入力画像データが表す画像の一例を示す図である。 セレクタS及び乗算器MU0の動作を説明する図である。 減算器SU及び乗算器MU1の動作を説明する図である。 加算器ADの動作を説明する図である。 記憶性液晶表示体15に表示される出力画像を示す図である。 変形例に係るハッチング回路251の構成を示す図である。 変形例に係るハッチング回路252の構成を示す図である。
符号の説明
1…画像表示装置、11…CPU、12…ROM、13…RAM、14…VRAM、15…記憶性液晶表示体、16…表示制御装置、17…電源、18…電源制御装置、19…コネクタ、20…記憶制御装置、21…I/O、22…キー、23…記憶装置、24…外付記憶装置、25…画像処理回路、250,251,252…ハッチング回路、H…メモリ、R0,R1…ハッチングカラーレジスタ、S,S0,S1…セレクタ、MU0,MU1…乗算器、SU…減算器、AD…加算器、R2…背景カラーレジスタ、R3,R4…背景カラー指定レジスタ。

Claims (7)

  1. 並べて配置される複数の図形画像を構成する各画素の位置と、その画素値とを記憶する記憶手段と、
    前記記憶手段に記憶された各位置の画素値と、0を含む多値で各位置の画素値が表された入力画像データに含まれる画素値とを、それぞれ対応する前記位置毎に乗算する第1の乗算手段と、
    前記入力画像データに含まれる各位置の画素値を当該入力画像データにおける最大画素値から減算した画素値を出力する減算値出力手段と、
    前記入力画像データに含まれる各位置の画素値又は当該入力画像データに基づく画像の背景となる背景画像データに含まれる各位置の画素値と、前記減算値出力手段から出力された画素値とを、それぞれ対応する前記位置毎に乗算する第2の乗算手段と、
    前記第1の乗算手段の乗算結果と、前記第2の乗算手段の乗算結果とを、それぞれ対応する前記位置毎に加算し、出力画像データとして出力する加算手段と
    を備えることを特徴とする画像処理回路。
  2. 前記記憶手段は、
    前記複数の図形画像を構成する各画素の位置を記憶する第1の記憶手段と、
    前記図形画像の色を表す色情報を、前記複数の図形画像を構成する各画素の画素値として記憶する第2の記憶手段と、
    前記第2の記憶手段により記憶されている色情報を、前記第1の記憶手段により記憶されている各位置の画素の画素値として出力する色情報出力手段とを備える
    ことを特徴とする請求項1記載の画像処理回路。
  3. 前記第2の記憶手段は、複数種類の色情報を記憶しており、
    前記色情報出力手段は、前記複数の図形画像のうち同一種類の図形画像を構成する画素毎に、前記第2の記憶手段によって記憶されている複数種類の色情報のうちのいずれかを出力する
    ことを特徴とする請求項2記載の画像処理回路。
  4. 前記入力画像データに含まれる各位置の画素値、又は、当該入力画像データの画像の背景を表す背景画像データに含まれる各位置の画素値のいずれかを指定する指定手段と、
    前記指定手段によって指定された画素値を前記第2の乗算手段に供給する供給手段と
    を備えることを特徴とする請求項1記載の画像処理回路。
  5. 予め決められた背景色情報を記憶する第3の記憶手段、又は、表示手段又は印刷手段に出力される画像情報を記憶する第4の記憶手段のいずれかを指定する指定手段と、
    前記指定手段によって指定された記憶手段に記憶されている情報を、前記背景画像データに含まれる画素値として読み出し、前記第2の乗算手段に供給する供給手段と
    を備えることを特徴とする請求項1記載の画像処理回路。
  6. 請求項1乃至5のいずれか1項に記載の画像処理回路と、
    前記加算手段から出力される出力画像データに基づいて画像を表示する表示手段と
    を備えることを特徴とする表示装置。
  7. 請求項1乃至5のいずれか1項に記載の画像処理回路と、
    前記加算手段から出力される出力画像データに基づいて印刷を行う印刷手段と
    を備えることを特徴とする印刷装置。
JP2007211253A 2007-08-14 2007-08-14 画像処理回路、表示装置及び印刷装置 Expired - Fee Related JP4424388B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007211253A JP4424388B2 (ja) 2007-08-14 2007-08-14 画像処理回路、表示装置及び印刷装置
US12/222,363 US8089493B2 (en) 2007-08-14 2008-08-07 Image processing circuit, display device, and printing device
EP08014431A EP2026282A2 (en) 2007-08-14 2008-08-13 Image processing circuit, display device, and printing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007211253A JP4424388B2 (ja) 2007-08-14 2007-08-14 画像処理回路、表示装置及び印刷装置

Publications (2)

Publication Number Publication Date
JP2009047749A JP2009047749A (ja) 2009-03-05
JP4424388B2 true JP4424388B2 (ja) 2010-03-03

Family

ID=40500066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007211253A Expired - Fee Related JP4424388B2 (ja) 2007-08-14 2007-08-14 画像処理回路、表示装置及び印刷装置

Country Status (1)

Country Link
JP (1) JP4424388B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4404116B2 (ja) 2007-08-14 2010-01-27 セイコーエプソン株式会社 画像処理回路、表示装置及び印刷装置

Also Published As

Publication number Publication date
JP2009047749A (ja) 2009-03-05

Similar Documents

Publication Publication Date Title
JP4488042B2 (ja) 画像処理回路、表示装置及び印刷装置
JP4404116B2 (ja) 画像処理回路、表示装置及び印刷装置
EP1600896A2 (en) Character image generation
JP2015523593A (ja) 電子表示装置
JP2008160345A (ja) 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US8089493B2 (en) Image processing circuit, display device, and printing device
JP4424388B2 (ja) 画像処理回路、表示装置及び印刷装置
JP4420083B2 (ja) 画像処理回路、表示装置及び印刷装置
JP4404117B2 (ja) 画像処理回路、表示装置及び印刷装置
JP4360410B2 (ja) 画像処理回路、表示装置及び印刷装置
US6100997A (en) Image half-tone processor and method thereof
JP2009071634A (ja) 履歴画像生成装置、及びプログラム
JPH0131232B2 (ja)
JP5332551B2 (ja) 情報処理装置、表示制御方法、及びプログラム
JP4661704B2 (ja) 画像処理装置、画像形成装置およびプログラム
JP5205364B2 (ja) 画像形成装置および画像形成方法
JPH06149223A (ja) 表示装置とその関連装置、及び画像表示方式
JP2009070171A (ja) 画像形成装置、表示装置、画面表示方法、及び画面表示プログラム
JP2005208303A (ja) 情報表示装置
JP2010113113A (ja) 描画処理方法及び描画処理回路
JPH09185358A (ja) イメージデータ出力方法および装置
JP2013105020A (ja) 画像処理装置
JP2006091280A (ja) 表示処理装置
JPH09305747A (ja) ビットマップ形式の画像データのカラーパレット処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091130

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees