JP4367518B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP4367518B2
JP4367518B2 JP2007113957A JP2007113957A JP4367518B2 JP 4367518 B2 JP4367518 B2 JP 4367518B2 JP 2007113957 A JP2007113957 A JP 2007113957A JP 2007113957 A JP2007113957 A JP 2007113957A JP 4367518 B2 JP4367518 B2 JP 4367518B2
Authority
JP
Japan
Prior art keywords
color
image processing
unit
ground
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007113957A
Other languages
English (en)
Other versions
JP2008271366A (ja
Inventor
直樹 西岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Machinery Ltd
Original Assignee
Murata Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Machinery Ltd filed Critical Murata Machinery Ltd
Priority to JP2007113957A priority Critical patent/JP4367518B2/ja
Priority to US12/108,365 priority patent/US7821688B2/en
Publication of JP2008271366A publication Critical patent/JP2008271366A/ja
Application granted granted Critical
Publication of JP4367518B2 publication Critical patent/JP4367518B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/38Circuits or arrangements for blanking or otherwise eliminating unwanted parts of pictures

Description

本発明は、読み取った原稿がカラーかモノクロかの判定に関し、詳しくいえば、読み取った原稿の地色を抽出し、地色をマスクすることによって、地色がカラーであっても、地色をモノクロとして取り扱うことが可能な画像処理装置に関する。
読み取った原稿がカラーかモノクロかを判定するために、色度平面(L***均等色空間のa**平面)内の予め定められた領域を25個の矩形エリアに区切り、各エリア内に画素が存在するかどうかの判定により、画像データがカラーか白黒かを判定する技術が提案されている(特許文献1)。
特開2002−305665号公報
特許文献1で提案されている技術では、25個の各エリアが色度平面原点付近に配置されている。そのため、地色の領域が25個のエリア外にある場合にはそれを検出することができない。すなわち、当該技術では、カラーの地色(色度、色相)を検出することは困難な場合がある。つまり、実際のカラー原稿にあっては、地色領域は、色度平面の原点から離れたところにあることも多く、地色を抽出しマスクすることが困難な場合がある。また、簡単な演算回路又は演算処理で、地色をマスクすることも求められている。
そこで、本発明の課題は、簡単な演算回路又は演算処理で地色領域をマスクする技術を提案することにある。
上記課題を解決すべく、第1の発明は、原稿を読み取る読取部と、前記読取部によって読み取られた原稿について、色平面内での任意の色領域を抽出する色抽出部と、前記色抽出部によって抽出された色領域を、前記色平面内で座標変換する座標変換部と、前記座標変換部によって座標変換された被変換色領域に応じてマスク領域を決定しマスクするマスク部とを備える、画像処理装置であって、前記読取部によって読み取られた原稿の地色を検知する地色検知部を更に備え、前記色抽出部は、前記地色検知部によって検知された地色の色領域を抽出する、画像処理装置である。
ここで、「色平面」とは、無彩軸を中心として、色を表す2つのパラメータを座標軸として表される平面のことを指す。例えば、YCbCr表色系でのCbCr色差平面、L***表色系でのa**色度平面を指すが、もちろん、CbCr色差平面、a**色度平面に限定されるものではない。また、「マスク」とは、有彩であったとしても、無彩として判定されるような色空間での領域を指す。
第2の発明は、第1の発明であって、前記座標変換部は、前記色抽出部によって抽出された地色の色領域の中心座標を、前記色平面の原点を中心として一の座標軸上に回転移動する。
第3の発明は、第2の発明であって、前記マスク部は、前記一の座標軸上で、ゼロ以上かつ前記被変換色領域の最大値以下であり、他の座標軸上で、前記被変換色領域の最小値以上かつ最大値以下で規定される矩形領域をマスク領域として決定しマスクする。
の発明は、原稿を読み取る読取工程と、前記読取工程によって読み取られた原稿について、色平面内での任意の色領域を抽出する色抽出工程と、前記色抽出工程で抽出された色領域を、前記色平面内で座標変換する座標変換工程と、前記座標変換工程で座標変換された被変換色領域に応じてマスク領域を決定しマスクするマスク工程とを備える、画像処理方法であって、前記読取工程によって読み取られた原稿の地色を検知する地色検知工程を更に備え、前記色抽出工程は、前記地色検知工程によって検知された地色の色領域を抽出する、画像処理方法である。
の発明は、第の発明であって、前記座標変換工程は、前記色抽出工程で抽出された地色の色領域の中心座標を、前記色平面内の原点を中心として一の座標軸上に回転移動する。
の発明は、第の発明であって、前記マスク工程は、前記一の座標軸上で、ゼロ以上かつ前記被変換色領域の最大値以下であり、他の座標軸上で、前記被変換色領域の最小値以上かつ最大値以下で規定される矩形領域をマスク領域としてマスクする。
第1の発明によれば、色平面内での原稿の任意の色を抽出し、抽出された地色の色領域に応じてマスク領域を決定するので、どの色領域もマスクすることが可能となる。また、該色平面内で座標変換してマスクするので、簡単な演算回路でマスクすることが可能となる。
第2の発明によれば、座標変換部は、色抽出部によって抽出された地色の色領域の中心座標を色平面の原点を中心として一の座標軸上に回転移動するので、座標変換を行わずにマスク領域を決定する場合よりも簡単な演算でマスクすることが可能となる。
第3の発明によれば、マスク部は、一の座標軸上で、ゼロ以上かつ被変換色領域の最大値以下であり、他の座標軸上で、被変換色領域の最小値以上かつ最大値以下に規定される矩形領域をマスク領域として決定しマスクするので、より簡単な演算でマスクすることが可能となる。
の発明によれば、色平面内での原稿の任意の色を抽出し、抽出された地色の色領域に応じてマスク領域を決定するので、どの色領域もマスクすることが可能となる。また、該色平面内で座標変換してマスクするので、簡単な演算処理でマスクすることが可能となる。
の発明によれば、座標変換工程は、色抽出工程で抽出された地色の色領域の中心座標を色平面の原点を中心として一の座標軸上に回転移動するので、座標変換を行わずにマスク領域を決定する場合よりも簡単な演算でマスクすることが可能となる。
の発明によれば、マスク工程は、一の座標軸上で、ゼロ以上かつ被変換色領域の最大値以下であり、他の座標軸上で、被変換色領域の最小値以上かつ最大値以下に規定される矩形領域をマスク領域として決定しマスクするので、より簡単な演算でマスクすることが可能となる。
<第1実施形態>
以下、本発明の第1実施形態に係る画像処理装置としてコピー機を例に図面を参照しながら説明する。
<構成>
図1は、本発明の第1実施形態に係るコピー機10の構成例を示す斜視図である。このコピー機10は、原稿を読み取って画像データを生成し、該画像データに基づいて記録紙に描画するものである。なお、図1をはじめとする以下の図には本発明に関係する要素及び/又は機能のみが示されている。また、座標変換やマスク処理が行われる色平面は、YCbCr表色系でのCbCr色差平面としている。
操作部11は、コピー機10を操作するために必要なテンキー、各種ファンクションキー等のメカニカルスイッチを備えている。操作部11は、ユーザによってこれらのキーが操作されることにより、原稿のスキャン及びコピー等の各種コマンドの実行命令等を受け付ける。
表示部12はLCD等の表示デバイスによって構成された一般的なディスプレイであって、各種情報を画像として画面に表示する。なお、表示部12にタッチパネルディスプレイを適用して、操作部11の一部又は全部の機能を兼ね備えるようにしても良い。
読取部13は、ADF(Automatic Document Feeder;原稿自動送り機能)を有する原稿載置部14に載置された原稿を順次にCCDラインセンサ(図示省略)等の撮像素子で読み取り、該原稿上に記録されている画像に基づいて画像データを生成する。読み取られた原稿は原稿排出トレイ15へ排出される。ここで、原稿は、必ずしもADFによって読み取る必要はなく、FBS(Flat Bed Scanner)方式によって読み取るようにしても良い。なお、FBS方式とは、コンタクトガラス(図示省略)上に載置された原稿を撮像素子で読み取り、読み取りが完了した原稿を排出するという読取手順を実行する方式である。
描画部16は、電子写真方式等のプリンタ装置であり、読取部13によって生成された画像データをハードコピーとしてプリントアウトして記録する。図示は省略するが、具体的には、まず、トナーカセットから供給されるトナーを、画像データに基づいて感光ドラムに付着させる。それを記録紙搬送部によって記録紙カセット17から搬送される記録紙に転写し、転写された記録紙を記録紙排出トレイ18へ排出する。なお、描画部16が記録する画像データは、必ずしも読取部13によって生成された画像データである必要はなく、コピー機10が通信ネットワークに接続されている場合には、該通信ネットワークにより受信した画像データであっても良い。
図2は、コピー機10の構成例を示すブロック図である。上述の各構成要素は、バス20を介して電気的に接続されている外、以下の構成要素とも電気的に接続されている。
ASIC21は、本発明の地色検知部211、色抽出部212、座標変換部213及びマスク部214を有している。ASIC21は、読取部13によって読み取られた画像が、カラーか、グレーか、無記入紙かを判定するACS(Auto Color Selector;自動カラー判定)機能を有して、判定結果に基づく所定の処理を行う。
本実施形態においては、画像の地色を検出してマスクする場合を例に説明するが、本発明は任意の色を抽出して、その色にマスクをすることが可能である。例えば、表示部12に予め定められた色見本を表示して、ユーザが選択する色の操作入力を受け付けて、選択された色を抽出するようにしても良い。また、例えば、読取部13で原稿のプリスキャンを行って生成された画像データを表示部12に表示し、ユーザがタッチパネルで選択した箇所の色(地色でなくても良い)を抽出してマスクをするようにしても良い。なお、ASIC21が有する各構成要素の説明及びASIC21の処理内容については後に詳述する。
MPU22は、操作部11からのコマンド実行命令等の入力信号や、該入力信号に基づくデータ演算、出力信号の生成、表示部12への表示内容、読取部13、描画部16、ASIC21の制御等を行う。ROM23は、MPU22によって実行されるプログラムや制御に必要なデータを格納し、RAM24は、MPU22による統括制御に必要なデータを一時記憶する。これにより、コピー機10の各種機能が実現される。すなわち、MPU22は、ROM23及びRAM24と連携してコピー機10の各構成要素を制御する。
<ASIC21の機能及び処理内容>
図3は、ASIC21の機能を説明するブロック図である。ここでは、ASIC21の機能及び処理内容を詳細に説明する。ASIC21のACS機能では、まず、平均化縮小部(図示省略)が例えば、注目画素とその右、右下及び下の画素の階調値の平均を求めて変換後の画素に代入していく。その後、γ補正部(図示省略)が画像の明るさの変化に対する電圧換算値の変化の比を調節する。なお、原稿をカラーCCDで読み取った場合等のように原稿がRGB表色系によって表現されている場合には、これを行列変換部(図示省略)が、YCbCr表色系に変換する。これらの初期処理を実行した後に、地色検知部211が、読取部13によって読み取られた原稿の地色情報31を検知する。
図4は、原稿の輝度のヒストグラムを示す図である。地色情報31を検知する方法は、例えば、まず、読み取られた原稿の輝度を抽出してカウントし、ヒストグラム40を作成する。そして、白領域側のピーク41よりも白領域側を地色情報31として検知する。
地色情報31が検知されると、色抽出部212が、地色情報31に対応する地色領域51(図5参照)を抽出する。具体的には、色抽出部212は、地色情報31に対応するCbCr色差平面内における地色領域51について、各座標軸の最大値・最小値32及びこれらから導出される中心座標33を抽出する。
図5は、CbCr色差平面内のマスク領域を示す図である。色抽出部212によって抽出される地色領域51について、中心座標33が抽出されると、座標変換部213が、CbCr色差平面内で座標変換して被変換地色領域52を算出する。具体的には、座標変換部213は、まず、中心座標33を、CbCr色差平面の原点を中心として一の座標軸(本実施形態においてはCb軸)上に回転移動する。より具体的には、CbCr色差平面の中心座標33とCb軸とが成す角度θがゼロ度となるように回転移動する。中心座標33を回転移動して得られる座標53を中心として、色抽出部212によって抽出された各座標軸の最大値・最小値32に基づいて、被変換地色領域52を算出する。
被変換地色領域52が算出されると、マスク部214が、被変換地色領域52に応じてマスク領域54を決定しマスクする。具体的には、マスク部214は、一の座標軸(本実施形態においてはCb軸)上で、ゼロ以上かつ被変換地色領域52の最大値以下であり、他の座標軸(本実施形態においてはCr軸)上で、被変換地色領域52の最小値以上かつ最大値以下で規定される矩形領域をマスク領域54として決定しマスクする。
<コピー機10の動作>
図6は、マスク実行手順を示すフローチャートである。コピー機10は、以上のような構成を備えることにより、以下のような動作を行う。なお、本フローチャートでは、コピー機10がマスクするための処理動作のみを示し、その他の処理動作については図示及び説明を省略している。また、特に記載のない場合は、コピー機10における一連の処理動作は、MPU22の制御下で自動的に行われる。
まず、コピー機10の電源がONの状態で、ユーザが原稿載置部14に載置した原稿を読み取る原稿読取命令が入力されるまで待機する(ステップS601)。原稿読取命令が入力されるとステップS601においてYesを選択して、原稿載置部14に載置されている原稿を読み取る(読取工程:ステップS602)。ステップS602において原稿が読み取られると、地色検知部211が地色情報31を検知する(ステップS603)。
ステップS603において地色情報31が検知されると、色抽出部212が地色領域51を抽出する(色抽出工程:ステップS604)。ステップS604で抽出された地色領域51を、座標変換部213が、+Cb軸上に回転移動させる(ステップS605)。ステップS605において回転移動された被変換地色領域52を含む矩形領域をマスク領域54として決定しマスクする(ステップS606)。こうして設定されたマスクを適用して、描画部16でプリントアウトしたり、他の処理等を実行したりする。
<効果>
以上のように、CbCr色差平面内での原稿の任意の色を抽出し、抽出された色領域に応じてマスク領域を決定するので、どの色領域もマスクすることが可能となる。また、該色差平面内で座標変換してマスクするので、簡単な演算回路でマスクすることが可能である。
また、座標変換部213は、色抽出部212によって抽出された色領域の中心座標33をCbCr色差平面の原点Oを中心としてCb軸上に回転移動するので、座標変換を行わずにマスク領域を決定する場合よりも簡単な演算でマスクすることが可能である。
また、マスク部214は、Cb軸上で、ゼロ以上かつ被変換地色領域52の最大値以下であり、Cr軸上で、被変換地色領域52の最小値以上かつ最大値以下に規定される矩形領域をマスク領域54として決定しマスクするので、より簡単な演算でマスクすることが可能である。
また、原稿の地色を検知する地色検知部211を更に備え、色抽出部212は、地色検知部211によって検知された地色を抽出するので、簡単な演算回路で地色領域51をマスクすることが可能である。
<変形例>
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではない。例えば、本実施形態においては、原稿が読取部13によって読み取られた場合を例に説明したが、ディジタルカメラ等から読み込まれたRGB表色系のRAWデータに基づいて、行列変換部303がYCbCr表色系に変換した後に、ASIC21が画像処理を行っても良い。また、PC(Personal Computer)等からJPEG形式の画像ファイルを読み取って、該画像ファイルをデコードしてYCbCrを取り出した後に、ASIC21が画像処理を行っても良い。
また、本発明はコピー機10に限定されるものではなく、スキャナ又はファクシミリであっても構わないし、これらを組み合わせたMFP(Multi Function Peripherals;複合機)であっても構わない。さらに、上述の処理を行うことが可能な回路構成であっても良く、上述の各工程に限定されるものでもない。
本発明の第1実施形態に係るコピー機の構成例を示す斜視図である。 コピー機の構成例を示すブロック図である。 ASICの機能を説明するブロック図である。 原稿の輝度のヒストグラムを示す図である。 CbCr色差平面内のマスクエリアを示す図である。 マスク実行手順を示すフローチャートである。
符号の説明
10 コピー機
13 読取部
211 地色検知部
212 色抽出部
213 座標変換部
214 マスク部
31 地色情報
51 地色領域
52 被変換地色領域
54 マスク領域

Claims (6)

  1. 原稿を読み取る読取部と、
    前記読取部によって読み取られた原稿について、色平面内での任意の色領域を抽出する色抽出部と、
    前記色抽出部によって抽出された色領域を、前記色平面内で座標変換する座標変換部と、
    前記座標変換部によって座標変換された被変換色領域に応じてマスク領域を決定しマスクするマスク部と
    を備える、画像処理装置であって、
    前記読取部によって読み取られた原稿の地色を検知する地色検知部を更に備え、
    前記色抽出部は、前記地色検知部によって検知された地色の色領域を抽出する、画像処理装置
  2. 請求項1記載の画像処理装置であって、
    前記座標変換部は、前記色抽出部によって抽出された地色の色領域の中心座標を、前記色平面の原点を中心として一の座標軸上に回転移動する、画像処理装置。
  3. 請求項2記載の画像処理装置であって、
    前記マスク部は、前記一の座標軸上で、ゼロ以上かつ前記被変換色領域の最大値以下であり、他の座標軸上で、前記被変換色領域の最小値以上かつ最大値以下で規定される矩形領域をマスク領域として決定しマスクする、画像処理装置。
  4. 原稿を読み取る読取工程と、
    前記読取工程によって読み取られた原稿について、色平面内での任意の色領域を抽出する色抽出工程と、
    前記色抽出工程で抽出された色領域を、前記色平面内で座標変換する座標変換工程と、
    前記座標変換工程で座標変換された被変換色領域に応じてマスク領域を決定しマスクするマスク工程と
    を備える、画像処理方法であって、
    前記読取工程によって読み取られた原稿の地色を検知する地色検知工程を更に備え、
    前記色抽出工程は、前記地色検知工程によって検知された地色の色領域を抽出する、画像処理方法
  5. 請求項4記載の画像処理方法であって、
    前記座標変換工程は、前記色抽出工程で抽出された地色の色領域の中心座標を、前記色平面内の原点を中心として一の座標軸上に回転移動する、画像処理方法。
  6. 請求項5記載の画像処理方法であって、
    前記マスク工程は、前記一の座標軸上で、ゼロ以上かつ前記被変換色領域の最大値以下であり、他の座標軸上で、前記被変換色領域の最小値以上かつ最大値以下で規定される矩形領域をマスク領域としてマスクする、画像処理方法。
JP2007113957A 2007-04-24 2007-04-24 画像処理装置及び画像処理方法 Expired - Fee Related JP4367518B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007113957A JP4367518B2 (ja) 2007-04-24 2007-04-24 画像処理装置及び画像処理方法
US12/108,365 US7821688B2 (en) 2007-04-24 2008-04-23 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007113957A JP4367518B2 (ja) 2007-04-24 2007-04-24 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2008271366A JP2008271366A (ja) 2008-11-06
JP4367518B2 true JP4367518B2 (ja) 2009-11-18

Family

ID=39886571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007113957A Expired - Fee Related JP4367518B2 (ja) 2007-04-24 2007-04-24 画像処理装置及び画像処理方法

Country Status (2)

Country Link
US (1) US7821688B2 (ja)
JP (1) JP4367518B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2057935B1 (en) 2007-11-09 2016-01-06 FUJIFILM Corporation Image capturing system, image capturing method, and program
KR101820715B1 (ko) * 2011-07-20 2018-01-22 에스프린팅솔루션 주식회사 화상형성장치, 인쇄제어단말장치 및 그 화상형성방법
US9602693B1 (en) * 2015-09-28 2017-03-21 Kabushiki Kaisha Toshiba Image processing system and method for removing designated color in an original document

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2682079B2 (ja) * 1988-11-08 1997-11-26 ミノルタ株式会社 デジタルカラー複写機
US7075681B1 (en) * 1999-11-09 2006-07-11 Kodak Graphic Communications Canada Company System and method for reducing the data volume of images
JP2002223366A (ja) * 2001-01-26 2002-08-09 Canon Inc 画像処理装置及びその方法、及び画像処理システム
JP3581835B2 (ja) * 2001-03-14 2004-10-27 株式会社イマジカ クロマキー処理における色変換方法及び装置
US6757426B2 (en) * 2001-03-21 2004-06-29 Eastman Kodak Company System and method for image processing by automatic color dropout
JP2002305665A (ja) 2001-04-09 2002-10-18 Fuji Xerox Co Ltd 画像処理装置
JP3825740B2 (ja) 2001-12-07 2006-09-27 株式会社リコー 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム
JP2006345137A (ja) 2005-06-08 2006-12-21 Murata Mach Ltd 画像処理装置

Also Published As

Publication number Publication date
US20080266613A1 (en) 2008-10-30
JP2008271366A (ja) 2008-11-06
US7821688B2 (en) 2010-10-26

Similar Documents

Publication Publication Date Title
CN109327646B (zh) 图像处理装置、图像处理方法以及计算机可读存储介质
US20190370539A1 (en) Image processing apparatus, image processing method, and storage medium
EP1898356A2 (en) Device and method for image color determination
US8941900B2 (en) Image forming apparatus and method of processing image thereof
JP2022173510A (ja) 画像処理装置、画像処理方法、および、プログラム
JP2008066933A (ja) 画像色判定装置、画像色判定方法及びプログラム
JP4367518B2 (ja) 画像処理装置及び画像処理方法
JP4420058B2 (ja) 画像処理装置及び画像処理方法
EP2439922B1 (en) Image processing apparatus, method for processing image, and program therefor
JP4903851B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび記録媒体
US9967407B2 (en) Image reading device and method, reading area display device and method, and program
JP4930423B2 (ja) 画像処理装置、画像形成装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
US11790477B2 (en) Digital watermark analysis apparatus and digital watermark analysis method
JP5344231B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2017135690A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2013058933A (ja) 画像形成装置、画像形成方法および画像形成装置の制御プログラム
JP2011176463A (ja) 画像処理装置,画像形成装置
JP2008271364A (ja) 画像処理装置及び画像処理方法
JP2008172677A (ja) 画像処理装置および地色検出方法
US11863717B2 (en) Image reading apparatus and image reading method
JP4990340B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2012034003A (ja) 画像処理装置,画像形成装置
JP2008219465A (ja) 画像読取装置
JP2012034012A (ja) 画像処理装置,画像形成装置
JP5371687B2 (ja) 画像表示装置、画像形成装置、画像表示方法、コンピュータプログラム及び記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090511

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090804

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090817

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140904

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees