JP5063207B2 - 色変換処理装置、方法、記録媒体及びプログラム - Google Patents

色変換処理装置、方法、記録媒体及びプログラム Download PDF

Info

Publication number
JP5063207B2
JP5063207B2 JP2007159294A JP2007159294A JP5063207B2 JP 5063207 B2 JP5063207 B2 JP 5063207B2 JP 2007159294 A JP2007159294 A JP 2007159294A JP 2007159294 A JP2007159294 A JP 2007159294A JP 5063207 B2 JP5063207 B2 JP 5063207B2
Authority
JP
Japan
Prior art keywords
color
converting
image
conversion processing
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007159294A
Other languages
English (en)
Other versions
JP2008312041A (ja
Inventor
真一 鷲田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007159294A priority Critical patent/JP5063207B2/ja
Publication of JP2008312041A publication Critical patent/JP2008312041A/ja
Application granted granted Critical
Publication of JP5063207B2 publication Critical patent/JP5063207B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、スキャナでオブジェクトを分離可能な画像を生成する色変換処理装置に関する。
帳票、伝票をドロップアウトカラーで印刷する技術がある(特許文献1参照)。ドロップアウトカラーとは、帳票等に予め印刷もしくは印字されている画像(例えば、表枠)の色のうち、人間の目には見えるが、スキャナで読み取った時に、画像として現れない特定色のことである。この技術を用いて印刷された帳票等に文字、数字等を書き込み、その帳票等をスキャナで読み取ると、書き込まれた文字、数字等(以下、「非特定画像」という。)と、特定色の画像(以下、「特定画像」という。)を分離することができる。また、印刷色変換ファイルに格納された印刷色変換情報に基づいて、印刷時のドロップアウトカラーの印刷色を変換する技術もある(特許文献2参照)。
特開2004−160728号公報 特開2004−38505号公報
しかし、従来技術においては、スキャナで特定画像と非特定画像とを分離するためには、非特定画像が、特定色とは異なる色でなければならない。
一方、タッチパネル等に表示された文書上において、デジタイザ等で追記し、更に、その追記された文書を印刷した場合、元の文書の画像と追記した画像とが混在してしまい、ユーザは元の画像と追記した画像とを分離できなくなってしまう。
そこで、本発明は、特定画像の色と非特定画像の色を、スキャナにより分離可能な色に自動的に変換する色変換処理装置を提供することを目的とする。
本発明の色変換処理装置は、1つの画像内に混在する複数種のオブジェクトを第1のオブジェクトと第2のオブジェクトに分類する手段と、RGB色空間を構成する複数の軸の色のうち、第1のオブジェクトの色と近い軸の色を第1の色と決定する手段と、第1のオブジェクトの色を決定された第1の色に変換する手段と、第2のオブジェクトの色を第1の色とは異なる第2の色に変換する手段と、第1のオブジェクトと第2のオブジェクトとが重なる部分の色を第1の色とは異なる色に変換する手段とを備えることを特徴とする。
本発明の色変換処理方法は、分類手段と、決定手段と、第1の変換手段と、第2の変換手段と、第3の変換手段を用いてオブジェクトの色を変換する方法において、分類手段が、1つの画像内に混在する複数種のオブジェクトを第1のオブジェクトと第2のオブジェクトに分類するステップと、決定手段が、RGB色空間を構成する複数の軸の色のうち、第1のオブジェクトの色と近い軸の色を第1の色と決定するステップと、第1の変換手段が、第1のオブジェクトの色を決定された第1の色に変換するステップと、第2の変換手段が、第2のオブジェクトの色を第1の色とは異なる第2の色に変換するステップと、第3の変換手段が、第1のオブジェクトと第2のオブジェクトとが重なる部分の色を第1の色とは異なる色に変換するステップとを含むことを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、コンピュータに、1つの画像内に混在する複数種のオブジェクトを第1のオブジェクトと第2のオブジェクトに分類するステップと、RGB色空間を構成する複数の軸の色のうち、第1のオブジェクトの色と近い軸の色を第1の色と決定するステップと、第1のオブジェクトの色を決定された第1の色に変換するステップと、第2のオブジェクトの色を第1の色とは異なる第2の色に変換するステップと、第1のオブジェクトと第2のオブジェクトとが重なる部分の色を第1の色とは異なる色に変換するステップとを実行させるためのプログラムを記録する。
本発明のプログラムは、コンピュータに、1つの画像内に混在する複数種のオブジェクトを第1のオブジェクトと第2のオブジェクトに分類するステップと、RGB色空間を構成する複数の軸の色のうち、第1のオブジェクトの色と近い軸の色を第1の色と決定するステップと、第1のオブジェクトの色を決定された第1の色に変換するステップと、第2のオブジェクトの色を第1の色とは異なる第2の色に変換するステップと、第1のオブジェクトと第2のオブジェクトとが重なる部分の色を第1の色とは異なる色に変換するステップとを実行させる。
本発明は、例えば、電子ボードに予め表示されている非特定画像と、電子ペンを用いて書き込んだ特定画像とが混在する画像に対して所定の色変換処理を施した後に当該画像を紙に印刷する。次いで、当該紙をスキャナで読み込んだ場合に、本発明によれば、特定画像と非特定画像とを分離することができる。
以下の説明においては、特定色の特定画像からなるオブジェクトを「前景オブジェクト」といい、任意の色の非特定画像からなるオブジェクトを「後景オブジェクト」という。
図1は、本発明を実施するための装置の構成例を示すブロック図である。
本装置は、CPU101、メモリ102、ハードディスク103、表示装置104、入力装置105、画像入力装置106、画像出力装置107、デジタイザ108を備える。
CPU101は装置全体の制御を行う。メモリ102は、制御用のプログラムやデータを格納する。表示装置104は、電子ペンで画面上に手書き入力可能な電子ボード又はタブレット、又は、デジタイザ108からの入力情報を表示可能なディスプレイである。入力装置105は、キーボード、マウス、電子ペン等である。画像入力装置106は、スキャナ等である。画像出力装置107は、プリンタ等である。
図2は、オブジェクト分類テーブルを示す。オブジェクト分類テーブルは、画像内に混在する複数種のオブジェクト毎にそれらの属性(テキストデータ、イメージデータ、電子ペン入力画像データ)、追加日時、詳細データを記憶する。さらに、オブジェクト分類テーブルは、オブジェクトの分類(前景オブジェクト(第1のオブジェクト)又は背景オブジェクト(第2のオブジェクト))を記憶する。オブジェクト分類テーブルは、ハードディスク内に存在される。
図2を参照すると、例えば、オブジェクト番号1のオブジェクトに関しては、属性がテキストデータである。また、当該オブジェクトがテーブルに追加された日時が2005年10月10日13時30分であり、詳細データとして位置情報、フォント情報、色情報が付加されている。このオブジェクトは、背景オブジェクトに分類される。また、オブジェクト番号2のオブジェクトに関しては、属性がイメージ画像であり、背景画像に分類される。オブジェクト番号3のオブジェクトに関しては、属性が電子ペン入力画像であり、前景画像に分類される。オブジェクト番号3のオブジェクトの詳細情報は、位置情報、ベクトル情報、色情報等である。
すなわち、テキストデータとイメージデータは背景オブジェクトに分類され、電子ペン入力画像データは前景オブジェクトに分類される。
CPU101は、オブジェクト分類テーブルを参照して、表示装置104に表示するオブジェクトの色を制御する。
図3は、本実施例が適用される作業手順を示すフローチャートである。
ステップS301において、CPU101は、ユーザが入力装置105を介して入力した作業の種類に応じて、ステップS302、ステップS303、ステップS304の処理に進む。作業の種類としては、新規オブジェクトの追加、オブジェクトの読み込み、オブジェクトの編集・変更がある。
ステップS302において、CPU101は、ユーザが入力装置105を操作して作成したオブジェクトをオブジェクト分類テーブルに新規登録するとともに、当該オブジェクトを表示装置104に表示する制御を行う。
ステップS303において、CPU101は、予めハードディスク103やメモリ102に保存してあるオブジェクトを読み込む。次いで、CPU101は、当該オブジェクトをオブジェクト分類テーブルに新規に登録するとともに、当該オブジェクトを表示装置104に表示する制御を行う。
ステップS304において、CPU101は、オブジェクト分類テーブルに登録されているオブジェクトを表示装置104上で編集・変更し、その編集・変更結果に基づき、オブジェクト分類テーブルを更新する。
ステップS305において、CPU101は、作業が終了するまでステップS301〜ステップS304の処理を繰り返す。ステップS305において、作業の終了が確認されると、CPU101は、ステップS306の処理に進む。
ステップS306において、ユーザが入力装置105を介して印刷指示をすると、CPU101は、ステップS307の処理に進み、印刷指示がないと、処理を終了する。
ステップS307において、CPU101は、後述する色変換処理を実行し、印刷データを作成する。
図4は、図2に示すオブジェクト分類テーブルに登録されたオブジェクトを表示装置104に表示する際に、使用する色情報のRGB色空間モデルを3次元の座標軸上に表した図である。
図5は、ステップS307の色変換処理の処理内容を示すフローチャートである。
ステップS501において、CPU101は、入力装置105からのユーザ指示に基づき、オブジェクト分類テーブルに登録されている各オブジェクトを前景オブジェクトと後景オブジェクトに分類する。図2に戻ると、入力装置105からの指示に基づき、オブジェクト番号1のテキストデータとオブジェクト番号2のイメージデータは背景オブジェクトに分類され、オブジェクト番号3の電子ペン入力画像は、前景オブジェクトに分類される。尚、オブジェクトの属性に基づき、自動的に、各オブジェクトが前景オブジェクト又は後景オブジェクトに分類される構成であってもよい。
ステップS502において、CPU101は、ステップS501で前景オブジェクトに分類されたオブジェクト(例えば、電子ペン入力画像)が、図4に示すRGB色空間モデルのどの軸の近くに分布しているかを判断する。次いで、CPU101は、その軸の色を特定色(第1の色)と決定する。尚、前景オブジェクトに付与する特定色を、後景オブジェクトで全く使用されていない色、或いは、最も使用されていない色と決定してもよい。
ステップS503において、CPU101は、ステップS501で前景オブジェクトに分類されたオブジェクト(例えば、電子ペン入力画像)を、ステップS502で特定色として定めた色で表現するよう、オブジェクト分類テーブルを変更する。
ステップS504において、CPU101は、ステップS501で後景オブジェクトに分類されたオブジェクト(例えば、テキストデータやイメージデータ)に、ステップS502において決定された特定色成分が含まれているかどうかを判定する。ステップS504において、後景オブジェクトと分類されたオブジェクトに特定色成分が含まれていると判定した場合、CPU101は、ステップS505の処理に進み、特定色成分が含まれていないと判定した場合、ステップS506の処理に進む。
ステップS505において、CPU101は、特定色成分が含まれている後景オブジェクトの色を、特定色成分が除かれた色、すなわち、特定色以外の色(第2の色)に変換する。尚、後景オブジェクトの色から特定色成分を除くのではなく、所定の色空間の変換式を用いて、特定色成分を含まない色空間へ後景オブジェクトを色変換してもよい。
ステップS506において、CPU101は、前景オブジェクトと後景オブジェクトに重なり部分がある場合、それぞれの色成分を混合した混合色(第1の色とは異なる色)でその重なり部分を表現する。
ステップS507において、CPU101は、オブジェクト分類テーブルに登録されている各種情報と、ステップS507にて処理された混合色情報等とを、画像出力装置107へ送信する。
図6、図7、図8は、図5に示すフローチャートに沿って、前景オブジェクトの色、後景オブジェクトの色及び前景オブジェクトと後景オブジェクトの重なり部分の色が変化する様子を示す図である。図6は、本実施例による色変換処理をする前の出力画像を示す。図7は、本実施例による前景オブジェクトの色変換処理をした後の出力画像を示す。図8は、本実施例における全ての色変換処理をした後の出力画像を示す。
各図は、後景オブジェクトと前景オブジェクトが重なった画像を示す。後景オブジェクトは、プレゼンテーション用のテキストデータであり、前景オブジェクトは、電子ペン入力画像である。これらの図は、「ANSIとJIS」というタイトルのプレゼンテーション画面が表示された電子ボードに対してプレゼンターが電子ペンを用いて「ASCII」という文字列を書き込みした状態を示す。ここでは、プレゼンテーション画面が後景オブジェクトに該当し、電子ペン入力された「ASCII」という文字列が前景オブジェクトに該当する。
図6(a)は、図3におけるステップS305において、作業終了時における表示装置104への出力画像を示す図である。図6(b)は、図6(a)内の「協会」の文字近辺の画像を拡大した図である。図6において、プレゼンテーション画面に表示される文字列の色は黒で、電子ペン入力された文字列の色は黄色とする。
図7(a)は、図5におけるステップS503において、前景オブジェクトを特定色(赤)に変更した場合の表示装置104への出力画像を示す図である。図7(b)は、図7(a)内の「協会」の文字近辺の画像を拡大した図である。
図8(a)は、ステップS506において、特定色(赤)で表現された前景オブジェクトと、特定色以外の色(青)に変換された後景オブジェクトとが重なり合った部分を混合色で表現した場合の表示装置104への出力画像を示す図である。図8(b)は、図8(a)内の「協会」の文字近辺の画像を拡大した図である。この拡大図において、図5におけるステップS506において、特定色(赤)で表現された前景オブジェクトと、特定色以外の色(青)に変換された後景オブジェクトとが重なり合った部分は混合色(ピンク)で表現される。
上記の処理を行った後に、画像出力装置107により、特定色に変換された前景オブジェクトと、非特定色に変換された後景オブジェクトとが合成された画像が印刷出力される。そして、印刷出力された画像をスキャナで読み込むことにより、当該画像を特定画像と非特定画像とに分離することができる。
尚、印刷出力物には、どの色が特定色であるか判別できるような情報を埋め込むことにより、特定画像と非特定画像をより簡単に分離することができる。
[他の実施例]
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に装着し、そのシステム等のコンピュータが記録媒体に格納されたプログラムコードを読み取り実行することによっても達成される。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成する。記録媒体は、コンピュータ読み取り可能な記録媒体である。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現されてもよい。また、記録媒体から読み出されたプログラムコードが、コンピュータの機能拡張カードや機能拡張ユニットに書込まれた後、機能拡張カード等がプログラムコードの指示に基づき処理の一部または全部を行うことで、前述の実施例を実現してもよい。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納される。
本発明を実施するための装置の構成例を示すブロック図である。 オブジェクト分類テーブルの構造を示す図である。 本実施例が適用される作業手順を示すフローチャートを示す図である。 RGB色空間モデルを3次元の座標軸上に表した図である。 色変換処理の処理内容を示すフローチャートを示す図である。 本実施例による色変換処理をする前の出力画像を示す図である。 本実施例による前景オブジェクトの色変換処理をした後の出力画像を示す図である。 本実施例における全ての色変換処理をした後の出力画像を示す図である。
符号の説明
101 CPU
102 メモリ
103 ハードディスク
104 表示装置
105 入力装置
106 画像入力装置
107 画像出力装置
108 デジタイザ

Claims (9)

  1. 1つの画像内に混在する複数種のオブジェクトを第1のオブジェクトと第2のオブジェクトに分類する手段と、
    RGB色空間を構成する複数の軸の色のうち、前記第1のオブジェクトの色と近い軸の色を第1の色と決定する手段と、
    前記第1のオブジェクトの色を前記決定された第1の色に変換する手段と、
    前記第2のオブジェクトの色を前記第1の色とは異なる第2の色に変換する手段と、
    前記第1のオブジェクトと前記第2のオブジェクトとが重なる部分の色を前記第1の色とは異なる色に変換する手段と
    を備えることを特徴とする色変換処理装置。
  2. 前記第1のオブジェクトは、ユーザが入力装置を介して画面上に手書き入力したオブジェクトであることを特徴とする請求項1記載の色変換処理装置。
  3. 前記分類する手段は、入力装置を介したユーザ指示に基づいて分類することを特徴とする請求項1又は2に記載の色変換処理装置。
  4. 前記分類する手段は、予め記憶した情報に基づいて分類することを特徴とする請求項1又は2に記載の色変換処理装置。
  5. 前記第1のオブジェクトと前記第2のオブジェクトとが重なる部分の色を前記第1の色とは異なる色に変換する手段は、当該重なる部分の色を、前記第1の色と前記第2の色とを混合した色に変換することを特徴とする請求項1〜4のいずれか1項に記載の色変換処理装置。
  6. 前記第1の色を決定する手段は、前記第1のオブジェクトの色に近い色を前記第1の色と決定することを特徴とする請求項1〜5のいずれか1項に記載の色変換処理装置。
  7. 分類手段と、決定手段と、第1の変換手段と、第2の変換手段と、第3の変換手段を用いてオブジェクトの色を変換する方法において、
    前記分類手段が、1つの画像内に混在する複数種のオブジェクトを第1のオブジェクトと第2のオブジェクトに分類するステップと、
    前記決定手段が、RGB色空間を構成する複数の軸の色のうち、前記第1のオブジェクトの色と近い軸の色を第1の色と決定するステップと、
    前記第1の変換手段が、前記第1のオブジェクトの色を前記決定された第1の色に変換するステップと、
    前記第2の変換手段が、前記第2のオブジェクトの色を前記第1の色とは異なる第2の色に変換するステップと、
    前記第3の変換手段が、前記第1のオブジェクトと前記第2のオブジェクトとが重なる部分の色を前記第1の色とは異なる色に変換するステップと
    を含むことを特徴とする色変換処理方法。
  8. コンピュータに、
    1つの画像内に混在する複数種のオブジェクトを第1のオブジェクトと第2のオブジェクトに分類するステップと、
    RGB色空間を構成する複数の軸の色のうち、前記第1のオブジェクトの色と近い軸の色を第1の色と決定するステップと、
    前記第1のオブジェクトの色を前記決定された第1の色に変換するステップと、
    前記第2のオブジェクトの色を前記第1の色とは異なる第2の色に変換するステップと、
    前記第1のオブジェクトと前記第2のオブジェクトとが重なる部分の色を前記第1の色とは異なる色に変換するステップと
    を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  9. コンピュータに、
    1つの画像内に混在する複数種のオブジェクトを第1のオブジェクトと第2のオブジェクトに分類するステップと、
    RGB色空間を構成する複数の軸の色のうち、前記第1のオブジェクトの色と近い軸の色を第1の色と決定するステップと、
    前記第1のオブジェクトの色を前記決定された第1の色に変換するステップと、
    前記第2のオブジェクトの色を前記第1の色とは異なる第2の色に変換するステップと、
    前記第1のオブジェクトと前記第2のオブジェクトとが重なる部分の色を前記第1の色とは異なる色に変換するステップと
    を実行させるためのプログラム。
JP2007159294A 2007-06-15 2007-06-15 色変換処理装置、方法、記録媒体及びプログラム Expired - Fee Related JP5063207B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007159294A JP5063207B2 (ja) 2007-06-15 2007-06-15 色変換処理装置、方法、記録媒体及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007159294A JP5063207B2 (ja) 2007-06-15 2007-06-15 色変換処理装置、方法、記録媒体及びプログラム

Publications (2)

Publication Number Publication Date
JP2008312041A JP2008312041A (ja) 2008-12-25
JP5063207B2 true JP5063207B2 (ja) 2012-10-31

Family

ID=40239218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007159294A Expired - Fee Related JP5063207B2 (ja) 2007-06-15 2007-06-15 色変換処理装置、方法、記録媒体及びプログラム

Country Status (1)

Country Link
JP (1) JP5063207B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013219651A (ja) * 2012-04-11 2013-10-24 Sharp Corp 出力装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02260874A (ja) * 1989-03-31 1990-10-23 Ricoh Co Ltd 画像処理装置
JP3809217B2 (ja) * 1996-04-02 2006-08-16 キヤノン株式会社 画像処理装置及び画像処理方法及び記憶媒体
JP2006094116A (ja) * 2004-09-24 2006-04-06 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及びそのプログラム
JP2007082068A (ja) * 2005-09-16 2007-03-29 Kyocera Mita Corp 画像形成装置及び制御プログラム
JP4926589B2 (ja) * 2005-09-30 2012-05-09 キヤノン株式会社 画像合成装置、画像合成方法、およびプログラム

Also Published As

Publication number Publication date
JP2008312041A (ja) 2008-12-25

Similar Documents

Publication Publication Date Title
JP2007279828A (ja) 帳票処理装置、帳票様式作成装置、帳票、帳票処理用のプログラム、帳票様式作成用のプログラム
JP2004050722A (ja) 印刷装置
JP2008145611A (ja) 情報処理装置、プログラム
US8947695B2 (en) Information processing device, information processing method and computer-readable record medium
US7444036B2 (en) Device, method, and recording medium for processing a document having document data and a set of related data
JP2011188291A (ja) 画像処理装置及び画像処理プログラム
JP5712489B2 (ja) 画像処理装置、画像処理システム及びプログラム
JP2022095398A (ja) 画像形成装置及び画像形成システム
JP5063207B2 (ja) 色変換処理装置、方法、記録媒体及びプログラム
JP2009130705A (ja) 文書処理システム
US20040036917A1 (en) Variable printing processing apparatus, and variable printing processing program storage medium
JP5424858B2 (ja) 画像処理装置及びその制御方法並びにプログラム
JP4218517B2 (ja) 色修正装置
JP5645481B2 (ja) 装置、方法、及びプログラム
JP7005905B2 (ja) 情報処理装置
JP2006165863A (ja) 情報処理システム
JP2001202362A (ja) 文字編集処理装置
JP4509173B2 (ja) 情報処理装置及びその制御方法、プログラム、並びに、コンピュータ読み取り可能な記憶媒体
JP5600960B2 (ja) ホストコンピュータ、印刷データ生成方法およびプログラム
JP2011248421A (ja) データ作成方法及びデータ作成システム
JP2006019931A (ja) 画像処理装置及び画像処理方法、並びにコンピュータプログラム及び記憶媒体
JP2007142986A (ja) 画像処理装置及び画像処理方法
JP2001101327A (ja) 情報処理方法及び装置及び印刷システム
WO2002001339A1 (en) Ink color rendering for electronic annotations
JP4362499B2 (ja) 印刷処理システム、印刷処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100520

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120807

R151 Written notification of patent or utility model registration

Ref document number: 5063207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150817

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees