JP3968555B2 - 画像フィルタプログラム、画像フィルタ、画像処理方法および画像フィルタプログラムを記録した媒体 - Google Patents

画像フィルタプログラム、画像フィルタ、画像処理方法および画像フィルタプログラムを記録した媒体 Download PDF

Info

Publication number
JP3968555B2
JP3968555B2 JP2001068645A JP2001068645A JP3968555B2 JP 3968555 B2 JP3968555 B2 JP 3968555B2 JP 2001068645 A JP2001068645 A JP 2001068645A JP 2001068645 A JP2001068645 A JP 2001068645A JP 3968555 B2 JP3968555 B2 JP 3968555B2
Authority
JP
Japan
Prior art keywords
image data
brush
image
smoothing
filter program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001068645A
Other languages
English (en)
Other versions
JP2002269557A (ja
Inventor
克己 駒ケ嶺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2001068645A priority Critical patent/JP3968555B2/ja
Publication of JP2002269557A publication Critical patent/JP2002269557A/ja
Application granted granted Critical
Publication of JP3968555B2 publication Critical patent/JP3968555B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像フィルタプログラム、画像フィルタ、画像処理方法および画像フィルタプログラムを記録した媒体に関する。
【0002】
【従来の技術】
従来より、コンピュータ上で画像データに各種のフィルタを掛ける処理が行われている。例えば、画像をより美しく見せたり修正したりする意味で特定の色を強調するものもあるし、実際の画像とは全く異なるものの面白みのある特殊な効果を与えるためにエンボスを掛けるようなものもある。
【0003】
このようなフィルタは、ドットマトリクス状の各画素について階調表現した画像データを入力し、各画素ごとの画像データに基づいて所定の演算を行なっている。
【0004】
【発明が解決しようとする課題】
上述した従来の画像フィルタにおいて、特に後者の特殊な効果を与えるものについては、常に新しい効果が望まれており、新たな効果を与えるフィルタの開発が日夜行われている。
本発明は、上記課題にかんがみてなされたもので、新たな面白みのある効果を与えることが可能な画像フィルタプログラム、画像フィルタ、画像処理方法および画像フィルタプログラムを記録した媒体の提供を目的とする。
【0005】
【課題を解決するための手段】
上記目的を達成するため、請求項1にかかる発明は、ドットマトリクス状の各画素について階調表現した画像データを入力する画像入力機能と、上記画像データに平滑化処理を行なう平滑化処理機能と、平滑化処理した画像データをサンプリングするサンプリング処理機能と、サンプリングした画像データの明度、色相または彩度に応じた回転角度で非円形のブラシ図形を回転させ、同画像データで前記回転後のブラシ図形のブラシ描画を行う描画機能とをコンピュータに実現させる構成としてある。
【0006】
上記のように構成した請求項1にかかる発明においては、画像入力機能でドットマトリクス状の各画素について階調表現した画像データを入力し、平滑化処理機能で上記画像データに平滑化処理を行なう。平滑化処理を行うことにより、画素間で画像データの大きな変化はなくなり、近隣画素間では全般的に緩やかに変化することになる。
次に、平滑化処理した画像データをサンプリング処理機能でサンプリングするが、上述したように画像データ近隣画素間で緩やかに変化しており、サンプリングされた画素についても近隣のもの同士では大きな変化はない。従って、サンプリングした画像データに基づいて描画機能が回転角度パラメータとしたときにも、近隣のもの同士で大きな回転角度の変化はなく、近隣の画素については緩やかに角度が変化する。そして、サンプリングした画像データの明度、色相または彩度に応じた回転角度で非円形のブラシ図形を回転させ、同画像データで前記回転後のブラシ図形のブラシ描画を行うと、近隣の画素同士で大きく変化することなく流れるように表現された画像が描画される。また、明度、色相または彩度に応じた回転角度で非円形のブラシ図形が回転するので、流れが表現されやすくなる。
【0007】
ここで、画像入力機能は画像データを入力するが、これは単に以下の処理で画像データを扱えるようにするものであればよい。例えば、外部からの画像データの入力に限らず、アプリケーションがRAMのワークエリアに保持している画像データの開始アドレスや終了アドレスを取得することにより、同画像データにアクセスできるようにするというものでも構わない。また、単一のコンピュータ内に保持されている画像データではなく、ネットワーク上に存在する他のコンピュータ内に保持されている画像データにアクセスして以下の画像処理を実現できるようにするというものでも構わない。
【0008】
平滑化処理機能は、一般的には注目画素の画像データに近隣画素の画像データを加えることによって実現されるが、特にその手法が限定されるものではない。また、各手法に応じて平滑度合いや範囲も変更可能である。そのようにした好適な一例として、請求項2にかかる発明は、上記請求項1に記載の画像フィルタプログラムにおいて、上記平滑化処理機能では、平滑度合いに関する演算のパラメータを入力可能であり、同入力されたパラメータに基づいて平滑化処理を行う構成としてある。
【0009】
上記のように構成した請求項2にかかる発明においては、平滑度合いに関する演算のパラメータを入力可能であり、上記平滑化処理機能では同入力されたパラメータに基づいて平滑化処理を行う。平滑化によって近隣画素間で画像データに大きな変化が無くなるが、平滑化の度合いが大きければより変化は緩やかになる。例えば、ブラシ画像が比較的大きなものであって平滑化度合いが小さいと、近隣画素間でも画像データは大きく変化し、それによって回転角度パラメータも大きく変わるので近隣画素間でブラシ画像に緩やかな流れを表現させにくくなる。従って、ブラシ画像が大きければ平滑化の度合いも大きくするなど、適宜、選択する意味がある。
【0010】
ブラシ画像は、通常、ある一定の画像データによって所定の形状を塗りつぶしたものである。形状が小さな円形であったり、四角であったり、楕円であったりする。このようなブラシ画像はサンプリングされた画素を基準として描画され、密にサンプリングされればブラシ画像は密に重なり合うし、粗くサンプリングされればブラシ画像も粗く重なり合う。また、この場合は下地も残る。
これを有効に利用できるようにする一例として、請求項3にかかる発明は、上記請求項1または請求項2に記載の画像フィルタプログラムにおいて、上記サンプリング処理機能では、サンプリングレートを入力可能であり、同入力されたサンプリングレートでサンプリングを実行する構成としてある。
【0011】
上記のように構成した請求項3にかかる発明においては、サンプリングレートを入力可能であり、上記サンプリング処理機能は同入力されたサンプリングレートでサンプリングを実行する。
入力されるサンプリングレートを粗くすれば下地が残りやすくなって個々のブラシ画像の形状が確認でき易くなるし、密にすればほぼ下地も残らなくなるなど、様々な表現が実現される。
回転角度パラメータはサンプリングした画像データに基づいて決定するが、画像データが単一のパラメータからなるものでないときには各種の利用方法が可能である。その一例として、上記請求項1〜請求項3のいずれか一項に記載の画像フィルタプログラムにおいて、上記描画機能では、サンプリングした画像データの明度、色相または彩度に応じた回転角度で非円形のブラシ図形を回転させ、同画像データで前記回転後のブラシ図形のブラシ描画を行う構成としてもよい。
【0012】
上記のように構成した発明においては、サンプリングした画像データの明度に応じた回転角度パラメータを設定し、同設定した回転角度のブラシ画像を描画する。
画像データの利用方法として色相や彩度や明度といったものを利用可能であるが、明度は他のパラメータと比べて比較的演算も容易である。
上記のように構成した発明によれば、明度に応じた回転角度パラメータを設定し、演算が容易で、かつ他のパラメータと比較して大きな変化が少ないので、流れを表現しやすくなる。
描画される単位となるブラシ画像によっても画像表現は大きく変わるため、請求項4にかかる発明は、上記請求項1〜請求項3のいずれか一項に記載の画像フィルタプログラムにおいて、上記描画機能では、上記ブラシ描画における非円形の形状を選択可能であり、選択された非円形の形状で描画を行う構成としてある。
【0013】
上記のように構成した請求項4にかかる発明においては、好みに応じてブラシ描画における非円形の形状を選択する。例えば、木の葉型のような単純な形態を選んでも良いし、より複雑な形、足形や、数字、文字、記号といったものも可能である。ただし、いずれにしても縦長形体の方が回転角度による流れが分かりやすくなる。
また、形状のみならず、その大きさによっても画像表現は大きく変わるため、請求項5にかかる発明は、上記請求項1〜請求項4のいずれか一項に記載の画像フィルタプログラムにおいて、上記描画機能では、上記ブラシ描画における非円形の形状の大きさを選択可能であり、選択された大きさで描画を行う構成としてある。
【0014】
上記のように構成した請求項5にかかる発明においては、好みに応じてブラシ描画における非円形の形状の大きさを選択する。例えば、同じ木の葉型のブラシ図形であっても小さなサイズのものから大きなものまで選択でき、選択された大きさで描画を行う。さらに、サイズの大きさはサンプリングレートとの関連させて変更しても良い。例えば、サンプリングレートを粗くした場合にブラシ画像のサイズを大きくし、サンプリングレートを密にした場合にブラシ画像のサイズを小さくすれば、下地の残り具合を同程度にするということも可能となる。
【0015】
また、ブラシ形状の大きさを一つの画像で一律とする必要もなく、適宜変化させることも可能であり、請求項6にかかる発明は、上記請求項1〜請求項5のいずれか一項に記載の画像フィルタプログラムにおいて、上記描画機能では、上記ブラシ図形の大きさを上記サンプリングした画像データの画素値に応じて変更可能とした構成としてある。
上記のように構成した請求項6にかかる発明においては、一つ一つのブラシ図形の大きさが各画素の画素値に依存しているため、各画素ごとに変化する。従って、明るさによって回転角度が変化するような場合には、その明るさによってブラシ図形自体を変化させることも可能であり、より面白みを増す表現となる。
【0016】
さらに、回転角度のパラメータの分解能の荒さというのも選択できるようにしても良く、請求項7にかかる発明は、上記請求項1〜請求項6のいずれか一項に記載の画像フィルタプログラムにおいて、上記描画機能では、上記サンプリングした画像データの明度、色相または彩度に応じて上記ブラシ図形を段階的に回転させるときの回転角度の範囲の分割数を選択可能であり、選択された分割数に対応する回転角度の単位で上記ブラシ図形を段階的に回転させて同画像データで前記回転後のブラシ図形のブラシ描画を行う構成としてある。
上記のように構成した請求項7にかかる発明においては、上記サンプリングした画像データの明度、色相または彩度に応じて上記ブラシ図形を段階的に回転させるときの回転角度の範囲の分割数を選択することができ、例えば、ブラシ画像が点対称で180度の回転で元図形と一致するとした場合、180度の範囲を回転角度パラメータで表すことになる。回転角度パラメータの範囲が0〜255であるときに、パラメータの「1」の値毎に180/255に回転させるようにしても良いし、180度の範囲を8等分したり16等分したりする程度で回転させるようにしても良い。
【0017】
また、このようなプログラムは現実に実行される前の段階で各種の記録媒体に記録された過程においても本発明を実施しているのと同視できる。
このため、請求項10にかかる発明は、コンピュータに実行させる画像フィルタプログラムを記録した媒体であって、ドットマトリクス状の各画素について階調表現した画像データを入力する画像入力機能と、上記画像データに平滑化処理を行なう平滑化処理機能と、平滑化処理した画像データをサンプリングするサンプリング処理機能と、サンプリングした画像データの明度、色相または彩度に応じた回転角度で非円形のブラシ図形を回転させ、同画像データで前記回転後のブラシ図形のブラシ描画を行う描画機能とを実現させる構成としてある。
【0018】
むろん、このような記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行なう場合でも本発明が利用されていることにはかわりない。
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。むろん、このプログラム自体に発明の思想が反映されていることはいうまでもない。
【0019】
このように、入力した画像データを平滑化してその画像データを回転角度パラメータとしてブラシ画像を描画する手法は実体のあるコンピュータにおいて実現され、その意味で本発明をそのようなコンピュータを含んだ実体のある装置としても適用可能であることは容易に理解できる。このため、請求項8にかかる発明は、ドットマトリクス状の各画素について階調表現した画像データを入力する画像入力手段と、上記画像データに平滑化処理を行なう平滑化処理手段と、平滑化処理した画像データをサンプリングするサンプリング処理手段と、サンプリングした画像データの明度、色相または彩度に応じた回転角度で非円形のブラシ図形を回転させ、同画像データで前記回転後のブラシ図形のブラシ描画を行う描画手段とを具備する構成としてある。
【0020】
すなわち、コンピュータで制御される実体のある装置としても有効であることに相違はない。むろん、このような画像フィルタは単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものであって、適宜、変更可能である。
また、このような画像フィルタプログラムはかかる制御に従って処理を進めていく上で、その根底にはその手順に発明が存在するということは当然であり、方法としても適用可能であることは容易に理解できる。このため、請求項9にかかる発明は、ドットマトリクス状の各画素について階調表現した画像データを入力する画像入力工程と、上記画像データに平滑化処理を行なう平滑化処理工程と、平滑化処理した画像データをサンプリングするサンプリング処理工程と、サンプリングした画像データの明度、色相または彩度に応じた回転角度で非円形のブラシ図形を回転させ、同画像データで前記回転後のブラシ図形のブラシ描画を行う描画工程とを実行する構成としてある。
【0021】
すなわち、必ずしも実体のある装置や媒体などに限らず、その方法としても有効であることに相違はない。
【0022】
【発明の効果】
以上説明したように本発明は、サンプリングして描画される非円形のブラシ画像の回転角度が平滑化された画像データに起因しているので、同ブラシ画像は全体として流れるような様相を示し、これまでにない表現を実現することが可能になり、明度、色相または彩度に応じた回転角度で非円形のブラシ図形を回転させるので、流れを表現しやすくさせることが可能な画像フィルタプログラムを提供することができる。
【0023】
また、請求項2にかかる発明によれば、平滑度合いを選択できるので、表現の多様さが増す。
さらに、請求項3にかかる発明によれば、サンプリングレートを選択できるので、表現の多様さが増す。
さらに、請求項4にかかる発明によれば、ブラシ画像の形状を選択できるので、表現の多様さが増す。
【0024】
さらに、請求項5にかかる発明によれば、ブラシ画像の大きさを選択できるので、表現の多様さが増す。
さらに、請求項6にかかる発明によれば、各画素の画素値が変化するのに応じてブラシ画像の大きさも変化し、表現の多様さが増す。
さらに、請求項7にかかる発明によれば、上記サンプリングした画像データの明度、色相または彩度に応じて上記ブラシ図形を段階的に回転させるときの回転角度の範囲の分割数を選択することができるので、表現の多様さが増す。
さらに、請求項8にかかる発明によれば、同様の効果を奏する画像フィルタを提供でき、請求項9にかかる発明によれば、画像処理方法を提供でき、請求項10にかかる発明によれば、画像フィルタプログラムを記録した媒体を提供できる。
【0025】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。
図1は、本発明の一実施形態にかかる画像フィルタプログラムが実施されるコンピュータシステムをブロック図により示している。
本コンピュータシステム10は、画像入力デバイスとして、スキャナ11aとデジタルスチルカメラ11bとビデオカメラ11cとを備えており、コンピュータ本体12に接続されている。それぞれの入力デバイスは画像をドットマトリクス状の画素で表現した画像データを生成してコンピュータ本体12に出力可能となっており、ここで同画像データはRGBの三原色においてそれぞれ256階調表示することにより、約1670万色を表現可能となっている。
【0026】
コンピュータ本体12には、外部補助記憶装置としてのフロッピー(登録商標)ディスクドライブ13aとハードディスク13bとCD−ROMドライブ13cとが接続されており、ハードディスク13bにはシステム関連の主要プログラムが記録されており、フロッピーディスク13a1やCD−ROM13c1などから適宜必要なプログラムなどを読み込み可能となっている。
また、コンピュータ本体12を外部のネットワークなどに接続するための通信デバイスとしてモデム14aが接続されており、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。この例ではモデム14aにて電話回線を介して外部にアクセスするようにしているが、LANアダプタを介してネットワークに対してアクセスする構成とすることも可能である。この他、コンピュータ本体12の操作用にキーボード15aやマウス15bも接続されている。
【0027】
さらに、画像出力デバイスとして、ディスプレイ17aとカラープリンタ17bとを備えている。ディスプレイ17aについては水平方向に800画素と垂直方向に600画素の表示エリアを備えており、各画素毎に上述した1670万色の表示が可能となっている。むろん、この解像度は一例に過ぎず、640×480画素であったり、1024×768画素であるなど、適宜、変更可能である。
【0028】
また、カラープリンタ17bはインクジェットプリンタであり、CMYKの四色の色インクを用いて記録媒体たる印刷用紙上にドットを付して画像を印刷可能となっている。画像密度は360×360DPIや720×720DPIといった高密度印刷が可能となっているが、階調表現については色インクを付すか否かといった2階調表現となっている。
一方、このような画像入力デバイスを使用して画像を入力しつつ、画像出力デバイスに表示あるいは出力するため、コンピュータ本体12内では所定のプログラムが実行されることになる。そのうち、基本プログラムとして稼働しているのはオペレーティングシステム(OS)12aであり、このオペレーティングシステム12aにはディスプレイ17aでの表示を行わせるディスプレイドライバ(DSP DRV)12bとカラープリンタ17bに印刷出力を行わせるプリンタドライバ(PRT DRV)12cが組み込まれている。これらのドライバ12b,12cの類はディスプレイ17aやカラープリンタ17bの機種に依存しており、それぞれの機種に応じてオペレーティングシステム12aに対して追加変更可能である。また、機種に依存して標準処理以上の付加機能を実現することもできるようになっている。すなわち、オペレーティングシステム12aという標準システム上で共通化した処理体系を維持しつつ、許容される範囲内での各種の追加的処理を実現できる。
【0029】
なお、かかるディスプレイドライバ12bやプリンタドライバ12cは、ハードディスク13bに記憶されており、起動時にコンピュータ本体12にて読み込まれて稼働する。また、導入時にはCD−ROM13c1であるとかフロッピーディスク13a1などの媒体に記録されてインストールされる。従って、これらの媒体はプログラムを記録した媒体を構成する。
むろん、このようなプログラムを実行する前提として、コンピュータ本体12内にはCPU12eとRAM12fとROM12gとI/O12hなどが備えられており、演算処理を実行するCPU12eがRAM12fを一時的なワークエリアや設定記憶領域として使用したりプログラム領域として使用しながら、ROM12gに書き込まれた基本プログラムを適宜実行し、I/O12hを介して接続されている外部機器及び内部機器などを制御している。
【0030】
ここで、基本プログラムとしてのオペレーティングシステム12a上でアプリケーション12dが実行される。アプリケーション12dの処理内容は様々であり、操作デバイスとしてのキーボード15aやマウス15bの操作を監視し、操作された場合には各種の外部機器を適切に制御して対応する演算処理などを実行し、さらには、処理結果をディスプレイ17aに表示したり、カラープリンタ17bに出力したりすることになる。
【0031】
かかるコンピュータシステム10では、画像入力デバイスであるスキャナ11aなどで画像データを取得し、アプリケーション12dによって画像フィルタを適用する画像処理を実行した後、画像出力デバイスとしてのディスプレイ17aやカラープリンタ17bに表示出力することが可能である。
図2は本発明の画像フィルタの概略構成を示しており、図3は当該画像フィルタをコンピュータプログラムで実現したアプリケーションのフローチャートを示している。
【0032】
本発明の画像フィルタでは、画像データを入力して(工程1)平滑化処理(工程2)し、当該平滑化された画像データを所定のサンプリングレートでサンプリング(工程3)し、サンプリングした画像データの明度を算出(工程4)して回転角度パラメータを導出(工程5)し、同導出された回転角度をパラメータとして先にサンプリングした画像データのブラシ画像を描画する(工程6)。
これをコンピュータプログラムで実現するために、まず、ステップS100にて平滑化処理を実行する。図4〜図6はこの平滑化処理に利用する三種類のアンシャープマスクを示している。なお、平滑化処理は端的には画像をぼかす処理であり、具体的には対象画素を特定して各種のマスクを適用して実現する。
【0033】
図4〜図6のアンシャープマスクは、中央の数値を対象画素におけるY(x,y)の重み付けとし、その周辺画素に対して同マスクの升目における数値に対応した重み付けをして積算するのに利用される。例えば、3×3画素のアンシャープマスクを使用する場合、
【数1】
Figure 0003968555
なる演算式に基づいて積算する。同式において、「136」とは重み付け係数の合計値であり、サイズの異なるアンシャープマスクにおいては、それぞれ升目の合計値となる。すなわち、図5に示す5×5画素であれば「400」となるし、図6に示す7×7画素であれば「900」となる。また、Mijはアンシャープマスクの升目に記載されている重み付け係数であり、R(x,y),G(x,y),B(x,y)は各画素の画像データである。さらに、ijについてはアンシャープマスクに対して横列と縦列の座標値で示している。
【0034】
なお、これらのアンシャープマスクは図4〜図6からも明らかなように、中央部にて最も重み付けが大きく、周縁に向かうにつれて徐々に重み付け係数が小さくなっている。従って、周縁側の重み付け係数が升目の合計値に与える影響はわずかであるといえる。一方、(1)〜(3)式等で示されるマトリクス演算は、処理対象画素の周囲の画素に対して、採用するアンシャープマスクの升目数だけ乗算演算と加算演算が必要になることから演算量が多大となることも観念される。そこで、本実施形態においては、予め周縁側の重み付け係数を省いて構成した3×3、5×5、7×7画素のアンシャープマスクを使用することにより演算量を削減して処理速度を高めるようにしている。例えば、3×3画素の場合は4×4画素の場合に16回の乗算を要したのに対して9回となる。また、演算の低減化のためには全ての重み付けを「1」としたマスクを選択するようにしても良い。
【0035】
ステップS100では予め定めた大きさのアンシャープマスクを使用するが、図2に示すように平滑化の過程では平滑化度合いを好みに応じて変化させるために平滑化度合いパラメータ設定(工程7)を実行してもよい。図7は平滑化度合いを設定するためにディスプレイ17a上に表示する設定画面40を示している。左側にアンシャープマスクを大きさで選択する欄41があり、右側には公知のガウスぼかしを選択する欄42を設けてある。アンシャープマスクの欄41では、上から「3×3」41a、「5×5」41b、「7×7」41c、「20×20」41d、「50×50」41eの表示があり、いずれか一つを選択する。なお、「20×20」41d、「50×50」41eを選択したときには図4〜図6に示したのと同様に中心部の重み付けを大きくして周縁に向かうほど重み付けが小さくなるように配置したアンシャープマスクが使用される。
【0036】
一方、ガウスぼかしの欄42では、ぼかしの程度で弱42a、中42b、強42cを選択できる。アンシャープマスクの欄41とガウスぼかしの欄42とは二者択一であり、それぞれの欄でも選択肢は一つとなっている。
選択はキーボード15aやマウス15bを使って行い、オペレーティングシステム12aを介してアプリケーション12dが同操作を入力して平滑化の度合いを適宜変更する。この平滑化の度合いは全体としての雰囲気に大きな影響を与えるが、詳細については後述する。
【0037】
ステップS110の平滑化処理は画像入力デバイスを介して入力された画像データファイルあるいはハードディスク13bなどに記憶されている画像データファイルを対象とし、平滑化処理を行った結果をハードディスク13bあるいはRAM12fのワークエリアに書き出す。
ステップS112〜ステップS122はループ処理であり、概略的には、ステップS112にてサンプリングを行い、ステップS114〜ステップS120の処理でブラシ描画を行ない、ステップS122にて所定のサンプリングレートを満足したと判断するまで以上の処理を繰り返す。
【0038】
次に、これらの内容について詳述すると、ステップS112ではランダムに画素を抽出する。抽出する元になるのはワークエリアに保存されている画像データであり、上述したように平滑化処理を経たものである。今、ランダムに抽出した座標が(x,y)とすると、当該座標の画像データ(R0,G0,B0)を変数D(x,y)として保存する。
ステップS114では後にサンプリングレートを算出するために抽出画素数の変数Nに1を加算する。サンプリングレートはステップS122にて(抽出画素数/全画素数)を演算して求められ、これが所定のしきい値を越えていればサンプリングレートを達成したことになるのでループ処理を終了する。所定のしきい値は固定値であっても良いが、図2に示すようにサンプリングレート設定(工程8)の処理を実施しても良い。図8はサンプリングレート設定を行なうためにディスプレイ17a上に表示する設定画面43を示している。
【0039】
同設定画面43では左側に複数のサンプリングレートが表示され、上から「1/25」44a、「1/100」44b、「1/400」44c、「1/900」44dの各レートから択一的に選択できる。また、右側には選んだサンプリングレートに応じて全体画像とサンプリングレートに応じて分割される画素のイメージを表示する表示欄45である。同図にはサンプリングレートとして1/25を選択した場合のイメージ表示を示しており、元画像データに基づいてサムネール画像を表示しつつ5×5分割したメッシュ表示を行っている。そして、1/100であれば10×10分割したメッシュ表示を行い、1/400であれば20×20分割したメッシュ表示を行い、1/900であれば30×30分割したメッシュ表示を行う。むろん、サンプリングレートとして1/100を選択したとしても各メッシュの中から必ず1画素を選択するというものではないが、分割の程度を感覚的に知るには十分である。
【0040】
ここでも選択はキーボード15aやマウス15bを使って行い、オペレーティングシステム12aを介してアプリケーション12dが同操作を入力してサンプリングレートのしきい値を設定する。
次のステップS116ではサンプリングした画素の明度Yを求める。明度は(R,G,B)で表される画像データから線形演算で求められるものではないが、概略的には次の演算式で算出でき、本実施形態においてもこの演算式を用いて明度を変数D(x,y)に保存された画像データ(R0,G0,B0)から算出する。
【0041】
Y=0.3×R0+0.59×G0+0.11×B0 …(4)
このようにして求めた明度はステップS118にて回転角度のパラメータθを求める演算に使用する。ここで回転角度のパラメータはアナログ的に増減するものでも良いが、ステップ的に増減させるようにしても良い。例えば、アナログ的に増減させるのであれば、明度が0〜255の値を取るときにブラシ画像を0〜180度の範囲で回転させるとすると、明度Yに比例してパラメータθを0〜180度の範囲で滑らかに変化させることが可能である。一方、ステップ的に増減させるのであれば、0〜180度の範囲を16分割し、概ね16階調ごとに(180/16)度ずつパラメータθが増加していくことになる。これを演算式で示すと、次式のようになる。なお、int(p)は実数pにおける整数部分を示し、dvは分割数であってこの場合は16となる。
【0042】
θ=int(int((Y/255)×dv)×(180/dv)
ステップS118では予め16分割する回転精度として固定しているが、図2に示すように回転精度設定(工程9)の処理を実施しても良い。図9は回転精度設定を行なうためにディスプレイ17a上に表示する設定画面46を示している。同設定画面46において、左側にはブラシ画像を所定角度だけ回転させたときに元画像と一致する回転角度を基準角度47として示している。例えば、正八角形であれば45度回転させると元の画像と一致するし、正六角形であれば60度回転させると元の画像と一致する。これは上述したパラメータθの変位範囲であり、この基準角度を右の欄の回転精度48で分割してステップ的に増減させることになる。ただし、回転精度48の欄で一番上のリニアを選択したときにはアナログ的に増減させることができる。
【0043】
基準角度47についてはデフォルトで180度というように設定しておき、回転精度の欄から択一的に選択させるようにしても良い。これらの選択もキーボード15aやマウス15bを使って行い、オペレーティングシステム12aを介してアプリケーション12dが同操作を入力して基準角度47と回転精度48を設定する。
ステップS116とステップS118では回転角度のパラメータを求める基準として明度を利用しているが、必ずしも明度に限るものではない。例えば、色相であるとか彩度といったパラメータを基準として回転角度を求めるようにしても良い。ただし、明度の演算は容易であるし、明度自体が視覚的にも直感的であるので利用しやすい。
【0044】
回転角度のパラメータθが導出されたらステップS120にて抽出座標(x,y)を基準位置としてブラシ図形を描画する。このブラシ図形は抽出した画像データである(R0,G0,B0)で描画し、基準位置は概ね当該ブラシ図形の中心位置が妥当であるが、特に限られるものではない。
ブラシ図形は、デフォルトでは細めの木の葉型など好適であるが、図2に示すようにブラシ図形設定(工程10)を実行して好みに応じたブラシ図形を選択できるようにしても良い。図10はブラシ図形を選択して設定するためにディスプレイ17a上に表示する設定画面49を示している。同設定画面49には予め用意された9つのブラシ図形49a〜49iのサンプルとともに、ユーザが用意した外部図形ファイルをオリジナルブラシ図形49jが表示され、いずれか一つを選択できるようになっている。
【0045】
ブラシ図形49aはデフォルトの木の葉図形であり、180度回転したときに元の画像と一致する対称形状となっている。ブラシ図形49bは細めの楕円形であり、ブラシ図形49cは太めの楕円形である。ブラシ図形49bは細めの楕円形であり、ブラシ図形49cは太めの楕円形である。このように細いか太いかによっても画像の雰囲気が変わるため選択の余地がある。同様に、ブラシ図形49bは細めの楕円形であり、ブラシ図形49cは太めの楕円形である。
【0046】
ブラシ図形49fは正三角形であり、この場合は120度回転したときに元の画像と一致する対称形状である。ブラシ図形49gは足形であり、ブラシ図形49hは米粒形であり、これらの場合は非対称形状であって360度回転したときに元の画像と一致する。ブラシ図形49iは外形は円形であるものの、他の形状と異なって模様を含んでいる。すなわち、目と口の模様があることによって非円形といえる例である。
【0047】
オリジナルブラシ図形49jはパス入力欄49kで指定されたビットマップファイルを読み込んで表示しており、必要に応じて適宜拡大縮小して表示するようにしても良い。
一方、ブラシ図形の描画の要素として図形そのものだけでなく、大きさを選択できるようにしても良い。図11は大きさを選択するためにディスプレイ17a上に表示する設定画面50を示している。同設定画面50には上段左側にブラシ図形の絶対的な大きさを指定する欄51があり、上段右側には相対的な大きさを指定する欄52があり、下段には画素値に依存させる指定の欄53がある。絶対的な大きさとはブラシ図形の大きさをドット単位で示すものであり、選択された一つの枠51a〜51cの中に収まる大きさとする。例えば、5×5ドット51aの場合であれば、細めの楕円のブラシ図形49bでも細めの楕円のブラシ図形49cでも縦方向の長さを5ドットの長さに調整する。
【0048】
また、相対的な大きさは元画像の縦方向の大きさを基準としてブラシ図形の大きさを指定するものであり、例えば、元画像が640×480ドットであると縦方向の大きさは480ドットであり、1/100の相対値52cを選択したとすれば計算値は4.8ドットであるから、四捨五入して5×5ドットの枠内に収まる大きさとする。
画素値に依存する指定の欄53には、選択肢として、明るさ53a、彩度53b、色相53cの指定がある。明るさを選択した場合、ステップS116にて算出した明度Yに基づいて、例えば、5ドット〜20ドットの範囲でリニアに変化させる。具体的な演算式は、求めるブラシの大きさをEドットとすると、
E=5+int(15×(Y/256))
とする。むろん、5ドット〜20ドットという範囲は一例に過ぎないし、上段の絶対値や相対値による指定を踏襲した上で画素値に依存させる構成とすることもできる。例えば、絶対値として選択された大きさに対して±40%の範囲で大小させるということも可能である。絶対値として20ドット×20ドットを選択している場合は、
E=12+int(16×(Y/256))
とする。これにより、明度Yが0〜255の範囲で変化するときに12〜28ドットと変化することになる。
【0049】
一方、彩度や色相の場合は、画素値である画像データ(R0,G0,B0)からは一律に計算できない。このため、同画像データを利用して三次元のルックアップテーブルを参照する。このとき、各要素色毎に256階調あるとするとルックアップテーブルの大きさは非常に大きくなってしまうし、高い精度が必要となるものでもないため、階調を減らしてルックアップテーブルを参照する。例えば、読み出す段階で各要素色毎に16階調とすると、ルックアップテーブルの大きさは16×16×16=4096となる。色相と彩度にそれぞれ1バイトずつ与えても全体の大きさは9192バイトで済む。256階調から16階調への低減かも単に上位4ビットのみを参照するだけであるから、演算の負荷も小さい。
【0050】
以上のようにしてサンプリングした座標を基準位置として所定の大きさのブラシ画像を一定角度θだけ回転させて描画し、これをステップS122にて所定のサンプリングレートが達成されたと判断されるまで繰り返す。
次に、上記構成からなる本実施形態の動作を簡単な図形を参照して説明する。
図12はフィルタを通す前の画像である。本来、写真などに使用して好適であるが、ここでは理解の便宜のために部分的な色変化の少ないペイント画像を想定して説明する。この画像は5つの部分で描画され、それらの色は手前の山がA、奥の山がB、雲がC、空がD、太陽がEである。ステップS110ではこの画像をスキャナ11で読み込んだり、あるいはアプリケーション12dで描画するなどした元画像データを入力して平滑化する。平滑化すると、それぞれの部分の境界部分がグラデーションの領域となり、概ね図13に示すようになる。すなわち、各境界から所定距離だけ離れた部分では元の部分の色が残るが、境界において二つあるいは三つの部分の色が徐々に変化する領域が形成される。山の色Aと空の色Dとの境界でグラデーション領域ADが形成され、山の色Bと空の色Dとの境界でグラデーション領域BDが形成され、雲の色Cと空の色Dとの境界でグラデーション領域CDが形成され、太陽の色Eと空の色Dとの境界でグラデーション領域EDが形成され、山の色Aと山の色Bと空の色Dとの境界でグラデーション領域ABDが形成される。このように平滑化処理された画像データは一旦ワークエリアに保存される。
【0051】
次にステップS112にて同ワークエリアから逐次サンプリングして画像を抽出する。上述したグラデーション領域以外では色が単調であり、それぞれの明度は一定である。従って、抽出された画素の明度を算出して回転角度のパラメータθを計算すると一定となり、単色の色ABCDEの領域でそれぞれ対応する一定の角度に並ぶブラシ図形が描画される。
しかしながら、各グラデーション領域では境界と直交する方向で徐々に明度が変化していくことになり、明度に応じてパラメータθがリニアあるいはステップ的に徐々に変化する。例えば、Aの色ではパラメータθが60度であるとし、Bの色では120度であるとすると、Aの色に近いところではブラシ図形は60度回転しているが、Bの色の領域に近づくにつれて徐々に回転して最終的には120度まで回転することになる。
同様にして他の領域でもこのようなブラシ図形が描画される。図14はこのようにして描画された画像を示しており、理解しやすいように実線を書き加えて領域毎に分割して表示している。ただし、本来グラデーション領域では徐々に角度が変化していくのであるが、図面の描画の困難性から、当該境域を挟む二色における中間色に対応した一定の角度で示している。
【0052】
このグラデーション領域で回転角度が徐々に変化していく過程を図15に示している。同図にて左端のブラシ図形21aの回転角度パラメータθが0度であり、右端のブラシ図形21gの回転角度パラメータθが90度である。この間が上述したグラデーション領域となった場合、回転角度パラメータθは0度〜90度の範囲で徐々に変化し、ブラシ図形21b〜21fで示すように徐々に傾いていく。むろん、実際にはこれがより密に描画される。
【0053】
以上のようなブラシ図形の傾きの変化は視覚的にはある流れのように見え、視覚的な効果度合いは極めて大きい。ここで、先にそれぞれ示した設定の具体的意味合いについて説明をする。平滑化の度合いは単一的には流れの変化具合に影響を与える。例えば、平滑度合いが大きいと先のグラデーション領域の幅が広くなるので、この領域で回転角度がゆったりと変化していく。しかし、平滑度合いが小さいとグラデーション領域の幅が狭くなり、狭い範囲で回転角度は一定角度まで変化しなければならず、流れの変化が急になる。
【0054】
一方、サンプリングレートは描画されるブラシ図形の割合に相当するから、レートが低いとまばらに描画される。ただし、サンプリングレートとブラシ図形の大きさは相互に影響し合う。例えば、レート自体はまばらでもブラシ図形が大きいとほぼ画像には下地が残ることなくほぼ全面に描画されることもあり得る。これに対してレート自体が密でもブラシ図形が小さいと画像には下地である白い部分が残ることもある。なお、白地は流れを示したり、雰囲気を弱めるなどの効果があり、ある程度は残るような設定が好ましい。
【0055】
また、ブラシ図形は木の葉形のように細長く両端が鋭角に細まる場合に流れが強く感じられる。さらに細長くても一端は丸まっていて他端が鋭利であると360度の方向性を示すこともできる。
以上は、本発明の適用例として一つの単体のアプリケーション12dの場合を示しているが、このような画像フィルタは、他のペイント形のアプリケーション12dの一部として組み込んで利用することもできる。この場合は、アプリケーション12d内に組み込むだけでなく、例えばプラグインの形で提供するようにしても良い。
【0056】
このように、元画像データを入力して平滑化処理(工程1,2)したら、所定のサンプリングレートでサンプリングし(工程3)、サンプリングした画素の明度を用いて回転角度のパラメータθを算出し(工程4,5)、同画素の画像データを使って同パラメータθだけ傾かせたブラシ画像を描画する(工程6)ようにしたため、画像全体に流れのような雰囲気を生じさせ、印象派のような感覚を生じさせる画像フィルタを提供することができる。
【図面の簡単な説明】
【図1】 本発明の一実施形態にかかる画像フィルタプログラムが実施されるコンピュータシステムのブロック図である。
【図2】 本発明の画像フィルタの概略構成を示すブロック図である。
【図3】 本発明の画像フィルタをコンピュータプログラムで実現したアプリケーションのフローチャートである。
【図4】 平滑化処理に利用するアンシャープマスクを示す図である。
【図5】 平滑化処理に利用するアンシャープマスクを示す図である。
【図6】 平滑化処理に利用するアンシャープマスクを示す図である。
【図7】 平滑化度合いを設定するための設定画面を示す図である。
【図8】 サンプリングレートを設定するための設定画面を示す図である。
【図9】 回転精度いを設定するための設定画面を示す図である。
【図10】 ブラシ図形を設定するための設定画面を示す図である。
【図11】 ブラシ図形の大きさを設定するための設定画面を示す図である。
【図12】 元画像を示す図である。
【図13】 元画像に平滑化処理を実施した画像を示す図である。
【図14】 平滑化処理を実施した画像にブラシ図形の描画をした画像を示す図である。
【図15】 回転角度パラメータが徐々に変化していく過程でのブラシ図形の様子を示す図である。
【符号の説明】
10…コンピュータシステム
11a…スキャナ
11b…デジタルスチルカメラ
11c…ビデオカメラ
12…コンピュータ本体
12a…オペレーティングシステム(OS)
12b…ディスプレイドライバ(DSPDRV)
12c…プリンタドライバ(PRTDRV)
12d…アプリケーション
13a…フロッピーディスクドライブ
13a1…フロッピーディスク
13b…ハードディスク
13c…CD−ROMドライブ
14a…モデム
15a…キーボード
15b…マウス
17a…ディスプレイ
17b…カラープリンタ

Claims (10)

  1. ドットマトリクス状の各画素について階調表現した画像データを入力する画像入力機能と、
    上記画像データに平滑化処理を行なう平滑化処理機能と、
    平滑化処理した画像データをサンプリングするサンプリング処理機能と、
    サンプリングした画像データの明度、色相または彩度に応じた回転角度で非円形のブラシ図形を回転させ、同画像データで前記回転後のブラシ図形のブラシ描画を行う描画機能とをコンピュータに実現させることを特徴とする画像フィルタプログラム。
  2. 上記請求項1に記載の画像フィルタプログラムにおいて、
    上記平滑化処理機能では、平滑度合いに関する演算のパラメータを入力可能であり、同入力されたパラメータに基づいて平滑化処理を行うことを特徴とする画像フィルタプログラム。
  3. 上記請求項1または請求項2に記載の画像フィルタプログラムにおいて、
    上記サンプリング処理機能では、サンプリングレートを入力可能であり、同入力されたサンプリングレートでサンプリングを実行することを特徴とする画像フィルタプログラム。
  4. 上記請求項1〜請求項3のいずれか一項に記載の画像フィルタプログラムにおいて、
    上記描画機能では、上記ブラシ描画における非円形の形状を選択可能であり、選択された非円形の形状で描画を行うことを特徴とする画像フィルタプログラム。
  5. 上記請求項1〜請求項4のいずれか一項に記載の画像フィルタプログラムにおいて、
    上記描画機能では、上記ブラシ描画における非円形の形状の大きさを選択可能であり、選択された大きさで描画を行うことを特徴とする画像フィルタプログラム。
  6. 上記請求項1〜請求項5のいずれか一項に記載の画像フィルタプログラムにおいて、
    上記描画機能では、上記ブラシ図形の大きさを上記サンプリングした画像データの画素値に応じて変更可能としたことを特徴とする画像フィルタプログラム。
  7. 上記請求項1〜請求項6のいずれか一項に記載の画像フィルタプログラムにおいて、
    上記描画機能では、上記サンプリングした画像データの明度、色相または彩度に応じて上記ブラシ図形を段階的に回転させるときの回転角度の範囲の分割数を選択可能であり、選択された分割数に対応する回転角度の単位で上記ブラシ図形を段階的に回転させて同画像データで前記回転後のブラシ図形のブラシ描画を行うことを特徴とする画像フィルタプログラム。
  8. ドットマトリクス状の各画素について階調表現した画像データを入力する画像入力手段と、
    上記画像データに平滑化処理を行なう平滑化処理手段と、
    平滑化処理した画像データをサンプリングするサンプリング処理手段と、
    サンプリングした画像データの明度、色相または彩度に応じた回転角度で非円形のブラシ図形を回転させ、同画像データで前記回転後のブラシ図形のブラシ描画を行う描画手段とを具備することを特徴とする画像フィルタ。
  9. ドットマトリクス状の各画素について階調表現した画像データを入力する画像入力工程と、
    上記画像データに平滑化処理を行なう平滑化処理工程と、
    平滑化処理した画像データをサンプリングするサンプリング処理工程と、
    サンプリングした画像データの明度、色相または彩度に応じた回転角度で非円形のブラシ図形を回転させ、同画像データで前記回転後のブラシ図形のブラシ描画を行う描画工程とを実行することを特徴とする画像処理方法。
  10. コンピュータに実行させる画像フィルタプログラムを記録した媒体であって、
    ドットマトリクス状の各画素について階調表現した画像データを入力する画像入力機能と、
    上記画像データに平滑化処理を行なう平滑化処理機能と、
    平滑化処理した画像データをサンプリングするサンプリング処理機能と、
    サンプリングした画像データの明度、色相または彩度に応じた回転角度で非円形のブラシ図形を回転させ、同画像データで前記回転後のブラシ図形のブラシ描画を行う描画機能とを実現させることを特徴とする画像フィルタプログラムを記録した媒体。
JP2001068645A 2001-03-12 2001-03-12 画像フィルタプログラム、画像フィルタ、画像処理方法および画像フィルタプログラムを記録した媒体 Expired - Fee Related JP3968555B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001068645A JP3968555B2 (ja) 2001-03-12 2001-03-12 画像フィルタプログラム、画像フィルタ、画像処理方法および画像フィルタプログラムを記録した媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001068645A JP3968555B2 (ja) 2001-03-12 2001-03-12 画像フィルタプログラム、画像フィルタ、画像処理方法および画像フィルタプログラムを記録した媒体

Publications (2)

Publication Number Publication Date
JP2002269557A JP2002269557A (ja) 2002-09-20
JP3968555B2 true JP3968555B2 (ja) 2007-08-29

Family

ID=18926801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001068645A Expired - Fee Related JP3968555B2 (ja) 2001-03-12 2001-03-12 画像フィルタプログラム、画像フィルタ、画像処理方法および画像フィルタプログラムを記録した媒体

Country Status (1)

Country Link
JP (1) JP3968555B2 (ja)

Also Published As

Publication number Publication date
JP2002269557A (ja) 2002-09-20

Similar Documents

Publication Publication Date Title
EP0691011B1 (en) Method and system for image processing
US6075926A (en) Computerized method for improving data resolution
US8290300B2 (en) Seam-based reduction and expansion of images with color-weighted priority
JP4418044B2 (ja) デジタルフォントにおけるキャラクタを表示する方法、デジタルフォントのキャラクタを画定する方法、及びデジタルフォントにおけるキャラクタを発生する方法
US8896622B2 (en) Methods and apparatus for marker-based stylistic rendering
Zander et al. High quality hatching
JP4917104B2 (ja) 透明を含むアートワークを印刷するシステムおよび方法
US6734851B2 (en) Analytic warping
US8280191B1 (en) Banded seam carving of images with pyramidal retargeting
EP0786757B1 (en) Adjusting contrast in antialiasing
US20130120426A1 (en) System and Method for Generating Vector Output From a Physical Simulation of a Bristle Brush
JP4820004B2 (ja) ディスプレイ装置の画素サブコンポーネントにマッピングされるサンプルを得るために画像データをフィルタリングする方法およびシステム
JP2005527880A (ja) ユーザ定義可能な画像参照ポイント
JP2004030670A (ja) デジタル画像の色調特徴の強調方法
US8218900B1 (en) Non-linear image scaling with seam energy
KR101086151B1 (ko) 이미지를 렌더링하는 방법 및 이미지를 렌더링하기 위한 도구
US8280187B1 (en) Seam carving and expansion of images with color frequency priority
JP2000207548A (ja) デジタル画像のト―ンスケ―ルを調整する方法
JP3968555B2 (ja) 画像フィルタプログラム、画像フィルタ、画像処理方法および画像フィルタプログラムを記録した媒体
JP4019239B2 (ja) 画像鮮鋭化方法および画像鮮鋭化装置
WO2014097892A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2000285232A5 (ja)
JP3981785B2 (ja) 画像鮮鋭化プログラムを記録した媒体、画像鮮鋭化装置および画像鮮鋭化方法
JP2003219139A (ja) 画像処理装置、画像処理方法、印刷装置、画像フィルタプログラムおよび画像フィルタプログラムを記録した媒体
KR101406861B1 (ko) 회화적 표현을 위한 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040430

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070522

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees