JP5181821B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

画像処理装置、画像処理方法、プログラム Download PDF

Info

Publication number
JP5181821B2
JP5181821B2 JP2008128881A JP2008128881A JP5181821B2 JP 5181821 B2 JP5181821 B2 JP 5181821B2 JP 2008128881 A JP2008128881 A JP 2008128881A JP 2008128881 A JP2008128881 A JP 2008128881A JP 5181821 B2 JP5181821 B2 JP 5181821B2
Authority
JP
Japan
Prior art keywords
filter
image
unit
target image
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008128881A
Other languages
English (en)
Other versions
JP2009277102A (ja
Inventor
祐司 國米
秀貴 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008128881A priority Critical patent/JP5181821B2/ja
Publication of JP2009277102A publication Critical patent/JP2009277102A/ja
Application granted granted Critical
Publication of JP5181821B2 publication Critical patent/JP5181821B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。特に本発明は、画像処理装置、画像処理方法およびプログラムに関する。
遺伝的アルゴリズムまたは遺伝的プログラミングといった進化的計算を用いた画像フィルタの生成方法が知られている(例えば、非特許文献1参照)。この方法においては、画像を変換するフィルタ部品を複数組み合わせた画像フィルタに対して、交叉、突然変異および選択等の操作を複数回繰り返すことにより、少なくとも一部のフィルタ部品が置換された新たな画像フィルタを生成していく。このような進化的計算により画像フィルタを生成する場合、目的の画像フィルタが得られるまでに世代交代を繰り返す。そして、各世代において、変換対象の画像を各画像フィルタにより変換して、目標画像と比較する。
前薗正宜 他2名、「遺伝的アルゴリズムによる画像フィルタ設計の研究」、[online]、コンピュータ利用教育協議会、[2008年3月20日検索]、インターネット<URL:http://www.ciec.or.jp/event/2003/papers/pdf/E00086.pdf>
ところで、このように進化的計算により画像フィルタを生成する場合、新たな画像フィルタは元の画像フィルタから生成される。したがって、世代交代を繰り返すことにより好ましくない特徴が現れた場合に、当該特徴が高い確率で次の世代にも引き継がれていた。また、ほとんどの場合、目的の画像フィルタが得られるまでに膨大な数の世代交代を繰り返すこととなり、最終的に目的の画像フィルタが得られるまでの演算量が大きくなっていた。
そこで本発明は、上記の課題を解決することのできる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
上記課題を解決するために、本発明の第1の形態においては、入力画像を出力画像にそれぞれ変換する複数のフィルタ部品を組み合わせて、画像フィルタを生成する画像処理装置であって、それぞれが互いに異なる複数の画像フィルタの組を格納する複数のフィルタ格納部と、それぞれのフィルタ格納部について、当該フィルタ格納部に格納された少なくとも1つの画像フィルタの一部を、当該フィルタ格納部に格納された他の画像フィルタの少なくとも一部に置換して新たな画像フィルタを生成し、当該フィルタ格納部へと格納する処理を繰り返すフィルタ生成部と、一のフィルタ格納部に格納された少なくとも1つの画像フィルタを、他のフィルタ格納部へと格納するフィルタ移動部と、を備える画像処理装置、当該画像処理装置に関する画像処理方法、およびプログラムが提供される。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本実施形態に係る画像処理装置10の構成を示す。画像処理装置10は、変換対象画像を目標画像へ変換するのに適した画像フィルタ20を進化的計算を用いて生成する。また、画像処理装置10が生成する画像フィルタ20は、入力画像を出力画像にそれぞれ変換する複数のフィルタ部品22が組み合わせて構成される。画像処理装置10は、一例として、コンピュータにより実現される。
画像処理装置10は、複数のフィルタ格納部32(32−1、32−2、・・・)と、複数のフィルタ生成部34(34−1、34−2、・・・)と、複数の変換対象画像格納部36(36−1、36−2、・・・)と、複数のフィルタ処理部38(38−1、38−2、・・・)と、複数の選択対象画像格納部40(40−1、40−2、・・・)と、複数の目標画像格納部42(42−1、42−2、・・・)と、複数の類似度算出部44(44−1、44−2、・・・)と、フィルタ移動部50と、一致度算出部60と、フィルタ選択部70とを備える。
複数のフィルタ格納部32は、それぞれ、互いに異なる画像フィルタ20を複数格納する。複数のフィルタ生成部34のそれぞれは、対応するフィルタ格納部32に格納された少なくとも1つの画像フィルタ20の一部を、他の画像フィルタ20の少なくとも一部に置換して新たな画像フィルタ20を生成する。一例として、フィルタ生成部34−1は、フィルタ格納部32−1に格納された複数の画像フィルタ20を読み出し、読み出した複数の画像フィルタ20に対して交叉および突然変異等の遺伝的な操作を行って、少なくとも一部のフィルタ部品22を他のフィルタ部品22に置換した新たな複数の画像フィルタ20を生成する。そして、フィルタ生成部34−1は、新たに生成した複数の画像フィルタ20をフィルタ格納部32−1に戻して、既に生成された複数の画像フィルタ20に加えて格納させる。
複数の変換対象画像格納部36は、それぞれ、画像フィルタ20の変換対象となる変換対象画像を格納する。変換対象画像は、一例として、当該画像処理装置10により生成された画像フィルタ20が適用されるアプリケーションにおいて、当該画像フィルタ20に入力する画像のサンプル等であってよく、具体的には、使用者により予め生成または撮影された画像であってよい。なお、複数の変換対象画像格納部36のそれぞれは、同じ変換対象画像を格納してよい。
複数のフィルタ処理部38は、それぞれ、複数の画像フィルタ20のそれぞれで変換対象画像を変換させて選択対象画像を生成する。一例として、フィルタ処理部38−1は、フィルタ格納部32−1に格納された複数の画像フィルタ20を順次取得する。そして、フィルタ処理部38−1は、取得したそれぞれの画像フィルタ20により、変換対象画像格納部36−1に格納された変換対象画像を変換させて、選択対象画像を生成する。
複数の選択対象画像格納部40は、対応するフィルタ処理部38において生成された選択対象画像を格納する。一例として、選択対象画像格納部40−1は、フィルタ処理部38−1において変換対象画像が複数の画像フィルタ20で変換されることにより生成された選択対象画像のそれぞれを、変換した画像フィルタ20に対応付けて格納する。
複数の目標画像格納部42は、それぞれ、変換対象画像を変換して生成される画像の目標となる目標画像を格納する。一例として、目標画像は、画像処理装置10により生成された画像フィルタ20を適用するアプリケーションにおいて、変換対象画像を画像フィルタ20によりフィルタリングして得られるべき画像のサンプル等であってよく、具体的には、使用者により予め生成または撮影された画像であってよい。なお、複数の目標画像格納部42のそれぞれは、同じ目標画像を格納してよい。
複数の類似度算出部44は、それぞれ、対応する選択対象画像格納部40が格納する複数の選択対象画像のそれぞれと、対応する目標画像格納部42が格納する目標画像との差分に基づいて、当該選択対象画像と目標画像との類似度を算出する。複数の類似度算出部44は、それぞれの選択対象画像について算出した類似度を当該選択対象画像に対応付けて記憶してよい。
フィルタ移動部50は、一のフィルタ格納部32(例えばフィルタ格納部32−1)に格納された少なくとも1つの画像フィルタ20を、他のフィルタ格納部32(例えばフィルタ格納部32−2)へと格納する。
一例として、フィルタ移動部50は、一の類似度算出部44(例えば類似度算出部44−1)が記憶するそれぞれの選択対象画像に対応付けられた類似度に基づいて、他の少なくとも1つの選択対象画像より類似度が高い選択対象画像を少なくとも1つ選択する。そして、フィルタ移動部50は、選択した選択対象画像を生成する画像フィルタ20を、当該一の類似度算出部44に対応するフィルタ格納部32から取得して他のフィルタ格納部32へ格納させる。
これにより、上記他のフィルタ格納部32には、進化的計算の途中において、一のフィルタ格納部32側で生成された、目標画像に対する類似度がより高い選択対象画像を生成する画像フィルタ20が移動してくることとなる。よって、例えば、当該他のフィルタ格納部32に対応するフィルタ生成部34が生成する画像フィルタ20の性能が世代を経ても向上しない場合、すなわち当該画像フィルタ20により得られる選択対象画像の目標画像に対する類似度が局所解に落ち込んでいる場合においても、一のフィルタ格納部32側において別個に行った他の進化的計算の画像フィルタ20を追加することにより、より目標画像に近い画像フィルタ20が当該他のフィルタ格納部32側において生成される可能性を高めることができる。
他の例として、フィルタ移動部50は、一の類似度算出部44が記憶するそれぞれの選択対象画像に対応付けられた類似度に基づいて、類似度が高い順に予め指定された個数の選択対象画像を選択し、当該選択した選択対象画像を生成する画像フィルタ20を、対応するフィルタ格納部32から取得して他のフィルタ格納部32へ格納させてもよい。
さらに他の例として、フィルタ移動部50は、一の類似度算出部44が記憶するそれぞれの選択対象画像に対応付けられた類似度に基づいて、類似度が予め定められた基準類似度より高い選択対象画像を選択し、当該選択した選択対象画像を生成する画像フィルタ20を、対応するフィルタ格納部32から取得して他のフィルタ格納部32へ格納させてもよい。
さらに他の例として、フィルタ移動部50は、以下の処理を行ってもよい。すなわち、フィルタ移動部50は、一のフィルタ格納部32に格納された一の画像フィルタ20により生成された選択対象画像の類似度、および、他のフィルタ格納部32に格納された複数の画像フィルタ20により生成された複数の選択対象画像の類似度を、それぞれのフィルタ格納部32に対応する類似度算出部44から取得する。
そして、フィルタ移動部50は、他のフィルタ格納部32に対応する類似度算出部44から取得した類似度の最大値に予め指定されたオフセット値を加えた基準類似度を算出する。そして、フィルタ移動部50は、一のフィルタ格納部32に格納された一の画像フィルタ20により生成された選択対象画像の類似度が、算出した基準類似度より高いことを条件として、当該一の画像フィルタ20を取得して他のフィルタ格納部32に格納させる。
なお、以上の処理において、上記オフセット値は上記類似度の最大値を一定の幅だけ増加させる正の値であってよい。これにより、上記他のフィルタ格納部32は、自身が格納する複数の画像フィルタ20よりも目標画像に対する類似度がより高い選択対象画像を生成する画像フィルタ20を取得して格納することができる。また、以上の処理において、一のフィルタ格納部32は、フィルタ移動部50により選択されて他のフィルタ格納部32に格納された画像フィルタ20のコピーを引き続き格納してもよい。
一致度算出部60は、少なくとも2つのフィルタ格納部32における、目標画像により類似する選択対象画像を生成する画像フィルタ20同士の一致度を算出する。一例として、一致度算出部60は、一のフィルタ格納部32および他のフィルタ格納部32のそれぞれに格納された複数の画像フィルタ20の組のうち、各組で類似度が最も高い、すなわち各組において変換対象画像を目標画像に最も近い選択対象画像に変換することのできる画像フィルタ20同士の一致度を算出する。そして、一致度算出部60は、算出した一致度が予め設定された基準一致度以上であるか否かを判別する。なお、一致度算出部60は、算出した一致度を算出に用いた画像フィルタ20に対応付けて記憶してよい。
また、他の例として、一致度算出部60は、目標画像により類似する選択対象画像を生成する画像フィルタ20同士の同一または類似のフィルタ部品22のフィルタ全体に占める割合を比較してもよい。また、一致度算出部60は、目標画像により類似する選択対象画像を生成する画像フィルタ20のそれぞれにおける同一のフィルタ部品22の繰り返し(例えば膨張処理を担うフィルタ部品22の連続)を一つのフィルタ要素にまとめた(縮退した)と仮定したときの、同一または類似のフィルタ部品22およびフィルタ要素のフィルタ全体に占める割合を比較してもよい。
フィルタ選択部70は、一例として、複数のフィルタ格納部32に格納された画像フィルタ20のうち、類似度がより高い選択対象画像を生成する画像フィルタ20を、変換対象画像を目標画像により類似する画像に変換する画像フィルタ20として選択する。フィルタ選択部70は、他の例として、複数のフィルタ格納部32に格納された類似度がより高い選択対象画像を生成する画像フィルタ20のうち、上記の割合が予め定められた基準割合以上である画像フィルタ20を、変換対象画像を目標画像により類似する画像に変換する画像フィルタ20として選択してもよい。
具体的には、フィルタ選択部70は、複数のフィルタ格納部32のそれぞれに対応する類似度算出部44のそれぞれから、複数のフィルタ格納部32のそれぞれに格納された複数の画像フィルタ20により生成された選択対象画像の類似度を取得する。そして、フィルタ選択部70は、例えば、類似度の最も高い選択対象画像、あるいは、類似度が高い順に予め定められた個数の選択対象画像を生成する画像フィルタ20を、変換対象画像を目標画像により類似する画像に変換する画像フィルタ20として選択する。
なお、フィルタ選択部70は、選択した画像フィルタ20を複数のフィルタ格納部32内に残存させるとともに、選択した画像フィルタ20以外の画像フィルタ20を複数のフィルタ格納部32のそれぞれから削除してもよい。これにより、類似度のより高い画像フィルタ20だけを複数のフィルタ格納部32に格納させることができる。よって、当該それぞれのフィルタ格納部32に対応するフィルタ生成部34が、変換対象画像を目標画像へ変換するのに適した画像フィルタ20を生成するまでに繰り返す処理数をより少なくすることができる。
更に、フィルタ選択部70は、一致度算出部60が算出した一致度が予め設定された基準一致度以上であることを必要条件として、複数のフィルタ格納部32に格納された画像フィルタ20のうち、類似度がより高い選択対象画像を生成する画像フィルタ20を選択してもよい。
一例として、フィルタ選択部70は、一致度算出部60から算出に用いた画像フィルタ20に対応付けて記憶されている一致度を取得する。そして、フィルタ選択部70は、取得した一致度が基準一致度以上である場合に、当該一致度の算出に用いた画像フィルタ20の少なくとも一方を、目標画像に対する類似度がより高い選択対象画像を生成する画像フィルタ20として選択してよい。
この場合、フィルタ選択部70は、一致度の算出に用いた画像フィルタ20のうち、上記類似度のより高い画像フィルタ20を選択してよい。画像処理装置10は、フィルタ選択部70が上記処理により画像フィルタ20を選択したことを条件として、処理を終了してよい。
画像処理装置10は、上記の処理を複数回(例えば複数世代)繰り返してよい。これにより、画像処理装置10は、変換対象画像を目標画像との類似度が極めて高い画像へと変換するのに適した画像フィルタ20を、進化的計算を用いて生成することができる。なお、画像処理装置10の他の例として、フィルタ生成部34、変換対象画像格納部36、フィルタ処理部38、選択対象画像格納部40、目標画像格納部42、類似度算出部44は共通であってもよい。
図2は、フィルタ部品22を直列に組み合わせた構成の画像フィルタ20の一例を示す。図3は、フィルタ部品22を木構造に組み合わせた構成の画像フィルタ20の一例を示す。
画像フィルタ20は、入力画像データを受け取り、受け取った入力画像データに対してフィルタ演算処理を施して、出力画像データを出力する。画像フィルタ20は、一例として、画像データに対して演算を施すプログラムであってよい。また、画像フィルタ20は、一例として、画像データに対して施すべき演算内容を表わす演算式であってもよい。
画像フィルタ20は、複数のフィルタ部品22を組み合わせた構成を有する。画像フィルタ20は、一例として、図2に示されるように、フィルタ部品22を直列に組み合わせた構成を有してよい。また、画像フィルタ20は、一例として、図3に示されるように、フィルタ部品22を木構造に組み合わせた構成を有してよい。
なお、フィルタ部品22が木構造に組み合わされた構成の画像フィルタ20は、木構造の末端(最下位)のフィルタ部品22のそれぞれに、同一の入力画像データが与えられ、木構造の最上位のフィルタ部品22から出力画像データを出力する。これに代えて、このような画像フィルタ20は、複数の末端のフィルタ部品22のそれぞれに互いに異なる入力画像データが与えられてもよい。
複数のフィルタ部品22のそれぞれは、前段に配置されたフィルタ部品22から出力された画像データを受け取り、受け取った画像データに演算を施して後段に配置されたフィルタ部品22に与える。複数のフィルタ部品22のそれぞれは、プログラムモジュールおよび演算式等であってよく、一例として、受け取った画像データに対して2値化演算、ヒストグラム演算、平滑化演算、エッジ検出演算、モルフォロジ演算、及び/または周波数空間での演算(例えば、ローパスフィルタリング演算およびハイパスフィルタリング演算)等の単項演算を施してよい。
また、複数のフィルタ部品22のそれぞれは、受け取った画像データに対して平均演算、差分演算及び/またはファジー演算(例えば論理和演算、論理積演算、代数和、代数積、限界和、限界積、激烈和および激烈積等)等の二項演算を施してもよい。
図4は、フィルタ部品22を直列に組み合わせた構成の画像フィルタ20に対して行われる遺伝的な操作の一例を示す。図5は、フィルタ部品22を木構造に組み合わせた構成の画像フィルタ20に対して行われる交叉操作の一例を示す。図6は、フィルタ部品22を木構造に組み合わせた構成の画像フィルタ20に対して行われる突然変異操作の一例を示す。
フィルタ生成部34は、一例として、2個またはそれ以上の画像フィルタ20に対して、遺伝的な操作の一例である交叉操作を行って新たな2個またはそれ以上の画像フィルタ20を生成してよい。フィルタ生成部34は、一例として、図4および図5に示されるように、既に生成された少なくとも1つの一の画像フィルタ20Aの一部のフィルタ部品群24Aを、既に生成された他の画像フィルタ20Bの少なくとも一部のフィルタ部品群24Bと置換して、新たな画像フィルタ20Eおよび20Fを生成してよい。なお、フィルタ部品群24は、1または複数のフィルタ部品22を組み合わせた部材であってよい。
また、フィルタ生成部34は、一例として、一の画像フィルタ20に対して、遺伝的な操作の一例である突然変異操作を行って新たな一の画像フィルタ20を生成してよい。フィルタ生成部34は、一例として、図4および図6に示されるように、既に生成された一の画像フィルタ20Cの一部のフィルタ部品群24Cを、ランダムに選択された他のフィルタ部品群24Gに置換して、新たな画像フィルタ20Gを生成してよい。
また、フィルタ生成部34は、一例として、現世代の画像フィルタ20をそのまま次世代の画像フィルタ20として残してもよい。フィルタ生成部34は、一例として、図4に示されるように、画像フィルタ20Dのフィルタ部品22の構成をそのまま含む次世代の画像フィルタ20Hを生成してよい。
図7は、画像フィルタ20の適合度を表わすパラメータの一例である類似度の算出方法の一例を示す。本実施形態において、類似度算出部44は、当該画像フィルタ20により変換対象画像を変換させることにより生成された選択対象画像と、目標画像とがどれだけ類似しているかを表わす類似度を、画像フィルタ20の適合度を表わすパラメータとして算出する。すなわち、この類似度は、値がより大きいほど、当該類似度の算出に用いた選択対象画像が目標画像と類似していることを示す評価値または指標となる。したがって、類似度が最も高い選択対象画像を生成した画像フィルタ20は、変換対象画像を目標画像に最も近い選択対象画像に変換することのできる画像フィルタ20となる。
類似度算出部44は、一例として、選択対象画像の各ピクセルの値(例えば輝度値)と、目標画像の対応するピクセルの値(例えば輝度値)とを比較する。より具体的には、フィルタ選択部70は、一例として、選択対象画像の各ピクセルの値と、目標画像の対応するピクセルの値との差または比率等を算出する。そして、フィルタ選択部70は、一例として、複数のピクセルの全ての比較結果を平均または合計し、その結果を当該選択対象画像の類似度としてよい。類似度算出部44は、複数の画像フィルタ20により変換された複数の選択対象画像のそれぞれに対して、以上のように類似度を算出する。
図8は、画像処理装置10の処理フローの一例を示す。まず、複数のフィルタ生成部34のそれぞれは、対応するフィルタ格納部32に格納された複数の画像フィルタ20に対して、交叉操作および突然変異操作等の遺伝的な操作を行って、新たな複数の画像フィルタ20を生成する(S11)。なお、複数のフィルタ生成部34のそれぞれは、一例として、本処理フローの最初においては、使用者等により予め生成された複数の画像フィルタ20に対して遺伝的な操作を行って新たな複数の画像フィルタ20を生成してよい。
続いて、複数のフィルタ処理部38のそれぞれは、対応するフィルタ格納部32に格納された複数の画像フィルタ20およびステップS11で新たに生成された複数の画像フィルタ20のそれぞれで変換対象画像を変換することにより、それぞれの画像フィルタ20に対応した選択対象画像を生成する(S12)。複数のフィルタ処理部38のそれぞれにより生成された複数の選択対象画像は、対応する選択対象画像格納部40に格納される。
続いて、複数の類似度算出部44のそれぞれは、複数の選択対象画像のそれぞれと目標画像との類似度を算出する(S13)。そして、フィルタ移動部50は、一のフィルタ格納部32に格納された類似度がより高い選択対象画像に対応する少なくとも1つの画像フィルタ20を取得し、他のフィルタ格納部32へと格納する(S14)。ここで、フィルタ選択部50は、ステップS11からステップS14までの処理を各世代について行ってもよく、これに代えて、予め定められた世代置き等、一部の世代について行ってもよい。
続いて、フィルタ選択部70は、複数のフィルタ格納部32に格納された画像フィルタ20のうち、類似度がより高い選択対象画像を生成する画像フィルタ20を、変換対象画像を目標画像により類似する画像に変換する画像フィルタ20として選択する(S15)。なお、フィルタ選択部70は、ステップS15において選択された画像フィルタ20をフィルタ格納部32内に残存させ、ステップS15において選択されなかった画像フィルタ20を削除してもよい。
続いて、複数のフィルタ生成部34のそれぞれは、対応するフィルタ格納部32に格納された画像フィルタ20の一部を、他の画像フィルタ20の少なくとも一部に置換して新たな画像フィルタ20を生成する(S16)。そして、複数のフィルタ生成部34のそれぞれは、新たに生成した複数の画像フィルタ20を、対応するフィルタ格納部32に戻して、既に生成された複数の画像フィルタ20に加えて格納させる。
続いて、一致度算出部60は、少なくとも2つのフィルタ格納部32における、目標画像により類似する選択対象画像を生成する画像フィルタ20同士の一致度を算出する(S17)。そして、フィルタ選択部70は、ステップS17において算出した一致度が予め設定された基準一致度以上であるか否かを判別する(S18)。
そして、一致度が基準一致度以上である場合(S18;YES)、フィルタ選択部70は、当該一致度の算出に用いた画像フィルタ20の少なくとも一方を、目標画像に対する類似度がより高い選択対象画像を生成する画像フィルタ20として選択する。この場合、画像処理装置10による処理を終了する。
一方、一致度が基準一致度以上でない場合(S18;NO)、ステップS11以降の処理を繰り返す。このようにして、画像処理装置10は、変換対象画像を目標画像へ変換するのに適した画像フィルタ20を、進化的計算を用いて生成することができる。なお、この処理において、他のフィルタ格納部32への移動後に予め定められた世代数が経過していない画像フィルタ20については、一致度の算出対象から除いてもよい。
このように、本実施形態に係る画像処理装置10は、一のフィルタ格納部32から目標画像に対する類似度がより高い選択対象画像を生成する画像フィルタ20を他のフィルタ格納部32へと移動して格納させることができる。したがって、移動前において他のフィルタ格納部32が格納する画像フィルタ20が類似度が低い、または性能において局所解に落ち込んでいるような場合でも、対応するフィルタ生成部34は、移動後に当該他のフィルタ格納部32が格納する画像フィルタ20に基づいて、新たな画像フィルタ20を生成する可能性を高めることができる。
図9は、本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。本実施形態に係るコンピュータ1900は、ホスト・コントローラ2082により相互に接続されるCPU2000、RAM2020、グラフィック・コントローラ2075、及び表示装置2080を有するCPU周辺部と、入出力コントローラ2084によりホスト・コントローラ2082に接続される通信インターフェイス2030、ハードディスクドライブ2040、及びCD−ROMドライブ2060を有する入出力部と、入出力コントローラ2084に接続されるROM2010、フレキシブルディスク・ドライブ2050、及び入出力チップ2070を有するレガシー入出力部とを備える。
ホスト・コントローラ2082は、RAM2020と、高い転送レートでRAM2020をアクセスするCPU2000及びグラフィック・コントローラ2075とを接続する。CPU2000は、ROM2010及びRAM2020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ2075は、CPU2000等がRAM2020内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置2080上に表示させる。これに代えて、グラフィック・コントローラ2075は、CPU2000等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ2084は、ホスト・コントローラ2082と、比較的高速な入出力装置である通信インターフェイス2030、ハードディスクドライブ2040、CD−ROMドライブ2060を接続する。通信インターフェイス2030は、ネットワークを介して他の装置と通信する。ハードディスクドライブ2040は、コンピュータ1900内のCPU2000が使用するプログラム及びデータを格納する。CD−ROMドライブ2060は、CD−ROM2095からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。
また、入出力コントローラ2084には、ROM2010と、フレキシブルディスク・ドライブ2050、及び入出力チップ2070の比較的低速な入出力装置とが接続される。ROM2010は、コンピュータ1900が起動時に実行するブート・プログラム、及び/又は、コンピュータ1900のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ2050は、フレキシブルディスク2090からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。入出力チップ2070は、フレキシブルディスク・ドライブ2050を入出力コントローラ2084へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ2084へと接続する。
RAM2020を介してハードディスクドライブ2040に提供されるプログラムは、フレキシブルディスク2090、CD−ROM2095、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM2020を介してコンピュータ1900内のハードディスクドライブ2040にインストールされ、CPU2000において実行される。
コンピュータ1900にインストールされ、コンピュータ1900を画像処理装置10として機能させるプログラムは、フィルタ格納モジュールと、フィルタ生成モジュールと、変換対象画像格納モジュールと、フィルタ処理モジュールと、選択対象画像格納モジュールと、目標画像格納モジュールと、類似度算出モジュールと、フィルタ移動モジュールと、一致度算出モジュールと、フィルタ選択モジュールとを備える。これらのプログラム又はモジュールは、CPU2000等に働きかけて、コンピュータ1900を、フィルタ格納部32、フィルタ生成部34、変換対象画像格納部36、フィルタ処理部38、選択対象画像格納部40、目標画像格納部42、類似度算出部44、フィルタ移動部50、一致度算出部60、およびフィルタ選択部70としてそれぞれ機能させる。
これらのプログラムに記述された情報処理は、コンピュータ1900に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段であるフィルタ格納部32、フィルタ生成部34、変換対象画像格納部36、フィルタ処理部38、選択対象画像格納部40、目標画像格納部42、類似度算出部44、フィルタ移動部50、一致度算出部60、およびフィルタ選択部70として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ1900の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理装置10が構築される。
一例として、コンピュータ1900と外部の装置等との間で通信を行う場合には、CPU2000は、RAM2020上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス2030に対して通信処理を指示する。通信インターフェイス2030は、CPU2000の制御を受けて、RAM2020、ハードディスクドライブ2040、フレキシブルディスク2090、又はCD−ROM2095等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス2030は、DMA(ダイレクト・メモリ・アクセス)方式により記憶装置との間で送受信データを転送してもよく、これに代えて、CPU2000が転送元の記憶装置又は通信インターフェイス2030からデータを読み出し、転送先の通信インターフェイス2030又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
また、CPU2000は、ハードディスクドライブ2040、CD−ROMドライブ2060(CD−ROM2095)、フレキシブルディスク・ドライブ2050(フレキシブルディスク2090)等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をDMA転送等によりRAM2020へと読み込ませ、RAM2020上のデータに対して各種の処理を行う。そして、CPU2000は、処理を終えたデータを、DMA転送等により外部記憶装置へと書き戻す。このような処理において、RAM2020は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはRAM2020および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、CPU2000は、RAM2020の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはRAM2020の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもRAM2020、メモリ、及び/又は記憶装置に含まれるものとする。
また、CPU2000は、RAM2020から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、RAM2020へと書き戻す。例えば、CPU2000は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合(又は不成立であった場合)に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
また、CPU2000は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第1属性の属性値に対し第2属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、CPU2000は、記憶装置に格納されている複数のエントリの中から第1属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第2属性の属性値を読み出すことにより、所定の条件を満たす第1属性に対応付けられた第2属性の属性値を得ることができる。
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク2090、CD−ROM2095の他に、DVD又はCD等の光学記録媒体、MO等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1900に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
本実施形態に係る画像処理装置10の構成を示す。 フィルタ部品22を直列に組み合わせた構成の画像フィルタ20の一例を示す。 フィルタ部品22を木構造に組み合わせた構成の画像フィルタ20の一例を示す。 フィルタ部品22を直列に組み合わせた構成の画像フィルタ20に対して行われる遺伝的な操作の一例を示す。 フィルタ部品22を木構造に組み合わせた構成の画像フィルタ20に対して行われる交叉操作の一例を示す。 フィルタ部品22を木構造に組み合わせた構成の画像フィルタ20に対して行われる突然変異操作の一例を示す。 画像フィルタ20の適合度を表わすパラメータの一例である類似度の算出方法の一例を示す。 画像処理装置10の処理フローの一例を示す。 本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。
符号の説明
10 画像処理装置
20 画像フィルタ
22 フィルタ部品
24 フィルタ部品群
32 フィルタ格納部
34 フィルタ生成部
36 変換対象画像格納部
38 フィルタ処理部
40 選択対象画像格納部
42 目標画像格納部
44 類似度算出部
50 フィルタ移動部
60 一致度算出部
70 フィルタ選択部
1900 コンピュータ
2000 CPU
2010 ROM
2020 RAM
2030 通信インターフェイス
2040 ハードディスクドライブ
2050 フレキシブルディスク・ドライブ
2060 CD−ROMドライブ
2070 入出力チップ
2075 グラフィック・コントローラ
2080 表示装置
2082 ホスト・コントローラ
2084 入出力コントローラ
2090 フレキシブルディスク
2095 CD−ROM

Claims (10)

  1. 入力画像を出力画像にそれぞれ変換する複数のフィルタ部品を組み合わせて、画像フィルタを生成する画像処理装置であって、
    それぞれが互いに異なる複数の前記画像フィルタの組を格納する複数のフィルタ格納部と、
    それぞれの前記フィルタ格納部について、当該フィルタ格納部に格納された少なくとも1つの前記画像フィルタの少なくとも一部のフィルタ部品を、他のフィルタ部品に置換して新たな前記画像フィルタを生成し、当該フィルタ格納部へと格納する処理を繰り返すフィルタ生成部と、
    一の前記フィルタ格納部に格納された少なくとも1つの前記画像フィルタを、他の前記フィルタ格納部へと格納するフィルタ移動部と、
    それぞれの前記フィルタ格納部について、前記複数の画像フィルタのそれぞれにより変換対象となる変換対象画像を変換させて、複数の選択対象画像のそれぞれを生成するフィルタ処理部と、
    それぞれの前記フィルタ格納部について、前記複数の選択対象画像のそれぞれと、目標画像との類似度を算出する類似度算出部と、
    を備え、
    前記フィルタ移動部は、前記一のフィルタ格納部に格納された、他の少なくとも1つの前記画像フィルタより前記類似度が高い選択対象画像を生成する少なくとも1つの前記画像フィルタを、前記他のフィルタ格納部へと格納する画像処理装置。
  2. 前記フィルタ移動部は、前記一のフィルタ格納部に格納された、前記類似度がより高い前記選択対象画像を生成する予め指定された個数の前記画像フィルタ、または、前記類似度が基準類似度より高い前記選択対象画像を生成する前記画像フィルタを、前記他のフィルタ格納部へと格納する請求項に記載の画像処理装置。
  3. 前記フィルタ移動部は、前記一のフィルタ格納部に格納された一の前記画像フィルタにより生成された前記選択対象画像の前記類似度が、前記他のフィルタ格納部に格納された前記画像フィルタにより生成された前記選択対象画像の前記類似度の最大値に予め指定されたオフセット値を加えた前記基準類似度より高いことを条件として、当該一の画像フィルタを前記他のフィルタ格納部に格納する請求項に記載の画像処理装置。
  4. 前記複数のフィルタ格納部に格納された前記画像フィルタのうち、前記類似度がより高い前記選択対象画像を生成する前記画像フィルタを、前記変換対象画像を前記目標画像により類似する画像に変換する画像フィルタとして選択するフィルタ選択部を更に備える請求項から請求項のいずれか一項に記載の画像処理装置。
  5. 少なくとも2つの前記フィルタ格納部における、前記目標画像により類似する前記選択対象画像を生成する前記画像フィルタ同士の一致度を算出する一致度算出部を更に備え、
    前記フィルタ選択部は、前記一致度が予め設定された基準一致度以上であることを必要条件として、前記複数のフィルタ格納部に格納された前記画像フィルタのうち、前記類似度がより高い前記選択対象画像を生成する前記画像フィルタを、前記変換対象画像を前記目標画像により類似する画像に変換する画像フィルタとして選択する
    請求項に記載の画像処理装置。
  6. 入力画像を出力画像にそれぞれ変換する複数のフィルタ部品を組み合わせて、画像フィルタを生成する画像処理装置であって、
    それぞれが互いに異なる複数の前記画像フィルタの組を格納する複数のフィルタ格納部と、
    それぞれの前記フィルタ格納部について、当該フィルタ格納部に格納された少なくとも1つの前記画像フィルタの少なくとも一部のフィルタ部品を、他のフィルタ部品に置換して新たな前記画像フィルタを生成し、当該フィルタ格納部へと格納する処理を繰り返すフィルタ生成部と、
    それぞれの前記フィルタ格納部について、前記複数の画像フィルタのそれぞれにより変換対象となる変換対象画像を変換させて、複数の選択対象画像のそれぞれを生成するフィルタ処理部と、
    少なくとも2つの前記フィルタ格納部における、目標画像により類似する前記選択対象画像を生成する前記画像フィルタ同士の一致度を算出する一致度算出部と、
    前記一致度が予め設定された基準一致度以上であることを必要条件として、前記複数のフィルタ格納部に格納された前記画像フィルタのうち、前記目標画像により類似する前記選択対象画像を生成する前記画像フィルタを選択するフィルタ選択部と、
    を備える画像処理装置。
  7. コンピュータを、請求項1から5のいずれか一項に記載の画像処理装置として機能させるプログラム。
  8. コンピュータを、入力画像を出力画像にそれぞれ変換する複数のフィルタ部品を組み合わせて、画像フィルタを生成する画像処理装置として機能させるプログラムであって、
    前記コンピュータを、
    それぞれが互いに異なる複数の前記画像フィルタの組を格納する複数のフィルタ格納部と、
    それぞれの前記フィルタ格納部について、当該フィルタ格納部に格納された少なくとも1つの前記画像フィルタの一部を、当該フィルタ格納部に格納された他の前記画像フィルタの少なくとも一部に置換して新たな前記画像フィルタを生成し、当該フィルタ格納部へと格納する処理を繰り返すフィルタ生成部と、
    それぞれの前記フィルタ格納部について、前記複数の画像フィルタのそれぞれにより変換対象となる変換対象画像を変換させて、複数の選択対象画像のそれぞれを生成するフィルタ処理部と、
    少なくとも2つの前記フィルタ格納部における、目標画像により類似する前記選択対象画像を生成する前記画像フィルタ同士の一致度を算出する一致度算出部と、
    前記一致度が予め設定された基準一致度以上であることを必要条件として、前記複数のフィルタ格納部に格納された前記画像フィルタのうち、前記目標画像により類似する前記選択対象画像を生成する前記画像フィルタを選択するフィルタ選択部と、
    して機能させるプログラム。
  9. 入力画像を出力画像にそれぞれ変換する複数のフィルタ部品を組み合わせて、画像フィルタを生成する画像処理方法であって、
    それぞれが互いに異なる複数の前記画像フィルタの組を複数のフィルタ格納部へ格納するフィルタ格納段階と、
    それぞれの前記フィルタ格納部について、当該フィルタ格納部に格納された少なくとも1つの前記画像フィルタの一部を、当該フィルタ格納部に格納された他の前記画像フィルタの少なくとも一部に置換して新たな前記画像フィルタを生成し、当該フィルタ格納部へと格納する処理を繰り返すフィルタ生成段階と、
    一の前記フィルタ格納部に格納された少なくとも1つの前記画像フィルタを、他の前記フィルタ格納部へと格納するフィルタ移動段階と、
    それぞれの前記フィルタ格納部について、前記複数の画像フィルタのそれぞれにより変換対象となる変換対象画像を変換させて、複数の選択対象画像のそれぞれを生成するフィルタ処理段階と、
    それぞれの前記フィルタ格納部について、前記複数の選択対象画像のそれぞれと、目標画像との類似度を算出する類似度算出段階と、
    を備え、
    前記フィルタ移動段階は、前記一のフィルタ格納部に格納された、他の少なくとも1つの前記画像フィルタより前記類似度が高い選択対象画像を生成する少なくとも1つの前記画像フィルタを、前記他のフィルタ格納部へと格納する画像処理方法。
  10. 入力画像を出力画像にそれぞれ変換する複数のフィルタ部品を組み合わせて、画像フィルタを生成する画像処理方法であって、
    それぞれが互いに異なる複数の前記画像フィルタの組を複数のフィルタ格納部へ格納するフィルタ格納段階と、
    それぞれの前記フィルタ格納部について、当該フィルタ格納部に格納された少なくとも1つの前記画像フィルタの一部を、当該フィルタ格納部に格納された他の前記画像フィルタの少なくとも一部に置換して新たな前記画像フィルタを生成し、当該フィルタ格納部へと格納する処理を繰り返すフィルタ生成段階と、
    それぞれの前記フィルタ格納部について、前記複数の画像フィルタのそれぞれにより変換対象となる変換対象画像を変換させて、複数の選択対象画像のそれぞれを生成するフィルタ処理段階と、
    少なくとも2つの前記フィルタ格納部における、目標画像により類似する前記選択対象画像を生成する前記画像フィルタ同士の一致度を算出する一致度算出段階と、
    前記一致度が予め設定された基準一致度以上であることを必要条件として、前記複数のフィルタ格納部に格納された前記画像フィルタのうち、前記目標画像により類似する前記選択対象画像を生成する前記画像フィルタを選択するフィルタ選択段階と、
    を備える画像処理方法。
JP2008128881A 2008-05-15 2008-05-15 画像処理装置、画像処理方法、プログラム Expired - Fee Related JP5181821B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008128881A JP5181821B2 (ja) 2008-05-15 2008-05-15 画像処理装置、画像処理方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008128881A JP5181821B2 (ja) 2008-05-15 2008-05-15 画像処理装置、画像処理方法、プログラム

Publications (2)

Publication Number Publication Date
JP2009277102A JP2009277102A (ja) 2009-11-26
JP5181821B2 true JP5181821B2 (ja) 2013-04-10

Family

ID=41442456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008128881A Expired - Fee Related JP5181821B2 (ja) 2008-05-15 2008-05-15 画像処理装置、画像処理方法、プログラム

Country Status (1)

Country Link
JP (1) JP5181821B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443461B2 (en) 2018-12-27 2022-09-13 Samsung Electronics Co., Ltd. Display apparatus and image processing method for applying random patches to pixel block

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153525A (ja) * 1997-08-06 1999-02-26 Matsushita Electric Ind Co Ltd 顔器官検出装置及び媒体
JP2007010390A (ja) * 2005-06-29 2007-01-18 Nikon Corp 表面検査装置及び表面検査方法
JP2007034719A (ja) * 2005-07-27 2007-02-08 Sharp Corp 画像処理装置および画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443461B2 (en) 2018-12-27 2022-09-13 Samsung Electronics Co., Ltd. Display apparatus and image processing method for applying random patches to pixel block
US11954765B2 (en) 2018-12-27 2024-04-09 Samsung Electronics Co., Ltd. Applying random patches to pixel block of an image utilizing different weights

Also Published As

Publication number Publication date
JP2009277102A (ja) 2009-11-26

Similar Documents

Publication Publication Date Title
US8761496B2 (en) Image processing apparatus for calculating a degree of similarity between images, method of image processing, processing apparatus for calculating a degree of approximation between data sets, method of processing, computer program product, and computer readable medium
WO2013038574A1 (ja) 画像検索装置、画像検索方法、プログラムおよびコンピュータ読み取り可能な記憶媒体
WO2010061537A1 (ja) 検索装置、検索方法、及びプログラムが格納された記録媒体
JP2005011042A (ja) データ検索方法、データ検索装置、データ検索プログラムおよびコンピュータで読み取り可能な記録媒体
JP2019204246A (ja) 学習データ作成方法及び学習データ作成装置
JP5181825B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2022007596A1 (zh) 图像检索系统、方法和装置
AU2021100392A4 (en) A method for malware detection and classification using multi-level resnet paradigm on pe binary images
JP5304401B2 (ja) 遺伝的処理装置、遺伝的処理方法およびプログラム
JP5181821B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2011014051A (ja) 生成装置、生成方法、および生成プログラム
CN111488400A (zh) 数据分类方法、装置和计算机可读存储介质
JP5396977B2 (ja) データ処理装置、データ処理方法およびプログラム
JP5417967B2 (ja) 遺伝的処理装置、遺伝的処理方法およびプログラム
JP5181826B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5490859B2 (ja) ビジュアルキーワード抽出装置、これを用いたBoF表現生成装置、及びビジュアルキーワード抽出方法
JP5417950B2 (ja) 遺伝的処理装置、遺伝的処理方法およびプログラム
JP2023503034A (ja) パターンベースのキャッシュブロック圧縮
JP4865449B2 (ja) 差分生成装置及び差分適用装置及び差分生成プログラム及び差分適用プログラム及び差分生成適用システム及び差分生成適用方法
JP5418052B2 (ja) 遺伝的処理装置、遺伝的処理方法およびプログラム
JP5088228B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5359479B2 (ja) 遺伝的処理装置、遺伝的処理方法およびプログラム
JP5417972B2 (ja) 遺伝的処理装置、遺伝的処理方法、および遺伝的処理プログラム
JP5365328B2 (ja) 遺伝的処理装置、遺伝的処理方法、および遺伝的処理プログラム
JP5359531B2 (ja) 遺伝的処理装置、遺伝的処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121231

R150 Certificate of patent or registration of utility model

Ref document number: 5181821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160125

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees