JP4831340B2 - 画像処理装置、画像処理方法、プログラム、および記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラム、および記録媒体 Download PDF

Info

Publication number
JP4831340B2
JP4831340B2 JP2006307685A JP2006307685A JP4831340B2 JP 4831340 B2 JP4831340 B2 JP 4831340B2 JP 2006307685 A JP2006307685 A JP 2006307685A JP 2006307685 A JP2006307685 A JP 2006307685A JP 4831340 B2 JP4831340 B2 JP 4831340B2
Authority
JP
Japan
Prior art keywords
image
luminance
representative
pixels
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006307685A
Other languages
English (en)
Other versions
JP2008123329A (ja
Inventor
藤樹 藤居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2006307685A priority Critical patent/JP4831340B2/ja
Publication of JP2008123329A publication Critical patent/JP2008123329A/ja
Application granted granted Critical
Publication of JP4831340B2 publication Critical patent/JP4831340B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像の輝度を補正する画像処理装置等に関するものである。
従来から、対象物の画像をデジタルスチルカメラ等で撮像し、その撮像結果をコンピュータ等を用いて二値化処理等の画像処理することにより、対象物上の情報、例えば、半導体チップや自動車部品の表面にレーザーマーキングされた製造番号等、を認識し、読み取る処理等が行われていた。
通常、対象物の画像を撮影するときには、照明を使用するが、対象物全体を均等な明るさで照らすことは困難であり、照明の種類に応じた輝度ムラ(いい換えれば照明ムラ)が発生する。例えば例えばドーナツ状のランプを使用したリング照明や半球状のランプを使用したドーム照明などを用いた場合、照明の中心から同心円状に輝度ムラが発生する。
また、不均一な照明以外にも、レンズの中心部と周辺部における通過光量の違いや、撮像素子の不均一な光変換特性によっても輝度ムラが発生する。
このような輝度ムラが発生した画像を用いた場合、人間の目には、対象物上の異物や読み取りたい情報等が読み取れる場合が多い。しかし、充分に読み取れても、画像処理を行なうコンピュータによって二値化処理等を用いて検出を試みたとしても、正常な結果を得難い場合が多く、半導体チップや自動車部品の表面にレーザーマーキングされた製造番号などの認識精度が向上しない要因となっていた。
また仮に二値化処理に対しては適用できたとしても、対象物の正確な輝度値の取得は不可能であり、輝度ムラが発生した画像を、そのまま、異物検査や粒子解析等のような、対象物の特徴量として「色」が重要となるアプリケーションには利用できなかった。
このため、輝度ムラのある画像から輝度ムラを除く手法が従来から提案されている。例えば、一般的な手法としては、予め、全体が一様な色分布を持つ基準板を、照明を点灯させた状態で撮影し、全画素に対する変換特性を表すマスク画像とする。そして、実際の画像処理対象物を同じ照明を用いて撮影した時は、このマスク画像を用いて除算または減算行うことにより輝度を補正、言い換えればシェーディング補正する、というものである。
一方、輝度ムラのある画像から輝度ムラを除く他の従来の技術としては、対象画像における第1方向の両端部の輝度の平均値をそれぞれ求める処理を、第2方向において複数回繰り返し、求めた平均値を用いて、第2方向の各位置における各画素の輝度を補正するシェーディング補正方法が開示されている。(例えば、特許文献1参照)。
特開2001−211348号公報(第1頁、第1図等)
しかしながら、上述したようなマスク画像を用いて輝度を補正する場合、照明や光源、レンズ、撮像素子を有するカメラの種類を新たに変更した場合や、照明の設置位置や明るさを変更した場合には、撮影した画像上に現れる輝度ムラが変わってしまい、輝度の補正が適切に行われなくなってしまう。このため、このような場合には、再度マスク画像を作成しなおす必要があり、手間と時間がかかる、という課題があった。
また、撮影する装置やその明るさ等の条件の変更をしなくとも、光源の光強度は使用時間に従い劣化するため、徐々にマスク画像が適合しなくなり、正確に輝度ムラの補正がおこなうことができなくなるという課題があった。
一方、特許文献1に示した方法は、マスク画像を用いず、計算によりシェーディング補正を行うため、このようなマスク画像を用いることによる課題を解消することができる。
しかしながら、この方法においては、対象画像の第1方向の両端の輝度の平均を用いてこの両端間の画素の補正を行うため、主に第2方向に向かって輝度変化が現れる場合は、補正が可能であるが、第1方向に向かって輝度変化が現れる場合は、補正が充分に機能しない。例えば、影等によって、対象画像の第1方向に向かって輝度変化が現れている場合、輝度ムラをなくすためには、輝度の低い画素の輝度を高くしたり、輝度の高い画素の輝度を低くしたりすることが必要となるが、特許文献1の方法では、同一の値、すなわち対象画像の第1方向の両端の輝度の平均値、を、第1方向に沿った画素の全てから減算する補正を行うこととなるため、第1方向においては、各画素の輝度値が平均値分だけ、シフトするだけで、第1方向に向かって生じている輝度変化は解消されない。
この場合、第1方向と第2方向とを入れ替えることで対応することは可能であると考えられるが、このためには、事前に照明や撮影した画像を元に、ユーザ等により、第1方向をどの方向に設定するかを判断する処理が必要となり、処理に手間がかかるとともに、処理を自動化することが困難となる。
また、同様の理由から特許文献1に示した方法では、リング照明やドーム照明などにより生じる円形の輝度ムラには対応不能である。
また、第1方向の両端部が均一な背景であることを前提としており、両端部に背景とは異なる色の領域が写っている場合には正しく補正できないという課題があった。
また、特許文献1に示した方法の場合、各画素を、第1方向の両端部の輝度の平均値で補正するため、対象画像全体の輝度の状態が考慮されず、対象画像によっては、補正後の画像が、補正前の画像とは、全く異なった輝度を持つ画像になってしまい、補正前の画像に対して適切に補正することができない場合があるという課題があった。
例えば、対象画像の背景がグレーで、輝度の分布がほとんど無いような場合であっても、上記の方法では、対象画像の両端が背景の画素、すなわちグレーであったとすると、グレーの輝度の平均値が、対象画像内の各画素の輝度から減算されることとなる。このため、輝度ムラがほとんどないにもかかわらず、画像全体の輝度が大きく補正されてしまう。このように画像全体の輝度が変更されると、対象物の正確な輝度値の取得が不可能である。このように補正した画像は、2値化を行う前処理としては利用可能であるが、異物検査や粒子解析等のような、対象物の特徴量として輝度や、色、すなわち色成分の輝度、に着目して分析する処理に利用することができなかった。
本発明の画像処理装置は、補正対象となる複数の画素を含む画像の情報である画像情報を取得する画像情報受付部と、前記画像情報を用いて、前記画像情報が示す画像全体の輝度の代表値である全体代表輝度値を算出する全体代表輝度算出部と、前記画像情報を用いて、前記補正対象となる複数の画素のそれぞれを囲む互いに異なる領域についての輝度の代表値である領域代表輝度値を、それぞれ算出する領域代表輝度算出部と、前記画像情報に含まれる前記補正対象となる複数の画素の輝度を、前記全体代表輝度値と当該補正対象となる複数の画素に対応して算出された前記領域代表輝度値とを用いて、それぞれ補正する補正部と、前記補正部が輝度を補正した複数の画素を含む前記画像情報を出力する出力部とを具備する画像処理装置である。
かかる構成により、補正対象となる画素毎にそれぞれ設定された異なる領域の領域代表輝度値を用いて画素を補正を行うことで、画像に生じている輝度ムラを、輝度ムラの発生状況にかかわらず、確実に除去することができる。また、全体代表輝度値と領域代表輝度値とを用いることで、補正前の画像に対して適切な画像が得られるよう、輝度ムラを補正することができる。
また、本発明の画像処理装置は、前記画像処理装置において、前記補正対象となる複数の画素は、前記画像情報に含まれる全ての画素である画像処理装置である。
かかる構成により、画像全体に生じている輝度ムラを、確実に除去することができる。
また、本発明の画像処理装置は、前記画像処理装置において、前記画像情報が示す画像内の画素が、背景の画素であるか否かを判断する背景判断部を更に具備し、前記全体代表輝度算出部が算出する前記全体代表輝度値は、前記画像情報が示す画像全体のうちの、前記背景判断部が背景の画素であると判断した画素についての輝度の代表値であり、前記領域代表輝度算出部が算出する前記領域代表輝度値は、前記補正対象となる複数の画素をそれぞれ囲む互いに異なる領域内の、前記背景判断部が背景の画素であると判断した画素についての輝度の代表値である画像処理装置である。
かかる構成により、背景の画素のみを用いて、安定して正確に輝度の補正を行うことができる。
また、本発明の画像処理装置は、前記画像処理装置において、前記補正部は、前記全体代表輝度値と、前記領域代表輝度値との除算結果を用いて前記画素の補正を行う画像処理装置である。
かかる構成により、画像全体の輝度を用いて、補正前の画像に対して適切な画像が得られるよう、輝度ムラを補正することができる。
また、本発明の画像処理装置は、前記画像処理装置において、前記補正部は、前記全体代表輝度値と、前記領域代表輝度値との減算結果を用いて前記画素の補正を行う画像処理装置である。
かかる構成により、画像全体の輝度を用いて、補正前の画像に対して適切な画像が得られるよう、輝度ムラを補正することができる。
また、本発明の画像処理装置は、前記画像処理装置において、前記画像情報は、グレースケール画像の画像情報である画像処理装置である。
かかる構成により、画像の輝度を補正することができる。また、グレースケール画像を用いることで、データ量を削減して、迅速な補正処理が可能となる。
また、本発明の画像処理装置は、前記画像処理装置において、前記画像情報は、複数の色についての輝度の情報である色情報を有するカラー画像の画像情報であり、前記全体代表輝度算出部は、前記カラー画像に含まれる色情報別に、前記全体代表輝度値を算出し、前記領域代表輝度算出部は、前記カラー画像の色情報別に、前記領域代表輝度値を算出し前記補正部は、前記画像情報に含まれる前記補正対象となる複数の画素の色情報を、前記色情報別の全体代表輝度値と前記領域代表輝度値とを用いて補正する画像処理装置である。
かかる構成により、画像の色情報を、適切に補正することができ、色情報を利用する処理の前処理等に利用することが可能となる。
また、本発明の画像処理装置は、前記画像処理装置において、前記補正対象となる画素を囲む領域は、同一直線上にない複数の画素を含む領域である画像処理装置である。
かかる構成により、画像に生じている輝度ムラを、輝度ムラの方向等の発生状況にかかわらず、確実に除去することができる。
また、本発明の画像処理装置は、前記画像処理装置において、前記補正部による補正の度合いを示す補正定数が格納されている補正定数格納部を、さらに具備し、前記補正部は、前記全体代表輝度値と前記領域代表輝度値と前記補正定数とを用いて前記複数の画素の輝度を補正する画像処理装置である。
かかる構成により、補正定数を変更することで、画像情報に対する補正の度合いを容易に調整できる。
本発明による画像処理装置等によれば、画像に生じている輝度ムラを、輝度ムラの発生状況にかかわらず、確実に除去することができる。
また、本発明による画像処理装置等によれば、補正前の画像に対して適切な画像が得られるよう、輝度ムラを補正することができる。
以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
図1は、本実施の形態における画像処理装置のブロック図である。
画像処理装置10は、画像情報受付部101、背景判断部102、全体代表輝度算出部103、領域代表輝度算出部104、補正部105、補正定数格納部106、出力部107、格納部108を具備する。
画像情報受付部101は、補正対象となる複数の画素を含む画像の情報である画像情報を受け付ける。補正対象となる複数の画素は、画像情報の一部の画素、例えば一部の領域内の画素、であっても良いし、全ての画素であっても良い。画像情報受付部101の受け付ける画像情報は、例えば、CCD(charge coupled device)やCMOS(complementary metal oxide semiconductor)等の撮像素子を備えたデジタルカメラやスキャナ等が、撮像対象物を撮像して取得した画像情報である。画像情報は、ここでは、3階調以上の多階調の画像情報であり、カラー画像であっても、モノクローム画像であっても良い。モノクローム画像とは、濃淡の情報である3以上の階調の、輝度を示す値である輝度値を有する画像情報であり、例えば256階調等の輝度値を有するグレースケール画像である。また、カラー画像とは、複数の色について、それぞれの輝度の値である色情報を有する画像であり、例えば、R(赤)についての輝度値であるRチャンネル情報、G(緑)についての輝度値であるGチャンネル情報、B(青)についての輝度値であるBチャンネルを有するRGBカラー画像の画像情報である。ここでは例としてグレースケール画像である場合について説明する。画像情報受付部101が受け付ける画像情報は、具体的にはビットマップ画像、すなわちラスタ画像である。画像情報は、例えば、JPEG画像であってもよいし、RAW画像であってもよく、ファイル形式や解像度等は問わない。撮像対象物は、例えば、液体や気体等の流体を濾過するフィルタであっても良いし、半導体チップや、自動車部品等の部品等の生産ラインにおいて使用される部品や製品等であっても良く、撮像対象物は問わない。また、画像情報受付部101がカラー画像の画像情報をグレースケール画像の画像情報に変換する処理を行うようにしてもよい。画像情報受付部101は、受信した画像情報を、後述する格納部108や、図示しないメモリ等に蓄積する。ここで述べる受付とは、例えば、他の機器等から送信される入力信号の受信や、記録媒体等からの情報の読み出し等である。画像情報受付部は、通信手段や、情報を読み出すデバイスのデバイスドライバー等で実現され得る。
背景判断部102は、画像情報が示す画像内の画素が背景の画素(以下、背景画素と称す)であるか否かを判断する。ここでは、具体的には、画像情報が示す画像内の全ての画素について、背景画素であるか否かを判断する。ただし、画像全体のうちの、一定のパターンやランダムなパターンに応じてサンプリングされる異物の画素のみを背景画素であるか否か判断しても良い。背景とは、画像情報の、注目したい対象物や前景を除いた部分である。背景を構成する画素同士は、通常は近い色、もしくは輝度、あるいは一定の繰り返しパターンを有している。背景は、例えば、異物検出のために撮影した、異物が付着したフィルタの画像においては、背景はフィルタが写されている部分であり、対象物は異物である。また、文字を認識するために撮影された文字の書かれた紙の画像においては、背景は紙の部分であり、対象物は文字である。背景判断部102が背景領域を検出するために用いるアルゴリズム等は問わない。背景判断部102は、例えば、カラーやグレースケールの画像情報が示す画像内の画素の輝度を、予め設定された所定の閾値と比較して、閾値よりも大きい、または閾値よりも小さい画素を、背景画素と判断する。また、オリジナルの画像情報の画素の輝度値と、平滑化した画像情報の画素の輝度値との差を閾値と比較して、閾値との大小により、背景画素であるか否かを判断する処理や、判別分析法を用いて算出した閾値を用いる処理等があるが、背景画素であるか否かを判断するためのこれらの処理は公知技術であるので、ここでは説明を省略する。なお、背景判断部102は、背景画素であると判断した画素の輝度値等の情報を、画素情報から取得して、判断結果として、メモリ等に格納して管理しても良いし、背景画素と判断した画素の位置を示す情報等、例えば座標情報等を、判断結果として、メモリ等に格納して管理しても良い。また、背景画素と判断された画素だけを含む領域である背景領域を示す情報を構成し、この背景領域を示す情報を、判断結果として格納部108や、図示しないメモリ等に蓄積してもよい。ここで述べる背景領域とは、背景画素の集合のことである。背景領域は、一つにつながっていてもよいし、離散した複数の領域に分かれていても良い。背景領域を示す情報は、背景領域と、背景以外の領域と、の境界を設定するための情報であっても良いし、背景の全ての画素の座標等を指定する情報であっても良い。画像情報から背景の領域を検出する処理等は、公知技術であるので、ここでは詳細な説明を省略する。背景判断部102は、通常、MPU(micro processing unit)やメモリ等から実現され得る。背景判断部102の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
全体代表輝度算出部103は、画像情報受付部101が受け付けた画像情報を用いて、画像情報が示す画像全体の輝度の代表値である全体代表輝度値を算出する。全体代表輝度値は、画像全体の輝度の特徴を代表する値であれば、均一な重みづけを行った単純平均値や、輝度のガウス分布等に基づく重みづけを行った加重平均値や、中央値等、どのような値であっても良い。また、画像全体の輝度の代表値は、どのようにして取得されたものであっても良い。例えば、全体代表輝度算出部103は、画像情報を構成する全ての画素の輝度値を取得し、取得した全ての画素の輝度値について算出した平均値等の代表値を、全体代表輝度値として算出してもよい。また、画像全体を構成する複数の画素の中から、例えば1画素おき等の一定のパターンやランダムなパターンに応じて一部の画素をサンプリングし、このサンプリングした画素の輝度値について算出した平均値等の代表値を、全体代表輝度値としても良い。なお、本実施の形態においては、特に、全体代表輝度算出部103が算出する全体代表輝度値が、画像情報が示す画像全体のうちの、背景判断部102が背景画素であると判断した画素についての輝度の代表値である場合について説明する。例えば、全体代表輝度算出部103は、画像情報が示す画像全体のうちの、背景判断部102が背景画素と判断した全ての画素から、輝度を示す値である輝度値を取得し、取得した全ての画素の輝度値について算出した平均値等の代表値を、全体代表輝度値として算出してもよい。また、画像情報が示す画像全体のうちの、背景判断部102が背景画素と判断した複数の画素の中から、一定のパターンやランダムなパターンに応じて一部の画素をサンプリングし、このサンプリングした画素の輝度値について算出した平均値等の代表値を、全体代表輝度値としても良い。算出した全体代表輝度値は、例えば図示しないメモリ等に蓄積される。全体代表輝度算出部103は、通常、MPUやメモリ等から実現され得る。全体代表輝度算出部103の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
領域代表輝度算出部104は、画像情報受付部101が受け付けた画像情報を用いて、補正対象となる複数の画素のそれぞれを囲む互いに異なる領域についての輝度の代表値である領域代表輝度値を、それぞれ算出する。具体的には、領域代表輝度算出部104は、画像情報受付部101が受け付けた画像情報のうちの、補正対象となる各画素毎に、画像情報内に各画素に対応した異なる領域を設定し、その設定した領域内の輝度の代表値を、各画素に対応した領域代表輝度値として算出する。補正対象となる各画素の指定方法は問わない。例えば、対象となる画素の座標が指定されていても良いし、対象となる画素を含む領域が指定されていても良い。領域代表輝度値は、補正対象となる画素に対して設定された領域内の輝度の特徴を代表する値であれば、平均値や、輝度のガウス分布等を用いた加重平均値や、中央値等、どのような値であっても良い。領域代表輝度算出部104は、補正対象となる各画素毎に対応して設定された領域の輝度を代表する値を、どのように取得しても良い。例えば、領域代表輝度算出部104は、補正対象となる各画素に対応して設定された領域内の全ての画素の輝度値を取得し、取得した全ての画素の輝度値について算出した平均値等の代表値を、各画素に対応した領域代表輝度値として算出してもよい。また、補正対象となる各画素に対応して設定された領域内の全ての画素の中から、一定のパターンやランダムなパターンに応じて一部の画素をサンプリングし、このサンプリングした画素の輝度値について算出した平均値等の代表値を、各画素に対応した領域代表輝度値として算出しても良い。補正対象となる複数の画素のそれぞれを囲む互いに異なる領域は、通常は、補正対象となる各画素を中心に含む正方形または円形の領域である。ただし、領域の平面形状は問わない。また、補正対象となる各画素は、領域の中心であることが好ましいが、領域の中心からずれた位置に含んでいても良い。また、この領域は、補正対象となる画素を含む領域であっても、含まない領域であってもよい。例えば、補正対象となる画像を中心に含むリング状の領域であっても良い。また、補正対象となる複数の画素のそれぞれを囲む互いに異なる領域は、連続した一つの領域であっても良いし、分離された複数の領域により構成される領域であっても良い。たとえば、この領域は、補正対象となる画素に対して点対称に配置される、1以上の画素をそれぞれ含む2以上、好ましくは4以上の領域であっても良い。補正対象となる複数の画素のそれぞれを囲む互いに異なる領域は、領域は、複数の画素を含む領域であり、好ましくは、同一直線上にない複数の画素、すなわち3画素以上の画素、を含む領域である。このような領域とすることで、様々な方向の画素についての代表値、例えば平均値、を取得して、より正確な補正が可能となるからである。この領域は、補正対象となる画素に対して対象な形状、もしくは配置であることが好ましい。なお、補正対象である複数の画素と、この各画素に対応した領域との相対的な関係、例えば相対的な位置関係や大きさの関係は一定であることが、正確な補正を行う上で好ましい。領域を設定するための情報は、図示しないメモリ等に予め格納されている。領域を設定するための情報は、例えば、領域の形状を指定する形状情報、例えば、領域の中心や角の座標等を指定する情報と、この形状情報が示す領域に対する、補正対象である画素が配置される相対的な位置を示す情報、例えば相対的な座標値、とにより構成される。この実施の形態においては、特に、領域代表輝度算出部104が算出する領域代表輝度値が補正対象となる複数の画素をそれぞれ囲む互いに異なる領域内の、背景判断部102が背景画素であると判断した画素についての輝度の代表値である場合について説明する。例えば、領域代表輝度算出部104は、補正対象となる各画素に対応して設定された異なる領域内の画素のうちの、背景判断部102が背景画素と判断した全ての画素の輝度値を取得し、取得した全ての画素の輝度値について算出した平均値等の代表値を、各画素に対応した領域代表輝度値として算出してもよい。また、補正対象となる各画素に対応して設定された異なる領域内の画素のうちの、背景判断部102が背景画素であると判断した全ての画素の中から、一定のパターンやランダムなパターンに応じて一部の画素をサンプリングし、このサンプリングした画素の輝度値について算出した平均値等の代表値を、各画素に対応した領域代表輝度値として算出しても良い。領域代表輝度算出部104は、通常、MPUやメモリ等から実現され得る。領域代表輝度算出部104の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。

補正部105は、画像情報受付部101が受け付けた画像情報に含まれる補正対象となる複数の画素の輝度を、全体代表輝度算出部103が算出した全体代表輝度値と、当該補正対象となる複数の画素に対応して領域代表輝度算出部104が算出した領域代表輝度値と、補正の度合いを示す値である補正定数と、を用いて、それぞれ補正する。例えば、補正部105は、全体代表輝度値と、領域代表輝度値との除算結果を用いて画素の補正を行う。具体的には、全体代表輝度値が、画像全体のうちの背景画素の輝度の平均値であり、領域代表輝度値が、補正対象となる複数の画素のそれぞれを囲む互いに異なる領域内の背景画素の輝度の平均値である場合を例に挙げると、補正対象となる画素を、当該画素の座標を用いて画素(i,j)とし、補正前の画素(i,j)の輝度値をg(i,j)、画像全体の背景画素の輝度の平均値である全体代表輝度値をAveBG、補正対象となる画素(i,j)を囲む領域内の背景画素の輝度の平均値である領域代表輝度値をAveBG(i,j)、補正定数をCとすると、補正部105は、補正後の輝度値をg'(i,j)は、以下の式により算出する。
補正部105は、この式で示す補正を、補正対象となる各画素に対して行う。また、補正部105は、全体代表輝度値と、領域代表輝度値との減算結果を用いて画素の補正を行ってもよい。この場合は、具体的には、補正部105は、以下の式により補正後の輝度値をg'(i,j)を算出する。
補正部105は、この式で示す補正を、補正対象となる各画素に対して行う。なお、ここでは、特に、全体代表輝度値と、領域代表輝度値とに加えて、補正定数を用いて、各画素を補正する場合について説明している。補正定数Cは、上述したように、補正の度合いを示す値であり、通常は「1」に設定されるが、補正のかかる強さを調整したい場合には、この値を変更すればよい。なお、補正定数Cは省略してもよい。補正定数Cは、後述する補正定数格納部106に格納されており、補正時に適宜読み出される。なお、補正部105による補正のための演算は、実質的に上記式(1)、式(2)と同様の結果が得られる演算であれば、上記式(1)、式(2)以外の他の式を用いて行われても良い。なお、全体代表輝度値が、画像全体の輝度の平均値以外の代表値、領域代表輝度値が、補正対象となる複数の画素のそれぞれを囲む互いに異なる領域についての輝度の平均値以外の代表値である場合には、上記の式(1)、式(2)における全体代表輝度値AveBGと、領域代表輝度値AveBG(i,j)は、平均値以外の代表値である全体代表輝度値および領域代表輝度値に置き換えられる。補正部105は、例えば、補正した輝度値により、格納部108に格納されている画像情報の補正対象である画素の輝度値を書き換える。補正部105が補正した輝度値を有する画素により、格納部108に格納されている画像情報の補正対象である画素が上書きしてもよい。また、補正により得られた輝度値を、補正対象である画素との対応関係を有するように格納部108等に蓄積しても良いし、輝度値の差分の情報だけを蓄積しても良い。補正部105は、通常、MPUやメモリ等から実現され得る。補正部105の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
補正定数格納部106は、補正部105による補正の度合いを示す補正定数を格納している。補正定数格納部106には、例えば、図示しない受付部等が、入力デバイス等を介して受け付けた補正定数が蓄積される。また、新たな補正定数が入力された場合、新たな補正定数で、直前に格納されていた補正定数が更新されるようにしても良い。また、補正定数格納部106には、工場出荷時等に予め格納されていてもよい。補正定数格納部106は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
格納部108には、画像情報受付部101が受け付けた画像情報が格納される。また、格納部108に格納されている画像情報のうちの補正対象となる複数の画素は、当該画素に対応する補正部105により輝度が補正された画素により上書きされてもよいし、その輝度値が補正された輝度値で置き換えられても良い。また、補正部105により輝度が補正された画素が、補正対象となる複数の画素と対応関係を有するように、格納部108に蓄積されても良い。具体的には、輝度を補正後の画素が、補正前の画素の座標と対応付けて蓄積されても良い。ここで述べる格納とは、一時的な格納も含む概念である。格納部108は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
出力部107は、補正部105が輝度を補正した複数の画素を含む画像情報を出力する。例えば、出力部107は、補正部105により輝度が補正された複数の画素を有する画像情報を、格納部108から読み出して、出力する。また、出力部107が、画像情報受付部101が受け付けた画像情報、あるいは格納部108に格納されている補正前の画像情報の、補正対象となる複数の画素の輝度値を、当該複数の画素に対応する補正部105が補正した輝度値により置き換えた画像情報を構成し、出力してもよい。出力とは、ディスプレイへの表示、プリンタによる紙等への印字、外部の装置への送信、記録媒体への蓄積等を含む概念である。出力部107は、ディスプレイやプリンタ等の出力デバイスを含むと考えても含まないと考えても良い。出力部は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
つぎに、画像処理装置の動作について図2のフローチャートを用いて説明する。なお、ここでは、補正の対象となる複数の画素を含む画像情報がグレースケール画像であるとする。また、補正の対象となる画素が、画像情報が示す画像内の全ての画素であるとする。
(ステップS201)画像情報受付部101は、画像情報を受け付ける。例えば、図示しない通信手段等を介して撮像素子を備えた装置等から受信した画像情報を受け付けても良いし、記録媒体等から読み出された画像情報を受け付けても良い。なお、画像情報には、画像の幅と高さの情報が含まれている、もしくは付加されていることが好適である。ただし、予め画像情報受付部101が受け付ける画像情報が示す画像の幅と高さの情報が予め決まっており、この情報が図示しない記録媒体等に格納してある場合や、画像の幅と高さをカウントする処理を行うようにする場合には、画像の幅と高さの情報は、画像情報に含まれていなくてもよい。幅とは画像情報が示す画像のx軸方向の画素数であり、高さとは、画像のy軸方向の画素数である。画像情報受付部101は受け付けた画像情報を、格納部108に蓄積する。
(ステップS202)背景判断部102は、画像情報が示す画像内の全ての画素について、背景画素であるか否かを判断する。具体的には、予め設定されている閾値や、画像情報の輝度値等から演算により算出される閾値等の閾値と、画像情報が示す画像内の各画素の輝度値とを比較して、背景画素であるか否かを判断する。背景判断部102は、背景画素であると判断した画素を特定するための情報、例えば、背景画素の座標情報を図示しないメモリ等に格納するようにしても良い。また、背景画素だけを含む領域を定義する情報を構成して、図示しないメモリ等に格納する。また、背景画素だけを抜き出した画像情報を構成して、メモリ等に格納しても良い。なお、画像情報が示す画像の各画素に対して、背景画素であるか否かを判断する構成は、公知技術であるので、詳細な説明は省略する。
(ステップS203)全体代表輝度算出部103は、ステップS202で検出した背景画素について、全体代表輝度値を算出する。例えば、全体代表輝度算出部103は、ステップS201において受け付けた画像情報のうちの、ステップS202で検出した全ての背景画素の輝度値を取得し、その代表値、例えば平均値、を算出する。この平均値が全体代表輝度値である。全体代表輝度算出部103は、取得した全体代表輝度値を、図示しないメモリ等の記録媒体に一時記憶する。
(ステップS204)補正部105は、カウンターjに0を代入する。
(ステップS205)補正部105は、カウンターiに0を代入する。
(ステップS206)領域代表輝度算出部104は、座標が(i,j)の画素である画素(i,j)に対応して設定される、当該画素(i,j)を囲む領域についての領域代表輝度値を算出する。具体的には、ステップS102で受け付けた画像情報が示す画像内において、画素(i,j)に対して予め設定した所定の位置関係にある領域を設定し、この領域内の、ステップS202で検出した背景画素の輝度値を全て取得し、その代表値、例えば平均値、を算出する。この代表値が領域代表輝度値である。なお、画素(i,j)のiまたはjの少なくとも一方の値が変わると、画素(i,j)に追従して設定される領域も、異なる領域となるようにする。また、この領域は、画像情報全体の大きさよりも小さい領域とする。ここで、画素(i,j)に対して設定される領域内の一部に、対応する画素が存在しない場合、この画素がない一部の領域を無視して、画素がある部分のみの輝度値の代表値、例えば平均値を領域代表輝度値として算出してもよいし、この画素がない部分の画素の代わりに、同じ領域内の画素の存在する部分の画素等を用いて代表値、例えば平均値を算出しても良い。例えば、画像情報が示す画像の領域からはみ出す場合、例えば、画素(i,j)が画像情報が示す画像の端部の画素であった場合等、においては、はみ出した部分を無視して、はみ出していない領域内の画素の代表値、例えば平均値を算出しても良いし、はみ出した部分の全ての画素のかわりに、設定される領域内の画像の端部の画素を用いて代表値、例えば平均値を算出しても良い。また、はみ出した部分の画素として、設定される領域内の画像の端に対して対称な位置の画素を用いて代表値、例えば平均値を算出しても良い。領域代表輝度算出部104は、算出した領域代表輝度値を、図示しないメモリ等の記録媒体に一時記憶する。
(ステップS207)補正部105は、画素(i,j)の輝度値を補正する。具体的には、ステップS203で算出した全体代表輝度値と、ステップS206で算出した領域代表輝度値と、補正定数格納部106に格納されている補正定数とを用いて、画素(i,j)の輝度値を補正する。例えば、補正部105は、上述した式(1)や式(2)に示した演算を行うことで、画素(i,j)の輝度値を補正する。そして、補正部105は、例えば、補正により得られた輝度値で、格納部108に格納されている画像情報の、画素(i,j)の輝度値を書き換える。
(ステップS208)補正部105は、カウンターiを1インクリメントする。
(ステップS209)補正部105は、カウンターiの値が、画像情報受付部101が受け付けた画像情報が示す画像の幅以上か否かを判断する。幅以上である場合、ステップS210に進み、幅以上でない場合、ステップS206に戻る。
(ステップS210)補正部105は、カウンターjを1インクリメントする。
(ステップS211)補正部105は、カウンターjの値が、画像情報受付部101が受け付けた画像情報が示す画像の高さ以上であるか否かを判断する。高さ以上である場合、ステップS212に進み、高さ以上でない場合、ステップS205に戻る。
(ステップS212)出力部107は、補正部105が輝度を補正した複数の画素を含む画像情報を出力する。例えば、出力部107は、格納部108に最終的に格納されている、補正部105が輝度を補正した複数の画素により、複数の画素が上書きされた画像情報を出力、例えば、ディスプレイ等に表示する。そして、処理を終了する。
なお、ここでは、x軸方向に画素の補正を行っていくようにしたが、y軸方向に画素の補正を行っていくようにしても良い。
なお、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以下、本実施の形態における画像処理装置の具体的な動作について説明する。画像処理装置を備えた画像処理システムの概念図は図3である。ここでは、画像処理装置10は、CCDカメラ等の撮像装置50と接続されており、撮像装置50が撮像して取得したカラー画像の画像情報が、画像処理装置10に送られ、画像処理装置10内でグレースケール画像の画像情報に変換されるものとする。また、ここでは、例として、被写体が、ステンレス粉黛(ふんたい)が付着した白無地の濾紙(ろし)であるとする。なお、グレースケール画像は、ここでは8ビットの輝度の情報を有しており、各画素の輝度の階調が256階調であり、最も白い画素の輝度値が255、最も黒い画素の輝度値が0であるとする。また、ここでは、全体代表輝度値が、画像全体のうちの背景画素の輝度の平均値であり、領域代表輝度値が、補正対象となる複数の画素のそれぞれを囲む互いに異なる領域内の背景画素の輝度の平均値である場合を例に挙げて説明する。なお、ここでは、例として、撮像装置50が、図3に示すようなリング照明51と、CCDカメラ52とを組み合わせたものである場合について説明する。
まず、撮像装置50が濾紙を撮像し、取得されたカラーの画像情報を、画像処理装置10に送信する。
画像処理装置10は、画像処理装置10から送信される画像情報を、図示しない受信部等により受信し、カラー画像の画像情報を、図示しない処理部等でグレースケール画像の画像情報に変換して、画像情報受付部101に出力する。このカラー画像の画像情報からグレースケール画像の画像情報への変換は、画像情報受付部101が行うようにしても良い。カラー画像の画像情報をグレースケール画像の画像情報に変換する処理は公知技術であるので説明は省略する。また、撮像装置50が予めグレースケール画像の画像情報を取得するようにしても良いし、撮像装置50のドライバ等が、カラー画像の画像情報を、グレースケール画像の画像情報に変換し、変換した画像情報を、画像情報受付部101が受け付けても良い。画像情報受付部101は、受け付けたグレースケール画像の画像情報を、格納部108に蓄積する。
図4は、画像情報受付部101が受け付けた画像情報の画像を示す図である。画像上の色の濃い粒状の部分がステンレス粉黛であり、薄い背景の部分が白無地の濾紙である。画像全体が左側から右側に次第に薄暗くなっていることが分かる。不均一な照明やレンズの通過光量の違いや撮像素子の不均一な光変換特性などの各種の原因によりこのような輝度ムラが発生している。
つぎに、背景判断部102は、画像情報受付部101が受け付けたグレースケール画像を構成する各画素について、閾値と比較して、背景画素であるか否かを判断する。ここでは、例として、判別分析により背景画素であるか否かの判断に用いる閾値を自動計算する。なお、判別分析時に、背景画素が、白画素クラス側か黒画素クラス側かのいずれに属するかは予め指定する必要があるが、今回は、背景が白っぽい濾紙であるので白画素側が予め指定されているものとする。なお、この指定は、図示しない受付部等から、判別分析を行う際に受けつけるようにしても良い。
判別分析とは、ステンレス粉黛の黒画素クラスと、背景である濾紙の白画素クラスを、分離度が最大になるように閾値を計算する方法である。分離度はクラス間分散σ とクラス内分散σ の比であるσ /σ で定義され、黒画素クラスの画素数をn、白画素クラスの画素数をnとし、黒画素クラスの平均をm、白画素クラスの平均をm、全画素の平均をmとし、黒画素クラスの分散をσ 、白画素クラスの分散をσ すると、以下のようになる。
図5にグレースケール画像の全画素の輝度値をヒストグラム化したグラフを示す。閾値tは、画素を2値化する際に用いる閾値である。このようなヒストグラムで、閾値tの値を0から255までの間で変化させ、上記の式で示されるような黒画素クラスと白画素クラスとの分離度が最大になるtを算出する。図4のグレースケール画像の場合、分離度最大となる閾値t=174であり、背景画素の輝度値は最小値MinBG=174、最大値MaxBG=255となる。そして、この範囲内にある画素を背景画素であると判断する。
つぎに、全体代表輝度算出部103は、画像情報が示す画像の全ての画素のうちの、背景判断部102が背景と判断した全ての画素の輝度値の平均値を算出する。この平均値が、全体代表輝度値である。例えば、図4に示したグレースケール画像の場合、背景判断部102が背景画素であると判断した画素の輝度値の範囲は、上述したように、「174」から「255」の間であり、背景画素、すなわちこの範囲の輝度値を有する画素全体の平均値である全体代表輝度値AveBGは、「186」となる。
つぎに補正対象となるグレースケール画像の全ての画素に対して順次、領域代表輝度値を算出し、補正部105により補正を行う。ここでは、具体的には、図6に示すように、画像情報が示す画像の左上の座標を(0,0)とし、画像の右方向が、x軸の正方向、画像の下方向が、y軸の正方向、補正する画素のx座標をi、y座標をjとした場合において、左上の画素から順番に右方向に向かって、ジグザグに画素に対する補正処理が行われていく。
各画素の補正の処理について、図7の模式図を用いて、具体的に説明すると、まず、補正部105は、補正対象となる画素(i,j)を囲む領域71の平均輝度値を算出する。これにより平均輝度値が、ここでは領域代表輝度値である。ここでは、この領域は、図7に示すように画素(i,j)を中心としたx軸方向、y軸方向に予め決められたサイズの領域71である。この領域のサイズは、画像情報が示す画像全体の大きさよりも十分に小さい大きさであることが好ましい。なお、ここでは、この領域71として、補正対象となる画素の座標を中心としたx軸方向の長さが41ピクセル、y軸方向の長さが41ピクセルである領域を用いる場合を例に挙げて説明する。画素(i,j)を中心とした領域内の全ての背景画素、すなわち背景判断部102が背景画素であると判断した、画素の輝度値が最小値MinBG=174から最大値MaxBG=255までの範囲の画素、の輝度値の平均値を算出する。
図8は、図4に示した画像の右上の一部分の拡大図である。図8の画素80が、処理対象の画素であるとすると、この画素80の座標(1222,132)を中心としてx軸方向の長さが41ピクセル、y軸方向の長さが41ピクセルである領域81内の、全ての背景の画像の平均値を算出する。この領域81が、ここでは、補正対象となる画素(i,j)を囲む領域であり、図7の領域71に相当する。この領域81内の全ての背景画素の平均輝度値である領域代表輝度値を計算すると「177」となり、全体代表輝度算出部103が算出した全体代表輝度値=186と比べて暗いことが分かる。
つぎに補正部105は、画素(i,j)のオリジナルの輝度値g(i,j)を、全体代表輝度算出部103が算出した全体代表輝度値と、領域代表輝度算出部104が算出した領域代表輝度値と、補正定数格納部106に格納されている補正定数とを、上述した式(1)に代入して、図7に示すように、補正後の輝度値g'(i,j)を算出する。例えば、画素80の補正後の輝度値g'(1222,132)は、補正前の輝度値g(1222,132)=116、全体代表輝度値AveBG=186、領域代表輝度値AveBG(1222,132)=177、補正定数C=1.0とすると、
g'(1222,132)=116×1.0×186÷177=121.9
となる。そして、格納部108に格納されている画像情報の、画素80の輝度値についての情報、補正後の輝度値で書き換える。
このような補正の処理を、画像情報の示す画像の全ての画素について行う。
そして、出力部107は、輝度を補正した画像情報を、ディスプレイ等に表示する。
図9は、補正により得られた画像情報の表示例を示す図である。図4に示した補正前の画像情報についての画像と比べ、背景の濃度がほぼ均一になっていることが分かる。
また、図8の右上に示したステンレス粉黛の平均輝度値についても補正前の値が「121」であったのに対し、補正後の値が「127」であり、明るい色に補正されており、対象物の正確な輝度値の取得が可能となったことが分かる。また、画像全体の明るさも、図4の画像に比べて、極端に白っぽくなったり、黒っぽくなったりしていないことが分かる。
図10は、図4に示した画像を、上述したような輝度の補正を行わずに二値化して得られた画像である。ここでは、黒っぽいステンレス粉黛の画素クラスと、白っぽい濾紙の画素クラスを、分離度が大きくなるように判別分析法により自動的に閾値を計算し、二値化する方法を取った。このように、輝度の補正を行わずにグレースケール画像の2値化を行った場合、輝度ムラの影響により、正しく二値化できていないことが分かる。
図11は、図9に示した輝度値を補正したグレースケール画像を、図10において用いた方法と同じ方法で二値化して得られた画像である。図10に示した、輝度値の補正なしの二値化と比べ、ステンレス粉黛をより正しく抽出しており、より正確な二値化処理が行なわれていることが分かる。
以上、本実施の形態によれば、全体代表輝度値と、補正対象となる複数の画素を囲むように設定された、当該画素毎に異なる領域から算出した領域代表輝度値とを用いて、各画素を補正するようにしたことにより、補正対象となる画素を、各画素の周囲の輝度の状況に応じて補正することとなるため、各画素に対して最適な補正が可能となり、画像全体に生じている輝度ムラを、輝度ムラの発生状況にかかわらず、確実に除去することができる。
また、本発明による画像処理装置等によれば、全体代表輝度値と、領域代表輝度値とを用いて輝度の補正を行うため、補正前の画像に対して適切な画像が得られるよう、輝度ムラを補正することができる。具体的には、全体の代表輝度値に対する各領域代表輝度値との比や差を利用して補正を行うため、画像全体の輝度等を考慮した補正が可能となる。例えば、対象画像の背景がグレーで、画像全体として輝度の分布がほとんどないような場合においても、画像全体の背景の輝度の代表値である全体代表輝度値と、補正対象の画像を囲む領域の輝度の代表値である領域代表輝度値とは、ほぼ同じ値、背景であるグレーの輝度を示す値となる。このため、本実施の形態においては、この全体代表輝度値と領域代表輝度値との比や、差を用いて補正を行うこととなるため、画像全体の輝度が極端に変更されることがなく、補正後の画像から、対象物の正確な輝度値の取得等が可能となる。これにより、精度の高い二値化処理や、異物検査や粒子解析等のような、対象物の特徴量として輝度に着目して分析する処理の前処理として利用することが可能である。
なお、上記具体例においては、画像情報受付部101が受け付けた画像情報が示す全ての画素を補正しなくても良い。例えば、画像情報が示す画像のうちの、背景画素以外の画素のみを補正しても良いし、背景以外の画素のみを補正しても良い。
また、上記具体例においては、式(1)に示すように、全体代表輝度値と領域代表輝度値との除算結果を用いて、画素の輝度値を補正するようにしたが、式(2)に示すように、全体代表輝度値と領域代表輝度値との減算結果を用いて補正しても良い。
また、ここでは、カラー画像の画像情報をグレースケール化した画像を用いて補正を行うようにしたが、画像情報が、画像全体の輝度を示すチャンネルの情報を有するカラー画像、例えばLabカラー画像等、である場合、輝度を示すチャンネル画像、例えばLチャンネル画像の画像情報を取り出して、これを補正しても良い。また、補正後の画像情報で、元の画像情報の輝度のチャンネルの情報を置き換えても良い。
(実施の形態2)
本実施の形態における画像処理装置は、上記実施の形態1にかかる画像処理装置において、グレースケール画像の画像情報を補正する代わりに、複数の色情報を有するカラー画像の画像情報を補正するようにしたものである。
本実施の形態において述べる色情報とは、カラー画像を構成する複数の色のそれぞれについての輝度の情報である。例えば、RGBカラー画像の画像情報における、Rチャンネルの画像情報、Gチャンネルの画像情報、Bチャンネルの画像情報等であり、これらは、それぞれの色の輝度値として示される。
本実施の形態における画像処理装置は、カラー画像を構成する各色情報について、上記実施の形態1と同様の補正処理を行うものであり、カラー画像の画像情報に対して補正を行う点を除けば、上記実施の形態1の構成と同様の構成を有しているため、ここでは図および詳細な説明は省略する。
ただし、この実施の形態においては、全体代表輝度算出部103は、画像情報受付部101が受け付けた画像情報について、カラー画像に含まれる色情報別に、色情報を上記実施の形態1の輝度値の代わりに利用して、全体代表輝度値を算出する。
また、領域代表輝度算出部104は、画像情報受付部101が受け付けた画像情報について、カラー画像の色情報別に、色情報を上記実施の形態1の輝度値の代わりに利用して、領域代表輝度値を算出する。
また、補正部105は、画像情報に含まれる補正対象となる複数の画素の色情報を、色情報別の全体代表輝度値と領域代表輝度値とを用いて補正する。
なお、背景判断部102は、色情報別に、色情報の値を上記実施の形態1の輝度値の代わりに利用して、画像情報の示す画像の各画素が、背景画素であるか否かを判断してもよいし、一つの色情報のみを用いて、画像情報の示す画像の各画素が、背景画素であるか否かを判断してもよい。また、カラー画像をグレースケール化して、上記実施の形態と同様に背景画素であるか否かを判断しても良い。
図12は、本実施の形態にかかる画像処理装置の動作について説明するフローチャートであり、画像情報がRGB画像の画像情報である場合の処理について説明した図である。なお、ステップS1201の処理は、図2のステップS201の処理と同様であるので、説明は省略する。ままた、図12におけるS1202から、ステップS1211までの処理は、図2において示した、ステップS202から、ステップS211までの各処理を、Rチャンネル画像の画像情報、Gチャンネル画像の画像情報、およびBチャンネル画像の画像情報について、行う処理であり、説明は省略する。また、ステップS1212の処理は、輝度を補正した複数の画素を含む、Rチャンネル画像、Gチャンネル画像、およびBチャンネル画像の画像情報を個別に、もしくは合成して出力する点を除けば、図2のステップS212の処理と同様であるので説明は省略する。
なお、図12のフローチャートにおいては、RGB画像の画像情報について説明したが、他の複数の色情報、例えば複数のチャンネルを有する画像情報に適用する場合には、各色情報、例えばチャンネルの色情報について、ステップS1202から、ステップS1211までのそれぞれの処理を行うようにすればよい。
また、上記のようにステップS1202から、ステップS1211までのそれぞれの処理において、各チャンネルの画像情報について処理を行う代わりに、各チャンネルの画像情報に別に、ステップS202からステップS211までの処理を、順番に実行するようにしても良い。
つぎに、具体例について説明する。なお、ここでは、画像情報が24ビットのRGBカラー画像の画像情報である場合について説明する。RGBカラー画像の各画素の、各チャンネル画像は、8ビットの輝度の情報を有しており、各チャンネル画像の輝度の階調は、ここでは256階調とし、最も明るい画素の輝度値が255、最も暗い画素の輝度値が0であるとする。また、ここでは、全体代表輝度値が、画像全体のうちの背景画素の輝度の平均値であり、領域代表輝度値が、補正対象となる複数の画素のそれぞれを囲む互いに異なる領域内の背景画素の輝度の平均値である場合を例に挙げて説明する。
まず、画像情報受付部101がRGBカラー画像を受け付ける処理までは、上記実施の形態の具体例において、グレースケール化を行わない点を除けば同様であるので省略する。ここで受け付けた画像は、図4と同様の画像の、グレースケール化前の画像であるとする。
つぎに、背景判断部102は、各チャンネル画像を構成する各画素について、背景画素であるか否かを判断する。この処理は、各チャンネル画像を構成する各画素を、上記具体例と同様に、各チャンネル画像を用いて判別分析法により得られた閾値と比較することで行われる。なお、各チャンネル画像別に、背景画素であるか否かを判断する代わりに、一旦RGBカラー画像をグレースケール化した画像について、上記実施の形態1の具体例と同様に、背景画素であるか否かの判断を行うようにしても良い。
つぎに、全体代表輝度算出部103は、背景判断部102が背景画素と判断した全ての画素の、チャンネル画像別の平均輝度値をR,G,Bの各チャンネル画像毎に算出する処理を行う。なお、各チャンネル画像に対して、背景全体の平均輝度値を算出する処理は、上記具体例のグレースケール画像の背景全体の平均輝度値を算出する処理と同様である。図4の画像について算出した場合、背景の全画素のチャンネル画像別の平均輝度値である全体代表輝度値は、Rチャンネル画像の平均輝度値である全体代表輝度値をAveRBG、Gチャンネル画像の平均輝度値である全体代表輝度値をAveGBG、Rチャンネル画像の平均輝度値である全体代表輝度値をAveBBGとすると、AveRBG=215、AveGBG=184、AveGBG=127となる。
つぎに、領域代表輝度算出部104は、補正対象となる画素(i,j)を囲む領域の背景の平均輝度値を、各チャンネル画像について算出する。図7に示すように画素(i,j)を中心としてx軸方向、y軸方向に予め決められた大きさの領域をとる。その領域内の背景画素のR,G,Bの各チャンネル毎の平均輝度値AveRBG(i,j)、AveGBG(i,j)、AveBBG(i,j)を算出する。なお、各チャンネル画像に対して、補正対象となる画素の周囲の領域の平均輝度値を算出する処理は、上記具体例において、グレースケール画像の補正対象となる画素の周囲の平均輝度値を算出する処理と同様である。例えば、処理対象となる画素(1222,132)を中心としてx軸方向が41ピクセル、y軸方向が41ピクセルのサイズの大きさの領域を設定したとすると、この周辺領域内の背景画素のチャンネル別の平均輝度値である領域代表輝度値は、AveRBG(i,j)=205、AveGBG(i,j)=172、AveBBG(i,j)=132となり、全画素のチャンネル別の平均輝度値である全体代表輝度値AveRBG=215、AveGBG=184、AveGBG=127と比べて、RチャンネルとGチャンネルは暗いことが分かる。
つぎに、補正部105は、全体代表輝度算出部103が算出した各チャンネル画像別の全体代表輝度値と、領域代表輝度算出部104が算出した、補正対象となる画素についての各チャンネル画像別の領域代表輝度値とを用いて、補正対象となる画素の各チャンネル別の色情報について補正を行う。補正前のRチャンネル画像の色情報、すなわち輝度をgR(i,j)、補正前のGチャンネル画像の色情報、すなわち輝度をgG(i,j)、補正前のBチャンネル画像の色情報、すなわち輝度をgB(i,j)とすると、補正後のRチャンネル画像の色情報(輝度)gR'(i,j)、補正後のGチャンネル画像の色情報(輝度)gG'(i,j)、補正後のBチャンネル画像の色情報(輝度)gB'(i,j)は、上述した式(2)を用いて、以下の式で表される。
例えば、画素(1222,132)の補正後の輝度値gR'(i,j)、gG'(i,j)、gB'(i,j)は、補正定数C=1とすると、
gR'(i,j)=151+1.0×(215−205)=161
gG'(i,j)=108+1.0×(184−172)=120
gB'(i,j)=68+1.0×(127−132)=63
となる。
図13は、補正により得られた画像情報の画像の表示例を示す図である。図4に示した補正前の画像情報についての画像と比べ、背景の濃度がほぼ均一になっていることが分かる。
例えば、図13の右上に示したステンレス粉黛1301のチャンネル画像別の補正の前後の平均輝度値については、図14に示すようになる。
図14に示すように、Rチャンネル画像とGチャンネル画像については、明るい色に補正されており、対象物の正確な輝度値の取得が可能となったことが分かる。
図15は、図13に示した色情報を補正したRGBカラー画像を、図10において用いた方法と同じ方法で二値化して得られた画像である。図10に示した、輝度値の補正なしの二値化と比べ、ステンレス粉黛をより正しく抽出しており、より正確な二値化処理が行なわれていることが分かる。
なお、ここでは、上述した式(2)に示すような、全体代表輝度値と、領域代表輝度値との減算結果を用いた補正を行った場合について説明したが、上述した式(1)に示すような全体代表輝度値と、領域代表輝度値との除算結果を用いた補正を行うようにしても良い。
以上、本実施の形態によれば、全体代表輝度値と、補正対象となる複数の画素を囲むように設定された、当該画素毎に異なる領域から算出した領域代表輝度値とを用いて、各画素を補正するようにしたことにより、補正対象となる画素を、各画素の周囲の輝度の状況に応じて補正することとなるため、各画素に対して最適な補正が可能となり、画像全体に生じている輝度ムラを、輝度ムラの発生状況にかかわらず、確実に除去することができる。
また、本発明による画像処理装置等によれば、全体代表輝度値と、領域代表輝度値とを用いて輝度の補正を行うため、補正前の画像に対して適切な画像が得られるよう、輝度ムラを補正することができる。
さらに、本実施の形態によれば、色情報別に補正対象となる画素に対して補正を行うようにしたので、カラー画像に対しても、輝度ムラを低減させることが可能となり、輝度ムラの影響をなくした正確な色を有する画像情報を取得することができる。これにより、異物検査や粒子解析等のような、対象物の特徴量として色情報、すなわち色成分の輝度の情報を利用する分析処理の前処理として、本願の構成を適用することができる。
なお、上記実施の形態1および2においては、画像情報内の背景画素を検出して、この背景画素から得られた全体代表輝度値と背景代表輝度値とを用いて画像情報内の補正対象画素の輝度値を補正するようにしたが、背景画素の代わりに、全ての画素を用いて全体代表輝度値と背景代表輝度値とを算出して、これを用いて補正対象画素の輝度値を補正するようにしても良い。この場合、背景判断部102は省略可能であり、構成を簡略化できる。また、背景画素を判断する処理が省略できるため、処理速度を早くすることができる。ただし、背景画素と、背景以外の画素との色の差が大きい場合や、背景以外の画素数の背景画素数に対する比率が高い場合や、背景以外の画素の分布に偏りがある場合や、背景以外の画素の色が多彩である場合等には、全体代表輝度値や背景代表輝度値の値が、背景以外の画素によって大きく変動するため、適切に補正が行えない場合があるため、上記実施の形態1および2のように、背景画素を用いて算出した全体代表輝度値や背景代表輝度値を用いることが好適である。
また、本実施の形態においては、補正対象となる画素は、例えば、背景画素であっても良いし、背景以外の画素であっても良い。例えば、背景画素以外の画素のみを補正対象の画素としても良い。通常、背景画素以外の画素が、検査対象物の画像を構成する画素となるため、検査対象物の輝度等のみを取得したい場合には、このような構成とすることで、処理量を減らして、処理の迅速化を図ることができる。
また、上記各実施の形態の具体例においては、全体代表輝度値が、画像全体のうちの背景画素の輝度の平均値であり、領域代表輝度値が、補正対象となる複数の画素のそれぞれを囲む互いに異なる領域内の背景画素の輝度の平均値である場合を例に挙げて説明したが、本発明は、全体代表輝度値が、画像全体のうちの背景画素の輝度の平均値以外の代表値であり、領域代表輝度値が、補正対象となる複数の画素のそれぞれを囲む互いに異なる領域内の背景画素の輝度の平均値以外の代表値である場合についても適用可能なものである。この場合、例えば、上記各実施の形態において、平均値の代わりに、中央値等の、平均値以外の代表値を適宜算出するようにすればよい。
なお、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記各実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、補正対象となる複数の画素を含む画像の情報である画像情報を取得する画像情報受付ステップと、前記画像情報を用いて、前記画像情報が示す画像全体の輝度の代表値である全体代表輝度値を算出する全体代表輝度算出ステップと、前記画像情報を用いて、前記補正対象となる複数の画素のそれぞれを囲む互いに異なる領域についての輝度の代表値である領域代表輝度値を、それぞれ算出する領域代表輝度算出ステップと、前記画像情報に含まれる前記補正対象となる複数の画素の輝度を、前記全体代表輝度値と当該補正対象となる複数の画素に対応して算出された前記領域代表輝度値とを用いて、それぞれ補正する補正ステップと、前記補正ステップにより輝度を補正した複数の画素を含む前記画像情報を出力する出力ステップとを実行させるためのプログラムである。
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体(例えば、CD−ROMなどの光ディスクや磁気ディスク、半導体メモリなど)に記録されたプログラムが読み出されることによって実行されてもよい。
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
また、上記各実施の形態では、画像処理装置がスタンドアロンである場合について説明したが、画像処理装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。
以上のように、本発明にかかる画像処理装置等は、画像の輝度を補正する装置等として適しており、不均一な照明やレンズの通過光量の違いや撮像素子の不均一な光変換特性等により発生する輝度ムラのある画像から輝度ムラを除く処理装置等として有用である。
実施の形態1における画像処理装置のブロック図 同画像処理装置の動作について説明するフローチャート 同画像処理装置を含む画像処理システムの概念図 同画像処理装置の受け付けた画像情報を示す図 同画像処理装置の受け付けたグレースケール画像の全画素の輝度値をヒストグラム化したグラフを示す図 同画像処理装置の補正処理を説明するための図 同画像処理装置の補正処理を説明するための図 同画像処理装置の受け付けた画像情報の一部の拡大図 補正を行った場合の表示例を示す図 同画像処理装置により補正なしで二値化を行った画像情報の表示例を示す図 同画像処理装置により補正を行った後に二値化を行った画像情報の表示例を示す図 実施の形態2における画像処理装置の動作を説明するフローチャート 同画像処理装置の表示例を示す図 同画像処理装置の補正結果を説明するための図 同画像処理装置の表示例を示す図
符号の説明
10 画像処理装置
50 撮像装置
101 画像情報受付部
102 背景判断部
103 全体代表輝度算出部
104 領域代表輝度算出部
105 補正部
106 補正定数格納部
107 出力部
108 格納部

Claims (12)

  1. 補正対象となる複数の画素を含む画像の情報である画像情報を取得する画像情報受付部と、
    前記画像情報を用いて、前記画像情報が示す画像全体の輝度の代表値である全体代表輝度値を算出する全体代表輝度算出部と、
    前記画像情報を用いて、前記補正対象となる複数の画素のそれぞれを囲む互いに異なる領域についての輝度の代表値である領域代表輝度値を、それぞれ算出する領域代表輝度算出部と、
    前記画像情報に含まれる前記補正対象となる複数の画素の輝度を、前記全体代表輝度値と当該補正対象となる複数の画素に対応して算出された前記領域代表輝度値とを用いて、それぞれ補正する補正部と、
    前記補正部が輝度を補正した複数の画素を含む前記画像情報を出力する出力部とを具備し、
    前記画像情報が示す画像内の画素が、背景の画素であるか否かを判断する背景判断部を更に具備し、
    前記全体代表輝度算出部が算出する前記全体代表輝度値は、前記画像情報が示す画像全体のうちの、前記背景判断部が背景の画素であると判断した画素についての輝度の代表値であり、
    前記領域代表輝度算出部が算出する前記領域代表輝度値は、前記補正対象となる複数の画素をそれぞれ囲む互いに異なる領域内の、前記背景判断部が背景の画素であると判断した画素についての輝度の代表値であり、
    前記補正部は、前記全体代表輝度値と、前記領域代表輝度値との除算結果または減算結果を用いて前記画素の補正を行う画像処理装置。
    画像処理装置。
  2. 前記補正対象となる複数の画素は、前記画像情報に含まれる全ての画素である請求項1記載の画像処理装置。
  3. 前記画像情報は、グレースケール画像の画像情報である請求項1または請求項2記載の画像処理装置。
  4. 前記画像情報は、複数の色についての輝度の情報である色情報を有するカラー画像の画像情報であり、
    前記全体代表輝度算出部は、前記カラー画像に含まれる色情報別に、前記全体代表輝度値を算出し、
    前記領域代表輝度算出部は、前記カラー画像の色情報別に、前記領域代表輝度値を算出し
    前記補正部は、前記画像情報に含まれる前記補正対象となる複数の画素の色情報を、前記色情報別の全体代表輝度値と前記領域代表輝度値とを用いて補正する請求項1または請求項2記載の画像処理装置。
  5. 前記補正対象となる画素を囲む領域は、同一直線上にない複数の画素を含む領域である請求項1から請求項いずれか記載の画像処理装置。
  6. 前記補正部による補正の度合いを示す補正定数が格納されている補正定数格納部を、さらに具備し、
    前記補正部は、前記全体代表輝度値と前記領域代表輝度値と前記補正定数とを用いて前記複数の画素の輝度を補正する請求項1から請求項いずれか記載の画像処理装置。
  7. 前記代表値は、均一な重みづけを行った単純平均値である請求項1から請求項いずれか記載の画像処理装置。
  8. 前記代表値は、ガウス分布に基づく重みづけを行った加重平均値である請求項1から請求項いずれか記載の画像処理装置。
  9. 前記代表値は、中央値である請求項1から請求項いずれか記載の画像処理装置。
  10. 画像情報受付部と、全体代表輝度算出部と、領域代表輝度算出部と、補正部と、出力部と、背景判断部とを用いる画像処理方法であって、
    前記画像情報受付部が、補正対象となる複数の画素を含む画像の情報である画像情報を取得するステップと、
    前記全体代表輝度算出部が、前記画像情報を用いて、前記画像情報が示す画像全体の輝度の代表値である全体代表輝度値を算出する全体代表輝度算出ステップと、
    前記領域代表輝度算出部が、前記補正対象となる複数の画素のそれぞれを囲む互いに異なる領域についての輝度の代表値である領域代表輝度値を、それぞれ算出する領域代表輝度算出ステップと、
    前記補正部が、前記画像情報に含まれる前記補正対象となる複数の画素の輝度を、前記全体代表輝度値と当該補正対象となる複数の画素に対応して算出された前記領域代表輝度値とを用いて、それぞれ補正する補正ステップと、
    前記出力部が、前記補正ステップで輝度を補正した複数の画素を含む前記画像情報を出力する出力ステップとを具備し、
    前記背景判断部が、画像情報が示す画像内の画素が、背景の画素であるか否かを判断する背景判断ステップを更に具備し、
    前記全体代表輝度算出ステップで算出する前記全体代表輝度値は、前記画像情報が示す画像全体のうちの、前記背景判断ステップで背景の画素であると判断した画素についての輝度の代表値であり、
    前記領域代表輝度算出ステップで算出する前記領域代表輝度値は、前記補正対象となる複数の画素をそれぞれ囲む互いに異なる領域内の、前記背景判断ステップで背景の画素であると判断した画素についての輝度の代表値であり、
    前記補正部は、前記補正ステップにおいて、前記全体代表輝度値と、前記領域代表輝度値との除算結果または減算結果を用いて前記画素の補正を行う画像処理方法。
  11. コンピュータに、
    補正対象となる複数の画素を含む画像の情報である画像情報を取得する画像情報受付ステップと、
    前記画像情報を用いて、前記画像情報が示す画像全体の輝度の代表値である全体代表輝度値を算出する全体代表輝度算出ステップと、
    前記画像情報を用いて、前記補正対象となる複数の画素のそれぞれを囲む互いに異なる領域についての輝度の代表値である領域代表輝度値を、それぞれ算出する領域代表輝度算出ステップと、
    前記画像情報に含まれる前記補正対象となる複数の画素の輝度を、前記全体代表輝度値と当該補正対象となる複数の画素に対応して算出された前記領域代表輝度値とを用いて、それぞれ補正する補正ステップと、
    前記補正ステップにより輝度を補正した複数の画素を含む前記画像情報を出力する出力ステップとを実行させるためのプログラムであって、
    前記画像情報が示す画像内の画素が、背景の画素であるか否かを判断する背景判断ステップを更に実行させ、
    前記全体代表輝度算出ステップで算出する前記全体代表輝度値は、前記画像情報が示す画像全体のうちの、前記背景判断ステップで背景の画素であると判断した画素についての輝度の代表値であり、
    前記領域代表輝度算出ステップで算出する前記領域代表輝度値は、前記補正対象となる複数の画素をそれぞれ囲む互いに異なる領域内の、前記背景判断ステップで背景の画素であると判断した画素についての輝度の代表値であり、
    前記補正ステップにおいて、前記全体代表輝度値と、前記領域代表輝度値との除算結果または減算結果を用いて前記画素の補正を行うプログラム。
  12. コンピュータに、
    補正対象となる複数の画素を含む画像の情報である画像情報を取得する画像情報受付ステップと、
    前記画像情報を用いて、前記画像情報が示す画像全体の輝度の代表値である全体代表輝度値を算出する全体代表輝度算出ステップと、
    前記画像情報を用いて、前記補正対象となる複数の画素のそれぞれを囲む互いに異なる領域についての輝度の代表値である領域代表輝度値を、それぞれ算出する領域代表輝度算出ステップと、
    前記画像情報に含まれる前記補正対象となる複数の画素の輝度を、前記全体代表輝度値と当該補正対象となる複数の画素に対応して算出された前記領域代表輝度値とを用いて、それぞれ補正する補正ステップと、
    前記補正ステップにより輝度を補正した複数の画素を含む前記画像情報を出力する出力ステップとを実行させるためのプログラムであって、
    前記画像情報が示す画像内の画素が、背景の画素であるか否かを判断する背景判断ステップを更に実行させ、
    前記全体代表輝度算出ステップで算出する前記全体代表輝度値は、前記画像情報が示す画像全体のうちの、前記背景判断ステップで背景の画素であると判断した画素についての輝度の代表値であり、
    前記領域代表輝度算出ステップで算出する前記領域代表輝度値は、前記補正対象となる複数の画素をそれぞれ囲む互いに異なる領域内の、前記背景判断ステップで背景の画素であると判断した画素についての輝度の代表値であり、
    前記補正ステップにおいて、前記全体代表輝度値と、前記領域代表輝度値との除算結果または減算結果を用いて前記画素の補正を行うプログラムを記録した記録媒体。
JP2006307685A 2006-11-14 2006-11-14 画像処理装置、画像処理方法、プログラム、および記録媒体 Expired - Fee Related JP4831340B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006307685A JP4831340B2 (ja) 2006-11-14 2006-11-14 画像処理装置、画像処理方法、プログラム、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006307685A JP4831340B2 (ja) 2006-11-14 2006-11-14 画像処理装置、画像処理方法、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JP2008123329A JP2008123329A (ja) 2008-05-29
JP4831340B2 true JP4831340B2 (ja) 2011-12-07

Family

ID=39508010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006307685A Expired - Fee Related JP4831340B2 (ja) 2006-11-14 2006-11-14 画像処理装置、画像処理方法、プログラム、および記録媒体

Country Status (1)

Country Link
JP (1) JP4831340B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5182590B2 (ja) * 2009-09-09 2013-04-17 Nkワークス株式会社 画像合成装置および画像合成方法
JP5580267B2 (ja) * 2011-09-08 2014-08-27 大日本スクリーン製造株式会社 検出方法
JP5539298B2 (ja) * 2011-12-09 2014-07-02 シャープ株式会社 表示システム、較正方法、コンピュータプログラム、及び記録媒体
DE102018117016A1 (de) * 2017-07-14 2019-01-17 Horiba Ltd. Analysiervorrichtung, System, Analysierverfahren und Programm
JP7553935B2 (ja) 2020-07-10 2024-09-19 株式会社カワタ 混合割合判定方法および混合割合判定装置
CN114936981B (zh) * 2022-06-10 2023-07-07 重庆尚优科技有限公司 一种基于云平台的场所扫码登记系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3830598B2 (ja) * 1996-12-19 2006-10-04 大日本印刷株式会社 色調修正方法
JP3949684B2 (ja) * 2004-04-30 2007-07-25 三菱電機株式会社 階調補正装置、階調補正用プログラム、携帯端末機器及びパーソナルコンピュータ
JP3856235B2 (ja) * 2004-05-31 2006-12-13 独立行政法人 宇宙航空研究開発機構 平面画像における傾斜被り補正方法

Also Published As

Publication number Publication date
JP2008123329A (ja) 2008-05-29

Similar Documents

Publication Publication Date Title
JP5547243B2 (ja) 画像処理装置、プログラムおよび記録媒体
KR101172399B1 (ko) 화상형성장치 및 그 화질 개선 방법
US10354352B2 (en) Image processing apparatus, image processing method, and storage medium
JP4831340B2 (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
JP3545506B2 (ja) 特定色領域抽出方式および特定色領域除去方式
CN107018407B (zh) 信息处理装置、评价用图、评价系统、以及性能评价方法
KR100765775B1 (ko) 화상의 밝기 조정방법 및 장치
EP3407589B1 (en) Image processing apparatus, image processing method, and storage medium
KR20110051900A (ko) 조명 성분을 제거하기 위한 이미지 보정 장치 및 방법
US20190007579A1 (en) Information processing apparatus, control method thereof, and storage medium
JP2004336282A (ja) 画像処理装置、画像処理プログラム及び該プログラムを記録した記録媒体
JP7030425B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2006098217A (ja) 画像検査装置、画像検査方法及び画像検査プログラム
JP2007034648A (ja) 画像評価方法および画像評価装置並びにプログラム
JP2017146856A (ja) 画像処理装置及び画像処理方法
JP2010074672A (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
US10896344B2 (en) Information processing apparatus, information processing method, and computer program
JP6977425B2 (ja) 画像処理装置、二値画像生産方法および画像処理プログラム
KR20100011187A (ko) 문자 인식 방법
JP2009005159A (ja) 画像処理装置
JP2001203882A (ja) ウォーターマークを入れるための方法
JPH10269352A (ja) 画像処理装置および方法
JP3941403B2 (ja) 画像濃淡ムラ検出方法及びこの検査装置
JP2020016546A (ja) 画像処理装置、画像処理方法及びプログラム
JP3485975B2 (ja) 特定色領域抽出方式および特定色領域除去方式

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110906

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees