JP3748248B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP3748248B2 JP3748248B2 JP2002246816A JP2002246816A JP3748248B2 JP 3748248 B2 JP3748248 B2 JP 3748248B2 JP 2002246816 A JP2002246816 A JP 2002246816A JP 2002246816 A JP2002246816 A JP 2002246816A JP 3748248 B2 JP3748248 B2 JP 3748248B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- determination
- expansion
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、ノイズが存在する入力画像の中から前記入力画像に含まれる撮像物体の本来の構造を再現可能な画像処理装置に関し、特に一つの画像に複数の撮像物体が存在する時の各撮像物体の認識や、指紋及び虹彩を用いた個人認証等の前処理に必要な画像処理を行う画像処理装置及び方法に関する。
【0002】
【従来の技術】
一般に画像のノイズを除去する場合、ノイズである画素が孤立して周囲の画素と異なる輝度値を持つことに着目し、周囲画素との輝度値の差を利用して行われている。こうした背景画像中の孤立点の除去や図形(物体画像)内の穴(孤立点)を埋めるノイズ除去の代表的なものとして、平滑化(smoothing)フィルタ法がある。これは、着目画素の周辺の3×3画素の平均輝度値を着目画素の輝度値とする手法である。しかし、この手法では、エッジもぼかしてしまうという欠点がある。エッジをぼかさないノイズ除去として、着目画素の周辺の3×3画素の輝度値の内、真中の値を着目画素の輝度値とするメディアンフィルタ(T.S.Huang,G.J.Yang,and G.Y.Tang,"Afast two-dimensional median filtering algorithm,"PRIP'78,pp.121-131,1978.)がある。
【0003】
また、撮像された物体に対して、Morphogy(モルフォロジ)の関数であるerosion(収縮)処理、dilation(膨張)処理を行うことにより、背景の点ノイズや物体内の穴を除く手法がある。また、この処理を繰り返すことによって、ノイズを除去する手法(J.Serra,“Image Analysis and Mathematical Morphology,"Academic Press,Lodon,1982、及びP.Maragos,“Tutorial on advances in morphological image processing and analysis",Opt,Eng.,26,1987)もある。
【0004】
この手法によれば、処理する面像をXとし、構造要素をBとした場合、(X+B)をBによるXの膨張、(X−B)をBによるXの収縮と定義すると、openingとclosingは式(1)と式(2)でそれぞれ定義される。openingとclosingを続けて行うことにより、ノイズは除去される。
XoB=(X−B)+B (1)
X・B=(X+B)−B (2)
【0005】
すなわち、画像をいくつかの方向に画素単位でずらした画素群と、元の画素とを重ね合わせてこれらの画素間における輝度値の論理積(濃淡画像の場合は最小値)をとる収縮処理と、これらの画素間における輝度値の論理和(濃淡画像の場合は最大値)をとる膨張処理とを行う場合に、収縮処理を行ってから膨張処理を行うopening処理と、膨張処理を行ってから収縮処理を行うclosing処理とを続けて行うことにより、まずopening処理により細かいノイズが除去され、続いてclosing処理により物体中の穴(ノイズ)を埋めることができる。
【0006】
また、収縮、膨張処理を繰り返す手法の例として、上記の例以外に他の手法(R.M.Haralick,S.R.Sternber and X.Zhuang,“Image Analysis Using Mathematical Morphology,“IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.PAMI-9,no.4,pp.532-550,July 1987)もある。
【0007】
【発明が解決しようとする課題】
以上述べてきた手法(第1の従来手法という)では、比較的小さな規模の並列ハードウェアを用いて高速に処理が行えるが、処理した画像の物体に部分的に途切れやつぶれが生じ、物体の構造が再現されないという問題がある、
【0008】
従来、これを改善する手法(第2の従来手法という)として、撮像された物体の構造を考慮した画像処理方法がある。その一つに、物体のエッジ方向に基づいたノイズ除去法(M.Nagao and T.Matsuyama,"Edge preserving smoothing,"CGIP,vol.9,pp.394-407 April 1979)がある、これは、着目画素の周辺5×5画素の領域において、異なる9つの窓パターン別に物体のエッジ方向を分類し、それぞれのパターン内の輝度値の分散を求め、分散が最も小さいパターン内の平均輝度値を着目画素の輝度値とするエッジ方向を加味した手法である。
【0009】
また、撮像される物体に特化した手法として、例えば指紋認証における登録画像作成アルゴリズムにMehtre法(B.M.Mehtre,“Fingerprint Image Analysis for Automatic Identification ," Machine Vision and Applications,vol.6,no.2・3,pp.124-139,1993.)がある。これは、指紋の隆線方向を求めその方向に沿って、cotextualフィルタを畳み込み、隆線を強調する手法である。以上述べてきた第2の従来手法では、処理した画像における物体(後者の場合は指紋の隆線)の構造は破壊されにくいが、比較的大きな領域における画素情報を用いた複雑なフィルタ処理が必要となることから、処理量が多く、したがって安価かつ簡易な装置での高速高精度の処理が難しい。
【0010】
本発明は以上の問題点に鑑みてなされたものであり、その目的とするところは、前述した第1の従来手法が有するような、撮像物体の構造がところどころ破壊されてしまうという問題を解決し、同時に第2の従来手法が有するような、比較的大きな領域の画素情報を用いたフィルタ処理を不要とすることにより、安価かつ簡易な装置での高速高精度の処理を実現し、各撮像物体の認識や、指紋及び虹彩を用いた個人認証等を行う際の的確な画像を提供可能にすることにある。
【0011】
【課題を解決するための手段】
このような課題を解決するために本発明は、指紋などの物体像を含む画像を入力すると、この入力画像の修正処理を行い、修正処理した画像を出力する画像修正手段を備え、画像修正手段は、入力画像を判定し、その結果を示す判定画像の作成を行う判定画像作成手段と、入力画像と判定画像作成手段の出力画像とを、判定画像作成手段の判定画像に基づいて合成する合成手段とを備え、判定画像作成手段は、入力画像を第1の画像として、第1の画像と、この第1の画像を所定の方向に所定の画素単位でずらした第2の画像とを重ね合わせてこれら第1及び第2の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第1の画像として、第1の画像と、この第1の画像を所定の方向に所定の画素単位でずらした第2の画像とを重ね合わせてこれら第1及び第2の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第1の画像処理と、この第1の画像処理を行った後の画像を第1の画像として膨張処理を行うとともにこの膨張処理後の画像を第1の画像として収縮処理を行う第2の画像処理とを実行する画像処理手段と、画像処理手段の処理画像に対して物体像の中心線を抽出する細線化処理手段とを備え、判定画像作成手段は、細線化処理手段の出力画像を判定画像として出力し、合成手段は、判定画像作成手段の出力する判定画像のうち、輝度値が第1の範囲内の画素に対しては入力画像の画素を選択し、輝度値が第1の範囲と異なる第2の範囲内の画素に対しては判定画像作成手段の出力する判定画像の画素を選択し、選択した画素を合成して合成画像として出力するものである。
【0012】
また、本発明は、物体の画像を入力すると、この物体像を含む入力画像の修正処理を行い、修正処理した画像を出力する画像修正ステップを有し、画像修正ステップは、入力画像を判定し、その結果を示す判定画像の作成を行う判定画像作成ステップと、入力画像と判定画像作成ステップの出力画像とを、判定画像作成ステップの判定画像に基づいて合成する合成ステップとを有し、判定画像作成ステップは、入力画像を第1の画像として、第1の画像と、この第1の画像を所定の方向に所定の画素単位でずらした第2の画像とを重ね合わせてこれら第1及び第2の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第1の画像として、第1の画像と、この第1の画像を所定の方向に所定の画素単位でずらした第2の画像とを重ね合わせてこれら第1及び第2の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第1の画像処理と、この第1の画像処理を行った後の画像を第1の画像として膨張処理を行うとともにこの膨張処理後の画像を第1の画像として収縮処理を行う第2の画像処理とを実行する画像処理ステップと、画像処理ステップの処理画像に対して物体像の中心線を抽出する細線化処理ステップとを有し、判定画像作成ステップは、細線化処理ステップの出力画像を判定画像として出力し、合成ステップは、判定画像作成ステップの出力する判定画像のうち、輝度値が第1の範囲内の画素に対しては入力画像の画素を選択し、輝度値が第1の範囲と異なる第2の範囲内の画素に対しては判定画像作成ステップの出力する判定画像の画素を選択し、選択した画素を合成して合成画像として出力する方法である。
【0013】
【発明の実施の形態】
以下、本発明について図面を参照して説明する。
(第1の実施の形態)
図1(a)は本発明に係る画像処理装置の第1の実施の形態を示すブロック図である。この画像処理装置1は、図1(a)に示すように、カメラ2により撮影された物体の画像、及びセンサ3により検出された、指紋,虹彩を含む物体の画像を入力して画像処理を行う処理部10と、入力画像または処理部10により処理された画像を記憶するメモリ30とからなる。
【0014】
図1(b)は、処理部10の構成を示すブロック図である。処理部10は、図1(b)に示すように、カメラ2により撮影された物体の画像、またはセンサ3により検出された物体の画像を取り込む画像入力部11と、画像入力部11により取り込まれた画像を入力して後述する前処理を行う前処理部12と、画像入力部11が入力した入力画像と前処理部12により処理された画像を選択的に入力して合成し合成画像として出力する合成部13と、合成部13の合成画像を処理して処理後画像Aとして出力する画像処理部14と、画像入力部11からの入力画像を処理して、合成部13が選択する画像を判定する局所領域毎判定部15とから構成される。
【0015】
ここで、局所領域毎判定部15は、画像入力部11からの入力画像を取り込んでこの入力画像を判定用画像として処理する判定用画像処理部16と、判定用画像処理部16の処理画像の中心線を求める細線化処理を行う細線化部17と、判定用画像処理部16の処理画像について予め細分化された局所領域毎にその処理画像の画素数を計数する局所領域毎画素カウント部18と、細線化部17により細線化処理された画像の画素数を前記局所領域毎に計数する局所領域毎画素カウント部19と、局所領域毎画素カウント部18,19によりそれぞれ計数された各カウント値を局所領域毎に比較し、比較結果に応じて該当の局所領域の画像を入力画像から選択するか、或いは前処理部12により処理された画像から選択するかを判定してその判定出力を前記合成部13に出力する局所領域毎比較部20とから構成される。
【0016】
図2は図1の画像処理装置1により処理される処理画像のイメージ図である。図2及び図1のブロック図に基づき画像処理装置1における画像処理について説明する。
例えばカメラ2により撮影され画像入力部11に取り込まれた入力画像は、図2(a)に示すように、撮像物体B及び、撮像物体B以外に撮像物体Bの内部やその周囲の背景部分にノイズbがランダムにのった画像として取り込まれる。図2(a)の例は複数の物体が撮影された例であり、1つの撮像物体Bは画素の集合体であって、図3に示すように、幅Tと長さLを有する。
【0017】
ここで、図1の前処理部12は、画像処理後の物体のつぶれやかすれを防ぐために、例えば入力画像を水平及び垂直の各方向に1画素単位でずらした画素群と、もとの画素とを重ね合わせてこれらの画素間における輝度値の論理積(2値表示の場合は論理積、階調表示(濃淡表示)の場合は最小値)を演算するerosion(収縮処理)を行う。この収縮処理の結果は、図2(b)のような状況となり、撮像物体Bの周囲のノイズbが除去される。この前処理には、前述の第1の従来手法に示したような様々な手法を、単独であるいはいくつか組み合わせて用いてもよい。即ち、前処理として、収縮処理を行わずに、入力画像を水平及び垂直の各方向に1画素単位でずらした画素群と、元の入力画像の画素とを重ね合わせてこれらの画素間における輝度値の論理和(2値表示の場合は論理和、階調表示(濃淡表示)の場合は最大値)を演算する前記膨張処理を行ってもよく、また前述の平滑化(smoothing)処理を行うようにしてもよい。
【0018】
図1の局所領域毎判定部15は、前述したように局所領域毎に前処理後画像と入力画像のどちらを選択して合成画像を作成するかを判定する。ここでの局所領域とは、画像を様々な手法で複数に分割した領域であり、図4に例を示す。図4(a)や図4(b)のように、画像を垂直方向あるいは水平方向に幾つか分割してもよく、図4(c)や図4(d)のように、画像を複数のブロックに分割しても良い。以降は簡単な例として、図4(c)のような画像を4つのブロック(即ち、局所領域E1〜E4)分割した場合について説明する。
【0019】
ここで、局所領域毎判定部15による判定結果として、図2(c)のように、局所領域E1,E3,E4では入力画像の選択が、また局所領域E2では前処理部12による前処理後の画像の選択がそれぞれ判定されると、合成部13は、局所領域E1,E3,E4については入力画像を選択し、かつ局所領域E2については前処理後の画像を選択してこれらの選択画像を合成し、図2(d)のような合成画像を生成する。合成部13により生成された合成画像は、画像処理部14において前述の第1の従来手法で示した例えば、モルフォロジ(Morphogy)演算に基づくノイズ除去処理である前述のopening処理とclosing処理とを続けて行うことにより、画像のノイズbを除去して図2(e)のような処理後画像Aを出力する。
【0020】
すなわち、第1の実施の形態では入力画像を水平及び垂直の各方向に1画素単位でずらした画素群と、元の入力画像の画素とを重ね合わせてこれらの画素間における輝度値の最小値を演算する収縮処理と、重ね合わされたこれらの画素間における輝度値の最大値を演算する膨張処理とを行うものであり、こうした場合に、画像処理部14は、収縮処理を行ってから膨張処理を行うopening処理(第1の画像処理)と、膨張処理を行ってから収縮処理を行うclosing処理(第2の画像処理)とを続けて行うことにより、ノイズbが除去された処理後画像Aを出力する。
【0021】
図5は、局所領域毎判定部15における判定処理を説明する図である。図5の説明図にしたがって本画像処理装置における画像処理の要部動作を詳細に説明する。まず、図1の判定用画像処理部16が図5(a)に示す入力画像に対して、例えば前述のモルフォロジ演算に基づくノイズ除去処理である前記opening処理と、closing処理を行う。この判定用画像処理には、第1の従来手法で示したような様々な手法を単独で、あるいはいくつか組み合わせて用いてもよい。
【0022】
判定用画像処理部16の処理後の画像は、図5(b)のようにノイズbは除去されるが、例えば局所領域E2に存在する2つの撮像物体Bのように、互いに近接する2つの撮像物体Bが癒着して1つの撮像物体となる。
次に、局所領域毎画素カウント部18は判定用画像処理部16の処理後の画像について、輝度値が所定の範囲内に存在する画素の数を局所領域毎に計数する。ここでは、撮像物体Bを構成している画素の輝度値を所定の範囲内とし、輝度値が所定の範囲内にある画素の数が計数され、その計数結果は図5(d)のように、局所領域E1,E2ではともに2LTとなり、局所領域E3,E4ではともにLTとなる。ここで、Tは1つの撮像物体Bの幅方向の画素数を表し、Lはその撮像物体Bの長さ方向の画素数を表している。
【0023】
一方、図1の細線化部17は図5(b)に示す判定用画像処理部16の処理後の画像について、例えばモルフォロジ(Morphlogy)を用いた手法(Petros A.Maragos and Ronald W.Schafer,“Morphological Skeleton Representation and Coding of Binary Image",IEEE Transactions on Acoustics,Speech,and Signal Processing,vol.ASSP-34,no.5,October 1986,pp1228-1244)で画像を細線化する。この細線化処理は、前述したように、撮像物体Bの中心線を求める処理であり、図5(b)の判定用画像処理部16の処理後の画像では、局所領域E1には2つの撮像物体Bが、他の局所領域E2〜E4には1つの撮像物体がそれぞれ存在するため、細線化処理後の画像は、図5(c)のように、局所領域E1では2つの線分が、他の局所領域E2〜E4では1つの線分が細線画像として得られる。
【0024】
局所領域毎画素カウント部19は、こうした細線化処理後の画像について輝度値が所定の範囲内に存在する画素の数を局所領域毎に計数する。ここでは、画像中の線分を構成している画素の輝度値を所定の範囲内とし、輝度値が所定の範囲内にある画素の数が計数され、その計数結果は図5(e)に示すように、局所領域E1では2Lとなり、局所領域E2,E3,E4ではともにLとなる。なお、Lはその線分の長さ方向の画素数を表している。
【0025】
局所領域毎比較部20は、局所領域毎画素カウント部18で計数された画素数(細線化処理前の画素数)と、局所領域毎画素カウント部19で計数された画素数(細線化処理後の画素数)とを各局所領域毎に比較するとともに、細線化処理前と細線処理後でそれぞれ計数した画素数の比が或る値より大きいか否かを局所領域毎に判定し判定結果を出力する。
【0026】
すなわち、或る局所領域において細線化前に数えた画素数をN1とし、細線化後に数えた画素数をN2とした場合のN1/N2を局所領域毎に算出する。ここで、各局所領域E1〜E4におけるN1とN2は、それぞれ前述した図5(d)と図5(e)に示すとおりであり、したがって、各局所領域E1〜E4におけるN1/N2を求めると、図5(f)のように、局所領域E2では2Tとなり、他の局所領域E1,E3,E4ではTとなる。
【0027】
この場合、局所領域毎比較部20は、例えば図3に示した撮像物体Bの幅Tを閾値とした式(3)及び式(4)についてそれぞれ演算を行う。即ち、
N1/N2>T (3)
N1/N2≦T (4)
そして、式(3)が成り立つ局所領域については、前処理後の画像から合成画像を作成すると判定するとともに、式(4)が成り立つ局所領域については、入力画像から合成画像を作成すると判定し、図5(g)に示すその判定結果を合成部13に出力する。
【0028】
なお、式(3)と式(4)の右辺の値、つまり閾値Tは目的に応じて、Tの倍数など様々な値にしてもよく、また、式(3)が成り立つ局所領域は入力画像から合成画像を作成すると判定し、式(4)が成り立つ局所領域は、前処理部12により処理された前処理後画像から合成画像を作成すると判定してもよい。
【0029】
合成部13は、局所領域毎比較部20の図5(g)に示す判定結果に基づき、前処理後の画像と入力画像から合成画像を作成する。即ち、合成部13は図2(d)に示すように、局所領域E2では前処理部12により前処理された画像を取り込み、他の局所領域E1,E3,E4では入力画像を取り込んでこれらの取り込み画像を合成する。
【0030】
画像処理部14は合成部13の合成画像に対して、例えば前述した判定用画像処理部16と同一の画像処理、もしくは第1の従来手法で示したような様々な手法を、単独であるいはいくつか組み合わせた処理を行い、図2(e)に示すような処理結果の画像を処理後画像Aとして出力する。
【0031】
ところで、全画面均一な処理を行う前述の第1の従来手法では画像処理を行うことによって、図5(b)の局所領域E2のように、近接している2つの撮像物体Bが癒着するなど、撮像物体の構造が破壊されることがあるが、こうした撮像物体の構造の破壊がおこる局所領域のみに、それを避ける前処理(例えばerosion処理:収縮処理)を行うことによって、前述の第2の従来手法のように比較的大きな領域における画素情報を用いたフィルタ処理を行わなくても、ノイズが高精度に除去された画像を得ることができる。
なお、第1の実施の形態ではカメラ2により撮影された画像を処理する例について説明したが、センサ3により検出された例えば指紋画像を処理する場合も同様にノイズが高精度に除去された画像を得ることができる。
【0032】
以上説明したように、必要とする局所領域のみに前処理を行うことによって、第2の従来手法のように比較的大きな領域における画素情報を用いたフィルタ処理を行わなくても、まだらにノイズが存在する入力画像から撮像物体Bの構造が破壊されることなく、第1の従来手法と比較してノイズが高精度に除去された画像を得ることができる。
【0033】
(第2の実施の形態)
図6は、第2の実施の形態を示すブロック図であり、処理部10の構成を示すものである。処理部10は、図6に示すように、カメラ2により撮影された物体の画像、またはセンサ3により検出された物体の画像を取り込む画像入力部21と、画像入力部21により取り込まれた画像を入力して前処理を行う前処理部22と、画像入力部21が入力した入力画像と前処理部22により処理された画像を選択的に入力して合成し合成画像として出力する合成部23と、合成部23の合成画像を処理して処理後画像Aとして出力する画像処理部24と、画像入力部21からの入力画像を処理して処理結果に基づき、合成部23が選択する画像を判定する画素毎判定部25とから構成される。
【0034】
ここで、画素毎判定部25は、画像入力部21からの入力画像を取り込んでこの入力画像を判定用画像として処理する判定用画像処理部26と、判定用画像処理部26の処理画像の骨格を求める細線化処理を行う制限付き細線化部27と、制限付き細線化部27により処理された画像の膨張処理を行ってこの膨張処理の結果に基づく判定出力を合成部23に送出し、合成部23に、入力画像を選択させるか、或いは前処理部22により処理された画像を選択させるかの制御を行う膨張処理部28とから構成される。
【0035】
図7は図6の画像処理装置1により処理される処理画像のイメージ図である。図7及び図6のブロック図に基づき画像処理装置1における画像処理について説明する。
例えばカメラ2により撮影され画像入力部21に取り込まれた入力画像は、図7(a)に示すように、撮像物体B及び、撮像物体B以外に撮像物体Bの内部や周囲の背景部分にノイズbがランダムにのった画像として取り込まれる。図7(a)の例は複数の物体が撮影された例であり、1つの撮像物体Bは画素の集合体であって、図3に示すように、幅Tと長さLを有する。
【0036】
ここで、図6の前処理部22は、画像処理後の物体のつぶれやかすれを防ぐために、例えば入力画像を水平及び垂直の各方向に1画素単位でずらした画素群と、もとの画素とを重ね合わせてこれらの画素間における輝度値の論理積(2値表示の場合は論理積、階調表示(濃淡表示)の場合は最小値)を演算するerosion(収縮処理)を行う。この収縮処理の結果は、図7(b)のような状況となり、撮像物体Bの周囲のノイズbが除去される。この前処理には、前述の第1の従来手法に示したような様々な手法を、単独であるいはいくつか組み合わせて用いてもよい。即ち、前処理として、収縮処理を行わずに、入力画像を水平及び垂直の各方向に1画素単位でずらした画素群と、元の入力画像の画素とを重ね合わせてこれらの画素間における輝度値の論理和(2値表示の場合は論理和、階調表示(濃淡表示)の場合は最大値)を演算する前記膨張処理を行ってもよく、また前述の平滑化(smoothing)処理を行うようにしてもよい。
【0037】
図6の画素毎判定部25は、前処理部22により処理された前処理後画像と、入力画像のどちらを選択して合成画像を作成するかを画素毎に判定する。この場合、まず判定用画像処理部16が入力画像に対して、前述の第1の従来手法で示した例えば、モルフォロジ(Morphogy)演算によるノイズ除去処理である前述のopening処理とclosing処理とを続けて行うことにより、画像のノイズを除去して図7(c)のような画像を生成する。
【0038】
すなわち、第2の実施の形態では、入力画像を水平及び垂直の各方向に1画素単位でずらした画素群と、元の入力画像の画素とを重ね合わせてこれらの画素間における輝度値の最小値を演算する前記収縮処理と、これらの画素間における輝度値の最大値を演算する前記膨張処理とを行う場合に、判定用画像処理部26が、収縮処理を行ってから膨張処理を行うopening処理(第1の画像処理)と、膨張処理を行ってから収縮処理を行うclosing処理(第2の画像処理)とを続けて行うことにより、画像のノイズbが除去された画像が生成される。この判定用画像処理には、第1の従来手法で示したような様々な手法を単独で、あるいはいくつか組み合わせて用いてもよい。
【0039】
図7(c)に示す判定用画像処理部26の処理後の画像は、ノイズbは除去されるが、例えば図7(a)の領域Eに存在する2つの撮像物体Bのように、互いに近接する2つの撮像物体Bが癒着して1つの撮像物体となる。
【0040】
こうした判定用画像処理部26の処理後の画像に対し、次に制限付き細線化部27が、例えばモルフォロジ(Morphlogy)を用いた手法(Petros A.Maragos and Ronald W.Schafer,“Morphological Skeleton Representation and Coding of Binary Image",IEEE Transactions on Acoustics,Speech,and Signal Processing,vol.ASSP-34,no.5,October 1986,pp1228-1244)により、幅が或る値以下の撮像物体の骨格のみを抽出する細線化処理を行う。
【0041】
即ち、制限付き細線化部27は、判定用画像処理部26の処理後の撮像物体の幅をwとし、図3で示した撮像物体の幅Tを閾値として、式(5)及び式(6)の演算を行う。即ち、
w≦T (5)
w>T (6)
ここで、式(5)が成り立つ場合は骨格が抽出され、式(6)が成り立つ場合は骨格が抽出されない。その結果、図7(d)に示すように、図7(a)における癒着した領域Eの2つの物体Bを除く、4つの物体にそれぞれ対応した4つの線分が撮像物体の骨格として抽出される。なお、式(5)と式(6)の右辺の値、つまり閾値Tは目的に応じて、Tの倍数など様々な値にしてもよい。
【0042】
こうして、制限付き細線化部27により細線化処理された画像に対して、膨張処理部28は、例えばモルフォロジ(Morphology)の前述の膨張処理(dilation処理)を用いて線分の膨張を行い、図7(e)に示すような膨張画像を生成し、合成部23に判定結果として出力する。
【0043】
この場合、合成部23は、輝度値が第1の範囲内の画素については、即ち図7(e)の白い領域においては前処理部22により処理された前処理後画像の画素値を、また輝度値が第2の範囲内の画素については、即ち図7(e)の黒い領域においては入力画像の画素値をそれぞれ選択する。ここで、図7(e)に示す例は、輝度値の第2の範囲を図7(d)における細線の膨張画像を構成する画素の輝度値とし、輝度値の第1の範囲を膨張画像以外の背景部分の画素の輝度値とした例であるが、輝度値の第1の範囲を図7(d)における細線の膨張画像を構成する画素の輝度値とし、輝度値の第2の範囲を膨張画像以外の背景部分の画素の輝度値としてもよい。
【0044】
合成部23は、前記判定結果に基づき選択した前処理後画像と入力画像とを合成して、図7(f)に示す合成画像を作成する。画像処理部24は、合成画像に対して、例えば図6の判定用画像処理部26と同一の画像処理(即ち、opening処理とclosing処理とを続けて行う処理)、もしくは第1の従来手法で示したような様々な手法を、単独であるいはいくつか組み合わせた処理を行い、図7(g)に示す処理結果の画像を出力する。
【0045】
ところで、全画面均一な処理を行う前述の第1の従来手法では画像処理を行うことによって、図7(c)の領域Eのように、近接している2つの撮像物体Bが癒着するなど、撮像物体の構造が破壊されることがあるが、こうした撮像物体の構造の破壊がおこる局所領域のみに、それを避ける前処理(例えばerosion処理:収縮処理)を行うことによって、前述の第2の従来手法のように比較的大きな領域における画素情報を用いたフィルタ処理を行わなくても、ノイズが高精度に除去された画像を得ることができる。
なお、第2の実施の形態では、カメラ2により撮影された入力画像を処理する例について説明したが、センサ3により検出された例えば指紋画像を処理する場合も同様に、ノイズが高精度に除去された画像を得ることができる。
【0046】
以上説明したように、第2の実施の形態では、必要とする局所領域のみに前処理を行うことによって、第2の従来手法のように比較的大きな領域における画素情報を用いたフィルタ処理を行わなくても、まだらにノイズが存在する入力画像から撮像物体Bの構造が破壊されることなく、第1の従来手法と比較してノイズが高精度に除去された画像を得ることができる。
【0047】
(第3の実施の形態)
図8は、画像処理装置1の第3の実施の形態を示すブロック図である。第3の実施の形態では、判定画像作成手段50と、判定画像作成手段50の判定画像を用いて入力画像(画像入力部11,21により入力された画像)と、判定画像作成手段50により作成された判定画像(判定画像作成手段50の出力画像)とを合成する合成手段60とから構成される。
第3の実施の形態は、第1及び第2の実施の形態の構成と異なって前処理手段(前処理部12,22)が無く、合成手段60の入力は入力画像と判定画像(判定画像作成手段50の出力画像)である。
【0048】
図9は図8の画像処理装置1により処理された処理画像のイメージ図である。ここで、図9(a)は入力画像である。図9(a)の入力画像には、物体Bの内部にノイズbが存在し、かつ細い部分Dの物体が含まれている。判定画像作成手段50としては、図6の第2の実施の形態と同様の判定画像作成手段(画素毎判定部25)を用いることが可能であり、これによって作成された判定画像が図9(b)の画像となる。
【0049】
合成手段60は、図9(b)において、輝度値が第1の範囲内の画素については(即ち図9(b)の白い領域においては)入力画像の画素値を、輝度値が第2の範囲内の画素については(即ち図9(b)の黒い領域においては)判定画像の画素値をそれぞれ選択し、合成画像を作成する。合成画像は図9(c)のようになる。第3の実施の形態を用いると、画像合成後には図9(c)に示したように、物体の内部のノイズbが無くなり、かつ物体の細い部分Dも消えず、したがって、精度良くノイズbが除かれ、認識や認証の精度が向上するという利点がある。
【0050】
また、第1の実施の形態と同様に、入力画像に収縮処理などの前処理をしてから、合成手段60に入力することも可能であり、その場合、背景ノイズも同時に除去できる。
【0051】
(第4の実施の形態)
図10は、画像処理装置1の第4の実施の形態を示すブロック図である。第4の実施の形態では、判定画像作成手段50と、前処理手段70と、判定画像作成手段50の判定画像を用いて入力画像と判定画像作成手段50の出力画像と前処理手段70の出力画像とを合成する合成手段60とから構成される。
【0052】
第4の実施の形態では、第1〜第3の実施の形態と異なり、合成手段60に、判定画像と入力画像と前処理後の画像とが全て入力される。ここで、合成手段60では、例えば判定画像を用いて入力画像と判定画像作成手段50の出力画像とから合成画像を作成し、さらに判定画像を用いて、作成した合成画像と前処理後の画像とから合成画像を作成する手段を用いる。なお、合成手段60は、判定画像作成手段50の判定画像を用いて判定画像作成手段50の出力画像と前処理手段70の出力画像とを合成するようにしても良い。
【0053】
図11は、図10の画像処理装置1により処理された処理画像のイメージ図である。図11(a)は入力画像である。図11(a)の入力画像には物体の内部及び背景部分に、ノイズbが存在する。判定画像作成手段50としては、図6の第2の実施の形態と同様の判定画像作成手段(画素毎判定部25)を用いることが可能であり、これによって作成された判定画像は、図11(b)のようになる。
【0054】
前処理手段70としては、図1の第1の実施の形態1と同様の前処理手段(前処理部12)を用いることが可能であり、これによって作成された前処理後画像は図11(c)のようになる。
【0055】
合成手段60は、図11(b)において、輝度値が第1の範囲内の画素については(即ち図11(b)の白い領域においては)入力画像の画素値を、輝度値が第2の範囲内の画素については(即ち図11(b)の黒い領域においては)判定画像の画素値をそれぞれ選択し、合成画像#1を作成する。作成した合成画像#1は図11(d)のようになる。合成手段60は、図11(b)と図11(c)の論理和を取るようにしてもよい。
【0056】
合成手段60は、再び図11(b)の判定画像を用いて、図11(c)の前処理後画像と図11(d)の合成画像#1を合成する。
この場合、合成手段60は同様に、図11(b)において、輝度値が第1の範囲内の画素については(即ち図11(b)の白い領域においては)前処理後画像の画素値を、輝度値が第2の範囲内の画素については(即ち図11(b)の黒い領域においては)合成画像#1の画素値をそれぞれ選択し、合成画像#2を作成する。作成した合成画像#2は図11(e)のような画像となる。
【0057】
第4の実施の形態を用いると、画像合成後には図11(e)に示したように、物体の内部と背景に存在するノイズが共に精度良く除かれ、かつ図11(a)の領域aのように、癒着しそうな物体を分離し、認識や認証の精度が向上するという利点がある。
【0058】
(第5の実施の形態)
図12は、画像処理装置1の第5の実施の形態を示すブロック図である。第5の実施の形態では、判定画像作成手段50と、第1の前処理手段71と、第2の前処理手段72と、判定画像作成手段50の判定画像を用いて第1の前処理手段71の出力画像と第2の前処理手段72の出力画像を合成する合成手段60とから構成される。
【0059】
第5の実施の形態は、第1〜第4の実施の形態と異なり、複数の前処理手段による出力画像を合成手段60に入力する。
図13は、図12の画像処理装置1により処理された処理画像のイメージ図である。ここで、図13(a)は入力画像である。図13(a)には物体の内部及び背景部分に、ノイズbが存在する。この入力画像から、判定画像作成手段50により判定画像を作成する。判定画像作成手段50としては、図6の第2の実施の形態と同様の判定画像作成手段(画素毎判定部25)を用いることが可能であり、これによって作成された判定画像は図13(b)のような画像となる。
【0060】
前処理手段71,72としては、第1の実施の形態の前処理部12と同様の処理、あるいは第1の従来手法で示したような、様々な画像処理を用いることが可能である。本例では、第1の前処理手段71の前処理にモルフォロジの収縮処理を用いるとともに、第2の前処理手段72の前処理にモルフォロジの膨張処理を用い、それぞれ前処理後画像#1,#2を作成する。作成された前処理後画像#1,#2は、それぞれ図13(c)と図13(d)のようになる。
【0061】
合成手段60は、図13(b)において、輝度値が第1の範囲内の画素については(即ち図13(b)の白い領域においては)図13(c)の前処理後画像#1の画素値を、輝度値が第2の範囲内の画素については(即ち図13(b)の黒い領域においては)図13(d)の前処理後画像#2の画素値をそれぞれ選択し、合成画像を作成する。作成した合成画像は図13(e)のような画像となる。
【0062】
第5の実施の形態を用いると、画像合成後には図13(e)に示したように、物体の内部と背景に存在するノイズbがともに精度良く除かれ、かつ図13(a)の領域aのように、癒着しそうな物体を分離し、認識や認証の精度が向上するという利点がある。また、様々な前処理を組み合わせることによって、より認識や認証精度が向上する画像の作成が可能である。
【0063】
(第6の実施の形態)
図14は、画像処理装置1の第6の実施の形態を示すブロック図である。第6の実施の形態では、第3〜第5の実施の形態において合成手段60による合成画像の後に画像処理手段80(第1及び第2の実施の形態の画像処理部14,24に相当)による処理を行う。この画像処理手段80の画像処理には、モルフォロジを用いたOpen(opening処理)−Close(closing処理)の他に、第1の従来手法で示したような様々な画像処理を単独で、あるいは幾つか組み合わせて用いることが可能である。画像処理手段80を加えることによって、合成手段60まででは除けない細かいノイズ等を除去することが可能となる。
【0064】
(第7の実施の形態)
図15は、画像処理装置1の第7の実施の形態を示すブロック図である。第7の実施の形態は判定画像作成手段50の例であり、図1の第1の実施の形態の判定画像作成手段(局所領域毎判定部15)において、入力画像を処理して第1の計数手段503(局所領域毎画素カウント部18)側へ出力する第1の画像処理手段(判定用画像処理部16)を省いたものである。なお、図15の画像処理手段500は、モルフォロジを用いたOpen−Close処理により入力画像を処理する手段であり、また、細線化処理手段502,第2の計数手段504は、それぞれ図1の細線化部17,局所領域毎画素カウント部19に相当する。さらに図15の算出手段505,比較手段506は図1の局所領域毎比較部20に相当する。
【0065】
第7の実施の形態では、入力画像に細かいノイズが少ない場合、第1の画像処理手段を省くことが可能であり、処理量を削減できる。ここで、第1の実施の形態では画像を均等分割したブロックを局所領域としたが、第7の実施の形態では、局所領域は、図16(a)〜図16(c)に示すように、不均等に分割した領域でも可能である。また、比較手段506における閾値は、局所領域毎に異なる値を用いることが可能であり、入力画像の濃淡むらによる影響を減少させることができる。同様に、局所領域毎に異なる画像処理を行い、入力画像の濃淡むらの影響を減少させることも可能である。
【0066】
(第8の実施の形態)
図17は、画像処理装置1の第8の実施の形態を示すブロック図である。第8の実施の形態は判定画像作成手段の例であり、図1の第1の実施の形態の判定画像作成手段(局所領域毎判定部15)において、モルフォロジを用いたOpen−Close処理により入力画像を処理する第1の画像処理手段511(判定用画像処理部16)の後に第1の細線化処理手段513を加えたものである。なお、図17の第2の細線化処理手段514は図1の細線化部17に相当する。また、第2の細線化処理手段514により処理される画像は、入力画像を収縮処理する第2の画像処理手段512により処理された画像である。
【0067】
図18は、図17の画像処理装置1により処理された処理画像のイメージ図である。
ここで、図18(a)は入力画像であり、物体の内部及び背景部分に、ノイズbが存在する。画像処理手段としては、第1の実施の形態と同様の処理、あるいは第1の従来手法で示したような、様々な画像処理を用いることが可能である。本例では、第1の画像処理手段511の画像処理としてモルフォロジのOpen−Close処理を用い、第2の画像処理手段512の画像処理としてモルフォロジの収縮処理を用いてそれぞれ処理を行う。この処理を行った結果が、それぞれ図18(b)と図18(c)に示される画像である。
【0068】
作成された図18(b)と図18(c)の画像に対して、細線化処理手段513,514として、図1の第1の実施の形態と同様の細線化処理手段(細線化部17)を用いることが可能である。細線化処理手段513,514によって作成された細線画像#1,#2が、それぞれ図18(d)と図18(e)で示された画像となる。
【0069】
次に、作成した細線画像#1,#2の画素数を計数手段503,504により局所領域毎にカウントする。計数手段503,504としては、図1の第1の実施の形態と同様の計数手段(局所領域毎画素カウント部18,19)を用いることが可能である。計数手段503,504によって図18(d)と図18(e)の細線画像をそれぞれカウントした結果が、図18(f)と図18(g)となる。
【0070】
算出手段505は、局所領域毎に、第1の計数手段503による計数結果を第2の計数手段504による計数結果で割って比率を求める、図1の第1の実施の形態と同様の算出手段(局所領域毎比較部20)を用いることが可能であり、これを用いた結果が、図18(h)となる。
【0071】
次に、比較手段506は、算出手段505の算出結果を閾値と比較する。比較手段506としては、図1の第1の実施の形態と同様の比較手段(局所領域毎比較部20)を用いることが可能である。そして、その際の閾値を「1」とした結果が、図18(i)となる。ここで閾値としては、「1」の他、様々な値にすることも可能である。第8の実施の形態は、第2の実施の形態と異なり、比較手段506による閾値に画像中の物体幅等の定数を必要とせず、幅の異なる物体も同時に処理することが可能となる、
【0072】
(第9の実施の形態)
図19は、画像処理装置1の第9の実施の形態を示すブロック図である。第9の実施の形態は判定画像作成手段の例であり、第8の実施の形態の第1の画像処理手段511を省略し、モルフォロジの収縮処理を用いて画像処理を行う第2の画像処理手段512を画像処理手段501としたものである。入力画像に細かいノイズが少なく、したがって第1の画像処理手段511(モルフォロジを用いたOpen−Close処理により入力画像を処理する手段)を必要としない場合に適用可能であり、処理量が削減される、
【0073】
(第10の実施の形態)
図20は、画像処理装置1の第10の実施の形態を示すブロック図である。第10の実施の形態は判定画像作成手段の例であり、図1の第1の実施の形態の判定画像作成手段(局所領域毎判定部15)において、第1及び第2の画像処理手段(判定用画像処理部16)と、細線化処理手段(細線化部17)と、第2の計数手段(局所領域毎画素カウント部19)とを省いたものである。ここで、計数手段520としては、図1の第1の実施の形態と同様の計数手段(局所領域毎画素カウント部18)を用いることが可能であり、例えば入力画像において物体を構成している画素の輝度値を所定の範囲内とし、計数手段520は所定の範囲内に輝度値が存在する画素の数を局所領域毎に数えるものとする。
【0074】
また、比較手段506としては、図1の第1の実施の形態と同様の比較手段(局所領域毎比較部20)を用いることが可能であり、第10の実施の形態を、第1の実施の形態の判定画像作成手段(局所領域毎判定部15)として用いた場合、例えば閾値を2TLとし、2TLより画素数が多いときには前処理後の画像を選択し、少ないときには入力画像を選択すると判定する。
【0075】
第10の実施の形態は、入力画像の物体幅が常に同じ場合に適用が可能であり、画像処理が不要であるので、処理量が大幅に削減され処理が高速化できる。また、計数手段520の前に、例えばモルフォロジを用いたOpen−Close処理により入力画像を処理する画像処理手段と細線化処理手段とを加えることで、ノイズを除去し精度を上げることも可能である。
【0076】
(第11の実施の形態)
図21は、画像処理装置1の第11の実施の形態を示すブロック図である。第11の実施の形態は判定画像作成手段の例であり、図6の第2の実施の形態の判定画像作成手段(画素毎判定部25)において、膨張処理手段(膨張処理部28)を省いたものである。ここで、図21の画像処理手段500,細線化処理手段502は、それぞれ図6の判定用画像処理部26,制限付き細線化部27に相当する。第11の実施の形態は、入力画像の物体幅が細い場合に適用可能であり、処理量を削減できる。
【0077】
(第12の実施の形態)
図22は、画像処理装置1の第12の実施の形態を示すブロック図である。第12の実施の形態は判定画像作成手段の例であり、図6の第2の実施の形態の判定画像作成手段(画素毎判定部25)において、第1の膨張処理手段531(膨張処理部28)の後に第2の膨張処理手段532を加えたもので、第1の膨張処理手段531による判定画像と第2の膨張処理手段532による判定画像の2種類の判定画像が作成可能なものである。
【0078】
図23は、図22の画像処理装置1により処理される処理画像のイメージ図である。ここで、図23(a)は入力画像であり、物体の内部及び背景部分に、ノイズbが存在する。画像処理手段500としては、図6の第2の実施の形態と同様の画像処理手段(判定用画像処理部26)を用いることが可能であり、これによって処理された処理後の画像は図23(b)に示す画像となる。
【0079】
細線化処理手段502と第1の膨張処理手段531もそれぞれ、図6の第2の実施の形態と同様の細線化処理手段(制限付き細線化部27)及び膨張処理手段(膨張処理部28)を用いることが可能であり、これによって作成された画像は、それぞれ図23(c)と図23(d)に示される画像となる。
【0080】
第2の膨張処理手段532も、第1の膨張処理手段531と同様の膨張処理手段を用いることが可能であり、これによって作成された画像は、図23(e)に示される画像#2となる、第12の実施の形態では、多値の判定画像(複数の判定画像)を作成することにより、より精度の高い合成画像の作成が可能とする。また、細線化処理手段502による細線化処理後の画像も判定画像の一つとして用いることが可能である。
【0081】
(第13の実施の形態)
図24は、画像処理装置1の第13の実施の形態を示すブロック図である。第13の実施の形態は判定画像作成手段の例であり、図22に示す第12の実施の形態の第1の膨張処理手段531と第2の膨張処理手段532の各膨張処理を並列に行うものである。これにより、処理の高速化が可能となる。また、第13の実施の形態では、図22の第12の実施の形態と同様、第1の膨張処理手段531による判定画像と第2の膨張処理手段532による判定画像の2種類の判定画像が作成可能であるとともに、細線化処理手段502による細線化処理後の画像を判定画像の一つとして用いることもできる。
【0082】
(第14の実施の形態)
図25は、画像処理装置1の第14の実施の形態を示すブロック図である。第14の実施の形態は判定画像作成手段の例であり、図2の第2の実施の形態の判定画像作成手段(画素毎判定部25)を並列に組み合わせた場合の処理部10のブロック図である。ただし、判定画像作成手段50(#2)における画像処理手段としては、モルフォロジの収縮処理を行う第2の画像処理手段512が用いられる。抽出手段90はこれら判定画像作成手段50(#1),50(#2)により作成された画像を用いて判定画像を作成する。
【0083】
図26は、図25の画像処理装置1により処理される処理画像のイメージ図である。ここで、図26(a)は入力画像であり、物体の内部及び背景部分に、ノイズbが存在する。第1及び第2の画像処理手段としては、図6の第2の実施の形態の判定画像用画像処理部26と同様の画像処理手段、あるいは第1の従来手法で示したような、様々な画像処理を用いるか、或いはそれらのいくつかを組み合わせて用いることが可能である。第1の画像処理手段511の画像処理として第2の実施の形態の判定画像の作成と同様の画像処理を行い、第2の画像処理手段512の画像処理としてモルフォロジの収縮処理を行った結果が、それぞれ図26(b)と図26(c)に示される画像である。
【0084】
作成された図26(b)と図26(c)の各画像に対して、それぞれ第1及び第2の細線化処理手段により細線化処理を行う。ここで、第1の細線化処理手段513及び第2の細線化処理手段514として、図6の第2の実施の形態と同様の細線化処理手段(制限付き細線化部27)を用いることが可能であり、これによって作成された細線画像が、それぞれ図26(d)と図26(e)に示される画像となる。
【0085】
図26(d)と図26(e)の各細線画像に対して、それぞれ第1及び第2の膨張処理手段により膨張処理を行う。ここで、第1の膨張処理手段531及び第2の膨張処理手段532として、図6の第2の実施の形態と同様の膨張処理手段(膨張処理部28)を用いることが可能であり、これによって作成された画像は、それぞれ図26(f)と図26(g)に示される画像となる。
【0086】
抽出手段90は、図26(f)と図26(g)に示された画像の論理積を取ることで、図26(f)に示す判定画像を作成する。
このように、様々な判定画像を組み合わせることによって、より認識や認証精度が向上される画像を作成することが可能である。
【0087】
(第15の実施の形態)
図27は、画像処理装置1の第15の実施の形態を示すブロック図である。第15の実施の形態は、第1〜第14の実施の形態の細線化処理手段を制限付き細線化処理手段550に置き換えたものである。ここで、制限付き細線化とは、物体の幅の大きさによって、その細線を抽出するか否か決定できるものである。制限付き細線化処理手段550の詳細な構成を図27に示す。
【0088】
図28は、図27の制限付き細線化処理手段550による処理画像のイメージ図である。制限付き細線化処理手段550は、繰り返し回数記憶手段560に記憶された繰り返し回数nによって、細線を抽出する物体幅の上限を決めている。
【0089】
ここで、図28(a)は入力画像であり、幅が5画素、長さが9画素の物体画像の例である。また、図28(b),図28(f),図28(j)に示される画像は、その入力画像を収縮処理する図27の収縮処理手段552による、それぞれ繰り返し回数が0,1,2における処理結果の画像である。また、図28(c),図28(g),図28(k)に示される画像は、収縮処理手段552の出力画像を膨張処理する図27の膨張処理手段553による、それぞれ繰り返し回数が0,1,2における処理結果の画像である。また、図28(d),図28(h),図28(l)に示される画像は、入力画像または収縮処理手段552の処理画像から膨張処理手段553の処理画像の差分を抽出する図27の差分抽出手段554による、それぞれ繰り返し回数が0,1,2における処理結果の画像である。さらに、図28(e),図28(i),図28(m)に示される画像は、差分抽出手段554の前回と今回の処理画像を合成する図27の和生成手段555による、それぞれ繰り返し回数が0,1,2における処理結果の画像である。
【0090】
図28に示すように、例えば繰り返し回数nが「1」の時は幅が5画素の物体から細線が抽出されないが(図28(i))、繰り返し回数nが「2」の時は幅が5画素の物体から細線が抽出される(図28(m))。
【0091】
ここで、細線が抽出される物体幅の上限は、繰り返し回数nの値を設定することで任意に決めることができる。第15の実施の形態では、隣接した物体と癒着して、幅が著しく太くなっている物体からは細線を抽出しないことで、癒着しやすい領域を判定でき、また物体の中心の正しい位置にのみ細線を抽出できる。
【0092】
(第16の実施の形態)
図29は、第16の実施の形態を示すブロック図である。第16の実施の形態は、入力画像に対して、第1〜第15の実施の形態で示した処理を一つ、あるいは複数組み合わせて行い、指紋や虹彩などのバイオメトリクス認証に用いる登録画像及び照合画像を作成する。すなわち、カメラ2やセンサ3から入力した画像を、処理部10により、第1〜第15の実施の形態で示した処理を一つあるいは複数組み合わせて行い、作成した画像を登録画像としてメモリ30に保存する。
【0093】
そして、照合時には、処理部10により、第1〜第15の実施の形態で示した処理を一つあるいは複数組み合わせて行い照合画像を作成し、照合部110は照合画像とメモリ30に保存されている登録画像を照合し、照合結果を出力する。第16の実施の形態は、第2の従来手法が有するような、比較的大きな領域の画素情報を用いたフィルタ処理が不要であるので、小型で安価なバイオメトリクス認証装置100単体での登録画像及び照合画像の作成を可能とする。また、データがバイオメトリクス装置100から外部に転送されないため、データの改ざんやなりすましを防ぐことができる。
【0094】
【発明の効果】
以上説明したように本発明によれば、指紋などの物体像を含む画像を入力すると、この入力画像に対し、収縮処理を前処理として行うとともに、入力画像を入力すると所定数の領域に分割し、かつ分割領域毎にこの入力画像を処理して、処理結果に基づいて前処理手段による前処理後の画像と入力画像の何れか一方を選択するための判定を分割領域毎に行う一方、この判定結果に応じて選択された前処理手段による前処理後の画像と入力画像とを合成し合成画像として出力するようにしたので、第1の従来手法が有するような、撮像物体の構造がところどころ破壊されてしまうという問題を解消することができ、同時に第2の従来手法が有するような、比較的大きな領域の画素情報を用いたフィルタ処理が不要になるとともに、ノイズが高精度に除去された正確な画像を認証用画像として提供でき、これにより認証精度が向上する。
【0095】
また、入力画像に対し、収縮処理を前処理として行うとともに、入力画像に対し収縮処理を行った後に膨張処理を行う第1の画像処理と、膨張処理を行った後に収縮処理を行う第2の画像処理とを行い、処理された画像の中から物体像の骨格を抽出して膨張処理を行う一方、膨張処理の結果に基づいて、前処理後の画像と入力画像とを合成して合成画像とし、さらにこの合成画像に対し第1及び第2の画像処理を順次行うようにしたので、同様に第1の従来手法が有するような、撮像物体の構造がところどころ破壊されてしまうという問題を解消することができ、同時に第2の従来手法が有するような、比較的大きな領域の画素情報を用いたフィルタ処理が不要となるとともに、ノイズが高精度に除去された正確な画像を認証用画像として提供でき、これにより認証制度が向上する。
【図面の簡単な説明】
【図1】 本発明に係る画像処理装置の第1の実施の形態を示すブロック図である。
【図2】 上記画像処理装置における画像処理を説明する説明図である。
【図3】 上記画像処理装置の処理対象となる撮像物体の幅と長さを説明する図である。
【図4】 上記画像処理装置の処理対象となる画像領域の分割状況を説明する図である。
【図5】 上記画像処理装置における画像処理の要部を説明する説明図である。
【図6】 画像処理装置の第2の実施の形態を示すブロック図である。
【図7】 上記画像処理装置における画像処理を説明する説明図である。
【図8】 画像処理装置の第3の実施の形態を示すブロック図である。
【図9】 図8の画像処理装置における画像処理を説明する説明図である。
【図10】 画像処理装置の第4の実施の形態を示すブロック図である。
【図11】 図10の画像処理装置における画像処理を説明する説明図である。
【図12】 画像処理装置の第5の実施の形態を示すブロック図である。
【図13】 図12の画像処理装置における画像処理を説明する説明図である。
【図14】 画像処理装置の第6の実施の形態を示すブロック図である。
【図15】 画像処理装置の第7の実施の形態を示すブロック図である。
【図16】 図15の画像処理装置における画像処理を説明する説明図である。
【図17】 画像処理装置の第8の実施の形態を示すブロック図である。
【図18】 図17の画像処理装置における画像処理を説明する説明図である。
【図19】 画像処理装置の第9の実施の形態を示すブロック図である。
【図20】 画像処理装置の第10の実施の形態を示すブロック図である。
【図21】 画像処理装置の第11の実施の形態を示すブロック図である。
【図22】 画像処理装置の第12の実施の形態を示すブロック図である。
【図23】 図22の画像処理装置における画像処理を説明する説明図である。
【図24】 画像処理装置の第13の実施の形態を示すブロック図である。
【図25】 画像処理装置の第14の実施の形態を示すブロック図である。
【図26】 図25の画像処理装置における画像処理を説明する説明図である。
【図27】 画像処理装置の第15の実施の形態を示すブロック図である。
【図28】 図27の画像処理装置における画像処理を説明する説明図である。
【図29】 画像処理装置の第16の実施の形態を示すブロック図である。
【符号の説明】
1…画像処理装置、2…カメラ、3…センサ、10…処理部、11,21…画像入力部、12,22…前処理部、13,23…合成部、14,24…画像処理部、15…局所領域毎判定部、16,26…判定用画像処理部、17…細線化部、18,19…局所領域毎画素カウント部、20…局所領域毎比較部、25…画素毎判定部、27…制限付き細線化部、28…膨張処理部、30…メモリ、50…判定画像作成手段、60…合成手段、70…前処理手段、71…第1の前処理手段、72…第2の前処理手段、80,500,501…画像処理手段、90…抽出手段、100…バイオメトリクス認証装置、110…照合部、502…細線化処理手段、503…第1の計数手段、504…第2の計数手段、505…算出手段、506…比較手段、511…第1の画像処理手段、512…第2の画像処理手段、513…第1の細線化処理手段、514…第2の細線化処理手段、520…計数手段、531…第1の膨張処理手段、532…第2の膨張処理手段、550…制限付き細線化処理手段、551…選択手段、552…収縮処理手段、553…膨張処理手段、554…差分抽出手段、555…和生成手段、556…記憶手段、560…繰り返し回数記憶手段。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus capable of reproducing the original structure of an imaged object included in the input image from noise-existing input images, and in particular, each image pickup when a plurality of imaged objects exist in one image. The present invention relates to an image processing apparatus and method for performing image processing necessary for preprocessing such as object recognition and personal authentication using fingerprints and irises.
[0002]
[Prior art]
In general, when removing noise from an image, attention is paid to the fact that a pixel that is noise is isolated and has a luminance value different from that of the surrounding pixels, and the difference in luminance value from the surrounding pixels is used. A smoothing filter method is a representative example of such removal of isolated points in a background image and noise removal for filling holes (isolated points) in a figure (object image). In this method, the average luminance value of 3 × 3 pixels around the pixel of interest is used as the luminance value of the pixel of interest. However, this method has a drawback that the edge is also blurred. In order to remove noise without blurring the edges, a median filter (TSHuang, GJYang, and GYTang, “Afast two-dimensional median” has the luminance value of the pixel of interest among the luminance values of 3 × 3 pixels around the pixel of interest. filtering algorithm, "PRIP '78, pp. 121-131, 1978.)
[0003]
In addition, there is a technique of removing background point noise and holes in the object by performing erosion processing and dilation processing which are functions of Morphology on the imaged object. In addition, by repeating this process, methods for removing noise (J. Serra, “Image Analysis and Mathematical Morphology,” Academic Press, Lodon, 1982, and P. Maragos, “Tutorial on advances in morphological image processing and analysis” , Opt, Eng., 26, 1987).
[0004]
According to this method, when the surface image to be processed is X and the structural element is B, (X + B) is defined as expansion of X by B, and (X−B) is defined as contraction of X by B. Opening and closing Are defined by equations (1) and (2), respectively. The noise is removed by continuing the opening and closing.
XoB = (X−B) + B (1)
X · B = (X + B) −B (2)
[0005]
That is, a contraction process in which a pixel group in which an image is shifted in units of pixels and an original pixel are overlapped to obtain a logical product of luminance values between these pixels (minimum value in the case of a grayscale image). When performing an expansion process for obtaining a logical sum of luminance values between these pixels (maximum value in the case of a grayscale image), an opening process for performing the expansion process after the contraction process, and an expansion process are performed. By continuously performing the closing process for performing the contraction process, fine noise is first removed by the opening process, and then a hole (noise) in the object can be filled by the closing process.
[0006]
In addition to the above example, other methods (RMHaralick, SRSternber and X. Zhuang, “Image Analysis Using Mathematical Morphology,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. -9, no.4, pp.532-550, July 1987).
[0007]
[Problems to be solved by the invention]
In the method described above (referred to as the first conventional method), high-speed processing can be performed using a relatively small scale parallel hardware, but the processed image object is partially interrupted or crushed, and the object There is a problem that the structure is not reproduced,
[0008]
Conventionally, as a technique for improving this (referred to as a second conventional technique), there is an image processing method that takes into account the structure of an imaged object. One of them is a denoising method based on the edge direction of the object (M. Nagao and T. Matsuyama, “Edge preserving smoothing,” CGIP, vol. 9, pp. 394-407 April 1979). In the 5 × 5 pixel area around the pixel of interest, classify the edge direction of the object by nine different window patterns, find the variance of the luminance value in each pattern, and focus on the average luminance value in the pattern with the smallest variance This is a technique that takes into account the edge direction as the luminance value of the pixel.
[0009]
In addition, as a technique specialized for an object to be imaged, for example, a Mehtre method (BMMehtre, “Fingerprint Image Analysis for Automatic Identification,” Machine Vision and Applications, vol.6, no. , pp.124-139, 1993). This is a method of obtaining a ridge direction of a fingerprint and convolving a cotual filter along the direction to emphasize the ridge. In the second conventional method described above, the structure of the object (the fingerprint ridge in the latter case) in the processed image is difficult to be destroyed, but a complicated filtering process using pixel information in a relatively large area is required. Therefore, the amount of processing is large, and therefore high-speed and high-precision processing with an inexpensive and simple apparatus is difficult.
[0010]
The present invention has been made in view of the above problems, and the object of the present invention is to solve the problem that the structure of the imaging object is broken in some places, as the first conventional method has. At the same time, it eliminates the need for filter processing using pixel information of a relatively large area as in the second conventional method, thereby realizing high-speed and high-precision processing with an inexpensive and simple device. It is possible to provide an accurate image when performing recognition, personal authentication using fingerprints and irises, or the like.
[0011]
[Means for Solving the Problems]
In order to solve such a problem, when an image including an object image such as a fingerprint is input, the input image Image correction means for performing the correction process and outputting the corrected image, the image correction means determining the input image and generating a determination image indicating the result, and determining the input image A combination unit configured to combine the output image of the image generation unit with the determination image of the determination image generation unit. The determination image generation unit uses the input image as the first image, the first image, and the first image; A contraction process for calculating a minimum value of luminance values between pixels at the same position of the first and second images by superimposing a second image obtained by shifting one image in a predetermined direction by a predetermined pixel unit. The first image and the second image obtained by shifting the first image in a predetermined direction by a predetermined pixel unit are superposed on each other after performing the contraction processing as the first image. In the same position of the first and second images First image processing for performing expansion processing for calculating the maximum value of luminance values between pixels, and performing expansion processing using the image after the first image processing as a first image, and after the expansion processing Image processing means for executing second image processing for performing contraction processing using the image as the first image, and thinning processing means for extracting the center line of the object image from the processed image of the image processing means, The determination image creating means outputs the output image of the thinning processing means as a determination image, and the synthesizing means is for a pixel whose luminance value is within the first range among the determination images output by the determination image creating means. Select a pixel of the input image, select a pixel of the determination image output by the determination image creation means for a pixel in the second range whose luminance value is different from the first range, and combine the selected pixels Output as a composite image Is a thing .
[0012]
Also, The present invention includes an image correction step of inputting an image of an object, correcting the input image including the object image, and outputting the corrected image. The image correction step determines an input image, and A determination image generation step including a determination image generation step for generating a determination image indicating the result; and a combination step for combining the input image and the output image of the determination image generation step based on the determination image of the determination image generation step. The step uses the input image as a first image, and superimposes the first image and a second image obtained by shifting the first image in a predetermined direction by a predetermined pixel unit. A contraction process that calculates a minimum value of luminance values between pixels at the same position of the image of the first image, the first image, and the first image as a predetermined image. Predetermined in direction A first image process for performing an expansion process for calculating a maximum value of luminance values between pixels at the same position of the first and second images by superimposing the second image shifted in pixel units; An image processing step for performing a second image process for performing an expansion process using the image after the first image process as a first image and performing a contraction process using the image after the expansion process as a first image; A thinning process step for extracting the center line of the object image with respect to the processed image of the image processing step, the determination image creating step outputs the output image of the thinning process step as a determination image, and the combining step includes In the determination image output by the determination image creation step, the pixel of the input image is selected for the pixel having the luminance value in the first range, and the luminance value is in the second range different from the first range. Judgment for pixels Selects a pixel of the determination image output from the image creation step is a method of outputting a synthesized image by synthesizing the pixel selected .
[0013]
DETAILED DESCRIPTION OF THE INVENTION
The present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1A is a block diagram showing a first embodiment of an image processing apparatus according to the present invention. As shown in FIG. 1A, the
[0014]
FIG. 1B is a block diagram illustrating a configuration of the
[0015]
Here, the local
[0016]
FIG. 2 is an image diagram of a processed image processed by the
For example, as shown in FIG. 2A, the input image captured by the
[0017]
Here, in order to prevent the object after image processing from being crushed or blurred, the preprocessing unit 12 in FIG. 1, for example, a pixel group in which the input image is shifted in units of one pixel in each of the horizontal and vertical directions, and the original pixel Are overlapped to perform an erosion (shrinkage process) for calculating a logical product of luminance values between these pixels (logical product in the case of binary display, and minimum value in the case of gradation display (light / dark display)). As a result of the contraction process, the situation shown in FIG. 2B is obtained, and the noise b around the imaging object B is removed. For this preprocessing, various methods as shown in the first conventional method may be used alone or in combination. That is, as a pre-processing, a pixel group obtained by shifting the input image in units of one pixel in each of the horizontal and vertical directions without performing a contraction process overlaps the pixels of the original input image, and luminance between these pixels is superposed. The expansion processing for calculating the logical sum of values (logical sum in the case of binary display, maximum value in the case of gradation display (light / dark display)) may be performed, or the above-described smoothing processing is performed. You may do it.
[0018]
As described above, the local
[0019]
Here, as a determination result by the local
[0020]
In other words, in the first embodiment, a pixel group obtained by shifting the input image by one pixel unit in each of the horizontal and vertical directions and the pixel of the original input image are overlapped, and the minimum luminance value between these pixels is overlapped. In this case, the
[0021]
FIG. 5 is a diagram illustrating the determination process in the local
[0022]
Although the noise b is removed from the image after the determination by the
Next, the pixel count unit for each
[0023]
On the other hand, the thinning unit 17 in FIG. 1 uses, for example, a technique (Petros A. Maragos and Ronald W. Schaffer, for example) that uses the morphology after the processing of the determination
[0024]
The local area
[0025]
The local
[0026]
That is, N1 / N2 is calculated for each local region, where N1 is the number of pixels counted before thinning in a certain local region and N2 is the number of pixels counted after thinning. Here, N1 and N2 in each of the local regions E1 to E4 are as shown in FIGS. 5D and 5E, respectively. Therefore, when N1 / N2 in each of the local regions E1 to E4 is obtained, As shown in FIG. 5 (f), the local area E2 is 2T, and the other local areas E1, E3, E4 are T.
[0027]
In this case, the local
N1 / N2> T (3)
N1 / N2 ≦ T (4)
For the local region where equation (3) holds, it is determined that a composite image is created from the preprocessed image, and for the local region where equation (4) holds, it is determined that a composite image is created from the input image. The determination result shown in FIG. 5G is output to the
[0028]
Note that the value on the right side of the expressions (3) and (4), that is, the threshold T may be various values such as a multiple of T according to the purpose, and the local region where the expression (3) is satisfied is the input image. It may be determined that a composite image is to be created, and a local region where Equation (4) is satisfied may be determined to create a composite image from the preprocessed image processed by the preprocessing unit 12.
[0029]
The synthesizing
[0030]
The
[0031]
By the way, in the above-described first conventional method that performs uniform processing on the entire screen, by performing image processing, two adjacent imaging objects B adhere to each other as in the local region E2 of FIG. 5B. In some cases, the structure of the imaging object may be destroyed. By performing pre-processing (for example, erosion processing: contraction processing) to avoid only the local region where the structure of the imaging object is destroyed, Thus, an image from which noise has been removed with high accuracy can be obtained without performing filter processing using pixel information in a relatively large area as in the conventional method.
In the first embodiment, an example in which an image captured by the
[0032]
As described above, by performing the preprocessing only on the necessary local region, noise is mottled even without performing filter processing using pixel information in a relatively large region as in the second conventional method. It is possible to obtain an image from which noise is removed with higher accuracy than the first conventional method without destroying the structure of the imaging object B from the existing input image.
[0033]
(Second Embodiment)
FIG. 6 is a block diagram showing the second embodiment, and shows the configuration of the
[0034]
Here, the pixel-by-
[0035]
FIG. 7 is an image diagram of a processed image processed by the
For example, as shown in FIG. 7A, the input image taken by the
[0036]
Here, in order to prevent the object after image processing from being crushed or blurred, the preprocessing
[0037]
The pixel-by-
[0038]
In other words, in the second embodiment, a pixel group obtained by shifting the input image in units of one pixel in the horizontal and vertical directions and the pixels of the original input image are overlapped to minimize the luminance value between these pixels. When performing the contraction process for calculating the value and the expansion process for calculating the maximum luminance value between these pixels, the determination
[0039]
In the image after processing by the determination
[0040]
Next, the restricted thinning
[0041]
That is, the restricted thinning
w ≦ T (5)
w> T (6)
Here, when Expression (5) is satisfied, the skeleton is extracted, and when Expression (6) is satisfied, the skeleton is not extracted. As a result, as shown in FIG. 7 (d), four line segments respectively corresponding to the four objects are extracted as the skeleton of the imaging object except for the two objects B in the fused region E in FIG. 7 (a). The Note that the value on the right side of the expressions (5) and (6), that is, the threshold value T may be various values such as a multiple of T according to the purpose.
[0042]
Thus, for the image thinned by the restricted thinning
[0043]
In this case, the synthesizing
[0044]
The synthesizing
[0045]
By the way, in the above-described first conventional method that performs uniform processing on the entire screen, by performing image processing, two adjacent imaging objects B adhere to each other as in region E of FIG. The structure of the imaging object may be destroyed. However, by performing pre-processing (for example, erosion processing: contraction processing) to avoid only the local region where the structure of the imaging object is broken, An image from which noise has been removed with high accuracy can be obtained without performing filter processing using pixel information in a relatively large area as in the conventional method.
In the second embodiment, an example in which an input image captured by the
[0046]
As described above, in the second embodiment, filter processing using pixel information in a relatively large area is performed as in the second conventional method by performing preprocessing only on a necessary local area. Even without this, it is possible to obtain an image in which noise is removed with higher accuracy than the first conventional method without destroying the structure of the imaging object B from an input image in which mottle is present.
[0047]
(Third embodiment)
FIG. 8 is a block diagram showing a third embodiment of the
Unlike the configurations of the first and second embodiments, the third embodiment has no preprocessing means (preprocessing units 12 and 22), and the input of the synthesizing means 60 is an input image and a determination image (determination image). Output image of the creating means 50).
[0048]
FIG. 9 is an image diagram of a processed image processed by the
[0049]
In FIG. 9B, the synthesizing
[0050]
Similarly to the first embodiment, the input image can be pre-processed such as a contraction process and then input to the synthesizing means 60. In this case, background noise can be removed at the same time.
[0051]
(Fourth embodiment)
FIG. 10 is a block diagram illustrating a fourth embodiment of the
[0052]
In the fourth embodiment, unlike the first to third embodiments, all of the determination image, the input image, and the preprocessed image are input to the combining
[0053]
FIG. 11 is an image diagram of a processed image processed by the
[0054]
As the pre-processing means 70, it is possible to use the same pre-processing means (pre-processing unit 12) as in the first embodiment of FIG. 1, and the pre-processed image created thereby is shown in FIG. c).
[0055]
In FIG. 11B, the synthesizing
[0056]
The synthesizing
In this case, the synthesizing
[0057]
When the fourth embodiment is used, after image synthesis, as shown in FIG. 11 (e), noise existing in the interior of the object and in the background are both accurately removed, and the area a in FIG. 11 (a) is obtained. As described above, there is an advantage that the accuracy of recognition and authentication is improved by separating an object that is likely to adhere.
[0058]
(Fifth embodiment)
FIG. 12 is a block diagram illustrating a fifth embodiment of the
[0059]
Unlike the first to fourth embodiments, the fifth embodiment inputs output images from a plurality of preprocessing means to the synthesizing means 60.
FIG. 13 is an image diagram of a processed image processed by the
[0060]
As the preprocessing means 71 and 72, it is possible to use the same processing as the preprocessing unit 12 of the first embodiment or various image processing as shown in the first conventional method. In this example, a morphological contraction process is used for the pre-processing of the first pre-processing means 71, and a morphological expansion process is used for the pre-processing of the second pre-processing means 72.
[0061]
In FIG. 13B, the synthesizing
[0062]
When the fifth embodiment is used, after image synthesis, as shown in FIG. 13 (e), the noise b existing in the interior of the object and the background is both accurately removed, and the region of FIG. 13 (a) is obtained. There is an advantage that the accuracy of recognition and authentication is improved by separating an object that is likely to adhere as in a. In addition, by combining various preprocessing, it is possible to create an image with improved recognition and authentication accuracy.
[0063]
(Sixth embodiment)
FIG. 14 is a block diagram illustrating a sixth embodiment of the
[0064]
(Seventh embodiment)
FIG. 15 is a block diagram illustrating a seventh embodiment of the
[0065]
In the seventh embodiment, when the input image has a small amount of noise, the first image processing means can be omitted, and the processing amount can be reduced. Here, in the first embodiment, blocks obtained by equally dividing an image are defined as local regions. However, in the seventh embodiment, the local regions are as shown in FIGS. 16A to 16C. Even non-uniformly divided areas are possible. In addition, the threshold value in the
[0066]
(Eighth embodiment)
FIG. 17 is a block diagram illustrating an eighth embodiment of the
[0067]
FIG. 18 is an image diagram of a processed image processed by the
Here, FIG. 18A is an input image, and noise b exists in the interior and background of the object. As the image processing means, it is possible to use the same processing as the first embodiment or various image processing as shown in the first conventional method. In this example, the first image processing unit 511 performs the processing using the morphological Open-Close processing, and the second
[0068]
As for the thinning
[0069]
Next, the number of pixels of the created thin
[0070]
The
[0071]
Next, the
[0072]
(Ninth embodiment)
FIG. 19 is a block diagram illustrating a ninth embodiment of the
[0073]
(Tenth embodiment)
FIG. 20 is a block diagram showing the tenth embodiment of the
[0074]
Further, as the
[0075]
The tenth embodiment can be applied when the object width of the input image is always the same, and does not require image processing. Therefore, the processing amount can be greatly reduced and the processing speed can be increased. Further, before the counting unit 520, for example, an image processing unit that processes an input image by an open-close process using morphology and a thinning processing unit can be used to remove noise and improve accuracy. .
[0076]
(Eleventh embodiment)
FIG. 21 is a block diagram illustrating an eleventh embodiment of the
[0077]
(Twelfth embodiment)
FIG. 22 is a block diagram illustrating a twelfth embodiment of the
[0078]
FIG. 23 is an image diagram of a processed image processed by the
[0079]
The thinning processing means 502 and the first expansion processing means 531 are also the same thinning processing means (restricted thinning section 27) and expansion processing means (expansion processing section 28) as in the second embodiment of FIG. The images created thereby are the images shown in FIG. 23C and FIG. 23D, respectively.
[0080]
The second expansion processing means 532 can also use the same expansion processing means as the first expansion processing means 531, and the image created thereby is the
[0081]
(Thirteenth embodiment)
FIG. 24 is a block diagram illustrating a thirteenth embodiment of the
[0082]
(Fourteenth embodiment)
FIG. 25 is a block diagram illustrating a fourteenth embodiment of the
[0083]
FIG. 26 is an image diagram of a processed image processed by the
[0084]
Thinning processing is performed by the first and second thinning processing means on the created images of FIGS. 26B and 26C, respectively. Here, as the first
[0085]
Expansion processing is performed on the thin line images in FIGS. 26D and 26E by the first and second expansion processing units, respectively. Here, as the first
[0086]
The
In this way, by combining various determination images, it is possible to create an image with improved recognition and authentication accuracy.
[0087]
(Fifteenth embodiment)
FIG. 27 is a block diagram showing a fifteenth embodiment of the
[0088]
FIG. 28 is an image diagram of an image processed by the restricted thinning
[0089]
Here, FIG. 28A shows an input image, which is an example of an object image having a width of 5 pixels and a length of 9 pixels. Also, the images shown in FIGS. 28B, 28F, and 28J have the repetition counts of 0, 1, 2, and 2, respectively, by the shrinkage processing means 552 of FIG. 27 that shrinks the input image. It is an image of the processing result in. In addition, the images shown in FIGS. 28C, 28G, and 28K are each repeated 0 times by the
[0090]
As shown in FIG. 28, for example, when the number of repetitions n is “1”, a thin line is not extracted from an object having a width of 5 pixels (FIG. 28 (i)), but when the number of repetitions n is “2”, the width is A thin line is extracted from an object of 5 pixels (FIG. 28 (m)).
[0091]
Here, the upper limit of the object width from which the thin line is extracted can be arbitrarily determined by setting the value of the number of repetitions n. In the fifteenth embodiment, an area where adhesion is likely to occur can be determined by extracting a thin line from an object that is fused with an adjacent object and is extremely thick, and only at the correct position of the center of the object. A thin line can be extracted.
[0092]
(Sixteenth embodiment)
FIG. 29 is a block diagram showing the sixteenth embodiment. In the sixteenth embodiment, one or a combination of the processes shown in the first to fifteenth embodiments is performed on an input image, and a registered image used for biometric authentication such as a fingerprint and an iris Create a matching image. That is, the image input from the
[0093]
At the time of verification, the
[0094]
【The invention's effect】
As described above, according to the present invention, when an image including an object image such as a fingerprint is input, a contraction process is performed on the input image as a pre-process, and when an input image is input, the image is divided into a predetermined number of regions. In addition, the input image is processed for each divided region, and the determination for selecting either the pre-processed image or the input image by the preprocessing unit based on the processing result is performed for each divided region. Since the pre-processed image selected by the pre-processing means selected according to the determination result and the input image are combined and output as a composite image, the structure of the imaged object as in the first conventional method is several places. The problem of being destroyed can be solved, and at the same time, the filter processing using the pixel information of a relatively large area as in the second conventional method is not necessary, and the noise is high. It can provide accurate images removed as authentication image, thereby improving the authentication accuracy.
[0095]
Also, a first image processing for performing an expansion process after performing the contraction process on the input image and a second image for performing the contraction process after performing the expansion process are performed on the input image. Perform image processing, extract the skeleton of the object image from the processed image and perform expansion processing, while combining the preprocessed image and the input image based on the result of the expansion processing In addition, since the first and second image processing are sequentially performed on the composite image, the problem that the structure of the imaged object is destroyed in some places as in the first conventional method is solved. At the same time, a filtering process using pixel information of a relatively large area as in the second conventional method is not necessary, and an accurate image from which noise is removed with high accuracy is used as an authentication image. Offer It can, thereby improving certification system.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment of an image processing apparatus according to the present invention.
FIG. 2 is an explanatory diagram illustrating image processing in the image processing apparatus.
FIG. 3 is a diagram for explaining the width and length of an imaging object to be processed by the image processing apparatus.
FIG. 4 is a diagram for explaining a division state of an image area to be processed by the image processing apparatus.
FIG. 5 is an explanatory diagram illustrating a main part of image processing in the image processing apparatus.
FIG. 6 is a block diagram illustrating a second embodiment of the image processing apparatus.
FIG. 7 is an explanatory diagram illustrating image processing in the image processing apparatus.
FIG. 8 is a block diagram illustrating a third embodiment of the image processing apparatus.
FIG. 9 is an explanatory diagram for explaining image processing in the image processing apparatus of FIG. 8;
FIG. 10 is a block diagram illustrating a fourth embodiment of an image processing apparatus.
11 is an explanatory diagram for explaining image processing in the image processing apparatus of FIG. 10;
FIG. 12 is a block diagram illustrating a fifth embodiment of an image processing apparatus.
13 is an explanatory diagram illustrating image processing in the image processing apparatus of FIG. 12. FIG.
FIG. 14 is a block diagram illustrating a sixth embodiment of an image processing apparatus.
FIG. 15 is a block diagram illustrating a seventh embodiment of an image processing apparatus.
16 is an explanatory diagram for explaining image processing in the image processing apparatus of FIG. 15;
FIG. 17 is a block diagram illustrating an eighth embodiment of an image processing apparatus.
18 is an explanatory diagram illustrating image processing in the image processing apparatus of FIG. 17;
FIG. 19 is a block diagram illustrating a ninth embodiment of an image processing apparatus.
FIG. 20 is a block diagram illustrating a tenth embodiment of an image processing apparatus.
FIG. 21 is a block diagram illustrating an eleventh embodiment of an image processing apparatus.
FIG. 22 is a block diagram illustrating a twelfth embodiment of an image processing apparatus.
23 is an explanatory diagram illustrating image processing in the image processing apparatus of FIG.
FIG. 24 is a block diagram illustrating a thirteenth embodiment of an image processing apparatus.
FIG. 25 is a block diagram illustrating a fourteenth embodiment of an image processing apparatus.
26 is an explanatory diagram illustrating image processing in the image processing apparatus of FIG. 25. FIG.
FIG. 27 is a block diagram illustrating a fifteenth embodiment of an image processing apparatus.
28 is an explanatory diagram for explaining image processing in the image processing apparatus of FIG. 27;
FIG. 29 is a block diagram illustrating a sixteenth embodiment of an image processing apparatus.
[Explanation of symbols]
DESCRIPTION OF
Claims (16)
前記画像修正手段は、
前記入力画像を判定し、その結果を示す判定画像の作成を行う判定画像作成手段と、
前記入力画像と前記判定画像作成手段の出力画像とを、前記判定画像作成手段の判定画像に基づいて合成する合成手段と
を備え、
前記判定画像作成手段は、
入力画像を第1の画像として、第1の画像と、この第1の画像を所定の方向に所定の画素単位でずらした第2の画像とを重ね合わせてこれら第1及び第2の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第1の画像として、第1の画像と、この第1の画像を所定の方向に所定の画素単位でずらした第2の画像とを重ね合わせてこれら第1及び第2の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第1の画像処理と、この第1の画像処理を行った後の画像を第1の画像として前記膨張処理を行うとともにこの膨張処理後の画像を第1の画像として前記収縮処理を行う第2の画像処理とを実行する画像処理手段と、
前記画像処理手段の処理画像に対して前記物体像の中心線を抽出する細線化処理手段と
を備え、
前記判定画像作成手段は、前記細線化処理手段の出力画像を判定画像として出力し、前記合成手段は、前記判定画像作成手段の出力する前記判定画像のうち、輝度値が第1の範囲内の画素に対しては前記入力画像の画素を選択し、輝度値が前記第1の範囲と異なる第2の範囲内の画素に対しては前記判定画像作成手段の出力する前記判定画像の画素を選択し、選択した画素を合成して合成画像として出力することを特徴とする画像処理装置。When inputting an image of an object, have rows correction processing of an input image including an object image includes an image correction means for outputting an image correction process,
The image correction means includes
A determination image creating means for determining the input image and creating a determination image indicating the result;
Combining means for combining the input image and the output image of the determination image creating means based on the determination image of the determination image creating means;
With
The determination image creating means includes
Using the input image as the first image, the first image and the second image obtained by shifting the first image in a predetermined direction by a predetermined pixel unit are overlapped to superimpose the first image and the second image. A contraction process for calculating a minimum value of luminance values between pixels at the same position is performed, and an image after the contraction process is set as a first image, and the first image and the first image are set in a predetermined direction. First image processing for performing expansion processing for calculating a maximum value of luminance values between pixels at the same position of the first and second images by superimposing the second image shifted in pixel units An image for performing the expansion process using the image after the first image process as a first image and performing the second image process for performing the contraction process using the image after the expansion process as a first image. Processing means;
Thinning processing means for extracting a center line of the object image from the processed image of the image processing means;
With
The determination image creating means outputs the output image of the thinning processing means as a determination image, and the combining means has a luminance value within a first range among the determination images output by the determination image creating means. The pixel of the input image is selected for the pixel, and the pixel of the determination image output by the determination image creating means is selected for the pixel in the second range whose luminance value is different from the first range. Then, the selected pixels are synthesized and output as a synthesized image .
前記入力画像に対して前記収縮処理及び前記膨張処理のいずれか一方を行う1つの前処理手段を備え、
前記合成手段は、前記判定画像作成手段の出力する前記判定画像のうち、輝度値が第1の範囲内の画素に対しては前記前処理手段の処理画像の画素を選択し、輝度値が前記第1の範囲と異なる第2の範囲内の画素に対しては前記合成画像の画素を選択し、選択した画素を合成して合成画像として出力することを特徴とする画像処理装置。In claim 1,
One pre-processing means for performing any one of the contraction process and the expansion process on the input image;
The synthesizing unit selects a pixel of the processed image of the preprocessing unit for a pixel having a luminance value within the first range from the determination image output by the determination image creating unit, and the luminance value is An image processing apparatus, wherein a pixel in the composite image is selected for pixels in a second range different from the first range, and the selected pixels are combined and output as a composite image .
前記判定画像作成手段は、
前記細線化処理手段の処理画像に対して前記膨張処理を行う第1の膨張処理手段と、
前記第1の膨張処理手段の処理画像に対して前記膨張処理を行う第2の膨張処理手段と
を備え、第1及び第2の膨張処理手段の処理画像からなる多値画像を判定画像として前記合成手段に出力することを特徴とする画像処理装置。In claim 1 or 2,
The determination image creating means includes
First expansion processing means for performing the expansion processing on the processed image of the thinning processing means;
Second expansion processing means for performing the expansion processing on the processed image of the first expansion processing means;
And an image processing apparatus for outputting a multi-valued image made up of processed images of the first and second expansion processing means to the synthesizing means as a determination image .
前記判定画像作成手段は、
前記細線化処理手段の処理画像に対してそれぞれ前記膨張処理を並列に行う第1及び第2の膨張処理手段を備え、第1及び第2の膨張処理手段の処理画像からなる多値画像を判定画像として前記合成手段に出力することを特徴とする画像処理装置。In claim 1 or 2 ,
The determination image creating means includes
First and second expansion processing means for performing the expansion processing in parallel with respect to the processed image of the thinning processing means, respectively, and determining a multi-value image composed of processed images of the first and second expansion processing means An image processing apparatus, wherein the image processing apparatus outputs the image to the synthesizing unit .
前記画像処理手段を第1の画像処理手段とし、かつ前記細線化処理手段を第1の細線化処理手段とし、
前記判定画像作成手段は、
前記第1の細線化処理手段の処理画像に対して前記膨張処理を行う第1の膨張処理手段と、
入力画像に対して前記収縮処理を行う第2の画像処理手段と、
第2の画像処理手段の出力画像に対して前記物体像の中心線を抽出する第2の細線化処理手段と、
第2の細線化処理手段の処理画像に対して前記膨張処理を行う第2の膨張処理手段と、
第1及び第2の膨張処理手段の処理画像の論理積を抽出し判定画像として前記合成手段に出力する抽出手段と
を備えることを特徴とする画像処理装置。In claim 1 ,
The image processing means is a first image processing means, and the thinning processing means is a first thinning processing means,
The determination image creating means includes
First expansion processing means for performing the expansion processing on the processed image of the first thinning processing means;
Second image processing means for performing the contraction processing on the input image;
Second thinning processing means for extracting a center line of the object image from the output image of the second image processing means;
Second expansion processing means for performing the expansion processing on the processed image of the second thinning processing means;
Extracting means for extracting a logical product of the processed images of the first and second expansion processing means and outputting the logical product to the combining means as a determination image;
The image processing apparatus comprising: a.
前記細線化処理手段として、予め設定された前記物体像の幅の大小に応じて前記物体像の中心線の抽出の有無を決定する制限付き細線化処理手段を備えることを特徴とする画像処理装置。In any one of claims 2 to 4,
An image processing apparatus comprising: a thinning processing unit with a restriction that determines whether or not to extract a center line of the object image according to a preset width of the object image as the thinning processing unit .
前記物体像の幅の上限値を設定する設定手段を備え、
前記制限付き細線化処理手段は、前記設定手段に設定された前記上限値以下の前記物体像からのみ中心線を抽出することを特徴とする画像処理装置。In claim 6 ,
Setting means for setting an upper limit value of the width of the object image;
The image processing apparatus, wherein the restricted thinning processing unit extracts a center line only from the object image equal to or less than the upper limit set in the setting unit .
前記合成手段の出力画像を第1の画像として、第1の画像と、この第1の画像を所定の方向に所定の画素単位でずらした第2の画像とを重ね合わせてこれら第1及び第2の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第1の画像として、第1の画像と、この第1の画像を所定の方向に所定の画素単位でずらした第2の画像とを重ね合わせてこれら第1及び第2の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第1の画像処理と、この第1の画像処理を行った後の画像を第1の画像として前記膨張処理を行うとともにこの膨張処理後の画像を第1の画像として前記収縮処理を行う第2の画像処理とを実行する手段を備えたことを特徴とする画像処理装置。In any one of Claims 1 thru | or 7 ,
Using the output image of the synthesizing means as a first image, the first image and the second image obtained by shifting the first image by a predetermined pixel unit in a predetermined direction are overlaid on each other. And performing a contraction process for calculating a minimum value of luminance values between pixels at the same position of the two images, and using the image after the contraction process as a first image, the first image and the first image as a predetermined value A first image that performs a dilation process that calculates the maximum value of the luminance value between pixels at the same position of the first and second images by superimposing the second image shifted by a predetermined pixel unit in the direction of And second image processing for performing the expansion processing using the image after the first image processing as a first image and performing the contraction processing using the image after the expansion processing as a first image. image processing characterized by comprising means for performing Location.
前記画像修正ステップは、
前記入力画像を判定し、その結果を示す判定画像の作成を行う判定画像作成ステップと、
前記入力画像と前記判定画像作成ステップの出力画像とを、前記判定画像作成ステップの判定画像に基づいて合成する合成ステップと
を有し、
前記判定画像作成ステップは、
入力画像を第1の画像として、第1の画像と、この第1の画像を所定の方向に所定の画素単位でずらした第2の画像とを重ね合わせてこれら第1及び第2の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第1の画像として、第1の画像と、この第1の画像を所定の方向に所定の画素単位でずらした第2の画像とを重ね合わせてこれら第1及び第2の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第1の画像処理と、この第1の画像処理を行った後の画像を第1の画像として前記膨張処理を行うとともにこの膨張処理後の画像を第1の画像として前記収縮処理を行う第2の画像処理とを実行する画像処理ステップと、
前記画像処理ステップの処理画像に対して前記物体像の中心線を抽出する細線化処理ステップと
を有し、
前記判定画像作成ステップは、前記細線化処理ステップの出力画像を判定画像として出力し、前記合成ステップは、前記判定画像作成ステップの出力する前記判定画像のうち、輝度値が第1の範囲内の画素に対しては前記入力画像の画素を選択し、輝度値が前記第1の範囲と異なる第2の範囲内の画素に対しては前記判定画像作成ステップの出力する前記判定画像の画素を選択し、選択した画素を合成して合成画像として出力することを特徴とする画像処理方法。 When an image of an object is input, an input image including the object image is corrected, and an image correction step for outputting the corrected image is provided.
The image correction step includes
A determination image creation step of determining the input image and creating a determination image indicating the result;
A combining step of combining the input image and the output image of the determination image generation step based on the determination image of the determination image generation step;
Have
The determination image creation step includes:
Using the input image as the first image, the first image and the second image obtained by shifting the first image in a predetermined direction by a predetermined pixel unit are overlapped to superimpose the first image and the second image. A contraction process for calculating a minimum value of luminance values between pixels at the same position is performed, and an image after the contraction process is set as a first image, and the first image and the first image are set in a predetermined direction. First image processing for performing expansion processing for calculating a maximum value of luminance values between pixels at the same position of the first and second images by superimposing the second image shifted in pixel units An image for performing the expansion process using the image after the first image process as a first image and performing the second image process for performing the contraction process using the image after the expansion process as a first image. Processing steps;
A thinning step for extracting a center line of the object image from the processed image of the image processing step;
Have
The determination image creation step outputs an output image of the thinning processing step as a determination image, and the synthesis step has a luminance value within a first range among the determination images output by the determination image creation step. The pixel of the input image is selected for the pixel, and the pixel of the determination image output by the determination image creation step is selected for the pixel in the second range whose luminance value is different from the first range. and, an image processing method characterized by by combining pixel selected is output as the synthesized image.
前記入力画像に対して前記収縮処理及び前記膨張処理のいずれか一方を行う1つの前処理ステップを有し、
前記合成ステップは、前記判定画像作成ステップの出力する前記判定画像のうち、輝度値が第1の範囲内の画素に対しては前記前処理ステップの処理画像の画素を選択し、輝度値が前記第1の範囲と異なる第2の範囲内の画素に対しては前記合成画像の画素を選択し、選択した画素を合成して合成画像として出力することを特徴とする画像処理方法。In claim 9,
One pre-processing step for performing either one of the contraction process and the expansion process on the input image;
The combining step selects a pixel of the processed image of the preprocessing step for a pixel having a luminance value within the first range from the determination image output by the determination image creating step, and the luminance value is An image processing method comprising: selecting pixels of the composite image for pixels in a second range different from the first range, combining the selected pixels, and outputting the composite image .
前記判定画像作成ステップは、
前記細線化処理ステップの処理画像に対して前記膨張処理を行う第1の膨張処理ステップと、
前記第1の膨張処理ステップの処理画像に対して前記膨張処理を行う第2の膨張処理ステップと
を有し、第1及び第2の膨張処理ステップの処理画像からなる多値画像を判定画像として出力することを特徴とする画像処理方法。In claim 9 or 10 ,
The determination image creation step includes:
A first expansion processing step for performing the expansion processing on the processed image of the thinning processing step;
A second expansion processing step for performing the expansion processing on the processed image of the first expansion processing step;
It has an image processing method and outputting a multivalued image consisting of first and second expansion processing step of the processing image as the determination image.
前記判定画像作成ステップは、
前記細線化処理ステップの処理画像に対してそれぞれ前記膨張処理を並列に行う第1及び第2の膨張処理ステップを有し、第1及び第2の膨張処理ステップの処理画像からなる多値画像を判定画像として出力することを特徴とする画像処理方法。In claim 9 or 10 ,
The determination image creation step includes:
A first and second expansion processing steps for performing the expansion processing in parallel with respect to the processed image of the thinning processing step, respectively, and a multi-value image composed of the processed images of the first and second expansion processing steps An image processing method characterized by outputting as a judgment image .
前記画像処理ステップを第1の画像処理ステップとし、かつ前記細線化処理ステップを第1の細線化処理ステップとし、
前記判定画像作成ステップは、
前記第1の細線化処理ステップの処理画像に対して前記膨張処理を行う第1の膨張処理ステップと、
入力画像に対して前記収縮処理を行う第2の画像処理ステップと、
第2の画像処理ステップの出力画像に対して前記物体像の中心線を抽出する第2の細線化処理ステップと、
第2の細線化処理ステップの処理画像に対して前記膨張処理を行う第2の膨張処理ステップと、
第1及び第2の膨張処理ステップの処理画像の論理積を抽出し判定画像として出力する抽出ステップと
を有することを特徴とする画像処理方法。In claim 9 ,
The image processing step is a first image processing step, and the thinning process step is a first thinning process step,
The determination image creation step includes:
A first expansion processing step for performing the expansion processing on the processed image of the first thinning processing step;
A second image processing step for performing the contraction processing on the input image;
A second thinning step for extracting a center line of the object image from the output image of the second image processing step;
A second expansion processing step for performing the expansion processing on the processed image of the second thinning processing step;
An extraction step of extracting a logical product of the processed images of the first and second expansion processing steps and outputting the logical product as a determination image;
An image processing method comprising:
前記細線化処理ステップとして、予め設定された前記物体像の幅の大小に応じて前記物体像の中心線の抽出の有無を決定する制限付き細線化処理ステップを有することを特徴とする画像処理方法。In any one of claims 10 to 12 ,
An image processing method characterized by having a restricted thinning processing step of determining the presence or absence of extraction of the center line of the object image in accordance as the thinning processing step, the magnitude of the preset width of the object image .
前記物体像の幅の上限値を設定する設定ステップを有し、
前記制限付き細線化処理ステップは、前記設定ステップにより設定された前記上限値以下の前記物体像からのみ中心線を抽出することを特徴とする画像処理方法。In claim 14,
A setting step for setting an upper limit value of the width of the object image;
The image processing method characterized in that, in the restricted thinning process step, a center line is extracted only from the object image not more than the upper limit value set in the setting step .
前記合成ステップの出力画像を第1の画像として、第1の画像と、この第1の画像を所定の方向に所定の画素単位でずらした第2の画像とを重ね合わせてこれら第1及び第2の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第1の画像として、第1の画像と、この第1の画像を所定の方向に所定の画素単位でずらした第2の画像とを重ね合わせてこれら第1及び第2の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第1の画像処理と、この第1の画像処理を行った後の画像を第1の画像として前記膨張処理を行うとともにこの膨張処理後の画像を第1の画像として前記収縮処理を行う第2の画像処理とを実行するステップを有することを特徴とする画像処理方法。In any one of claims 9 to 15,
Using the output image of the synthesis step as a first image, the first image and the second image obtained by shifting the first image by a predetermined pixel unit in a predetermined direction are overlaid on each other. And performing a contraction process for calculating a minimum value of luminance values between pixels at the same position of the two images, and using the image after the contraction process as a first image, the first image and the first image as a predetermined value A first image that performs a dilation process that calculates the maximum value of the luminance value between pixels at the same position of the first and second images by superimposing the second image shifted by a predetermined pixel unit in the direction of And second image processing for performing the expansion processing using the image after the first image processing as a first image and performing the contraction processing using the image after the expansion processing as a first image. characterized by having a step of execution Image processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002246816A JP3748248B2 (en) | 2001-08-28 | 2002-08-27 | Image processing apparatus and image processing method |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001258520 | 2001-08-28 | ||
JP2001258525 | 2001-08-28 | ||
JP2001-258525 | 2001-08-28 | ||
JP2001-258520 | 2001-08-28 | ||
JP2002246816A JP3748248B2 (en) | 2001-08-28 | 2002-08-27 | Image processing apparatus and image processing method |
US10/228,396 US7187785B2 (en) | 2001-08-28 | 2002-08-27 | Image processing method and apparatus |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005136010A Division JP3969593B2 (en) | 2001-08-28 | 2005-05-09 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003150934A JP2003150934A (en) | 2003-05-23 |
JP3748248B2 true JP3748248B2 (en) | 2006-02-22 |
Family
ID=32686175
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002246816A Expired - Fee Related JP3748248B2 (en) | 2001-08-28 | 2002-08-27 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3748248B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2870376B1 (en) * | 2004-05-11 | 2006-09-22 | Yann Boutant | METHOD FOR RECOGNIZING FIBROUS MEDIA, AND APPLICATIONS OF SUCH A METHOD IN THE COMPUTER FIELD, IN PARTICULAR |
KR101426870B1 (en) | 2007-03-06 | 2014-09-19 | 스미토모덴키고교가부시키가이샤 | Image processing method, computer readable recording medium having recorded computer program, and image inspecting method |
JP2019121187A (en) * | 2018-01-05 | 2019-07-22 | 富士通株式会社 | Image processing apparatus, image processing method, and image processing program |
-
2002
- 2002-08-27 JP JP2002246816A patent/JP3748248B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003150934A (en) | 2003-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108257095B (en) | System for processing images | |
Alsaiari et al. | Image denoising using a generative adversarial network | |
CN111445410B (en) | Texture enhancement method, device and equipment based on texture image and storage medium | |
JP2020129276A (en) | Image processing device, image processing method, and program | |
US7187785B2 (en) | Image processing method and apparatus | |
CN111753782A (en) | False face detection method and device based on double-current network and electronic equipment | |
KR102466061B1 (en) | Apparatus for denoising using hierarchical generative adversarial network and method thereof | |
Hovhannisyan et al. | AED-Net: A single image dehazing | |
CN110717935A (en) | Image matching method, device and system based on image characteristic information | |
CN111932594B (en) | Billion pixel video alignment method and device based on optical flow and medium | |
CN112699885A (en) | Semantic segmentation training data augmentation method and system based on antagonism generation network GAN | |
JP3748248B2 (en) | Image processing apparatus and image processing method | |
Sarker et al. | Morphological based technique for image segmentation | |
JP3969593B2 (en) | Image processing apparatus and image processing method | |
Gupta et al. | A robust and efficient image de-fencing approach using conditional generative adversarial networks | |
Van Noord et al. | Light-weight pixel context encoders for image inpainting | |
CN115063303A (en) | Image 3D method based on image restoration | |
Shin et al. | Adversarial context aggregation network for low-light image enhancement | |
EP1300803A2 (en) | Image processing method and apparatus | |
Truong et al. | Depth map inpainting and super-resolution with arbitrary scale factors | |
CN108364273B (en) | Method for multi-focus image fusion in spatial domain | |
CN114698398A (en) | Image processing method, image processing apparatus, electronic device, and readable storage medium | |
Paul et al. | A study on image enhancement techniques for fingerprint identification | |
Lal et al. | A comparative study on CNN based low-light image enhancement | |
EP4358016A1 (en) | Method for image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051124 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3748248 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131209 Year of fee payment: 8 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |