JP3748248B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP3748248B2 JP3748248B2 JP2002246816A JP2002246816A JP3748248B2 JP 3748248 B2 JP3748248 B2 JP 3748248B2 JP 2002246816 A JP2002246816 A JP 2002246816A JP 2002246816 A JP2002246816 A JP 2002246816A JP 3748248 B2 JP3748248 B2 JP 3748248B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- determination
- expansion
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ノイズが存在する入力画像の中から前記入力画像に含まれる撮像物体の本来の構造を再現可能な画像処理装置に関し、特に一つの画像に複数の撮像物体が存在する時の各撮像物体の認識や、指紋及び虹彩を用いた個人認証等の前処理に必要な画像処理を行う画像処理装置及び方法に関する。
【０００２】
【従来の技術】
一般に画像のノイズを除去する場合、ノイズである画素が孤立して周囲の画素と異なる輝度値を持つことに着目し、周囲画素との輝度値の差を利用して行われている。こうした背景画像中の孤立点の除去や図形（物体画像）内の穴（孤立点）を埋めるノイズ除去の代表的なものとして、平滑化（ｓｍｏｏｔｈｉｎｇ）フィルタ法がある。これは、着目画素の周辺の３×３画素の平均輝度値を着目画素の輝度値とする手法である。しかし、この手法では、エッジもぼかしてしまうという欠点がある。エッジをぼかさないノイズ除去として、着目画素の周辺の３×３画素の輝度値の内、真中の値を着目画素の輝度値とするメディアンフィルタ（T.S.Huang,G.J.Yang,and G.Y.Tang,"Afast two-dimensional median filtering algorithm,"PRIP'78,pp.121-131,1978.）がある。
【０００３】
また、撮像された物体に対して、Ｍｏｒｐｈｏｇｙ（モルフォロジ）の関数であるｅｒｏｓｉｏｎ（収縮）処理、ｄｉｌａｔｉｏｎ（膨張）処理を行うことにより、背景の点ノイズや物体内の穴を除く手法がある。また、この処理を繰り返すことによって、ノイズを除去する手法（J.Serra,“Image Analysis and Mathematical Morphology,"Academic Press,Lodon,1982、及びP.Maragos,“Tutorial on advances in morphological image processing and analysis",Opt,Eng.,26,1987）もある。
【０００４】
この手法によれば、処理する面像をＸとし、構造要素をＢとした場合、（Ｘ＋Ｂ）をＢによるＸの膨張、（Ｘ−Ｂ）をＢによるＸの収縮と定義すると、ｏｐｅｎｉｎｇとｃｌｏｓｉｎｇは式（１）と式（２）でそれぞれ定義される。ｏｐｅｎｉｎｇとｃｌｏｓｉｎｇを続けて行うことにより、ノイズは除去される。
ＸｏＢ＝（Ｘ−Ｂ）＋Ｂ （１）
Ｘ・Ｂ＝（Ｘ＋Ｂ）−Ｂ （２）
【０００５】
すなわち、画像をいくつかの方向に画素単位でずらした画素群と、元の画素とを重ね合わせてこれらの画素間における輝度値の論理積（濃淡画像の場合は最小値）をとる収縮処理と、これらの画素間における輝度値の論理和（濃淡画像の場合は最大値）をとる膨張処理とを行う場合に、収縮処理を行ってから膨張処理を行うｏｐｅｎｉｎｇ処理と、膨張処理を行ってから収縮処理を行うｃｌｏｓｉｎｇ処理とを続けて行うことにより、まずｏｐｅｎｉｎｇ処理により細かいノイズが除去され、続いてｃｌｏｓｉｎｇ処理により物体中の穴（ノイズ）を埋めることができる。
【０００６】
また、収縮、膨張処理を繰り返す手法の例として、上記の例以外に他の手法（R.M.Haralick,S.R.Sternber and X.Zhuang,“Image Analysis Using Mathematical Morphology,“IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.PAMI-9,no.4,pp.532-550,July 1987）もある。
【０００７】
【発明が解決しようとする課題】
以上述べてきた手法（第１の従来手法という）では、比較的小さな規模の並列ハードウェアを用いて高速に処理が行えるが、処理した画像の物体に部分的に途切れやつぶれが生じ、物体の構造が再現されないという問題がある、
【０００８】
従来、これを改善する手法（第２の従来手法という）として、撮像された物体の構造を考慮した画像処理方法がある。その一つに、物体のエッジ方向に基づいたノイズ除去法（M.Nagao and T.Matsuyama,"Edge preserving smoothing,"CGIP,vol.9,pp.394-407 April 1979）がある、これは、着目画素の周辺５×５画素の領域において、異なる９つの窓パターン別に物体のエッジ方向を分類し、それぞれのパターン内の輝度値の分散を求め、分散が最も小さいパターン内の平均輝度値を着目画素の輝度値とするエッジ方向を加味した手法である。
【０００９】
また、撮像される物体に特化した手法として、例えば指紋認証における登録画像作成アルゴリズムにＭｅｈｔｒｅ法（B.M.Mehtre,“Fingerprint Image Analysis for Automatic Identification ," Machine Vision and Applications,vol.6,no.2・3,pp.124-139,1993.）がある。これは、指紋の隆線方向を求めその方向に沿って、ｃｏｔｅｘｔｕａｌフィルタを畳み込み、隆線を強調する手法である。以上述べてきた第２の従来手法では、処理した画像における物体（後者の場合は指紋の隆線）の構造は破壊されにくいが、比較的大きな領域における画素情報を用いた複雑なフィルタ処理が必要となることから、処理量が多く、したがって安価かつ簡易な装置での高速高精度の処理が難しい。
【００１０】
本発明は以上の問題点に鑑みてなされたものであり、その目的とするところは、前述した第１の従来手法が有するような、撮像物体の構造がところどころ破壊されてしまうという問題を解決し、同時に第２の従来手法が有するような、比較的大きな領域の画素情報を用いたフィルタ処理を不要とすることにより、安価かつ簡易な装置での高速高精度の処理を実現し、各撮像物体の認識や、指紋及び虹彩を用いた個人認証等を行う際の的確な画像を提供可能にすることにある。
【００１１】
【課題を解決するための手段】
このような課題を解決するために本発明は、指紋などの物体像を含む画像を入力すると、この入力画像の修正処理を行い、修正処理した画像を出力する画像修正手段を備え、画像修正手段は、入力画像を判定し、その結果を示す判定画像の作成を行う判定画像作成手段と、入力画像と判定画像作成手段の出力画像とを、判定画像作成手段の判定画像に基づいて合成する合成手段とを備え、判定画像作成手段は、入力画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第１の画像処理と、この第１の画像処理を行った後の画像を第１の画像として膨張処理を行うとともにこの膨張処理後の画像を第１の画像として収縮処理を行う第２の画像処理とを実行する画像処理手段と、画像処理手段の処理画像に対して物体像の中心線を抽出する細線化処理手段とを備え、判定画像作成手段は、細線化処理手段の出力画像を判定画像として出力し、合成手段は、判定画像作成手段の出力する判定画像のうち、輝度値が第１の範囲内の画素に対しては入力画像の画素を選択し、輝度値が第１の範囲と異なる第２の範囲内の画素に対しては判定画像作成手段の出力する判定画像の画素を選択し、選択した画素を合成して合成画像として出力するものである。
【００１２】
また、本発明は、物体の画像を入力すると、この物体像を含む入力画像の修正処理を行い、修正処理した画像を出力する画像修正ステップを有し、画像修正ステップは、入力画像を判定し、その結果を示す判定画像の作成を行う判定画像作成ステップと、入力画像と判定画像作成ステップの出力画像とを、判定画像作成ステップの判定画像に基づいて合成する合成ステップとを有し、判定画像作成ステップは、入力画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第１の画像処理と、この第１の画像処理を行った後の画像を第１の画像として膨張処理を行うとともにこの膨張処理後の画像を第１の画像として収縮処理を行う第２の画像処理とを実行する画像処理ステップと、画像処理ステップの処理画像に対して物体像の中心線を抽出する細線化処理ステップとを有し、判定画像作成ステップは、細線化処理ステップの出力画像を判定画像として出力し、合成ステップは、判定画像作成ステップの出力する判定画像のうち、輝度値が第１の範囲内の画素に対しては入力画像の画素を選択し、輝度値が第１の範囲と異なる第２の範囲内の画素に対しては判定画像作成ステップの出力する判定画像の画素を選択し、選択した画素を合成して合成画像として出力する方法である。
【００１３】
【発明の実施の形態】
以下、本発明について図面を参照して説明する。
（第１の実施の形態）
図１（ａ）は本発明に係る画像処理装置の第１の実施の形態を示すブロック図である。この画像処理装置１は、図１（ａ）に示すように、カメラ２により撮影された物体の画像、及びセンサ３により検出された、指紋，虹彩を含む物体の画像を入力して画像処理を行う処理部１０と、入力画像または処理部１０により処理された画像を記憶するメモリ３０とからなる。
【００１４】
図１（ｂ）は、処理部１０の構成を示すブロック図である。処理部１０は、図１（ｂ）に示すように、カメラ２により撮影された物体の画像、またはセンサ３により検出された物体の画像を取り込む画像入力部１１と、画像入力部１１により取り込まれた画像を入力して後述する前処理を行う前処理部１２と、画像入力部１１が入力した入力画像と前処理部１２により処理された画像を選択的に入力して合成し合成画像として出力する合成部１３と、合成部１３の合成画像を処理して処理後画像Ａとして出力する画像処理部１４と、画像入力部１１からの入力画像を処理して、合成部１３が選択する画像を判定する局所領域毎判定部１５とから構成される。
【００１５】
ここで、局所領域毎判定部１５は、画像入力部１１からの入力画像を取り込んでこの入力画像を判定用画像として処理する判定用画像処理部１６と、判定用画像処理部１６の処理画像の中心線を求める細線化処理を行う細線化部１７と、判定用画像処理部１６の処理画像について予め細分化された局所領域毎にその処理画像の画素数を計数する局所領域毎画素カウント部１８と、細線化部１７により細線化処理された画像の画素数を前記局所領域毎に計数する局所領域毎画素カウント部１９と、局所領域毎画素カウント部１８，１９によりそれぞれ計数された各カウント値を局所領域毎に比較し、比較結果に応じて該当の局所領域の画像を入力画像から選択するか、或いは前処理部１２により処理された画像から選択するかを判定してその判定出力を前記合成部１３に出力する局所領域毎比較部２０とから構成される。
【００１６】
図２は図１の画像処理装置１により処理される処理画像のイメージ図である。図２及び図１のブロック図に基づき画像処理装置１における画像処理について説明する。
例えばカメラ２により撮影され画像入力部１１に取り込まれた入力画像は、図２（ａ）に示すように、撮像物体Ｂ及び、撮像物体Ｂ以外に撮像物体Ｂの内部やその周囲の背景部分にノイズｂがランダムにのった画像として取り込まれる。図２（ａ）の例は複数の物体が撮影された例であり、１つの撮像物体Ｂは画素の集合体であって、図３に示すように、幅Ｔと長さＬを有する。
【００１７】
ここで、図１の前処理部１２は、画像処理後の物体のつぶれやかすれを防ぐために、例えば入力画像を水平及び垂直の各方向に１画素単位でずらした画素群と、もとの画素とを重ね合わせてこれらの画素間における輝度値の論理積（２値表示の場合は論理積、階調表示（濃淡表示）の場合は最小値）を演算するｅｒｏｓｉｏｎ（収縮処理）を行う。この収縮処理の結果は、図２（ｂ）のような状況となり、撮像物体Ｂの周囲のノイズｂが除去される。この前処理には、前述の第１の従来手法に示したような様々な手法を、単独であるいはいくつか組み合わせて用いてもよい。即ち、前処理として、収縮処理を行わずに、入力画像を水平及び垂直の各方向に１画素単位でずらした画素群と、元の入力画像の画素とを重ね合わせてこれらの画素間における輝度値の論理和（２値表示の場合は論理和、階調表示（濃淡表示）の場合は最大値）を演算する前記膨張処理を行ってもよく、また前述の平滑化（ｓｍｏｏｔｈｉｎｇ）処理を行うようにしてもよい。
【００１８】
図１の局所領域毎判定部１５は、前述したように局所領域毎に前処理後画像と入力画像のどちらを選択して合成画像を作成するかを判定する。ここでの局所領域とは、画像を様々な手法で複数に分割した領域であり、図４に例を示す。図４（ａ）や図４（ｂ）のように、画像を垂直方向あるいは水平方向に幾つか分割してもよく、図４（ｃ）や図４（ｄ）のように、画像を複数のブロックに分割しても良い。以降は簡単な例として、図４（ｃ）のような画像を４つのブロック（即ち、局所領域Ｅ１〜Ｅ４）分割した場合について説明する。
【００１９】
ここで、局所領域毎判定部１５による判定結果として、図２（ｃ）のように、局所領域Ｅ１，Ｅ３，Ｅ４では入力画像の選択が、また局所領域Ｅ２では前処理部１２による前処理後の画像の選択がそれぞれ判定されると、合成部１３は、局所領域Ｅ１，Ｅ３，Ｅ４については入力画像を選択し、かつ局所領域Ｅ２については前処理後の画像を選択してこれらの選択画像を合成し、図２（ｄ）のような合成画像を生成する。合成部１３により生成された合成画像は、画像処理部１４において前述の第１の従来手法で示した例えば、モルフォロジ（Ｍｏｒｐｈｏｇｙ）演算に基づくノイズ除去処理である前述のｏｐｅｎｉｎｇ処理とｃｌｏｓｉｎｇ処理とを続けて行うことにより、画像のノイズｂを除去して図２（ｅ）のような処理後画像Ａを出力する。
【００２０】
すなわち、第１の実施の形態では入力画像を水平及び垂直の各方向に１画素単位でずらした画素群と、元の入力画像の画素とを重ね合わせてこれらの画素間における輝度値の最小値を演算する収縮処理と、重ね合わされたこれらの画素間における輝度値の最大値を演算する膨張処理とを行うものであり、こうした場合に、画像処理部１４は、収縮処理を行ってから膨張処理を行うｏｐｅｎｉｎｇ処理（第１の画像処理）と、膨張処理を行ってから収縮処理を行うｃｌｏｓｉｎｇ処理（第２の画像処理）とを続けて行うことにより、ノイズｂが除去された処理後画像Ａを出力する。
【００２１】
図５は、局所領域毎判定部１５における判定処理を説明する図である。図５の説明図にしたがって本画像処理装置における画像処理の要部動作を詳細に説明する。まず、図１の判定用画像処理部１６が図５（ａ）に示す入力画像に対して、例えば前述のモルフォロジ演算に基づくノイズ除去処理である前記ｏｐｅｎｉｎｇ処理と、ｃｌｏｓｉｎｇ処理を行う。この判定用画像処理には、第１の従来手法で示したような様々な手法を単独で、あるいはいくつか組み合わせて用いてもよい。
【００２２】
判定用画像処理部１６の処理後の画像は、図５（ｂ）のようにノイズｂは除去されるが、例えば局所領域Ｅ２に存在する２つの撮像物体Ｂのように、互いに近接する２つの撮像物体Ｂが癒着して１つの撮像物体となる。
次に、局所領域毎画素カウント部１８は判定用画像処理部１６の処理後の画像について、輝度値が所定の範囲内に存在する画素の数を局所領域毎に計数する。ここでは、撮像物体Ｂを構成している画素の輝度値を所定の範囲内とし、輝度値が所定の範囲内にある画素の数が計数され、その計数結果は図５（ｄ）のように、局所領域Ｅ１，Ｅ２ではともに２ＬＴとなり、局所領域Ｅ３，Ｅ４ではともにＬＴとなる。ここで、Ｔは１つの撮像物体Ｂの幅方向の画素数を表し、Ｌはその撮像物体Ｂの長さ方向の画素数を表している。
【００２３】
一方、図１の細線化部１７は図５（ｂ）に示す判定用画像処理部１６の処理後の画像について、例えばモルフォロジ（Ｍｏｒｐｈｌｏｇｙ）を用いた手法（Petros A.Maragos and Ronald W.Schafer,“Morphological Skeleton Representation and Coding of Binary Image",IEEE Transactions on Acoustics,Speech,and Signal Processing,vol.ASSP-34,no.5,October 1986,pp1228-1244）で画像を細線化する。この細線化処理は、前述したように、撮像物体Ｂの中心線を求める処理であり、図５（ｂ）の判定用画像処理部１６の処理後の画像では、局所領域Ｅ１には２つの撮像物体Ｂが、他の局所領域Ｅ２〜Ｅ４には１つの撮像物体がそれぞれ存在するため、細線化処理後の画像は、図５（ｃ）のように、局所領域Ｅ１では２つの線分が、他の局所領域Ｅ２〜Ｅ４では１つの線分が細線画像として得られる。
【００２４】
局所領域毎画素カウント部１９は、こうした細線化処理後の画像について輝度値が所定の範囲内に存在する画素の数を局所領域毎に計数する。ここでは、画像中の線分を構成している画素の輝度値を所定の範囲内とし、輝度値が所定の範囲内にある画素の数が計数され、その計数結果は図５（ｅ）に示すように、局所領域Ｅ１では２Ｌとなり、局所領域Ｅ２，Ｅ３，Ｅ４ではともにＬとなる。なお、Ｌはその線分の長さ方向の画素数を表している。
【００２５】
局所領域毎比較部２０は、局所領域毎画素カウント部１８で計数された画素数（細線化処理前の画素数）と、局所領域毎画素カウント部１９で計数された画素数（細線化処理後の画素数）とを各局所領域毎に比較するとともに、細線化処理前と細線処理後でそれぞれ計数した画素数の比が或る値より大きいか否かを局所領域毎に判定し判定結果を出力する。
【００２６】
すなわち、或る局所領域において細線化前に数えた画素数をＮ１とし、細線化後に数えた画素数をＮ２とした場合のＮ１／Ｎ２を局所領域毎に算出する。ここで、各局所領域Ｅ１〜Ｅ４におけるＮ１とＮ２は、それぞれ前述した図５（ｄ）と図５（ｅ）に示すとおりであり、したがって、各局所領域Ｅ１〜Ｅ４におけるＮ１／Ｎ２を求めると、図５（ｆ）のように、局所領域Ｅ２では２Ｔとなり、他の局所領域Ｅ１，Ｅ３，Ｅ４ではＴとなる。
【００２７】
この場合、局所領域毎比較部２０は、例えば図３に示した撮像物体Ｂの幅Ｔを閾値とした式（３）及び式（４）についてそれぞれ演算を行う。即ち、
Ｎ１／Ｎ２＞Ｔ （３）
Ｎ１／Ｎ２≦Ｔ （４）
そして、式（３）が成り立つ局所領域については、前処理後の画像から合成画像を作成すると判定するとともに、式（４）が成り立つ局所領域については、入力画像から合成画像を作成すると判定し、図５（ｇ）に示すその判定結果を合成部１３に出力する。
【００２８】
なお、式（３）と式（４）の右辺の値、つまり閾値Ｔは目的に応じて、Ｔの倍数など様々な値にしてもよく、また、式（３）が成り立つ局所領域は入力画像から合成画像を作成すると判定し、式（４）が成り立つ局所領域は、前処理部１２により処理された前処理後画像から合成画像を作成すると判定してもよい。
【００２９】
合成部１３は、局所領域毎比較部２０の図５（ｇ）に示す判定結果に基づき、前処理後の画像と入力画像から合成画像を作成する。即ち、合成部１３は図２（ｄ）に示すように、局所領域Ｅ２では前処理部１２により前処理された画像を取り込み、他の局所領域Ｅ１，Ｅ３，Ｅ４では入力画像を取り込んでこれらの取り込み画像を合成する。
【００３０】
画像処理部１４は合成部１３の合成画像に対して、例えば前述した判定用画像処理部１６と同一の画像処理、もしくは第１の従来手法で示したような様々な手法を、単独であるいはいくつか組み合わせた処理を行い、図２（ｅ）に示すような処理結果の画像を処理後画像Ａとして出力する。
【００３１】
ところで、全画面均一な処理を行う前述の第１の従来手法では画像処理を行うことによって、図５（ｂ）の局所領域Ｅ２のように、近接している２つの撮像物体Ｂが癒着するなど、撮像物体の構造が破壊されることがあるが、こうした撮像物体の構造の破壊がおこる局所領域のみに、それを避ける前処理（例えばｅｒｏｓｉｏｎ処理：収縮処理）を行うことによって、前述の第２の従来手法のように比較的大きな領域における画素情報を用いたフィルタ処理を行わなくても、ノイズが高精度に除去された画像を得ることができる。
なお、第１の実施の形態ではカメラ２により撮影された画像を処理する例について説明したが、センサ３により検出された例えば指紋画像を処理する場合も同様にノイズが高精度に除去された画像を得ることができる。
【００３２】
以上説明したように、必要とする局所領域のみに前処理を行うことによって、第２の従来手法のように比較的大きな領域における画素情報を用いたフィルタ処理を行わなくても、まだらにノイズが存在する入力画像から撮像物体Ｂの構造が破壊されることなく、第１の従来手法と比較してノイズが高精度に除去された画像を得ることができる。
【００３３】
（第２の実施の形態）
図６は、第２の実施の形態を示すブロック図であり、処理部１０の構成を示すものである。処理部１０は、図６に示すように、カメラ２により撮影された物体の画像、またはセンサ３により検出された物体の画像を取り込む画像入力部２１と、画像入力部２１により取り込まれた画像を入力して前処理を行う前処理部２２と、画像入力部２１が入力した入力画像と前処理部２２により処理された画像を選択的に入力して合成し合成画像として出力する合成部２３と、合成部２３の合成画像を処理して処理後画像Ａとして出力する画像処理部２４と、画像入力部２１からの入力画像を処理して処理結果に基づき、合成部２３が選択する画像を判定する画素毎判定部２５とから構成される。
【００３４】
ここで、画素毎判定部２５は、画像入力部２１からの入力画像を取り込んでこの入力画像を判定用画像として処理する判定用画像処理部２６と、判定用画像処理部２６の処理画像の骨格を求める細線化処理を行う制限付き細線化部２７と、制限付き細線化部２７により処理された画像の膨張処理を行ってこの膨張処理の結果に基づく判定出力を合成部２３に送出し、合成部２３に、入力画像を選択させるか、或いは前処理部２２により処理された画像を選択させるかの制御を行う膨張処理部２８とから構成される。
【００３５】
図７は図６の画像処理装置１により処理される処理画像のイメージ図である。図７及び図６のブロック図に基づき画像処理装置１における画像処理について説明する。
例えばカメラ２により撮影され画像入力部２１に取り込まれた入力画像は、図７（ａ）に示すように、撮像物体Ｂ及び、撮像物体Ｂ以外に撮像物体Ｂの内部や周囲の背景部分にノイズｂがランダムにのった画像として取り込まれる。図７（ａ）の例は複数の物体が撮影された例であり、１つの撮像物体Ｂは画素の集合体であって、図３に示すように、幅Ｔと長さＬを有する。
【００３６】
ここで、図６の前処理部２２は、画像処理後の物体のつぶれやかすれを防ぐために、例えば入力画像を水平及び垂直の各方向に１画素単位でずらした画素群と、もとの画素とを重ね合わせてこれらの画素間における輝度値の論理積（２値表示の場合は論理積、階調表示（濃淡表示）の場合は最小値）を演算するｅｒｏｓｉｏｎ（収縮処理）を行う。この収縮処理の結果は、図７（ｂ）のような状況となり、撮像物体Ｂの周囲のノイズｂが除去される。この前処理には、前述の第１の従来手法に示したような様々な手法を、単独であるいはいくつか組み合わせて用いてもよい。即ち、前処理として、収縮処理を行わずに、入力画像を水平及び垂直の各方向に１画素単位でずらした画素群と、元の入力画像の画素とを重ね合わせてこれらの画素間における輝度値の論理和（２値表示の場合は論理和、階調表示（濃淡表示）の場合は最大値）を演算する前記膨張処理を行ってもよく、また前述の平滑化（ｓｍｏｏｔｈｉｎｇ）処理を行うようにしてもよい。
【００３７】
図６の画素毎判定部２５は、前処理部２２により処理された前処理後画像と、入力画像のどちらを選択して合成画像を作成するかを画素毎に判定する。この場合、まず判定用画像処理部１６が入力画像に対して、前述の第１の従来手法で示した例えば、モルフォロジ（Ｍｏｒｐｈｏｇｙ）演算によるノイズ除去処理である前述のｏｐｅｎｉｎｇ処理とｃｌｏｓｉｎｇ処理とを続けて行うことにより、画像のノイズを除去して図７（ｃ）のような画像を生成する。
【００３８】
すなわち、第２の実施の形態では、入力画像を水平及び垂直の各方向に１画素単位でずらした画素群と、元の入力画像の画素とを重ね合わせてこれらの画素間における輝度値の最小値を演算する前記収縮処理と、これらの画素間における輝度値の最大値を演算する前記膨張処理とを行う場合に、判定用画像処理部２６が、収縮処理を行ってから膨張処理を行うｏｐｅｎｉｎｇ処理（第１の画像処理）と、膨張処理を行ってから収縮処理を行うｃｌｏｓｉｎｇ処理（第２の画像処理）とを続けて行うことにより、画像のノイズｂが除去された画像が生成される。この判定用画像処理には、第１の従来手法で示したような様々な手法を単独で、あるいはいくつか組み合わせて用いてもよい。
【００３９】
図７（ｃ）に示す判定用画像処理部２６の処理後の画像は、ノイズｂは除去されるが、例えば図７（ａ）の領域Ｅに存在する２つの撮像物体Ｂのように、互いに近接する２つの撮像物体Ｂが癒着して１つの撮像物体となる。
【００４０】
こうした判定用画像処理部２６の処理後の画像に対し、次に制限付き細線化部２７が、例えばモルフォロジ（Ｍｏｒｐｈｌｏｇｙ）を用いた手法（Petros A.Maragos and Ronald W.Schafer,“Morphological Skeleton Representation and Coding of Binary Image",IEEE Transactions on Acoustics,Speech,and Signal Processing,vol.ASSP-34,no.5,October 1986,pp1228-1244）により、幅が或る値以下の撮像物体の骨格のみを抽出する細線化処理を行う。
【００４１】
即ち、制限付き細線化部２７は、判定用画像処理部２６の処理後の撮像物体の幅をｗとし、図３で示した撮像物体の幅Ｔを閾値として、式（５）及び式（６）の演算を行う。即ち、
ｗ≦Ｔ （５）
ｗ＞Ｔ （６）
ここで、式（５）が成り立つ場合は骨格が抽出され、式（６）が成り立つ場合は骨格が抽出されない。その結果、図７（ｄ）に示すように、図７（ａ）における癒着した領域Ｅの２つの物体Ｂを除く、４つの物体にそれぞれ対応した４つの線分が撮像物体の骨格として抽出される。なお、式（５）と式（６）の右辺の値、つまり閾値Ｔは目的に応じて、Ｔの倍数など様々な値にしてもよい。
【００４２】
こうして、制限付き細線化部２７により細線化処理された画像に対して、膨張処理部２８は、例えばモルフォロジ（Ｍｏｒｐｈｏｌｏｇｙ）の前述の膨張処理（ｄｉｌａｔｉｏｎ処理）を用いて線分の膨張を行い、図７（ｅ）に示すような膨張画像を生成し、合成部２３に判定結果として出力する。
【００４３】
この場合、合成部２３は、輝度値が第１の範囲内の画素については、即ち図７（ｅ）の白い領域においては前処理部２２により処理された前処理後画像の画素値を、また輝度値が第２の範囲内の画素については、即ち図７（ｅ）の黒い領域においては入力画像の画素値をそれぞれ選択する。ここで、図７（ｅ）に示す例は、輝度値の第２の範囲を図７（ｄ）における細線の膨張画像を構成する画素の輝度値とし、輝度値の第１の範囲を膨張画像以外の背景部分の画素の輝度値とした例であるが、輝度値の第１の範囲を図７（ｄ）における細線の膨張画像を構成する画素の輝度値とし、輝度値の第２の範囲を膨張画像以外の背景部分の画素の輝度値としてもよい。
【００４４】
合成部２３は、前記判定結果に基づき選択した前処理後画像と入力画像とを合成して、図７（ｆ）に示す合成画像を作成する。画像処理部２４は、合成画像に対して、例えば図６の判定用画像処理部２６と同一の画像処理（即ち、ｏｐｅｎｉｎｇ処理とｃｌｏｓｉｎｇ処理とを続けて行う処理）、もしくは第１の従来手法で示したような様々な手法を、単独であるいはいくつか組み合わせた処理を行い、図７（ｇ）に示す処理結果の画像を出力する。
【００４５】
ところで、全画面均一な処理を行う前述の第１の従来手法では画像処理を行うことによって、図７（ｃ）の領域Ｅのように、近接している２つの撮像物体Ｂが癒着するなど、撮像物体の構造が破壊されることがあるが、こうした撮像物体の構造の破壊がおこる局所領域のみに、それを避ける前処理（例えばｅｒｏｓｉｏｎ処理：収縮処理）を行うことによって、前述の第２の従来手法のように比較的大きな領域における画素情報を用いたフィルタ処理を行わなくても、ノイズが高精度に除去された画像を得ることができる。
なお、第２の実施の形態では、カメラ２により撮影された入力画像を処理する例について説明したが、センサ３により検出された例えば指紋画像を処理する場合も同様に、ノイズが高精度に除去された画像を得ることができる。
【００４６】
以上説明したように、第２の実施の形態では、必要とする局所領域のみに前処理を行うことによって、第２の従来手法のように比較的大きな領域における画素情報を用いたフィルタ処理を行わなくても、まだらにノイズが存在する入力画像から撮像物体Ｂの構造が破壊されることなく、第１の従来手法と比較してノイズが高精度に除去された画像を得ることができる。
【００４７】
（第３の実施の形態）
図８は、画像処理装置１の第３の実施の形態を示すブロック図である。第３の実施の形態では、判定画像作成手段５０と、判定画像作成手段５０の判定画像を用いて入力画像（画像入力部１１，２１により入力された画像）と、判定画像作成手段５０により作成された判定画像（判定画像作成手段５０の出力画像）とを合成する合成手段６０とから構成される。
第３の実施の形態は、第１及び第２の実施の形態の構成と異なって前処理手段（前処理部１２，２２）が無く、合成手段６０の入力は入力画像と判定画像（判定画像作成手段５０の出力画像）である。
【００４８】
図９は図８の画像処理装置１により処理された処理画像のイメージ図である。ここで、図９（ａ）は入力画像である。図９（ａ）の入力画像には、物体Ｂの内部にノイズｂが存在し、かつ細い部分Ｄの物体が含まれている。判定画像作成手段５０としては、図６の第２の実施の形態と同様の判定画像作成手段（画素毎判定部２５）を用いることが可能であり、これによって作成された判定画像が図９（ｂ）の画像となる。
【００４９】
合成手段６０は、図９（ｂ）において、輝度値が第１の範囲内の画素については（即ち図９（ｂ）の白い領域においては）入力画像の画素値を、輝度値が第２の範囲内の画素については（即ち図９（ｂ）の黒い領域においては）判定画像の画素値をそれぞれ選択し、合成画像を作成する。合成画像は図９（ｃ）のようになる。第３の実施の形態を用いると、画像合成後には図９（ｃ）に示したように、物体の内部のノイズｂが無くなり、かつ物体の細い部分Ｄも消えず、したがって、精度良くノイズｂが除かれ、認識や認証の精度が向上するという利点がある。
【００５０】
また、第１の実施の形態と同様に、入力画像に収縮処理などの前処理をしてから、合成手段６０に入力することも可能であり、その場合、背景ノイズも同時に除去できる。
【００５１】
（第４の実施の形態）
図１０は、画像処理装置１の第４の実施の形態を示すブロック図である。第４の実施の形態では、判定画像作成手段５０と、前処理手段７０と、判定画像作成手段５０の判定画像を用いて入力画像と判定画像作成手段５０の出力画像と前処理手段７０の出力画像とを合成する合成手段６０とから構成される。
【００５２】
第４の実施の形態では、第１〜第３の実施の形態と異なり、合成手段６０に、判定画像と入力画像と前処理後の画像とが全て入力される。ここで、合成手段６０では、例えば判定画像を用いて入力画像と判定画像作成手段５０の出力画像とから合成画像を作成し、さらに判定画像を用いて、作成した合成画像と前処理後の画像とから合成画像を作成する手段を用いる。なお、合成手段６０は、判定画像作成手段５０の判定画像を用いて判定画像作成手段５０の出力画像と前処理手段７０の出力画像とを合成するようにしても良い。
【００５３】
図１１は、図１０の画像処理装置１により処理された処理画像のイメージ図である。図１１（ａ）は入力画像である。図１１（ａ）の入力画像には物体の内部及び背景部分に、ノイズｂが存在する。判定画像作成手段５０としては、図６の第２の実施の形態と同様の判定画像作成手段（画素毎判定部２５）を用いることが可能であり、これによって作成された判定画像は、図１１（ｂ）のようになる。
【００５４】
前処理手段７０としては、図１の第１の実施の形態１と同様の前処理手段（前処理部１２）を用いることが可能であり、これによって作成された前処理後画像は図１１（ｃ）のようになる。
【００５５】
合成手段６０は、図１１（ｂ）において、輝度値が第１の範囲内の画素については（即ち図１１（ｂ）の白い領域においては）入力画像の画素値を、輝度値が第２の範囲内の画素については（即ち図１１（ｂ）の黒い領域においては）判定画像の画素値をそれぞれ選択し、合成画像＃１を作成する。作成した合成画像＃１は図１１（ｄ）のようになる。合成手段６０は、図１１（ｂ）と図１１（ｃ）の論理和を取るようにしてもよい。
【００５６】
合成手段６０は、再び図１１（ｂ）の判定画像を用いて、図１１（ｃ）の前処理後画像と図１１（ｄ）の合成画像＃１を合成する。
この場合、合成手段６０は同様に、図１１（ｂ）において、輝度値が第１の範囲内の画素については（即ち図１１（ｂ）の白い領域においては）前処理後画像の画素値を、輝度値が第２の範囲内の画素については（即ち図１１（ｂ）の黒い領域においては）合成画像＃１の画素値をそれぞれ選択し、合成画像＃２を作成する。作成した合成画像＃２は図１１（ｅ）のような画像となる。
【００５７】
第４の実施の形態を用いると、画像合成後には図１１（ｅ）に示したように、物体の内部と背景に存在するノイズが共に精度良く除かれ、かつ図１１（ａ）の領域ａのように、癒着しそうな物体を分離し、認識や認証の精度が向上するという利点がある。
【００５８】
（第５の実施の形態）
図１２は、画像処理装置１の第５の実施の形態を示すブロック図である。第５の実施の形態では、判定画像作成手段５０と、第１の前処理手段７１と、第２の前処理手段７２と、判定画像作成手段５０の判定画像を用いて第１の前処理手段７１の出力画像と第２の前処理手段７２の出力画像を合成する合成手段６０とから構成される。
【００５９】
第５の実施の形態は、第１〜第４の実施の形態と異なり、複数の前処理手段による出力画像を合成手段６０に入力する。
図１３は、図１２の画像処理装置１により処理された処理画像のイメージ図である。ここで、図１３（ａ）は入力画像である。図１３（ａ）には物体の内部及び背景部分に、ノイズｂが存在する。この入力画像から、判定画像作成手段５０により判定画像を作成する。判定画像作成手段５０としては、図６の第２の実施の形態と同様の判定画像作成手段（画素毎判定部２５）を用いることが可能であり、これによって作成された判定画像は図１３（ｂ）のような画像となる。
【００６０】
前処理手段７１，７２としては、第１の実施の形態の前処理部１２と同様の処理、あるいは第１の従来手法で示したような、様々な画像処理を用いることが可能である。本例では、第１の前処理手段７１の前処理にモルフォロジの収縮処理を用いるとともに、第２の前処理手段７２の前処理にモルフォロジの膨張処理を用い、それぞれ前処理後画像＃１，＃２を作成する。作成された前処理後画像＃１，＃２は、それぞれ図１３（ｃ）と図１３（ｄ）のようになる。
【００６１】
合成手段６０は、図１３（ｂ）において、輝度値が第１の範囲内の画素については（即ち図１３（ｂ）の白い領域においては）図１３（ｃ）の前処理後画像＃１の画素値を、輝度値が第２の範囲内の画素については（即ち図１３（ｂ）の黒い領域においては）図１３（ｄ）の前処理後画像＃２の画素値をそれぞれ選択し、合成画像を作成する。作成した合成画像は図１３（ｅ）のような画像となる。
【００６２】
第５の実施の形態を用いると、画像合成後には図１３（ｅ）に示したように、物体の内部と背景に存在するノイズｂがともに精度良く除かれ、かつ図１３（ａ）の領域ａのように、癒着しそうな物体を分離し、認識や認証の精度が向上するという利点がある。また、様々な前処理を組み合わせることによって、より認識や認証精度が向上する画像の作成が可能である。
【００６３】
（第６の実施の形態）
図１４は、画像処理装置１の第６の実施の形態を示すブロック図である。第６の実施の形態では、第３〜第５の実施の形態において合成手段６０による合成画像の後に画像処理手段８０（第１及び第２の実施の形態の画像処理部１４，２４に相当）による処理を行う。この画像処理手段８０の画像処理には、モルフォロジを用いたＯｐｅｎ（ｏｐｅｎｉｎｇ処理）−Ｃｌｏｓｅ（ｃｌｏｓｉｎｇ処理）の他に、第１の従来手法で示したような様々な画像処理を単独で、あるいは幾つか組み合わせて用いることが可能である。画像処理手段８０を加えることによって、合成手段６０まででは除けない細かいノイズ等を除去することが可能となる。
【００６４】
（第７の実施の形態）
図１５は、画像処理装置１の第７の実施の形態を示すブロック図である。第７の実施の形態は判定画像作成手段５０の例であり、図１の第１の実施の形態の判定画像作成手段（局所領域毎判定部１５）において、入力画像を処理して第１の計数手段５０３（局所領域毎画素カウント部１８）側へ出力する第１の画像処理手段（判定用画像処理部１６）を省いたものである。なお、図１５の画像処理手段５００は、モルフォロジを用いたＯｐｅｎ−Ｃｌｏｓｅ処理により入力画像を処理する手段であり、また、細線化処理手段５０２，第２の計数手段５０４は、それぞれ図１の細線化部１７，局所領域毎画素カウント部１９に相当する。さらに図１５の算出手段５０５，比較手段５０６は図１の局所領域毎比較部２０に相当する。
【００６５】
第７の実施の形態では、入力画像に細かいノイズが少ない場合、第１の画像処理手段を省くことが可能であり、処理量を削減できる。ここで、第１の実施の形態では画像を均等分割したブロックを局所領域としたが、第７の実施の形態では、局所領域は、図１６（ａ）〜図１６（ｃ）に示すように、不均等に分割した領域でも可能である。また、比較手段５０６における閾値は、局所領域毎に異なる値を用いることが可能であり、入力画像の濃淡むらによる影響を減少させることができる。同様に、局所領域毎に異なる画像処理を行い、入力画像の濃淡むらの影響を減少させることも可能である。
【００６６】
（第８の実施の形態）
図１７は、画像処理装置１の第８の実施の形態を示すブロック図である。第８の実施の形態は判定画像作成手段の例であり、図１の第１の実施の形態の判定画像作成手段（局所領域毎判定部１５）において、モルフォロジを用いたＯｐｅｎ−Ｃｌｏｓｅ処理により入力画像を処理する第１の画像処理手段５１１（判定用画像処理部１６）の後に第１の細線化処理手段５１３を加えたものである。なお、図１７の第２の細線化処理手段５１４は図１の細線化部１７に相当する。また、第２の細線化処理手段５１４により処理される画像は、入力画像を収縮処理する第２の画像処理手段５１２により処理された画像である。
【００６７】
図１８は、図１７の画像処理装置１により処理された処理画像のイメージ図である。
ここで、図１８（ａ）は入力画像であり、物体の内部及び背景部分に、ノイズｂが存在する。画像処理手段としては、第１の実施の形態と同様の処理、あるいは第１の従来手法で示したような、様々な画像処理を用いることが可能である。本例では、第１の画像処理手段５１１の画像処理としてモルフォロジのＯｐｅｎ−Ｃｌｏｓｅ処理を用い、第２の画像処理手段５１２の画像処理としてモルフォロジの収縮処理を用いてそれぞれ処理を行う。この処理を行った結果が、それぞれ図１８（ｂ）と図１８（ｃ）に示される画像である。
【００６８】
作成された図１８（ｂ）と図１８（ｃ）の画像に対して、細線化処理手段５１３，５１４として、図１の第１の実施の形態と同様の細線化処理手段（細線化部１７）を用いることが可能である。細線化処理手段５１３，５１４によって作成された細線画像＃１，＃２が、それぞれ図１８（ｄ）と図１８（ｅ）で示された画像となる。
【００６９】
次に、作成した細線画像＃１，＃２の画素数を計数手段５０３，５０４により局所領域毎にカウントする。計数手段５０３，５０４としては、図１の第１の実施の形態と同様の計数手段（局所領域毎画素カウント部１８，１９）を用いることが可能である。計数手段５０３，５０４によって図１８（ｄ）と図１８（ｅ）の細線画像をそれぞれカウントした結果が、図１８（ｆ）と図１８（ｇ）となる。
【００７０】
算出手段５０５は、局所領域毎に、第１の計数手段５０３による計数結果を第２の計数手段５０４による計数結果で割って比率を求める、図１の第１の実施の形態と同様の算出手段（局所領域毎比較部２０）を用いることが可能であり、これを用いた結果が、図１８（ｈ）となる。
【００７１】
次に、比較手段５０６は、算出手段５０５の算出結果を閾値と比較する。比較手段５０６としては、図１の第１の実施の形態と同様の比較手段（局所領域毎比較部２０）を用いることが可能である。そして、その際の閾値を「１」とした結果が、図１８（ｉ）となる。ここで閾値としては、「１」の他、様々な値にすることも可能である。第８の実施の形態は、第２の実施の形態と異なり、比較手段５０６による閾値に画像中の物体幅等の定数を必要とせず、幅の異なる物体も同時に処理することが可能となる、
【００７２】
（第９の実施の形態）
図１９は、画像処理装置１の第９の実施の形態を示すブロック図である。第９の実施の形態は判定画像作成手段の例であり、第８の実施の形態の第１の画像処理手段５１１を省略し、モルフォロジの収縮処理を用いて画像処理を行う第２の画像処理手段５１２を画像処理手段５０１としたものである。入力画像に細かいノイズが少なく、したがって第１の画像処理手段５１１（モルフォロジを用いたＯｐｅｎ−Ｃｌｏｓｅ処理により入力画像を処理する手段）を必要としない場合に適用可能であり、処理量が削減される、
【００７３】
（第１０の実施の形態）
図２０は、画像処理装置１の第１０の実施の形態を示すブロック図である。第１０の実施の形態は判定画像作成手段の例であり、図１の第１の実施の形態の判定画像作成手段（局所領域毎判定部１５）において、第１及び第２の画像処理手段（判定用画像処理部１６）と、細線化処理手段（細線化部１７）と、第２の計数手段（局所領域毎画素カウント部１９）とを省いたものである。ここで、計数手段５２０としては、図１の第１の実施の形態と同様の計数手段（局所領域毎画素カウント部１８）を用いることが可能であり、例えば入力画像において物体を構成している画素の輝度値を所定の範囲内とし、計数手段５２０は所定の範囲内に輝度値が存在する画素の数を局所領域毎に数えるものとする。
【００７４】
また、比較手段５０６としては、図１の第１の実施の形態と同様の比較手段（局所領域毎比較部２０）を用いることが可能であり、第１０の実施の形態を、第１の実施の形態の判定画像作成手段（局所領域毎判定部１５）として用いた場合、例えば閾値を２ＴＬとし、２ＴＬより画素数が多いときには前処理後の画像を選択し、少ないときには入力画像を選択すると判定する。
【００７５】
第１０の実施の形態は、入力画像の物体幅が常に同じ場合に適用が可能であり、画像処理が不要であるので、処理量が大幅に削減され処理が高速化できる。また、計数手段５２０の前に、例えばモルフォロジを用いたＯｐｅｎ−Ｃｌｏｓｅ処理により入力画像を処理する画像処理手段と細線化処理手段とを加えることで、ノイズを除去し精度を上げることも可能である。
【００７６】
（第１１の実施の形態）
図２１は、画像処理装置１の第１１の実施の形態を示すブロック図である。第１１の実施の形態は判定画像作成手段の例であり、図６の第２の実施の形態の判定画像作成手段（画素毎判定部２５）において、膨張処理手段（膨張処理部２８）を省いたものである。ここで、図２１の画像処理手段５００，細線化処理手段５０２は、それぞれ図６の判定用画像処理部２６，制限付き細線化部２７に相当する。第１１の実施の形態は、入力画像の物体幅が細い場合に適用可能であり、処理量を削減できる。
【００７７】
（第１２の実施の形態）
図２２は、画像処理装置１の第１２の実施の形態を示すブロック図である。第１２の実施の形態は判定画像作成手段の例であり、図６の第２の実施の形態の判定画像作成手段（画素毎判定部２５）において、第１の膨張処理手段５３１（膨張処理部２８）の後に第２の膨張処理手段５３２を加えたもので、第１の膨張処理手段５３１による判定画像と第２の膨張処理手段５３２による判定画像の２種類の判定画像が作成可能なものである。
【００７８】
図２３は、図２２の画像処理装置１により処理される処理画像のイメージ図である。ここで、図２３（ａ）は入力画像であり、物体の内部及び背景部分に、ノイズｂが存在する。画像処理手段５００としては、図６の第２の実施の形態と同様の画像処理手段（判定用画像処理部２６）を用いることが可能であり、これによって処理された処理後の画像は図２３（ｂ）に示す画像となる。
【００７９】
細線化処理手段５０２と第１の膨張処理手段５３１もそれぞれ、図６の第２の実施の形態と同様の細線化処理手段（制限付き細線化部２７）及び膨張処理手段（膨張処理部２８）を用いることが可能であり、これによって作成された画像は、それぞれ図２３（ｃ）と図２３（ｄ）に示される画像となる。
【００８０】
第２の膨張処理手段５３２も、第１の膨張処理手段５３１と同様の膨張処理手段を用いることが可能であり、これによって作成された画像は、図２３（ｅ）に示される画像＃２となる、第１２の実施の形態では、多値の判定画像（複数の判定画像）を作成することにより、より精度の高い合成画像の作成が可能とする。また、細線化処理手段５０２による細線化処理後の画像も判定画像の一つとして用いることが可能である。
【００８１】
（第１３の実施の形態）
図２４は、画像処理装置１の第１３の実施の形態を示すブロック図である。第１３の実施の形態は判定画像作成手段の例であり、図２２に示す第１２の実施の形態の第１の膨張処理手段５３１と第２の膨張処理手段５３２の各膨張処理を並列に行うものである。これにより、処理の高速化が可能となる。また、第１３の実施の形態では、図２２の第１２の実施の形態と同様、第１の膨張処理手段５３１による判定画像と第２の膨張処理手段５３２による判定画像の２種類の判定画像が作成可能であるとともに、細線化処理手段５０２による細線化処理後の画像を判定画像の一つとして用いることもできる。
【００８２】
（第１４の実施の形態）
図２５は、画像処理装置１の第１４の実施の形態を示すブロック図である。第１４の実施の形態は判定画像作成手段の例であり、図２の第２の実施の形態の判定画像作成手段（画素毎判定部２５）を並列に組み合わせた場合の処理部１０のブロック図である。ただし、判定画像作成手段５０（＃２）における画像処理手段としては、モルフォロジの収縮処理を行う第２の画像処理手段５１２が用いられる。抽出手段９０はこれら判定画像作成手段５０（＃１），５０（＃２）により作成された画像を用いて判定画像を作成する。
【００８３】
図２６は、図２５の画像処理装置１により処理される処理画像のイメージ図である。ここで、図２６（ａ）は入力画像であり、物体の内部及び背景部分に、ノイズｂが存在する。第１及び第２の画像処理手段としては、図６の第２の実施の形態の判定画像用画像処理部２６と同様の画像処理手段、あるいは第１の従来手法で示したような、様々な画像処理を用いるか、或いはそれらのいくつかを組み合わせて用いることが可能である。第１の画像処理手段５１１の画像処理として第２の実施の形態の判定画像の作成と同様の画像処理を行い、第２の画像処理手段５１２の画像処理としてモルフォロジの収縮処理を行った結果が、それぞれ図２６（ｂ）と図２６（ｃ）に示される画像である。
【００８４】
作成された図２６（ｂ）と図２６（ｃ）の各画像に対して、それぞれ第１及び第２の細線化処理手段により細線化処理を行う。ここで、第１の細線化処理手段５１３及び第２の細線化処理手段５１４として、図６の第２の実施の形態と同様の細線化処理手段（制限付き細線化部２７）を用いることが可能であり、これによって作成された細線画像が、それぞれ図２６（ｄ）と図２６（ｅ）に示される画像となる。
【００８５】
図２６（ｄ）と図２６（ｅ）の各細線画像に対して、それぞれ第１及び第２の膨張処理手段により膨張処理を行う。ここで、第１の膨張処理手段５３１及び第２の膨張処理手段５３２として、図６の第２の実施の形態と同様の膨張処理手段（膨張処理部２８）を用いることが可能であり、これによって作成された画像は、それぞれ図２６（ｆ）と図２６（ｇ）に示される画像となる。
【００８６】
抽出手段９０は、図２６（ｆ）と図２６（ｇ）に示された画像の論理積を取ることで、図２６（ｆ）に示す判定画像を作成する。
このように、様々な判定画像を組み合わせることによって、より認識や認証精度が向上される画像を作成することが可能である。
【００８７】
（第１５の実施の形態）
図２７は、画像処理装置１の第１５の実施の形態を示すブロック図である。第１５の実施の形態は、第１〜第１４の実施の形態の細線化処理手段を制限付き細線化処理手段５５０に置き換えたものである。ここで、制限付き細線化とは、物体の幅の大きさによって、その細線を抽出するか否か決定できるものである。制限付き細線化処理手段５５０の詳細な構成を図２７に示す。
【００８８】
図２８は、図２７の制限付き細線化処理手段５５０による処理画像のイメージ図である。制限付き細線化処理手段５５０は、繰り返し回数記憶手段５６０に記憶された繰り返し回数ｎによって、細線を抽出する物体幅の上限を決めている。
【００８９】
ここで、図２８（ａ）は入力画像であり、幅が５画素、長さが９画素の物体画像の例である。また、図２８（ｂ），図２８（ｆ），図２８（ｊ）に示される画像は、その入力画像を収縮処理する図２７の収縮処理手段５５２による、それぞれ繰り返し回数が０，１，２における処理結果の画像である。また、図２８（ｃ），図２８（ｇ），図２８（ｋ）に示される画像は、収縮処理手段５５２の出力画像を膨張処理する図２７の膨張処理手段５５３による、それぞれ繰り返し回数が０，１，２における処理結果の画像である。また、図２８（ｄ），図２８（ｈ），図２８（ｌ）に示される画像は、入力画像または収縮処理手段５５２の処理画像から膨張処理手段５５３の処理画像の差分を抽出する図２７の差分抽出手段５５４による、それぞれ繰り返し回数が０，１，２における処理結果の画像である。さらに、図２８（ｅ），図２８（ｉ），図２８（ｍ）に示される画像は、差分抽出手段５５４の前回と今回の処理画像を合成する図２７の和生成手段５５５による、それぞれ繰り返し回数が０，１，２における処理結果の画像である。
【００９０】
図２８に示すように、例えば繰り返し回数ｎが「１」の時は幅が５画素の物体から細線が抽出されないが（図２８（ｉ））、繰り返し回数ｎが「２」の時は幅が５画素の物体から細線が抽出される（図２８（ｍ））。
【００９１】
ここで、細線が抽出される物体幅の上限は、繰り返し回数ｎの値を設定することで任意に決めることができる。第１５の実施の形態では、隣接した物体と癒着して、幅が著しく太くなっている物体からは細線を抽出しないことで、癒着しやすい領域を判定でき、また物体の中心の正しい位置にのみ細線を抽出できる。
【００９２】
（第１６の実施の形態）
図２９は、第１６の実施の形態を示すブロック図である。第１６の実施の形態は、入力画像に対して、第１〜第１５の実施の形態で示した処理を一つ、あるいは複数組み合わせて行い、指紋や虹彩などのバイオメトリクス認証に用いる登録画像及び照合画像を作成する。すなわち、カメラ２やセンサ３から入力した画像を、処理部１０により、第１〜第１５の実施の形態で示した処理を一つあるいは複数組み合わせて行い、作成した画像を登録画像としてメモリ３０に保存する。
【００９３】
そして、照合時には、処理部１０により、第１〜第１５の実施の形態で示した処理を一つあるいは複数組み合わせて行い照合画像を作成し、照合部１１０は照合画像とメモリ３０に保存されている登録画像を照合し、照合結果を出力する。第１６の実施の形態は、第２の従来手法が有するような、比較的大きな領域の画素情報を用いたフィルタ処理が不要であるので、小型で安価なバイオメトリクス認証装置１００単体での登録画像及び照合画像の作成を可能とする。また、データがバイオメトリクス装置１００から外部に転送されないため、データの改ざんやなりすましを防ぐことができる。
【００９４】
【発明の効果】
以上説明したように本発明によれば、指紋などの物体像を含む画像を入力すると、この入力画像に対し、収縮処理を前処理として行うとともに、入力画像を入力すると所定数の領域に分割し、かつ分割領域毎にこの入力画像を処理して、処理結果に基づいて前処理手段による前処理後の画像と入力画像の何れか一方を選択するための判定を分割領域毎に行う一方、この判定結果に応じて選択された前処理手段による前処理後の画像と入力画像とを合成し合成画像として出力するようにしたので、第１の従来手法が有するような、撮像物体の構造がところどころ破壊されてしまうという問題を解消することができ、同時に第２の従来手法が有するような、比較的大きな領域の画素情報を用いたフィルタ処理が不要になるとともに、ノイズが高精度に除去された正確な画像を認証用画像として提供でき、これにより認証精度が向上する。
【００９５】
また、入力画像に対し、収縮処理を前処理として行うとともに、入力画像に対し収縮処理を行った後に膨張処理を行う第１の画像処理と、膨張処理を行った後に収縮処理を行う第２の画像処理とを行い、処理された画像の中から物体像の骨格を抽出して膨張処理を行う一方、膨張処理の結果に基づいて、前処理後の画像と入力画像とを合成して合成画像とし、さらにこの合成画像に対し第１及び第２の画像処理を順次行うようにしたので、同様に第１の従来手法が有するような、撮像物体の構造がところどころ破壊されてしまうという問題を解消することができ、同時に第２の従来手法が有するような、比較的大きな領域の画素情報を用いたフィルタ処理が不要となるとともに、ノイズが高精度に除去された正確な画像を認証用画像として提供でき、これにより認証制度が向上する。
【図面の簡単な説明】
【図１】 本発明に係る画像処理装置の第１の実施の形態を示すブロック図である。
【図２】 上記画像処理装置における画像処理を説明する説明図である。
【図３】 上記画像処理装置の処理対象となる撮像物体の幅と長さを説明する図である。
【図４】 上記画像処理装置の処理対象となる画像領域の分割状況を説明する図である。
【図５】 上記画像処理装置における画像処理の要部を説明する説明図である。
【図６】 画像処理装置の第２の実施の形態を示すブロック図である。
【図７】 上記画像処理装置における画像処理を説明する説明図である。
【図８】 画像処理装置の第３の実施の形態を示すブロック図である。
【図９】 図８の画像処理装置における画像処理を説明する説明図である。
【図１０】 画像処理装置の第４の実施の形態を示すブロック図である。
【図１１】 図１０の画像処理装置における画像処理を説明する説明図である。
【図１２】 画像処理装置の第５の実施の形態を示すブロック図である。
【図１３】 図１２の画像処理装置における画像処理を説明する説明図である。
【図１４】 画像処理装置の第６の実施の形態を示すブロック図である。
【図１５】 画像処理装置の第７の実施の形態を示すブロック図である。
【図１６】 図１５の画像処理装置における画像処理を説明する説明図である。
【図１７】 画像処理装置の第８の実施の形態を示すブロック図である。
【図１８】 図１７の画像処理装置における画像処理を説明する説明図である。
【図１９】 画像処理装置の第９の実施の形態を示すブロック図である。
【図２０】 画像処理装置の第１０の実施の形態を示すブロック図である。
【図２１】 画像処理装置の第１１の実施の形態を示すブロック図である。
【図２２】 画像処理装置の第１２の実施の形態を示すブロック図である。
【図２３】 図２２の画像処理装置における画像処理を説明する説明図である。
【図２４】 画像処理装置の第１３の実施の形態を示すブロック図である。
【図２５】 画像処理装置の第１４の実施の形態を示すブロック図である。
【図２６】 図２５の画像処理装置における画像処理を説明する説明図である。
【図２７】 画像処理装置の第１５の実施の形態を示すブロック図である。
【図２８】 図２７の画像処理装置における画像処理を説明する説明図である。
【図２９】 画像処理装置の第１６の実施の形態を示すブロック図である。
【符号の説明】
１…画像処理装置、２…カメラ、３…センサ、１０…処理部、１１，２１…画像入力部、１２，２２…前処理部、１３，２３…合成部、１４，２４…画像処理部、１５…局所領域毎判定部、１６，２６…判定用画像処理部、１７…細線化部、１８，１９…局所領域毎画素カウント部、２０…局所領域毎比較部、２５…画素毎判定部、２７…制限付き細線化部、２８…膨張処理部、３０…メモリ、５０…判定画像作成手段、６０…合成手段、７０…前処理手段、７１…第１の前処理手段、７２…第２の前処理手段、８０，５００，５０１…画像処理手段、９０…抽出手段、１００…バイオメトリクス認証装置、１１０…照合部、５０２…細線化処理手段、５０３…第１の計数手段、５０４…第２の計数手段、５０５…算出手段、５０６…比較手段、５１１…第１の画像処理手段、５１２…第２の画像処理手段、５１３…第１の細線化処理手段、５１４…第２の細線化処理手段、５２０…計数手段、５３１…第１の膨張処理手段、５３２…第２の膨張処理手段、５５０…制限付き細線化処理手段、５５１…選択手段、５５２…収縮処理手段、５５３…膨張処理手段、５５４…差分抽出手段、５５５…和生成手段、５５６…記憶手段、５６０…繰り返し回数記憶手段。
【発明の属する技術分野】
本発明は、ノイズが存在する入力画像の中から前記入力画像に含まれる撮像物体の本来の構造を再現可能な画像処理装置に関し、特に一つの画像に複数の撮像物体が存在する時の各撮像物体の認識や、指紋及び虹彩を用いた個人認証等の前処理に必要な画像処理を行う画像処理装置及び方法に関する。
【０００２】
【従来の技術】
一般に画像のノイズを除去する場合、ノイズである画素が孤立して周囲の画素と異なる輝度値を持つことに着目し、周囲画素との輝度値の差を利用して行われている。こうした背景画像中の孤立点の除去や図形（物体画像）内の穴（孤立点）を埋めるノイズ除去の代表的なものとして、平滑化（ｓｍｏｏｔｈｉｎｇ）フィルタ法がある。これは、着目画素の周辺の３×３画素の平均輝度値を着目画素の輝度値とする手法である。しかし、この手法では、エッジもぼかしてしまうという欠点がある。エッジをぼかさないノイズ除去として、着目画素の周辺の３×３画素の輝度値の内、真中の値を着目画素の輝度値とするメディアンフィルタ（T.S.Huang,G.J.Yang,and G.Y.Tang,"Afast two-dimensional median filtering algorithm,"PRIP'78,pp.121-131,1978.）がある。
【０００３】
また、撮像された物体に対して、Ｍｏｒｐｈｏｇｙ（モルフォロジ）の関数であるｅｒｏｓｉｏｎ（収縮）処理、ｄｉｌａｔｉｏｎ（膨張）処理を行うことにより、背景の点ノイズや物体内の穴を除く手法がある。また、この処理を繰り返すことによって、ノイズを除去する手法（J.Serra,“Image Analysis and Mathematical Morphology,"Academic Press,Lodon,1982、及びP.Maragos,“Tutorial on advances in morphological image processing and analysis",Opt,Eng.,26,1987）もある。
【０００４】
この手法によれば、処理する面像をＸとし、構造要素をＢとした場合、（Ｘ＋Ｂ）をＢによるＸの膨張、（Ｘ−Ｂ）をＢによるＸの収縮と定義すると、ｏｐｅｎｉｎｇとｃｌｏｓｉｎｇは式（１）と式（２）でそれぞれ定義される。ｏｐｅｎｉｎｇとｃｌｏｓｉｎｇを続けて行うことにより、ノイズは除去される。
ＸｏＢ＝（Ｘ−Ｂ）＋Ｂ （１）
Ｘ・Ｂ＝（Ｘ＋Ｂ）−Ｂ （２）
【０００５】
すなわち、画像をいくつかの方向に画素単位でずらした画素群と、元の画素とを重ね合わせてこれらの画素間における輝度値の論理積（濃淡画像の場合は最小値）をとる収縮処理と、これらの画素間における輝度値の論理和（濃淡画像の場合は最大値）をとる膨張処理とを行う場合に、収縮処理を行ってから膨張処理を行うｏｐｅｎｉｎｇ処理と、膨張処理を行ってから収縮処理を行うｃｌｏｓｉｎｇ処理とを続けて行うことにより、まずｏｐｅｎｉｎｇ処理により細かいノイズが除去され、続いてｃｌｏｓｉｎｇ処理により物体中の穴（ノイズ）を埋めることができる。
【０００６】
また、収縮、膨張処理を繰り返す手法の例として、上記の例以外に他の手法（R.M.Haralick,S.R.Sternber and X.Zhuang,“Image Analysis Using Mathematical Morphology,“IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.PAMI-9,no.4,pp.532-550,July 1987）もある。
【０００７】
【発明が解決しようとする課題】
以上述べてきた手法（第１の従来手法という）では、比較的小さな規模の並列ハードウェアを用いて高速に処理が行えるが、処理した画像の物体に部分的に途切れやつぶれが生じ、物体の構造が再現されないという問題がある、
【０００８】
従来、これを改善する手法（第２の従来手法という）として、撮像された物体の構造を考慮した画像処理方法がある。その一つに、物体のエッジ方向に基づいたノイズ除去法（M.Nagao and T.Matsuyama,"Edge preserving smoothing,"CGIP,vol.9,pp.394-407 April 1979）がある、これは、着目画素の周辺５×５画素の領域において、異なる９つの窓パターン別に物体のエッジ方向を分類し、それぞれのパターン内の輝度値の分散を求め、分散が最も小さいパターン内の平均輝度値を着目画素の輝度値とするエッジ方向を加味した手法である。
【０００９】
また、撮像される物体に特化した手法として、例えば指紋認証における登録画像作成アルゴリズムにＭｅｈｔｒｅ法（B.M.Mehtre,“Fingerprint Image Analysis for Automatic Identification ," Machine Vision and Applications,vol.6,no.2・3,pp.124-139,1993.）がある。これは、指紋の隆線方向を求めその方向に沿って、ｃｏｔｅｘｔｕａｌフィルタを畳み込み、隆線を強調する手法である。以上述べてきた第２の従来手法では、処理した画像における物体（後者の場合は指紋の隆線）の構造は破壊されにくいが、比較的大きな領域における画素情報を用いた複雑なフィルタ処理が必要となることから、処理量が多く、したがって安価かつ簡易な装置での高速高精度の処理が難しい。
【００１０】
本発明は以上の問題点に鑑みてなされたものであり、その目的とするところは、前述した第１の従来手法が有するような、撮像物体の構造がところどころ破壊されてしまうという問題を解決し、同時に第２の従来手法が有するような、比較的大きな領域の画素情報を用いたフィルタ処理を不要とすることにより、安価かつ簡易な装置での高速高精度の処理を実現し、各撮像物体の認識や、指紋及び虹彩を用いた個人認証等を行う際の的確な画像を提供可能にすることにある。
【００１１】
【課題を解決するための手段】
このような課題を解決するために本発明は、指紋などの物体像を含む画像を入力すると、この入力画像の修正処理を行い、修正処理した画像を出力する画像修正手段を備え、画像修正手段は、入力画像を判定し、その結果を示す判定画像の作成を行う判定画像作成手段と、入力画像と判定画像作成手段の出力画像とを、判定画像作成手段の判定画像に基づいて合成する合成手段とを備え、判定画像作成手段は、入力画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第１の画像処理と、この第１の画像処理を行った後の画像を第１の画像として膨張処理を行うとともにこの膨張処理後の画像を第１の画像として収縮処理を行う第２の画像処理とを実行する画像処理手段と、画像処理手段の処理画像に対して物体像の中心線を抽出する細線化処理手段とを備え、判定画像作成手段は、細線化処理手段の出力画像を判定画像として出力し、合成手段は、判定画像作成手段の出力する判定画像のうち、輝度値が第１の範囲内の画素に対しては入力画像の画素を選択し、輝度値が第１の範囲と異なる第２の範囲内の画素に対しては判定画像作成手段の出力する判定画像の画素を選択し、選択した画素を合成して合成画像として出力するものである。
【００１２】
また、本発明は、物体の画像を入力すると、この物体像を含む入力画像の修正処理を行い、修正処理した画像を出力する画像修正ステップを有し、画像修正ステップは、入力画像を判定し、その結果を示す判定画像の作成を行う判定画像作成ステップと、入力画像と判定画像作成ステップの出力画像とを、判定画像作成ステップの判定画像に基づいて合成する合成ステップとを有し、判定画像作成ステップは、入力画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第１の画像処理と、この第１の画像処理を行った後の画像を第１の画像として膨張処理を行うとともにこの膨張処理後の画像を第１の画像として収縮処理を行う第２の画像処理とを実行する画像処理ステップと、画像処理ステップの処理画像に対して物体像の中心線を抽出する細線化処理ステップとを有し、判定画像作成ステップは、細線化処理ステップの出力画像を判定画像として出力し、合成ステップは、判定画像作成ステップの出力する判定画像のうち、輝度値が第１の範囲内の画素に対しては入力画像の画素を選択し、輝度値が第１の範囲と異なる第２の範囲内の画素に対しては判定画像作成ステップの出力する判定画像の画素を選択し、選択した画素を合成して合成画像として出力する方法である。
【００１３】
【発明の実施の形態】
以下、本発明について図面を参照して説明する。
（第１の実施の形態）
図１（ａ）は本発明に係る画像処理装置の第１の実施の形態を示すブロック図である。この画像処理装置１は、図１（ａ）に示すように、カメラ２により撮影された物体の画像、及びセンサ３により検出された、指紋，虹彩を含む物体の画像を入力して画像処理を行う処理部１０と、入力画像または処理部１０により処理された画像を記憶するメモリ３０とからなる。
【００１４】
図１（ｂ）は、処理部１０の構成を示すブロック図である。処理部１０は、図１（ｂ）に示すように、カメラ２により撮影された物体の画像、またはセンサ３により検出された物体の画像を取り込む画像入力部１１と、画像入力部１１により取り込まれた画像を入力して後述する前処理を行う前処理部１２と、画像入力部１１が入力した入力画像と前処理部１２により処理された画像を選択的に入力して合成し合成画像として出力する合成部１３と、合成部１３の合成画像を処理して処理後画像Ａとして出力する画像処理部１４と、画像入力部１１からの入力画像を処理して、合成部１３が選択する画像を判定する局所領域毎判定部１５とから構成される。
【００１５】
ここで、局所領域毎判定部１５は、画像入力部１１からの入力画像を取り込んでこの入力画像を判定用画像として処理する判定用画像処理部１６と、判定用画像処理部１６の処理画像の中心線を求める細線化処理を行う細線化部１７と、判定用画像処理部１６の処理画像について予め細分化された局所領域毎にその処理画像の画素数を計数する局所領域毎画素カウント部１８と、細線化部１７により細線化処理された画像の画素数を前記局所領域毎に計数する局所領域毎画素カウント部１９と、局所領域毎画素カウント部１８，１９によりそれぞれ計数された各カウント値を局所領域毎に比較し、比較結果に応じて該当の局所領域の画像を入力画像から選択するか、或いは前処理部１２により処理された画像から選択するかを判定してその判定出力を前記合成部１３に出力する局所領域毎比較部２０とから構成される。
【００１６】
図２は図１の画像処理装置１により処理される処理画像のイメージ図である。図２及び図１のブロック図に基づき画像処理装置１における画像処理について説明する。
例えばカメラ２により撮影され画像入力部１１に取り込まれた入力画像は、図２（ａ）に示すように、撮像物体Ｂ及び、撮像物体Ｂ以外に撮像物体Ｂの内部やその周囲の背景部分にノイズｂがランダムにのった画像として取り込まれる。図２（ａ）の例は複数の物体が撮影された例であり、１つの撮像物体Ｂは画素の集合体であって、図３に示すように、幅Ｔと長さＬを有する。
【００１７】
ここで、図１の前処理部１２は、画像処理後の物体のつぶれやかすれを防ぐために、例えば入力画像を水平及び垂直の各方向に１画素単位でずらした画素群と、もとの画素とを重ね合わせてこれらの画素間における輝度値の論理積（２値表示の場合は論理積、階調表示（濃淡表示）の場合は最小値）を演算するｅｒｏｓｉｏｎ（収縮処理）を行う。この収縮処理の結果は、図２（ｂ）のような状況となり、撮像物体Ｂの周囲のノイズｂが除去される。この前処理には、前述の第１の従来手法に示したような様々な手法を、単独であるいはいくつか組み合わせて用いてもよい。即ち、前処理として、収縮処理を行わずに、入力画像を水平及び垂直の各方向に１画素単位でずらした画素群と、元の入力画像の画素とを重ね合わせてこれらの画素間における輝度値の論理和（２値表示の場合は論理和、階調表示（濃淡表示）の場合は最大値）を演算する前記膨張処理を行ってもよく、また前述の平滑化（ｓｍｏｏｔｈｉｎｇ）処理を行うようにしてもよい。
【００１８】
図１の局所領域毎判定部１５は、前述したように局所領域毎に前処理後画像と入力画像のどちらを選択して合成画像を作成するかを判定する。ここでの局所領域とは、画像を様々な手法で複数に分割した領域であり、図４に例を示す。図４（ａ）や図４（ｂ）のように、画像を垂直方向あるいは水平方向に幾つか分割してもよく、図４（ｃ）や図４（ｄ）のように、画像を複数のブロックに分割しても良い。以降は簡単な例として、図４（ｃ）のような画像を４つのブロック（即ち、局所領域Ｅ１〜Ｅ４）分割した場合について説明する。
【００１９】
ここで、局所領域毎判定部１５による判定結果として、図２（ｃ）のように、局所領域Ｅ１，Ｅ３，Ｅ４では入力画像の選択が、また局所領域Ｅ２では前処理部１２による前処理後の画像の選択がそれぞれ判定されると、合成部１３は、局所領域Ｅ１，Ｅ３，Ｅ４については入力画像を選択し、かつ局所領域Ｅ２については前処理後の画像を選択してこれらの選択画像を合成し、図２（ｄ）のような合成画像を生成する。合成部１３により生成された合成画像は、画像処理部１４において前述の第１の従来手法で示した例えば、モルフォロジ（Ｍｏｒｐｈｏｇｙ）演算に基づくノイズ除去処理である前述のｏｐｅｎｉｎｇ処理とｃｌｏｓｉｎｇ処理とを続けて行うことにより、画像のノイズｂを除去して図２（ｅ）のような処理後画像Ａを出力する。
【００２０】
すなわち、第１の実施の形態では入力画像を水平及び垂直の各方向に１画素単位でずらした画素群と、元の入力画像の画素とを重ね合わせてこれらの画素間における輝度値の最小値を演算する収縮処理と、重ね合わされたこれらの画素間における輝度値の最大値を演算する膨張処理とを行うものであり、こうした場合に、画像処理部１４は、収縮処理を行ってから膨張処理を行うｏｐｅｎｉｎｇ処理（第１の画像処理）と、膨張処理を行ってから収縮処理を行うｃｌｏｓｉｎｇ処理（第２の画像処理）とを続けて行うことにより、ノイズｂが除去された処理後画像Ａを出力する。
【００２１】
図５は、局所領域毎判定部１５における判定処理を説明する図である。図５の説明図にしたがって本画像処理装置における画像処理の要部動作を詳細に説明する。まず、図１の判定用画像処理部１６が図５（ａ）に示す入力画像に対して、例えば前述のモルフォロジ演算に基づくノイズ除去処理である前記ｏｐｅｎｉｎｇ処理と、ｃｌｏｓｉｎｇ処理を行う。この判定用画像処理には、第１の従来手法で示したような様々な手法を単独で、あるいはいくつか組み合わせて用いてもよい。
【００２２】
判定用画像処理部１６の処理後の画像は、図５（ｂ）のようにノイズｂは除去されるが、例えば局所領域Ｅ２に存在する２つの撮像物体Ｂのように、互いに近接する２つの撮像物体Ｂが癒着して１つの撮像物体となる。
次に、局所領域毎画素カウント部１８は判定用画像処理部１６の処理後の画像について、輝度値が所定の範囲内に存在する画素の数を局所領域毎に計数する。ここでは、撮像物体Ｂを構成している画素の輝度値を所定の範囲内とし、輝度値が所定の範囲内にある画素の数が計数され、その計数結果は図５（ｄ）のように、局所領域Ｅ１，Ｅ２ではともに２ＬＴとなり、局所領域Ｅ３，Ｅ４ではともにＬＴとなる。ここで、Ｔは１つの撮像物体Ｂの幅方向の画素数を表し、Ｌはその撮像物体Ｂの長さ方向の画素数を表している。
【００２３】
一方、図１の細線化部１７は図５（ｂ）に示す判定用画像処理部１６の処理後の画像について、例えばモルフォロジ（Ｍｏｒｐｈｌｏｇｙ）を用いた手法（Petros A.Maragos and Ronald W.Schafer,“Morphological Skeleton Representation and Coding of Binary Image",IEEE Transactions on Acoustics,Speech,and Signal Processing,vol.ASSP-34,no.5,October 1986,pp1228-1244）で画像を細線化する。この細線化処理は、前述したように、撮像物体Ｂの中心線を求める処理であり、図５（ｂ）の判定用画像処理部１６の処理後の画像では、局所領域Ｅ１には２つの撮像物体Ｂが、他の局所領域Ｅ２〜Ｅ４には１つの撮像物体がそれぞれ存在するため、細線化処理後の画像は、図５（ｃ）のように、局所領域Ｅ１では２つの線分が、他の局所領域Ｅ２〜Ｅ４では１つの線分が細線画像として得られる。
【００２４】
局所領域毎画素カウント部１９は、こうした細線化処理後の画像について輝度値が所定の範囲内に存在する画素の数を局所領域毎に計数する。ここでは、画像中の線分を構成している画素の輝度値を所定の範囲内とし、輝度値が所定の範囲内にある画素の数が計数され、その計数結果は図５（ｅ）に示すように、局所領域Ｅ１では２Ｌとなり、局所領域Ｅ２，Ｅ３，Ｅ４ではともにＬとなる。なお、Ｌはその線分の長さ方向の画素数を表している。
【００２５】
局所領域毎比較部２０は、局所領域毎画素カウント部１８で計数された画素数（細線化処理前の画素数）と、局所領域毎画素カウント部１９で計数された画素数（細線化処理後の画素数）とを各局所領域毎に比較するとともに、細線化処理前と細線処理後でそれぞれ計数した画素数の比が或る値より大きいか否かを局所領域毎に判定し判定結果を出力する。
【００２６】
すなわち、或る局所領域において細線化前に数えた画素数をＮ１とし、細線化後に数えた画素数をＮ２とした場合のＮ１／Ｎ２を局所領域毎に算出する。ここで、各局所領域Ｅ１〜Ｅ４におけるＮ１とＮ２は、それぞれ前述した図５（ｄ）と図５（ｅ）に示すとおりであり、したがって、各局所領域Ｅ１〜Ｅ４におけるＮ１／Ｎ２を求めると、図５（ｆ）のように、局所領域Ｅ２では２Ｔとなり、他の局所領域Ｅ１，Ｅ３，Ｅ４ではＴとなる。
【００２７】
この場合、局所領域毎比較部２０は、例えば図３に示した撮像物体Ｂの幅Ｔを閾値とした式（３）及び式（４）についてそれぞれ演算を行う。即ち、
Ｎ１／Ｎ２＞Ｔ （３）
Ｎ１／Ｎ２≦Ｔ （４）
そして、式（３）が成り立つ局所領域については、前処理後の画像から合成画像を作成すると判定するとともに、式（４）が成り立つ局所領域については、入力画像から合成画像を作成すると判定し、図５（ｇ）に示すその判定結果を合成部１３に出力する。
【００２８】
なお、式（３）と式（４）の右辺の値、つまり閾値Ｔは目的に応じて、Ｔの倍数など様々な値にしてもよく、また、式（３）が成り立つ局所領域は入力画像から合成画像を作成すると判定し、式（４）が成り立つ局所領域は、前処理部１２により処理された前処理後画像から合成画像を作成すると判定してもよい。
【００２９】
合成部１３は、局所領域毎比較部２０の図５（ｇ）に示す判定結果に基づき、前処理後の画像と入力画像から合成画像を作成する。即ち、合成部１３は図２（ｄ）に示すように、局所領域Ｅ２では前処理部１２により前処理された画像を取り込み、他の局所領域Ｅ１，Ｅ３，Ｅ４では入力画像を取り込んでこれらの取り込み画像を合成する。
【００３０】
画像処理部１４は合成部１３の合成画像に対して、例えば前述した判定用画像処理部１６と同一の画像処理、もしくは第１の従来手法で示したような様々な手法を、単独であるいはいくつか組み合わせた処理を行い、図２（ｅ）に示すような処理結果の画像を処理後画像Ａとして出力する。
【００３１】
ところで、全画面均一な処理を行う前述の第１の従来手法では画像処理を行うことによって、図５（ｂ）の局所領域Ｅ２のように、近接している２つの撮像物体Ｂが癒着するなど、撮像物体の構造が破壊されることがあるが、こうした撮像物体の構造の破壊がおこる局所領域のみに、それを避ける前処理（例えばｅｒｏｓｉｏｎ処理：収縮処理）を行うことによって、前述の第２の従来手法のように比較的大きな領域における画素情報を用いたフィルタ処理を行わなくても、ノイズが高精度に除去された画像を得ることができる。
なお、第１の実施の形態ではカメラ２により撮影された画像を処理する例について説明したが、センサ３により検出された例えば指紋画像を処理する場合も同様にノイズが高精度に除去された画像を得ることができる。
【００３２】
以上説明したように、必要とする局所領域のみに前処理を行うことによって、第２の従来手法のように比較的大きな領域における画素情報を用いたフィルタ処理を行わなくても、まだらにノイズが存在する入力画像から撮像物体Ｂの構造が破壊されることなく、第１の従来手法と比較してノイズが高精度に除去された画像を得ることができる。
【００３３】
（第２の実施の形態）
図６は、第２の実施の形態を示すブロック図であり、処理部１０の構成を示すものである。処理部１０は、図６に示すように、カメラ２により撮影された物体の画像、またはセンサ３により検出された物体の画像を取り込む画像入力部２１と、画像入力部２１により取り込まれた画像を入力して前処理を行う前処理部２２と、画像入力部２１が入力した入力画像と前処理部２２により処理された画像を選択的に入力して合成し合成画像として出力する合成部２３と、合成部２３の合成画像を処理して処理後画像Ａとして出力する画像処理部２４と、画像入力部２１からの入力画像を処理して処理結果に基づき、合成部２３が選択する画像を判定する画素毎判定部２５とから構成される。
【００３４】
ここで、画素毎判定部２５は、画像入力部２１からの入力画像を取り込んでこの入力画像を判定用画像として処理する判定用画像処理部２６と、判定用画像処理部２６の処理画像の骨格を求める細線化処理を行う制限付き細線化部２７と、制限付き細線化部２７により処理された画像の膨張処理を行ってこの膨張処理の結果に基づく判定出力を合成部２３に送出し、合成部２３に、入力画像を選択させるか、或いは前処理部２２により処理された画像を選択させるかの制御を行う膨張処理部２８とから構成される。
【００３５】
図７は図６の画像処理装置１により処理される処理画像のイメージ図である。図７及び図６のブロック図に基づき画像処理装置１における画像処理について説明する。
例えばカメラ２により撮影され画像入力部２１に取り込まれた入力画像は、図７（ａ）に示すように、撮像物体Ｂ及び、撮像物体Ｂ以外に撮像物体Ｂの内部や周囲の背景部分にノイズｂがランダムにのった画像として取り込まれる。図７（ａ）の例は複数の物体が撮影された例であり、１つの撮像物体Ｂは画素の集合体であって、図３に示すように、幅Ｔと長さＬを有する。
【００３６】
ここで、図６の前処理部２２は、画像処理後の物体のつぶれやかすれを防ぐために、例えば入力画像を水平及び垂直の各方向に１画素単位でずらした画素群と、もとの画素とを重ね合わせてこれらの画素間における輝度値の論理積（２値表示の場合は論理積、階調表示（濃淡表示）の場合は最小値）を演算するｅｒｏｓｉｏｎ（収縮処理）を行う。この収縮処理の結果は、図７（ｂ）のような状況となり、撮像物体Ｂの周囲のノイズｂが除去される。この前処理には、前述の第１の従来手法に示したような様々な手法を、単独であるいはいくつか組み合わせて用いてもよい。即ち、前処理として、収縮処理を行わずに、入力画像を水平及び垂直の各方向に１画素単位でずらした画素群と、元の入力画像の画素とを重ね合わせてこれらの画素間における輝度値の論理和（２値表示の場合は論理和、階調表示（濃淡表示）の場合は最大値）を演算する前記膨張処理を行ってもよく、また前述の平滑化（ｓｍｏｏｔｈｉｎｇ）処理を行うようにしてもよい。
【００３７】
図６の画素毎判定部２５は、前処理部２２により処理された前処理後画像と、入力画像のどちらを選択して合成画像を作成するかを画素毎に判定する。この場合、まず判定用画像処理部１６が入力画像に対して、前述の第１の従来手法で示した例えば、モルフォロジ（Ｍｏｒｐｈｏｇｙ）演算によるノイズ除去処理である前述のｏｐｅｎｉｎｇ処理とｃｌｏｓｉｎｇ処理とを続けて行うことにより、画像のノイズを除去して図７（ｃ）のような画像を生成する。
【００３８】
すなわち、第２の実施の形態では、入力画像を水平及び垂直の各方向に１画素単位でずらした画素群と、元の入力画像の画素とを重ね合わせてこれらの画素間における輝度値の最小値を演算する前記収縮処理と、これらの画素間における輝度値の最大値を演算する前記膨張処理とを行う場合に、判定用画像処理部２６が、収縮処理を行ってから膨張処理を行うｏｐｅｎｉｎｇ処理（第１の画像処理）と、膨張処理を行ってから収縮処理を行うｃｌｏｓｉｎｇ処理（第２の画像処理）とを続けて行うことにより、画像のノイズｂが除去された画像が生成される。この判定用画像処理には、第１の従来手法で示したような様々な手法を単独で、あるいはいくつか組み合わせて用いてもよい。
【００３９】
図７（ｃ）に示す判定用画像処理部２６の処理後の画像は、ノイズｂは除去されるが、例えば図７（ａ）の領域Ｅに存在する２つの撮像物体Ｂのように、互いに近接する２つの撮像物体Ｂが癒着して１つの撮像物体となる。
【００４０】
こうした判定用画像処理部２６の処理後の画像に対し、次に制限付き細線化部２７が、例えばモルフォロジ（Ｍｏｒｐｈｌｏｇｙ）を用いた手法（Petros A.Maragos and Ronald W.Schafer,“Morphological Skeleton Representation and Coding of Binary Image",IEEE Transactions on Acoustics,Speech,and Signal Processing,vol.ASSP-34,no.5,October 1986,pp1228-1244）により、幅が或る値以下の撮像物体の骨格のみを抽出する細線化処理を行う。
【００４１】
即ち、制限付き細線化部２７は、判定用画像処理部２６の処理後の撮像物体の幅をｗとし、図３で示した撮像物体の幅Ｔを閾値として、式（５）及び式（６）の演算を行う。即ち、
ｗ≦Ｔ （５）
ｗ＞Ｔ （６）
ここで、式（５）が成り立つ場合は骨格が抽出され、式（６）が成り立つ場合は骨格が抽出されない。その結果、図７（ｄ）に示すように、図７（ａ）における癒着した領域Ｅの２つの物体Ｂを除く、４つの物体にそれぞれ対応した４つの線分が撮像物体の骨格として抽出される。なお、式（５）と式（６）の右辺の値、つまり閾値Ｔは目的に応じて、Ｔの倍数など様々な値にしてもよい。
【００４２】
こうして、制限付き細線化部２７により細線化処理された画像に対して、膨張処理部２８は、例えばモルフォロジ（Ｍｏｒｐｈｏｌｏｇｙ）の前述の膨張処理（ｄｉｌａｔｉｏｎ処理）を用いて線分の膨張を行い、図７（ｅ）に示すような膨張画像を生成し、合成部２３に判定結果として出力する。
【００４３】
この場合、合成部２３は、輝度値が第１の範囲内の画素については、即ち図７（ｅ）の白い領域においては前処理部２２により処理された前処理後画像の画素値を、また輝度値が第２の範囲内の画素については、即ち図７（ｅ）の黒い領域においては入力画像の画素値をそれぞれ選択する。ここで、図７（ｅ）に示す例は、輝度値の第２の範囲を図７（ｄ）における細線の膨張画像を構成する画素の輝度値とし、輝度値の第１の範囲を膨張画像以外の背景部分の画素の輝度値とした例であるが、輝度値の第１の範囲を図７（ｄ）における細線の膨張画像を構成する画素の輝度値とし、輝度値の第２の範囲を膨張画像以外の背景部分の画素の輝度値としてもよい。
【００４４】
合成部２３は、前記判定結果に基づき選択した前処理後画像と入力画像とを合成して、図７（ｆ）に示す合成画像を作成する。画像処理部２４は、合成画像に対して、例えば図６の判定用画像処理部２６と同一の画像処理（即ち、ｏｐｅｎｉｎｇ処理とｃｌｏｓｉｎｇ処理とを続けて行う処理）、もしくは第１の従来手法で示したような様々な手法を、単独であるいはいくつか組み合わせた処理を行い、図７（ｇ）に示す処理結果の画像を出力する。
【００４５】
ところで、全画面均一な処理を行う前述の第１の従来手法では画像処理を行うことによって、図７（ｃ）の領域Ｅのように、近接している２つの撮像物体Ｂが癒着するなど、撮像物体の構造が破壊されることがあるが、こうした撮像物体の構造の破壊がおこる局所領域のみに、それを避ける前処理（例えばｅｒｏｓｉｏｎ処理：収縮処理）を行うことによって、前述の第２の従来手法のように比較的大きな領域における画素情報を用いたフィルタ処理を行わなくても、ノイズが高精度に除去された画像を得ることができる。
なお、第２の実施の形態では、カメラ２により撮影された入力画像を処理する例について説明したが、センサ３により検出された例えば指紋画像を処理する場合も同様に、ノイズが高精度に除去された画像を得ることができる。
【００４６】
以上説明したように、第２の実施の形態では、必要とする局所領域のみに前処理を行うことによって、第２の従来手法のように比較的大きな領域における画素情報を用いたフィルタ処理を行わなくても、まだらにノイズが存在する入力画像から撮像物体Ｂの構造が破壊されることなく、第１の従来手法と比較してノイズが高精度に除去された画像を得ることができる。
【００４７】
（第３の実施の形態）
図８は、画像処理装置１の第３の実施の形態を示すブロック図である。第３の実施の形態では、判定画像作成手段５０と、判定画像作成手段５０の判定画像を用いて入力画像（画像入力部１１，２１により入力された画像）と、判定画像作成手段５０により作成された判定画像（判定画像作成手段５０の出力画像）とを合成する合成手段６０とから構成される。
第３の実施の形態は、第１及び第２の実施の形態の構成と異なって前処理手段（前処理部１２，２２）が無く、合成手段６０の入力は入力画像と判定画像（判定画像作成手段５０の出力画像）である。
【００４８】
図９は図８の画像処理装置１により処理された処理画像のイメージ図である。ここで、図９（ａ）は入力画像である。図９（ａ）の入力画像には、物体Ｂの内部にノイズｂが存在し、かつ細い部分Ｄの物体が含まれている。判定画像作成手段５０としては、図６の第２の実施の形態と同様の判定画像作成手段（画素毎判定部２５）を用いることが可能であり、これによって作成された判定画像が図９（ｂ）の画像となる。
【００４９】
合成手段６０は、図９（ｂ）において、輝度値が第１の範囲内の画素については（即ち図９（ｂ）の白い領域においては）入力画像の画素値を、輝度値が第２の範囲内の画素については（即ち図９（ｂ）の黒い領域においては）判定画像の画素値をそれぞれ選択し、合成画像を作成する。合成画像は図９（ｃ）のようになる。第３の実施の形態を用いると、画像合成後には図９（ｃ）に示したように、物体の内部のノイズｂが無くなり、かつ物体の細い部分Ｄも消えず、したがって、精度良くノイズｂが除かれ、認識や認証の精度が向上するという利点がある。
【００５０】
また、第１の実施の形態と同様に、入力画像に収縮処理などの前処理をしてから、合成手段６０に入力することも可能であり、その場合、背景ノイズも同時に除去できる。
【００５１】
（第４の実施の形態）
図１０は、画像処理装置１の第４の実施の形態を示すブロック図である。第４の実施の形態では、判定画像作成手段５０と、前処理手段７０と、判定画像作成手段５０の判定画像を用いて入力画像と判定画像作成手段５０の出力画像と前処理手段７０の出力画像とを合成する合成手段６０とから構成される。
【００５２】
第４の実施の形態では、第１〜第３の実施の形態と異なり、合成手段６０に、判定画像と入力画像と前処理後の画像とが全て入力される。ここで、合成手段６０では、例えば判定画像を用いて入力画像と判定画像作成手段５０の出力画像とから合成画像を作成し、さらに判定画像を用いて、作成した合成画像と前処理後の画像とから合成画像を作成する手段を用いる。なお、合成手段６０は、判定画像作成手段５０の判定画像を用いて判定画像作成手段５０の出力画像と前処理手段７０の出力画像とを合成するようにしても良い。
【００５３】
図１１は、図１０の画像処理装置１により処理された処理画像のイメージ図である。図１１（ａ）は入力画像である。図１１（ａ）の入力画像には物体の内部及び背景部分に、ノイズｂが存在する。判定画像作成手段５０としては、図６の第２の実施の形態と同様の判定画像作成手段（画素毎判定部２５）を用いることが可能であり、これによって作成された判定画像は、図１１（ｂ）のようになる。
【００５４】
前処理手段７０としては、図１の第１の実施の形態１と同様の前処理手段（前処理部１２）を用いることが可能であり、これによって作成された前処理後画像は図１１（ｃ）のようになる。
【００５５】
合成手段６０は、図１１（ｂ）において、輝度値が第１の範囲内の画素については（即ち図１１（ｂ）の白い領域においては）入力画像の画素値を、輝度値が第２の範囲内の画素については（即ち図１１（ｂ）の黒い領域においては）判定画像の画素値をそれぞれ選択し、合成画像＃１を作成する。作成した合成画像＃１は図１１（ｄ）のようになる。合成手段６０は、図１１（ｂ）と図１１（ｃ）の論理和を取るようにしてもよい。
【００５６】
合成手段６０は、再び図１１（ｂ）の判定画像を用いて、図１１（ｃ）の前処理後画像と図１１（ｄ）の合成画像＃１を合成する。
この場合、合成手段６０は同様に、図１１（ｂ）において、輝度値が第１の範囲内の画素については（即ち図１１（ｂ）の白い領域においては）前処理後画像の画素値を、輝度値が第２の範囲内の画素については（即ち図１１（ｂ）の黒い領域においては）合成画像＃１の画素値をそれぞれ選択し、合成画像＃２を作成する。作成した合成画像＃２は図１１（ｅ）のような画像となる。
【００５７】
第４の実施の形態を用いると、画像合成後には図１１（ｅ）に示したように、物体の内部と背景に存在するノイズが共に精度良く除かれ、かつ図１１（ａ）の領域ａのように、癒着しそうな物体を分離し、認識や認証の精度が向上するという利点がある。
【００５８】
（第５の実施の形態）
図１２は、画像処理装置１の第５の実施の形態を示すブロック図である。第５の実施の形態では、判定画像作成手段５０と、第１の前処理手段７１と、第２の前処理手段７２と、判定画像作成手段５０の判定画像を用いて第１の前処理手段７１の出力画像と第２の前処理手段７２の出力画像を合成する合成手段６０とから構成される。
【００５９】
第５の実施の形態は、第１〜第４の実施の形態と異なり、複数の前処理手段による出力画像を合成手段６０に入力する。
図１３は、図１２の画像処理装置１により処理された処理画像のイメージ図である。ここで、図１３（ａ）は入力画像である。図１３（ａ）には物体の内部及び背景部分に、ノイズｂが存在する。この入力画像から、判定画像作成手段５０により判定画像を作成する。判定画像作成手段５０としては、図６の第２の実施の形態と同様の判定画像作成手段（画素毎判定部２５）を用いることが可能であり、これによって作成された判定画像は図１３（ｂ）のような画像となる。
【００６０】
前処理手段７１，７２としては、第１の実施の形態の前処理部１２と同様の処理、あるいは第１の従来手法で示したような、様々な画像処理を用いることが可能である。本例では、第１の前処理手段７１の前処理にモルフォロジの収縮処理を用いるとともに、第２の前処理手段７２の前処理にモルフォロジの膨張処理を用い、それぞれ前処理後画像＃１，＃２を作成する。作成された前処理後画像＃１，＃２は、それぞれ図１３（ｃ）と図１３（ｄ）のようになる。
【００６１】
合成手段６０は、図１３（ｂ）において、輝度値が第１の範囲内の画素については（即ち図１３（ｂ）の白い領域においては）図１３（ｃ）の前処理後画像＃１の画素値を、輝度値が第２の範囲内の画素については（即ち図１３（ｂ）の黒い領域においては）図１３（ｄ）の前処理後画像＃２の画素値をそれぞれ選択し、合成画像を作成する。作成した合成画像は図１３（ｅ）のような画像となる。
【００６２】
第５の実施の形態を用いると、画像合成後には図１３（ｅ）に示したように、物体の内部と背景に存在するノイズｂがともに精度良く除かれ、かつ図１３（ａ）の領域ａのように、癒着しそうな物体を分離し、認識や認証の精度が向上するという利点がある。また、様々な前処理を組み合わせることによって、より認識や認証精度が向上する画像の作成が可能である。
【００６３】
（第６の実施の形態）
図１４は、画像処理装置１の第６の実施の形態を示すブロック図である。第６の実施の形態では、第３〜第５の実施の形態において合成手段６０による合成画像の後に画像処理手段８０（第１及び第２の実施の形態の画像処理部１４，２４に相当）による処理を行う。この画像処理手段８０の画像処理には、モルフォロジを用いたＯｐｅｎ（ｏｐｅｎｉｎｇ処理）−Ｃｌｏｓｅ（ｃｌｏｓｉｎｇ処理）の他に、第１の従来手法で示したような様々な画像処理を単独で、あるいは幾つか組み合わせて用いることが可能である。画像処理手段８０を加えることによって、合成手段６０まででは除けない細かいノイズ等を除去することが可能となる。
【００６４】
（第７の実施の形態）
図１５は、画像処理装置１の第７の実施の形態を示すブロック図である。第７の実施の形態は判定画像作成手段５０の例であり、図１の第１の実施の形態の判定画像作成手段（局所領域毎判定部１５）において、入力画像を処理して第１の計数手段５０３（局所領域毎画素カウント部１８）側へ出力する第１の画像処理手段（判定用画像処理部１６）を省いたものである。なお、図１５の画像処理手段５００は、モルフォロジを用いたＯｐｅｎ−Ｃｌｏｓｅ処理により入力画像を処理する手段であり、また、細線化処理手段５０２，第２の計数手段５０４は、それぞれ図１の細線化部１７，局所領域毎画素カウント部１９に相当する。さらに図１５の算出手段５０５，比較手段５０６は図１の局所領域毎比較部２０に相当する。
【００６５】
第７の実施の形態では、入力画像に細かいノイズが少ない場合、第１の画像処理手段を省くことが可能であり、処理量を削減できる。ここで、第１の実施の形態では画像を均等分割したブロックを局所領域としたが、第７の実施の形態では、局所領域は、図１６（ａ）〜図１６（ｃ）に示すように、不均等に分割した領域でも可能である。また、比較手段５０６における閾値は、局所領域毎に異なる値を用いることが可能であり、入力画像の濃淡むらによる影響を減少させることができる。同様に、局所領域毎に異なる画像処理を行い、入力画像の濃淡むらの影響を減少させることも可能である。
【００６６】
（第８の実施の形態）
図１７は、画像処理装置１の第８の実施の形態を示すブロック図である。第８の実施の形態は判定画像作成手段の例であり、図１の第１の実施の形態の判定画像作成手段（局所領域毎判定部１５）において、モルフォロジを用いたＯｐｅｎ−Ｃｌｏｓｅ処理により入力画像を処理する第１の画像処理手段５１１（判定用画像処理部１６）の後に第１の細線化処理手段５１３を加えたものである。なお、図１７の第２の細線化処理手段５１４は図１の細線化部１７に相当する。また、第２の細線化処理手段５１４により処理される画像は、入力画像を収縮処理する第２の画像処理手段５１２により処理された画像である。
【００６７】
図１８は、図１７の画像処理装置１により処理された処理画像のイメージ図である。
ここで、図１８（ａ）は入力画像であり、物体の内部及び背景部分に、ノイズｂが存在する。画像処理手段としては、第１の実施の形態と同様の処理、あるいは第１の従来手法で示したような、様々な画像処理を用いることが可能である。本例では、第１の画像処理手段５１１の画像処理としてモルフォロジのＯｐｅｎ−Ｃｌｏｓｅ処理を用い、第２の画像処理手段５１２の画像処理としてモルフォロジの収縮処理を用いてそれぞれ処理を行う。この処理を行った結果が、それぞれ図１８（ｂ）と図１８（ｃ）に示される画像である。
【００６８】
作成された図１８（ｂ）と図１８（ｃ）の画像に対して、細線化処理手段５１３，５１４として、図１の第１の実施の形態と同様の細線化処理手段（細線化部１７）を用いることが可能である。細線化処理手段５１３，５１４によって作成された細線画像＃１，＃２が、それぞれ図１８（ｄ）と図１８（ｅ）で示された画像となる。
【００６９】
次に、作成した細線画像＃１，＃２の画素数を計数手段５０３，５０４により局所領域毎にカウントする。計数手段５０３，５０４としては、図１の第１の実施の形態と同様の計数手段（局所領域毎画素カウント部１８，１９）を用いることが可能である。計数手段５０３，５０４によって図１８（ｄ）と図１８（ｅ）の細線画像をそれぞれカウントした結果が、図１８（ｆ）と図１８（ｇ）となる。
【００７０】
算出手段５０５は、局所領域毎に、第１の計数手段５０３による計数結果を第２の計数手段５０４による計数結果で割って比率を求める、図１の第１の実施の形態と同様の算出手段（局所領域毎比較部２０）を用いることが可能であり、これを用いた結果が、図１８（ｈ）となる。
【００７１】
次に、比較手段５０６は、算出手段５０５の算出結果を閾値と比較する。比較手段５０６としては、図１の第１の実施の形態と同様の比較手段（局所領域毎比較部２０）を用いることが可能である。そして、その際の閾値を「１」とした結果が、図１８（ｉ）となる。ここで閾値としては、「１」の他、様々な値にすることも可能である。第８の実施の形態は、第２の実施の形態と異なり、比較手段５０６による閾値に画像中の物体幅等の定数を必要とせず、幅の異なる物体も同時に処理することが可能となる、
【００７２】
（第９の実施の形態）
図１９は、画像処理装置１の第９の実施の形態を示すブロック図である。第９の実施の形態は判定画像作成手段の例であり、第８の実施の形態の第１の画像処理手段５１１を省略し、モルフォロジの収縮処理を用いて画像処理を行う第２の画像処理手段５１２を画像処理手段５０１としたものである。入力画像に細かいノイズが少なく、したがって第１の画像処理手段５１１（モルフォロジを用いたＯｐｅｎ−Ｃｌｏｓｅ処理により入力画像を処理する手段）を必要としない場合に適用可能であり、処理量が削減される、
【００７３】
（第１０の実施の形態）
図２０は、画像処理装置１の第１０の実施の形態を示すブロック図である。第１０の実施の形態は判定画像作成手段の例であり、図１の第１の実施の形態の判定画像作成手段（局所領域毎判定部１５）において、第１及び第２の画像処理手段（判定用画像処理部１６）と、細線化処理手段（細線化部１７）と、第２の計数手段（局所領域毎画素カウント部１９）とを省いたものである。ここで、計数手段５２０としては、図１の第１の実施の形態と同様の計数手段（局所領域毎画素カウント部１８）を用いることが可能であり、例えば入力画像において物体を構成している画素の輝度値を所定の範囲内とし、計数手段５２０は所定の範囲内に輝度値が存在する画素の数を局所領域毎に数えるものとする。
【００７４】
また、比較手段５０６としては、図１の第１の実施の形態と同様の比較手段（局所領域毎比較部２０）を用いることが可能であり、第１０の実施の形態を、第１の実施の形態の判定画像作成手段（局所領域毎判定部１５）として用いた場合、例えば閾値を２ＴＬとし、２ＴＬより画素数が多いときには前処理後の画像を選択し、少ないときには入力画像を選択すると判定する。
【００７５】
第１０の実施の形態は、入力画像の物体幅が常に同じ場合に適用が可能であり、画像処理が不要であるので、処理量が大幅に削減され処理が高速化できる。また、計数手段５２０の前に、例えばモルフォロジを用いたＯｐｅｎ−Ｃｌｏｓｅ処理により入力画像を処理する画像処理手段と細線化処理手段とを加えることで、ノイズを除去し精度を上げることも可能である。
【００７６】
（第１１の実施の形態）
図２１は、画像処理装置１の第１１の実施の形態を示すブロック図である。第１１の実施の形態は判定画像作成手段の例であり、図６の第２の実施の形態の判定画像作成手段（画素毎判定部２５）において、膨張処理手段（膨張処理部２８）を省いたものである。ここで、図２１の画像処理手段５００，細線化処理手段５０２は、それぞれ図６の判定用画像処理部２６，制限付き細線化部２７に相当する。第１１の実施の形態は、入力画像の物体幅が細い場合に適用可能であり、処理量を削減できる。
【００７７】
（第１２の実施の形態）
図２２は、画像処理装置１の第１２の実施の形態を示すブロック図である。第１２の実施の形態は判定画像作成手段の例であり、図６の第２の実施の形態の判定画像作成手段（画素毎判定部２５）において、第１の膨張処理手段５３１（膨張処理部２８）の後に第２の膨張処理手段５３２を加えたもので、第１の膨張処理手段５３１による判定画像と第２の膨張処理手段５３２による判定画像の２種類の判定画像が作成可能なものである。
【００７８】
図２３は、図２２の画像処理装置１により処理される処理画像のイメージ図である。ここで、図２３（ａ）は入力画像であり、物体の内部及び背景部分に、ノイズｂが存在する。画像処理手段５００としては、図６の第２の実施の形態と同様の画像処理手段（判定用画像処理部２６）を用いることが可能であり、これによって処理された処理後の画像は図２３（ｂ）に示す画像となる。
【００７９】
細線化処理手段５０２と第１の膨張処理手段５３１もそれぞれ、図６の第２の実施の形態と同様の細線化処理手段（制限付き細線化部２７）及び膨張処理手段（膨張処理部２８）を用いることが可能であり、これによって作成された画像は、それぞれ図２３（ｃ）と図２３（ｄ）に示される画像となる。
【００８０】
第２の膨張処理手段５３２も、第１の膨張処理手段５３１と同様の膨張処理手段を用いることが可能であり、これによって作成された画像は、図２３（ｅ）に示される画像＃２となる、第１２の実施の形態では、多値の判定画像（複数の判定画像）を作成することにより、より精度の高い合成画像の作成が可能とする。また、細線化処理手段５０２による細線化処理後の画像も判定画像の一つとして用いることが可能である。
【００８１】
（第１３の実施の形態）
図２４は、画像処理装置１の第１３の実施の形態を示すブロック図である。第１３の実施の形態は判定画像作成手段の例であり、図２２に示す第１２の実施の形態の第１の膨張処理手段５３１と第２の膨張処理手段５３２の各膨張処理を並列に行うものである。これにより、処理の高速化が可能となる。また、第１３の実施の形態では、図２２の第１２の実施の形態と同様、第１の膨張処理手段５３１による判定画像と第２の膨張処理手段５３２による判定画像の２種類の判定画像が作成可能であるとともに、細線化処理手段５０２による細線化処理後の画像を判定画像の一つとして用いることもできる。
【００８２】
（第１４の実施の形態）
図２５は、画像処理装置１の第１４の実施の形態を示すブロック図である。第１４の実施の形態は判定画像作成手段の例であり、図２の第２の実施の形態の判定画像作成手段（画素毎判定部２５）を並列に組み合わせた場合の処理部１０のブロック図である。ただし、判定画像作成手段５０（＃２）における画像処理手段としては、モルフォロジの収縮処理を行う第２の画像処理手段５１２が用いられる。抽出手段９０はこれら判定画像作成手段５０（＃１），５０（＃２）により作成された画像を用いて判定画像を作成する。
【００８３】
図２６は、図２５の画像処理装置１により処理される処理画像のイメージ図である。ここで、図２６（ａ）は入力画像であり、物体の内部及び背景部分に、ノイズｂが存在する。第１及び第２の画像処理手段としては、図６の第２の実施の形態の判定画像用画像処理部２６と同様の画像処理手段、あるいは第１の従来手法で示したような、様々な画像処理を用いるか、或いはそれらのいくつかを組み合わせて用いることが可能である。第１の画像処理手段５１１の画像処理として第２の実施の形態の判定画像の作成と同様の画像処理を行い、第２の画像処理手段５１２の画像処理としてモルフォロジの収縮処理を行った結果が、それぞれ図２６（ｂ）と図２６（ｃ）に示される画像である。
【００８４】
作成された図２６（ｂ）と図２６（ｃ）の各画像に対して、それぞれ第１及び第２の細線化処理手段により細線化処理を行う。ここで、第１の細線化処理手段５１３及び第２の細線化処理手段５１４として、図６の第２の実施の形態と同様の細線化処理手段（制限付き細線化部２７）を用いることが可能であり、これによって作成された細線画像が、それぞれ図２６（ｄ）と図２６（ｅ）に示される画像となる。
【００８５】
図２６（ｄ）と図２６（ｅ）の各細線画像に対して、それぞれ第１及び第２の膨張処理手段により膨張処理を行う。ここで、第１の膨張処理手段５３１及び第２の膨張処理手段５３２として、図６の第２の実施の形態と同様の膨張処理手段（膨張処理部２８）を用いることが可能であり、これによって作成された画像は、それぞれ図２６（ｆ）と図２６（ｇ）に示される画像となる。
【００８６】
抽出手段９０は、図２６（ｆ）と図２６（ｇ）に示された画像の論理積を取ることで、図２６（ｆ）に示す判定画像を作成する。
このように、様々な判定画像を組み合わせることによって、より認識や認証精度が向上される画像を作成することが可能である。
【００８７】
（第１５の実施の形態）
図２７は、画像処理装置１の第１５の実施の形態を示すブロック図である。第１５の実施の形態は、第１〜第１４の実施の形態の細線化処理手段を制限付き細線化処理手段５５０に置き換えたものである。ここで、制限付き細線化とは、物体の幅の大きさによって、その細線を抽出するか否か決定できるものである。制限付き細線化処理手段５５０の詳細な構成を図２７に示す。
【００８８】
図２８は、図２７の制限付き細線化処理手段５５０による処理画像のイメージ図である。制限付き細線化処理手段５５０は、繰り返し回数記憶手段５６０に記憶された繰り返し回数ｎによって、細線を抽出する物体幅の上限を決めている。
【００８９】
ここで、図２８（ａ）は入力画像であり、幅が５画素、長さが９画素の物体画像の例である。また、図２８（ｂ），図２８（ｆ），図２８（ｊ）に示される画像は、その入力画像を収縮処理する図２７の収縮処理手段５５２による、それぞれ繰り返し回数が０，１，２における処理結果の画像である。また、図２８（ｃ），図２８（ｇ），図２８（ｋ）に示される画像は、収縮処理手段５５２の出力画像を膨張処理する図２７の膨張処理手段５５３による、それぞれ繰り返し回数が０，１，２における処理結果の画像である。また、図２８（ｄ），図２８（ｈ），図２８（ｌ）に示される画像は、入力画像または収縮処理手段５５２の処理画像から膨張処理手段５５３の処理画像の差分を抽出する図２７の差分抽出手段５５４による、それぞれ繰り返し回数が０，１，２における処理結果の画像である。さらに、図２８（ｅ），図２８（ｉ），図２８（ｍ）に示される画像は、差分抽出手段５５４の前回と今回の処理画像を合成する図２７の和生成手段５５５による、それぞれ繰り返し回数が０，１，２における処理結果の画像である。
【００９０】
図２８に示すように、例えば繰り返し回数ｎが「１」の時は幅が５画素の物体から細線が抽出されないが（図２８（ｉ））、繰り返し回数ｎが「２」の時は幅が５画素の物体から細線が抽出される（図２８（ｍ））。
【００９１】
ここで、細線が抽出される物体幅の上限は、繰り返し回数ｎの値を設定することで任意に決めることができる。第１５の実施の形態では、隣接した物体と癒着して、幅が著しく太くなっている物体からは細線を抽出しないことで、癒着しやすい領域を判定でき、また物体の中心の正しい位置にのみ細線を抽出できる。
【００９２】
（第１６の実施の形態）
図２９は、第１６の実施の形態を示すブロック図である。第１６の実施の形態は、入力画像に対して、第１〜第１５の実施の形態で示した処理を一つ、あるいは複数組み合わせて行い、指紋や虹彩などのバイオメトリクス認証に用いる登録画像及び照合画像を作成する。すなわち、カメラ２やセンサ３から入力した画像を、処理部１０により、第１〜第１５の実施の形態で示した処理を一つあるいは複数組み合わせて行い、作成した画像を登録画像としてメモリ３０に保存する。
【００９３】
そして、照合時には、処理部１０により、第１〜第１５の実施の形態で示した処理を一つあるいは複数組み合わせて行い照合画像を作成し、照合部１１０は照合画像とメモリ３０に保存されている登録画像を照合し、照合結果を出力する。第１６の実施の形態は、第２の従来手法が有するような、比較的大きな領域の画素情報を用いたフィルタ処理が不要であるので、小型で安価なバイオメトリクス認証装置１００単体での登録画像及び照合画像の作成を可能とする。また、データがバイオメトリクス装置１００から外部に転送されないため、データの改ざんやなりすましを防ぐことができる。
【００９４】
【発明の効果】
以上説明したように本発明によれば、指紋などの物体像を含む画像を入力すると、この入力画像に対し、収縮処理を前処理として行うとともに、入力画像を入力すると所定数の領域に分割し、かつ分割領域毎にこの入力画像を処理して、処理結果に基づいて前処理手段による前処理後の画像と入力画像の何れか一方を選択するための判定を分割領域毎に行う一方、この判定結果に応じて選択された前処理手段による前処理後の画像と入力画像とを合成し合成画像として出力するようにしたので、第１の従来手法が有するような、撮像物体の構造がところどころ破壊されてしまうという問題を解消することができ、同時に第２の従来手法が有するような、比較的大きな領域の画素情報を用いたフィルタ処理が不要になるとともに、ノイズが高精度に除去された正確な画像を認証用画像として提供でき、これにより認証精度が向上する。
【００９５】
また、入力画像に対し、収縮処理を前処理として行うとともに、入力画像に対し収縮処理を行った後に膨張処理を行う第１の画像処理と、膨張処理を行った後に収縮処理を行う第２の画像処理とを行い、処理された画像の中から物体像の骨格を抽出して膨張処理を行う一方、膨張処理の結果に基づいて、前処理後の画像と入力画像とを合成して合成画像とし、さらにこの合成画像に対し第１及び第２の画像処理を順次行うようにしたので、同様に第１の従来手法が有するような、撮像物体の構造がところどころ破壊されてしまうという問題を解消することができ、同時に第２の従来手法が有するような、比較的大きな領域の画素情報を用いたフィルタ処理が不要となるとともに、ノイズが高精度に除去された正確な画像を認証用画像として提供でき、これにより認証制度が向上する。
【図面の簡単な説明】
【図１】 本発明に係る画像処理装置の第１の実施の形態を示すブロック図である。
【図２】 上記画像処理装置における画像処理を説明する説明図である。
【図３】 上記画像処理装置の処理対象となる撮像物体の幅と長さを説明する図である。
【図４】 上記画像処理装置の処理対象となる画像領域の分割状況を説明する図である。
【図５】 上記画像処理装置における画像処理の要部を説明する説明図である。
【図６】 画像処理装置の第２の実施の形態を示すブロック図である。
【図７】 上記画像処理装置における画像処理を説明する説明図である。
【図８】 画像処理装置の第３の実施の形態を示すブロック図である。
【図９】 図８の画像処理装置における画像処理を説明する説明図である。
【図１０】 画像処理装置の第４の実施の形態を示すブロック図である。
【図１１】 図１０の画像処理装置における画像処理を説明する説明図である。
【図１２】 画像処理装置の第５の実施の形態を示すブロック図である。
【図１３】 図１２の画像処理装置における画像処理を説明する説明図である。
【図１４】 画像処理装置の第６の実施の形態を示すブロック図である。
【図１５】 画像処理装置の第７の実施の形態を示すブロック図である。
【図１６】 図１５の画像処理装置における画像処理を説明する説明図である。
【図１７】 画像処理装置の第８の実施の形態を示すブロック図である。
【図１８】 図１７の画像処理装置における画像処理を説明する説明図である。
【図１９】 画像処理装置の第９の実施の形態を示すブロック図である。
【図２０】 画像処理装置の第１０の実施の形態を示すブロック図である。
【図２１】 画像処理装置の第１１の実施の形態を示すブロック図である。
【図２２】 画像処理装置の第１２の実施の形態を示すブロック図である。
【図２３】 図２２の画像処理装置における画像処理を説明する説明図である。
【図２４】 画像処理装置の第１３の実施の形態を示すブロック図である。
【図２５】 画像処理装置の第１４の実施の形態を示すブロック図である。
【図２６】 図２５の画像処理装置における画像処理を説明する説明図である。
【図２７】 画像処理装置の第１５の実施の形態を示すブロック図である。
【図２８】 図２７の画像処理装置における画像処理を説明する説明図である。
【図２９】 画像処理装置の第１６の実施の形態を示すブロック図である。
【符号の説明】
１…画像処理装置、２…カメラ、３…センサ、１０…処理部、１１，２１…画像入力部、１２，２２…前処理部、１３，２３…合成部、１４，２４…画像処理部、１５…局所領域毎判定部、１６，２６…判定用画像処理部、１７…細線化部、１８，１９…局所領域毎画素カウント部、２０…局所領域毎比較部、２５…画素毎判定部、２７…制限付き細線化部、２８…膨張処理部、３０…メモリ、５０…判定画像作成手段、６０…合成手段、７０…前処理手段、７１…第１の前処理手段、７２…第２の前処理手段、８０，５００，５０１…画像処理手段、９０…抽出手段、１００…バイオメトリクス認証装置、１１０…照合部、５０２…細線化処理手段、５０３…第１の計数手段、５０４…第２の計数手段、５０５…算出手段、５０６…比較手段、５１１…第１の画像処理手段、５１２…第２の画像処理手段、５１３…第１の細線化処理手段、５１４…第２の細線化処理手段、５２０…計数手段、５３１…第１の膨張処理手段、５３２…第２の膨張処理手段、５５０…制限付き細線化処理手段、５５１…選択手段、５５２…収縮処理手段、５５３…膨張処理手段、５５４…差分抽出手段、５５５…和生成手段、５５６…記憶手段、５６０…繰り返し回数記憶手段。
Claims (16)
- 物体の画像を入力すると、この物体像を含む入力画像の修正処理を行い、修正処理した画像を出力する画像修正手段を備え、
前記画像修正手段は、
前記入力画像を判定し、その結果を示す判定画像の作成を行う判定画像作成手段と、
前記入力画像と前記判定画像作成手段の出力画像とを、前記判定画像作成手段の判定画像に基づいて合成する合成手段と
を備え、
前記判定画像作成手段は、
入力画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第１の画像処理と、この第１の画像処理を行った後の画像を第１の画像として前記膨張処理を行うとともにこの膨張処理後の画像を第１の画像として前記収縮処理を行う第２の画像処理とを実行する画像処理手段と、
前記画像処理手段の処理画像に対して前記物体像の中心線を抽出する細線化処理手段と
を備え、
前記判定画像作成手段は、前記細線化処理手段の出力画像を判定画像として出力し、前記合成手段は、前記判定画像作成手段の出力する前記判定画像のうち、輝度値が第１の範囲内の画素に対しては前記入力画像の画素を選択し、輝度値が前記第１の範囲と異なる第２の範囲内の画素に対しては前記判定画像作成手段の出力する前記判定画像の画素を選択し、選択した画素を合成して合成画像として出力することを特徴とする画像処理装置。 - 請求項１において、
前記入力画像に対して前記収縮処理及び前記膨張処理のいずれか一方を行う１つの前処理手段を備え、
前記合成手段は、前記判定画像作成手段の出力する前記判定画像のうち、輝度値が第１の範囲内の画素に対しては前記前処理手段の処理画像の画素を選択し、輝度値が前記第１の範囲と異なる第２の範囲内の画素に対しては前記合成画像の画素を選択し、選択した画素を合成して合成画像として出力することを特徴とする画像処理装置。 - 請求項１又は２において、
前記判定画像作成手段は、
前記細線化処理手段の処理画像に対して前記膨張処理を行う第１の膨張処理手段と、
前記第１の膨張処理手段の処理画像に対して前記膨張処理を行う第２の膨張処理手段と
を備え、第１及び第２の膨張処理手段の処理画像からなる多値画像を判定画像として前記合成手段に出力することを特徴とする画像処理装置。 - 請求項１又は２において、
前記判定画像作成手段は、
前記細線化処理手段の処理画像に対してそれぞれ前記膨張処理を並列に行う第１及び第２の膨張処理手段を備え、第１及び第２の膨張処理手段の処理画像からなる多値画像を判定画像として前記合成手段に出力することを特徴とする画像処理装置。 - 請求項１において、
前記画像処理手段を第１の画像処理手段とし、かつ前記細線化処理手段を第１の細線化処理手段とし、
前記判定画像作成手段は、
前記第１の細線化処理手段の処理画像に対して前記膨張処理を行う第１の膨張処理手段と、
入力画像に対して前記収縮処理を行う第２の画像処理手段と、
第２の画像処理手段の出力画像に対して前記物体像の中心線を抽出する第２の細線化処理手段と、
第２の細線化処理手段の処理画像に対して前記膨張処理を行う第２の膨張処理手段と、
第１及び第２の膨張処理手段の処理画像の論理積を抽出し判定画像として前記合成手段に出力する抽出手段と
を備えることを特徴とする画像処理装置。 - 請求項２ないし４のいずれかにおいて、
前記細線化処理手段として、予め設定された前記物体像の幅の大小に応じて前記物体像の中心線の抽出の有無を決定する制限付き細線化処理手段を備えることを特徴とする画像処理装置。 - 請求項６において、
前記物体像の幅の上限値を設定する設定手段を備え、
前記制限付き細線化処理手段は、前記設定手段に設定された前記上限値以下の前記物体像からのみ中心線を抽出することを特徴とする画像処理装置。 - 請求項１ないし７のいずれかにおいて、
前記合成手段の出力画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第１の画像処理と、この第１の画像処理を行った後の画像を第１の画像として前記膨張処理を行うとともにこの膨張処理後の画像を第１の画像として前記収縮処理を行う第２の画像処理とを実行する手段を備えたことを特徴とする画像処理装置。 - 物体の画像を入力すると、この物体像を含む入力画像の修正処理を行い、修正処理した画像を出力する画像修正ステップを有し、
前記画像修正ステップは、
前記入力画像を判定し、その結果を示す判定画像の作成を行う判定画像作成ステップと、
前記入力画像と前記判定画像作成ステップの出力画像とを、前記判定画像作成ステップの判定画像に基づいて合成する合成ステップと
を有し、
前記判定画像作成ステップは、
入力画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第１の画像処理と、この第１の画像処理を行った後の画像を第１の画像として前記膨張処理を行うとともにこの膨張処理後の画像を第１の画像として前記収縮処理を行う第２の画像処理とを実行する画像処理ステップと、
前記画像処理ステップの処理画像に対して前記物体像の中心線を抽出する細線化処理ステップと
を有し、
前記判定画像作成ステップは、前記細線化処理ステップの出力画像を判定画像として出力し、前記合成ステップは、前記判定画像作成ステップの出力する前記判定画像のうち、輝度値が第１の範囲内の画素に対しては前記入力画像の画素を選択し、輝度値が前記第１の範囲と異なる第２の範囲内の画素に対しては前記判定画像作成ステップの出力する前記判定画像の画素を選択し、選択した画素を合成して合成画像として出力することを特徴とする画像処理方法。 - 請求項９において、
前記入力画像に対して前記収縮処理及び前記膨張処理のいずれか一方を行う１つの前処理ステップを有し、
前記合成ステップは、前記判定画像作成ステップの出力する前記判定画像のうち、輝度値が第１の範囲内の画素に対しては前記前処理ステップの処理画像の画素を選択し、輝度値が前記第１の範囲と異なる第２の範囲内の画素に対しては前記合成画像の画素を選択し、選択した画素を合成して合成画像として出力することを特徴とする画像処理方法。 - 請求項９又は１０において、
前記判定画像作成ステップは、
前記細線化処理ステップの処理画像に対して前記膨張処理を行う第１の膨張処理ステップと、
前記第１の膨張処理ステップの処理画像に対して前記膨張処理を行う第２の膨張処理ステップと
を有し、第１及び第２の膨張処理ステップの処理画像からなる多値画像を判定画像として出力することを特徴とする画像処理方法。 - 請求項９又は１０において、
前記判定画像作成ステップは、
前記細線化処理ステップの処理画像に対してそれぞれ前記膨張処理を並列に行う第１及び第２の膨張処理ステップを有し、第１及び第２の膨張処理ステップの処理画像からなる多値画像を判定画像として出力することを特徴とする画像処理方法。 - 請求項９において、
前記画像処理ステップを第１の画像処理ステップとし、かつ前記細線化処理ステップを第１の細線化処理ステップとし、
前記判定画像作成ステップは、
前記第１の細線化処理ステップの処理画像に対して前記膨張処理を行う第１の膨張処理ステップと、
入力画像に対して前記収縮処理を行う第２の画像処理ステップと、
第２の画像処理ステップの出力画像に対して前記物体像の中心線を抽出する第２の細線化処理ステップと、
第２の細線化処理ステップの処理画像に対して前記膨張処理を行う第２の膨張処理ステップと、
第１及び第２の膨張処理ステップの処理画像の論理積を抽出し判定画像として出力する抽出ステップと
を有することを特徴とする画像処理方法。 - 請求項１０ないし１２のいずれかにおいて、
前記細線化処理ステップとして、予め設定された前記物体像の幅の大小に応じて前記物体像の中心線の抽出の有無を決定する制限付き細線化処理ステップを有することを特徴とする画像処理方法。 - 請求項１４において、
前記物体像の幅の上限値を設定する設定ステップを有し、
前記制限付き細線化処理ステップは、前記設定ステップにより設定された前記上限値以下の前記物体像からのみ中心線を抽出することを特徴とする画像処理方法。 - 請求項９ないし１５のいずれかにおいて、
前記合成ステップの出力画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最小値を演算する収縮処理を行うとともに、この収縮処理後の画像を第１の画像として、第１の画像と、この第１の画像を所定の方向に所定の画素単位でずらした第２の画像とを重ね合わせてこれら第１及び第２の画像の同一位置における画素間の輝度値の最大値を演算する膨張処理を行う第１の画像処理と、この第１の画像処理を行った後の画像を第１の画像として前記膨張処理を行うとともにこの膨張処理後の画像を第１の画像として前記収縮処理を行う第２の画像処理とを実行するステップを有することを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002246816A JP3748248B2 (ja) | 2001-08-28 | 2002-08-27 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001258520 | 2001-08-28 | ||
| JP2001-258525 | 2001-08-28 | ||
| JP2001258525 | 2001-08-28 | ||
| JP2001-258520 | 2001-08-28 | ||
| US10/228,396 US7187785B2 (en) | 2001-08-28 | 2002-08-27 | Image processing method and apparatus |
| JP2002246816A JP3748248B2 (ja) | 2001-08-28 | 2002-08-27 | 画像処理装置及び画像処理方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005136010A Division JP3969593B2 (ja) | 2001-08-28 | 2005-05-09 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003150934A JP2003150934A (ja) | 2003-05-23 |
| JP3748248B2 true JP3748248B2 (ja) | 2006-02-22 |
Family
ID=32686175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002246816A Expired - Fee Related JP3748248B2 (ja) | 2001-08-28 | 2002-08-27 | 画像処理装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3748248B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2870376B1 (fr) * | 2004-05-11 | 2006-09-22 | Yann Boutant | Procede de reconnaissance de supports fibreux, ainsi que les applications d'un tel procede dans le domaine informatique notamment |
| JP4865851B2 (ja) * | 2007-03-06 | 2012-02-01 | 住友電気工業株式会社 | 画像加工方法及び画像検査方法 |
| JP2019121187A (ja) * | 2018-01-05 | 2019-07-22 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
-
2002
- 2002-08-27 JP JP2002246816A patent/JP3748248B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003150934A (ja) | 2003-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Alsaiari et al. | Image denoising using a generative adversarial network | |
| CN111445410B (zh) | 基于纹理图像的纹理增强方法、装置、设备和存储介质 | |
| CN108257095B (zh) | 用于处理图像的系统 | |
| CN112699885B (zh) | 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统 | |
| KR102466061B1 (ko) | 계층적 생성 적대 네트워크를 이용한 노이즈 제거 장치 및 그 방법 | |
| CN108564597B (zh) | 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法 | |
| JP2020129276A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US7187785B2 (en) | Image processing method and apparatus | |
| Hovhannisyan et al. | AED-Net: A single image dehazing | |
| CN111932594B (zh) | 一种基于光流的十亿像素视频对齐方法及装置、介质 | |
| CN110717935A (zh) | 一种基于图像特征信息的图像匹配方法，装置与系统 | |
| CN116702868A (zh) | 为机器学习产生训练数据 | |
| JP3748248B2 (ja) | 画像処理装置及び画像処理方法 | |
| Sarker et al. | Morphological based technique for image segmentation | |
| Samreen et al. | Enhanced Image Super Resolution Using ResNet Generative Adversarial Networks. | |
| JP3969593B2 (ja) | 画像処理装置及び画像処理方法 | |
| Truong et al. | Depth map inpainting and super-resolution with arbitrary scale factors | |
| CN108364273B (zh) | 一种空间域下的多聚焦图像融合的方法 | |
| Van Noord et al. | Light-weight pixel context encoders for image inpainting | |
| Lal et al. | A comparative study on CNN based low-light image enhancement | |
| EP1300803A2 (en) | Image processing method and apparatus | |
| Paul et al. | A study on image enhancement techniques for fingerprint identification | |
| CN114698398A (zh) | 图像处理方法、图像处理装置、电子设备及可读存储介质 | |
| JP7491830B2 (ja) | 被写体シルエット抽出装置、方法及びプログラム | |
| CN118334221B (zh) | 基于深度学习的自动驾驶仿真图像增强方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050304 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050712 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050902 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051124 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3748248 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131209 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |