JPWO2011052598A1

JPWO2011052598A1 - 画像特徴抽出装置、画像特徴抽出方法、画像認識装置、及び画像認識方法

Info

Publication number: JPWO2011052598A1
Application number: JP2011538438A
Authority: JP
Inventors: 五住大澤; 稔也新井; 尚久眞田
Original assignee: Osaka University NUC
Current assignee: Osaka University NUC
Priority date: 2009-10-26
Filing date: 2010-10-26
Publication date: 2013-03-21
Anticipated expiration: 2030-10-26
Also published as: WO2011052598A1; JP5305366B2

Abstract

境界線が不明瞭な画像に含まれる特徴を抽出する画像特徴抽出装置を提供する。画像に含まれる特徴を抽出する画像特徴抽出装置１０６であって、画像のうち局所の空間周波数成分を抽出する周波数成分抽出手段１０６ａと、局所の空間周波数成分に基づいて局所の方位成分を抽出する方位成分抽出手段１０６ｂと、局所の方位成分に基づいて局所の曲線に関する特徴を抽出する曲率特徴抽出手段１０６ｄとを備える。曲線に関する特徴として、例えば、曲率の大きさと曲線の向きとがある。

Description

本発明は、画像に含まれる特徴を抽出する画像特徴抽出装置、及び画像特徴抽出方法に関する。更に本発明は、画像特徴抽出装置を備えた画像認識装置、及び画像認識方法に関する。

画像認識技術は、主に画像入力技術（入力装置によって画像を取り込む技術）、デジタル化技術（画像をコンピュータで取り扱えるようにする技術）、特徴抽出技術（画像の特徴を抽出する技術）の各処理技術から構成される。このうち、特徴抽出技術では、従来は、２次元画像からの特徴抽出装置または特徴抽出方法において、２値化した画像または画像そのものから、対象物と背景との境界線又は対象物と他の物体との境界線を検出し、得られた境界線の特徴から対象物の輪郭情報を抽出している（特許文献１〜特許文献４参照）。このように境界線を検出する技術をエッジ検出技術という。エッジ検出技術を用いて境界線を検出し、曲線に関する特徴を抽出するためには、２値化された画像あるいは画像そのものに、対象物と背景との境界線及び対象物と他の物体との境界線が明示的に含まれている必要がある。

特開２００８−２１７６２７号公報特開平８−９６１４５号公報特開平６−２６６８３９号公報特開平６−２４３２５２号公報

しかし、対象画像の境界線が曖昧な場合、複数の曲線が重なっている場合、対象画像にノイズが多く含まれる場合など、境界線の検出が困難な状況下では、曲線に関する特徴を抽出することができない。例えば、生体認証分野における画像認識で通常用いられる画像は、文字や画面とは異なり、生体そのものの特徴画像であるため境界線が不明瞭である。また、文字のかすれ、紙面の劣化等による境界の不明瞭化が見られる場合、そのような紙面をＯＣＲに適用することができなかった。

本願発明は、境界線が不明瞭な画像に含まれる特徴を抽出する画像特徴抽出装置、画像特徴抽出方法を提供することを目的とする。更に本発明は、画像特徴抽出装置を備えた画像認識装置、及び画像認識方法を提供することを目的とする。

上記課題を解決するため、本発明に係る画像特徴抽出装置の特徴構成は、画像に含まれる特徴を抽出する画像特徴抽出装置であって、画像のうち局所の空間周波数成分を抽出する周波数成分抽出部と、局所の空間周波数成分に基づいて、局所の方位成分を抽出する方位成分抽出部と、局所の方位成分に基づいて、局所の曲線に関する特徴を抽出する曲率特徴抽出部とを備えたところにある。

背景技術の項目で説明したように、従来の画像特徴抽出装置では、２値化された画像あるいは画像そのものから、対象物と背景との境界線又は対象物と他の物体との境界線を検出し、得られた境界線の特徴から対象物の輪郭情報を抽出している。従って、局所の曲線に関する特徴を抽出するためには、対象物と背景との境界線及び対象物と他の物体との境界線が２値化された画像あるいは画像そのものに明示的に含まれている必要がある。その結果、対象画像の境界線が曖昧な場合、複数の曲線が重なっている場合、対象画像にノイズが多く含まれる場合など、境界線の検出が困難な状況下では、曲線に関する特徴を抽出することができなかった。

一方、本発明の画像特徴抽出装置では、局所の空間周波数成分から方位成分を抽出し、局所の曲線に関する特徴に基づいて画像特徴を抽出する。このように、本発明では、画像に明示的な線分あるいは境界線が含まれていることを前提としておらず、局所の曲線に関する特徴を抽出する際に画像に含まれる物体の境界線を必要としない。そのため、境界線の検出が困難な状況下でも、曲線に関する特徴を抽出することができる。

本発明の画像特徴抽出装置の好適な態様によれば、局所の方位成分は、第１地点の方位成分と第２地点の方位成分とを含み、曲率特徴抽出部は、第１地点の方位成分と第２地点の方位成分とに基づいて、局所の曲線に関する特徴として曲率の大きさと曲線の向きとを算出する。従って、境界線の検出が困難な状況下でも、局所の曲線に関する特徴として、曲率の大きさと曲線の向きとを算出することができる。ここで、曲率の大きさとは曲部の曲がりの程度を示し、曲線の向きとは曲部の曲がりの方向を示す。本発明によれば、所望範囲（例えば０°〜１８０°の全て）の「曲率の大きさ」および所望範囲（例えば０°〜３６０°の全て）の「曲線の向き」について、対応する曲線が各々どの程度画像内に含まれていたかという指標を、特徴量として一挙に抽出し得る。また方位成分についても同様で、各地点の方位成分とは、「全ての方位について、各方位の線分がそれぞれどのくらい含まれていたかを表す指標」を表す。本発明では曲線に関する特徴として全ての曲率の大きさと全ての曲線の向きとに対応する曲線の成分を、エッジ検出を介さずに算出するため、境界線検出に基づく技術と異なり境界線が不明瞭な画像を認識することができる。

本発明の画像特徴抽出装置の好適な態様によれば、曲率特徴抽出部は、局所の空間周波数成分に基づいて、局所の曲線に関する特徴として曲線の太さを算出する。例えば、画像特徴抽出部によって抽出した局所の周波数成分を高周波数サイドに限定することにより、細い曲線を抽出し得る。また、画像特徴抽出部によって抽出した局所の周波数成分を低周波数サイドに限定することにより、太い曲線を抽出し得る。従って、境界線の検出が困難な状況下でも、局所の曲線に関する特徴として、曲線の太さを算出することができる。ここで、曲線の太さとは曲部の幅を示し、このような曲線の太さを画像処理において加味することにより、画像に含まれる特徴が充実するため、その後の画像認識の精度がより向上する。なお、本発明の原理によれば、計算対象となる２地点において、別の空間周波数（別の太さ）の成分を抽出し得る。従って、例えば空間上の位置変化に対して太さが変化するような曲線を抽出し得る。

本発明の画像特徴抽出装置の好適な態様によれば、画像は、共通する抽出点を有する複数の局所を含み、複数の局所を選択する局所選択部と、抽出点近傍の曲線に関する特徴を算出する近傍特徴算出部とを更に備え、周波数成分抽出部は、複数の局所の各々の空間周波数成分を抽出し、方位成分抽出部は、複数の局所の各々の空間周波数成分に基づいて、複数の局所の各々の方位成分を抽出し、曲率特徴抽出部は、複数の局所の各々の方位成分に基づいて、複数の局所の各々の曲線に関する特徴を抽出し、近傍特徴算出部は、各々の曲線に関する特徴に基づいて、抽出点近傍の曲線に関する特徴を算出する。従って、認識対象の画像から、共通する抽出点を有する複数の局所を選択し、抽出点近傍の曲線に関する特徴を算出できる。例えば、曲線の向きは０〜３６０°の範囲を有するため、１つの局所に基づくデータだけでは不十分であるものの、曲線の向きが変わるように複数の局所に基づくデータを採れば特徴抽出の精度がアップし、抽出点近傍の曲線に関する特徴を高レンジで抽出することができる。

本発明の画像特徴抽出装置の好適な態様によれば、画像は、複数の所定空間を含み、複数の所定空間の各々は少なくとも１つの局所を含み、複数の所定空間を選択する空間選択部と、画像の曲線に関する特徴を算出する画像特徴算出部とを更に備え、局所選択部は複数の所定空間の各々から少なくとも１つの局所を選択し、周波数成分抽出部は、少なくとも一つの局所の空間周波数成分を抽出し、方位成分抽出部は、少なくとも一つの局所の空間周波数成分に基づいて、少なくとも一つの局所の方位成分を抽出し、曲率特徴抽出部は、少なくとも一つの局所の方位成分に基づいて、少なくとも一つの局所の曲線に関する特徴を抽出し、画像特徴算出部は、曲線に関する特徴に基づいて、画像の曲線に関する特徴を算出する。複数の所定空間を選択し、画像の曲線に関する特徴を算出することで曲率特徴抽出を画像の一部分に限定することなく、画像全般にわたって広範囲で画像の曲線に関する特徴を得ることができる。

本発明の画像特徴抽出装置の好適な態様によれば、局所の方位成分に基づいて、方位成分の相関値を算出する相関値算出部を備える。従って、方位成分の相関値を算出することができる。

上記課題を解決するため、本発明に係る画像認識装置の特徴構成は、画像を入力する入力部と、画像のうちの少なくとも２点を含む領域を局所化して局所を抽出する局所抽出部と、上述にて記載の画像特徴抽出装置と、局所の曲率又は前記画像の曲線に関する特徴に基づいて、画像を推定する画像推定部と、推定画像を出力する出力部とを備えることにある。従って、局所の空間周波数成分から方位成分を抽出し、画像の曲線に関する特徴に基づいて画像を推定する。このように、本発明では、画像に明示的な線分あるいは境界線が含まれていることを前提としておらず、画像の曲線に関する特徴を抽出する際に画像に含まれる物体の境界線を必要としない。そのため、境界線の検出が困難な状況下でも、推定画像を出力することができる。その結果、デジタルカメラなどにおける特徴認識や、画面および文書のデジタル化はもちろん、防犯、生体認証等の個人照合や物流、交通、医療用イメージング技術などにも利用され得る。特に発展の目覚ましい生体認証分野における画像認識で通常用いられる画像は、文字や画面とは異なり、生体そのものの特徴画像であるため境界線が不明瞭であり、境界線が不要である本発明の有用性は高い。さらに、生体認証に限らず画像認識全般においても有用性は高い。

例えば本発明は、明示的な線分あるいは境界線を含む必要がないため、文字のかすれ、紙面の劣化等による境界の不明瞭化が見られる場合にＯＣＲに適用しても、読み込み精度向上が可能である。また生体認証やデジタルカメラ等の顔認識に適用させた際には、特徴抽出の際に実空間における雛型ではなく曲線のもつ特徴量の比率からなる雛型を用いることにより、認識精度を低下させることなく、微小変化に対して頑健な認識技術の提供が期待できる。

上記課題を解決するため、本発明に係る画像特徴抽出方法の特徴構成は、画像に含まれる特徴を抽出する画像特徴抽出方法であって、画像のうち局所の空間周波数成分を抽出する周波数成分抽出ステップと、局所の空間周波数成分に基づいて、局所の方位成分を抽出する方位成分抽出ステップと、局所の方位成分に基づいて、局所の曲線に関する特徴を抽出する曲率特徴抽出ステップとを包含することにある。本発明に係る画像特徴抽出方法によれば、上記説明した本発明の画像特徴抽出装置と同様の作用効果を奏する。すなわち、本発明の画像特徴抽出方法では、局所の空間周波数成分から方位成分を抽出し、局所の曲線に関する特徴に基づいて画像特徴を抽出する。このように、本発明では、画像に明示的な線分あるいは境界線が含まれていることを前提としておらず、局所の曲線に関する特徴を抽出する際に画像に含まれる物体の境界線を必要としない。そのため、境界線の検出が困難な状況下でも、曲線に関する特徴を抽出することができる。

上記課題を解決するため、本発明に係る画像認識方法の特徴構成は、画像を入力する入力ステップと、画像のうちの少なくとも２点を含む領域を局所化して局所を抽出する局所抽出ステップと、上述で記載の画像特徴抽出方法における周波数成分抽出ステップ、方位成分抽出ステップ、及び曲率特徴抽出ステップと、局所の曲率又は画像の曲線に関する特徴に基づいて、画像を推定する画像推定ステップと、推定画像を出力する出力ステップとを包含することにある。本発明に係る画像認識方法によれば、上記説明した本発明の画像認識装置と同様の作用効果を奏する。すなわち、本発明に係る画像認識方法によれば、局所の空間周波数成分から方位成分を抽出し、画像の曲線に関する特徴に基づいて画像を推定する。

このように、本発明では、画像に明示的な線分あるいは境界線が含まれていることを前提としておらず、画像の曲線に関する特徴を抽出する際に画像に含まれる物体の境界線を必要としない。そのため、境界線の検出が困難な状況下でも、推定画像を出力することができる。その結果、デジタルカメラなどにおける特徴認識や、画面および文書のデジタル化はもちろん、防犯、生体認証等の個人照合や物流、交通、医療用イメージング技術などにも利用され得る。特に発展の目覚ましい生体認証分野における画像認識で通常用いられる画像は、文字や画面とは異なり、生体そのものの特徴画像であるため境界線が不明瞭であり、境界線が不要である本発明の有用性は高い。さらに、生体認証に限らず画像認識全般においても有用性は高い。

本発明の第１実施形態に係る画像認識装置の模式図を示す。曲率空間への変換法及び曲線に関する特徴（曲線の向きと曲率の大きさ）を説明する説明図を示す。局所抽出手段と画像特徴抽出手段との各々で処理されたデータをプロットしたグラフを示す。本発明の第１実施形態に係る画像認識装置を用いた画像認識方法を示すフローチャートを示す。本発明の第２実施形態に係る画像認識装置の模式図を示す。画像と所定空間と局所との関係を説明する説明図を示す。画像特徴抽出手段で処理されたデータをプロットしたグラフを示す。本発明の第２実施形態に係る画像認識装置を用いた画像認識方法を示すフローチャートを示す。本発明の画像認識装置を用いた画像処理結果と従来の画像認識装置を用いた画像処理結果とを比較する比較図である。

図１から図９を参照して、本発明に係る実施形態を説明する。本発明は、以下に説明する実施形態や図面に記載される構成に限定されることを意図せず、当該構成と均等な構成も含む。

[第１実施形態]
図１は、本発明の第１実施形態に係る画像認識装置１００の模式図を示す。画像認識装置１００は、認識の対象となる画像を入力する入力手段１０２と、画像のうちの少なくとも２点を含む領域を局所化して局所を抽出する局所抽出手段１０４と、画像に含まれる特徴を抽出する画像特徴抽出手段１０６と、局所の曲率又は画像の曲線に関する特徴に基づいて画像を推定する画像推定手段１０８と、推定画像を出力する出力手段１１０とを備える。

画像特徴抽出手段１０６は、画像のうち局所の空間周波数成分を抽出する周波数成分抽出手段１０６ａと、局所の空間周波数成分に基づいて局所の方位成分を抽出する方位成分抽出手段１０６ｂと、局所の方位成分に基づいて方位成分の相関値を算出する相関値算出手段１０６ｃと、局所の方位成分に基づいて局所の曲線に関する特徴を抽出する曲率特徴抽出手段１０６ｄとを備える。

図２は、曲率空間への変換法及び曲線に関する特徴（曲線の向きと曲率の大きさ）を説明する説明図を示す。図２（ａ）は、曲率空間への変換法を示す。曲率は、曲線上に位置する近接する少なくとも２個の地点における角度により定義することができる。この２地点を第１地点および第２地点と表現する。

第１地点における接線と第１地点と第２地点とを結ぶ直線との角度をθ_１とし、第２地点における接線と第１地点と第２地点とを結ぶ直線との角度をθ_２とする。Δｘは第１地点と第２地点との間隔を示す。Δθは第１地点と第２地点とを通る半円の中心角を示す。さらに、Δｄは曲線の太さ（曲部の幅）を示す。曲率の大きさ（Ｃｕｒｖａｔｕｒｅ）は、Ｃｕｒｖａｔｕｒｅ≒Δθ／Δｘで示される。ここで、Δθ＝｜θ_１−θ_２｜である。曲線の向き（Ｄｉｒｅｃｔｉｏｎ）は、Ｄｉｒｅｃｔｉｏｎ＝（（θ_１＋θ_２）／２）＋９０°で示される。

図２（ｂ）は、曲線に関する特徴（曲線の向きと曲率の大きさ）を示す。図２（ｂ）を参照して、本発明で適用する曲率空間を説明する。図２（ｂ）において、縦軸は曲線の向きを示す。曲線の向きは、０°から３６０°までが存在する。図２（ｂ）において、横軸は曲率の大きさを示す。曲率の大きさは、０°から１８０°までが存在し、１８０°に近づく程、曲がりの程度が大きくなる。図２（ａ）を参照して説明したように、曲線に関する特徴を定義するためには、最低２つの場所での接線成分の角度が必要である。本発明の実施形態では、例えば、周波数空間での画像の局所的正弦波成分の分布から画像特徴を求める。

図３は、局所抽出手段１０４と画像特徴抽出手段１０６との各々で処理されたデータをプロットしたグラフを示す。以下、図１と図３とを参照して、画像認識装置１００の機能を説明する。

局所抽出手段１０４は、認識の対象となる画像のうち２点を含む領域を局所化して解析範囲としての局所を抽出する。局所は、第１地点を含む第１領域と第２地点を含む第２領域とを含み、局所抽出手段１０４は、第１領域と第２領域とを解析範囲として局所化する。データをプロットしたグラフにおいて、横軸はｘ方向の位置を示し、縦軸はｙ方向の位置を示す。なお、このグラフでは、左側の円で囲まれた領域を第１領域とし、右側の円で囲まれた領域を第２領域とする。本明細書では、局所化された第１領域と第２領域との双方を含めて、「局所」とも表現する。第１地点と第２地点との位置からΔｘを求め得る。

周波数成分抽出手段１０６ａは、抽出された局所（局所化された第１領域と第２領域）を示すデータの各々をフーリエ変換し、局所化された第１領域の周波数成分と局所化された第２領域の周波数成分とを抽出する。データをプロットしたグラフにおいて、横軸はｘ軸方向の空間周波数を示し、縦軸はｙ軸方向の空間周波数を示す。第１領域および第２領域において、半円弧状の部分に含まれる周波数成分は０から１８０度までの異なる方位成分に対応する。空間周波数（ｃｙｃｌｅｓ／ｄｅｇｒｅｅ）は、画像において単位長さ当たりに入る縞模様のサイクル数を示す。一般には、縞模様を定義するには２次元空間が必要になる。これが２次元周波数空間（フーリエ空間）である。２次元周波数空間において、縞模様の細かさ（空間周波数）を原点からの距離で表し、また縞模様の方位（傾き）を角度で表す。２次元周波数空間での画像表現と、元の視野空間での画像表現を結ぶのが２次元フーリエ変換である。任意の画像は、多くの２次元正弦波画像（縞模様画像）の重ね合わせ（和）で表現できる。フーリエ変換は線形変換であり、逆変換も可能である。つまり、縞模様に分解された正弦波成分を全て加算すれば元の画像を再現し得る。また、正弦波の振幅（コントラスト）は、周波数空間上では、白が最大、黒はゼロで表現しえる。

方位成分抽出手段１０６ｂは、局所の空間周波数成分に基づいて、局所の方位成分を抽出する。局所の方位成分は、第１領域の方位成分と第２領域の方位成分とからなる。方位成分とは、「所望範囲全ての方位について、各方位の線分がそれぞれどのくらい含まれていたかを表す指標」を表す。データをプロットしたグラフにおいて、横軸は成分の方位を示し、縦軸は各方位成分の強度を示す。

相関値算出手段１０６ｃは、局所の方位成分に基づいて、方位成分の相関値を算出する。データをプロットしたグラフにおいて、横軸は第１領域に基づく方位成分（左）を示し、縦軸は第２領域に基づく方位成分（右）を示す。図３においては、方位成分の相関値は方位成分（二カ所の方位成分）の積である。両方の領域において高い値をもつ状況のほうが、より画像内に曲線を含むと考えられ、これをより顕著に抽出し得る。なお、本発明によれば、方位成分の相関値は、方位成分の積に限定されない。方位成分の相関値を算出し得る限りは、方位成分の相関値は方位成分の一般関数の解でよい。例えば、方位成分の相関値は方位成分の和である。

曲率特徴抽出手段１０６ｄは、局所の方位成分に基づいて、局所の曲線に関する特徴を抽出する。具体的には、曲率特徴抽出手段１０６は、第１領域に基づく方位成分と第２領域に基づく方位成分とに基づいて、曲率の大きさ（Ｃｕｒｖａｔｕｒｅ）と曲線の向き（Ｄｉｒｅｃｔｉｏｎ）とを算出する。データをプロットしたグラフにおいて、横軸は曲率の大きさを示し、縦軸は曲線の向きを示す。

本発明の画像特徴抽出装置１００では、局所の空間周波数成分から方位成分を抽出し、局所の曲線に関する特徴に基づいて画像特徴を抽出する。このように、本発明では、画像に明示的な線分あるいは境界線が含まれていることを前提としておらず、局所の曲線に関する特徴を抽出する際に画像に含まれる物体の境界線を必要としない。そのため、境界線の検出が困難な状況下でも、曲線に関する特徴を抽出することができる。

さらに本発明の画像特徴抽出装置１００によれば、境界線の検出が困難な状況下でも、局所の曲線に関する特徴として、曲率の大きさと曲線の向きとを算出することができる。本発明によれば、所望範囲（例えば０°〜１８０°の全て）の「曲率の大きさ」および所望範囲（例えば０°〜３６０°の全て）の「曲線の向き」について、対応する曲線が各々どの程度画像内に含まれていたかという指標を、特徴量として一挙に抽出し得る。また方位成分についても同様で、各地点の方位成分とは、「所望範囲全ての方位について、各方位の線分がそれぞれどのくらい含まれていたかを表す指標」を表す。本発明では曲線に関する特徴として全ての曲率の大きさと全ての曲線の向きとに対応する曲線の成分を、エッジ検出を介さずに算出するため、境界線検出に基づく技術と異なり境界線が不明瞭な画像を認識することができる。

図４は、本発明の第１実施形態に係る画像認識装置１００を用いた画像認識方法を示すフローチャートである。当該フローチャートでは、各ステップを記号“Ｓ”で示している。以下、図４を参照して画像認識方法の各ステップの概要を説明する。詳細は、図１と図２とを参照して上述しているため省略する。

Ｓ４０２：入力手段１０２から認識の対象となる画像を入力する。認識の対象となる画像を示すデータは、局所抽出手段１０４に送信される。

Ｓ４０４：局所抽出手段１０４は、認識の対象となる画像のうち２点を含む領域を局所化して局所を抽出する。抽出された局所を示すデータは、周波数成分抽出手段１０６ａに送信される。

Ｓ４０６：周波数成分抽出手段１０６ａは、局所の空間周波数成分を抽出する。抽出された局所の空間周波数成分を示すデータは、方位成分抽出手段１０６ｂに送信される。

Ｓ４０８：方位成分抽出手段１０６ｂは、局所の空間周波数成分に基づいて、局所の方位成分を抽出する。抽出された局所の方位成分を示すデータは、相関値算出手段１０６ｃに送信される。

Ｓ４１０：相関値算出手段１０６ｃは、局所の方位成分に基づいて方位成分の相関値を算出する。相関値を示すデータは、曲率特徴抽出手段１０６ｄに送信される。

Ｓ４１２：曲率特徴抽出手段１０６ｄは、局所の方位成分に基づいて、画像の曲線に関する特徴を抽出する。曲線に関する特徴を示すデータは、画像推定手段１０８に送信される。

Ｓ４１４：画像推定手段１０８は、画像の曲線に関する特徴に基づいて画像を推定する。推定画像を示すデータは、出力手段１１０に送信される。

Ｓ４１６：出力手段１１０は、推定画像を出力する。

なお、Ｓ４０６からＳ４１２は、本発明の第１実施形態における画像特徴抽出手段１０６により実行可能であり、本発明の画像特徴抽出方法を構成する。以上、図１から図４を参照して、本発明の第１実施形態を説明した。なお、本発明の第１実施形態において、画像特徴抽出手段１０６aと方位成分抽出手段１０６bと曲率特徴抽出手段１０６dとを備えた画像特徴抽出手段は、「画像特徴抽出装置」として機能する。

本発明によれば、局所の空間周波数成分から方位成分を抽出し、画像の曲線に関する特徴に基づいて画像を推定する。このように、本発明では、画像に明示的な線分あるいは境界線が含まれていることを前提としておらず、画像の曲線に関する特徴を抽出する際に画像に含まれる物体の境界線を必要としない。そのため、境界線の検出が困難な状況下でも、推定画像を出力することができる。その結果、デジタルカメラなどにおける特徴認識や、画面および文書のデジタル化はもちろん、防犯、生体認証等の個人照合や物流、交通、医療用イメージング技術などにも利用され得る。特に発展の目覚ましい生体認証分野における画像認識で通常用いられる画像は、文字や画面とは異なり、生体そのものの特徴画像であるため境界線が不明瞭であり、境界線が不要である本発明の有用性は高い。さらに、生体認証に限らず画像認識全般においても有用性は高い。

[第２実施形態]
図５は、本発明の第２実施形態に係る画像認識装置５００の模式図を示す。画像認識装置５００は、入力手段１０２、局所抽出手段１０４、画像特徴抽出手段５０６、画像推定手段１０８、及び出力手段１１０を備える。画像特徴抽出手段５０６は、画像特徴抽出手段１０６ａ、方位成分抽出手段１０６ｂ、相関値算出手段１０６ｃ、曲率特徴抽出手段１０６ｄ、局所選択手段５０６ｅ、近傍特徴算出手段５０６ｆ、空間選択手段５０６ｇ、及び画像特徴算出手段５０６ｈを備える。局所選択手段５０６ｅ、近傍特徴算出手段５０６ｆ、空間選択手段５０６ｇ、及び画像特徴算出手段５０６ｈ以外の各手段は、画像認識装置１００に含まれた対応する各手段と同様の機能を有するので、これらの説明を省略する。

局所選択手段５０６ｅは、認識対象の画像から、共通する抽出点を有する複数の局所を選択する。近傍特徴算出手段５０６ｆは、抽出点近傍の曲線に関する特徴を算出する。空間選択手段５０６ｇは、複数の所定空間を選択する。局所選択手段５０６ｅは、さらに、複数の所定空間の各々から少なくとも１つの局所を選択する。画像特徴算出手段５０６ｈは、画像の曲線に関する特徴を算出する。

図６は、画像と所定空間と局所との関係を説明する説明図を示す。例えば、画像は、任意に複数の所定空間に分けられ得る。複数の所定空間が重複するように、画像を複数の所定空間に分け得る。また、複数の所定空間の各々に隙間が生じるように画像を複数の所定空間に分け得る。更に、複数の所定空間が重複することなく、かつ複数の所定空間の各々に隙間が生じることなく、画像を複数の所定空間に分け得る。図６において、画像Ａは、所定空間Ｉ、所定空間ＩＩ、所定空間ＩＩＩ、及び所定空間ＩＶが重複することなく、隙間が生じることなく、所定空間Ｉ、所定空間ＩＩ、所定空間ＩＩＩ、及び所定空間ＩＶに分けられている。所定空間Ｉには、局所化された領域１と局所化された領域２とが示されている。局所化された領域１と局所化された領域２との双方を局所αとして表現する。逆三角印は抽出点を示す。抽出点は、画像中の曲率を求めたい場所である。図６では所定空間Ｉに例示されているが、画像中の任意の場所について定義可能である。

図７は、画像特徴抽出手段５０６で処理されたデータをプロットしたグラフを示す。（ａ）は、選択された第１局所の位置と第１局所の曲線に関する特徴を示すデータをプロットしたグラフとを示す。グラフにおいて、横軸は曲率の大きさを示し、縦軸は曲線の向きを示す。（ｂ）は、選択された第２局所の位置と第２局所の曲線に関する特徴を示すデータをプロットしたグラフとを示す。（ｃ）〜（ｈ）は、（ａ）、（ｂ）と同様に選択された第３局所〜第８局所の位置と第３局所〜第８局所の曲線に関する特徴を示すデータをプロットしたグラフとを示す。第１局所〜第８局所は、共通する抽出点を有する複数の局所である。図７（a）〜（ｈ）において、第１局所〜第８局所に共通する抽出点を逆三角印で示す。（i）は、第１所定空間の曲線に関する特徴を示す。横軸は曲率の大きさを示し、縦軸は曲線の向きを示す。グラフ上の所定位置での濃淡は、所定位置に対応する曲率の大きさ及び曲線の向きを有する曲線の多さを示す。（ｊ）は、認識対象の画像と第１所定空間と第２所定空間とを示す。なお、共通する抽出点を有する複数の局所（第１局所〜第８局所）においてデータを取得する理由は、各局所における２地点が方向を持つため、曲率を計算可能な方向が限定される不都合を解消するためである。局所数を８より多くすれば精度は高まるが、計算時間は長くなるため、必要な精度に応じて局所数を調節する。

以下、図５と図７とを参照して、画像認識装置５００の機能を説明する。なお、以下の画像認識装置５００の機能の説明において用いる認識対象の画像は、２つの所定空間（第１所定空間と第２所定空間）を含む（ｊ）。２つの所定空間（第１所定空間と第２所定空間）では、局所の数は互いに等しいことが好ましいが、互いの数は任意である。本実施の形態では、第１所定空間は共通する抽出点を有する８つの局所を含み、第２所定空間では１つの局所を含む例を説明する。

周波数成分抽出手段１０６ａは、第１局所の空間周波数成分を抽出する。方位成分抽出手段１０６ｂは、第１局所の空間周波数成分に基づいて、第１局所の方位成分を抽出する。曲率特徴抽出手段１０６ｄは、第１局所の方位成分に基づいて、第１局所の曲線に関する特徴を抽出する。

局所選択手段５０６ｅは、認識対象の画像から、第１局所（ａ）と共通する抽出点を有する第２局所（ｂ）を選択する。周波数成分抽出手段１０６ａは、第２局所（ｂ）の空間周波数成分を抽出する。方位成分抽出手段１０６ｂは、第２局所（ｂ）の空間周波数成分に基づいて、第２局所（ｂ）の方位成分を抽出する。曲率特徴抽出手段１０６ｄは、第２局所（ｂ）の方位成分に基づいて、第２局所（ｂ）の曲線に関する特徴を抽出する。

局所選択手段５０６ｅは、認識対象の画像から、第１局所（ａ）と共通する抽出点を有する第３局所（ｃ）〜第８局所（ｈ）を順次選択し、以下曲率特徴抽出手段１０６ｄは、第３局所（ｃ）〜第８局所（ｈ）の各々の方位成分に基づいて、第３局所（ｃ）〜第８局所（ｈ）の各々の曲線に関する特徴を順次抽出する。近傍特徴算出手段５０６ｆは、第１局所〜第８局所の各々の曲線に関する特徴に基づいて、抽出点近傍（第１所定空間）の曲線に関する特徴を算出する。空間選択手段５０６ｇは、第２所定空間を選択する。周波数成分抽出手段１０６aは、第２所定空間に含まれる局所の空間周波数成分を抽出し、方位成分抽出手段１０６ｂは、この局所の空間周波数成分に基づいて、この局所の方位成分を抽出し、曲率特徴抽出手段１０６ｄは、この局所の方位成分に基づいて、この局所の曲線に関する特徴を抽出する。

認識対象の画像から、別の局所を選択しないと判断した場合は、近傍特徴算出手段５０６ｆは、この局所の曲線に関する特徴に基づいて、抽出点近傍（第２所定空間）の曲線に関する特徴を算出する。そして、画像特徴算出手段５０６ｈは、第１所定空間と第２所定空間との曲線に関する特徴に基づいて、画像の曲線に関する特徴を算出する。

図８は、本発明の第２実施形態に係る画像認識装置５００を用いた画像認識方法を示すフローチャートである。当該フローチャートでは、各ステップを記号“Ｓ”で示している。以下、図８を参照して画像認識方法の各ステップの概要を説明する。詳細は、図５と図７とを参照して上述しているため省略する。

Ｓ７０２：入力手段１０２から認識の対象となる画像を入力する。認識の対象となる画像を示すデータは、局所抽出手段１０４に送信される。

Ｓ７０４：局所抽出手段１０４は、認識の対象となる画像のうち２点を含む領域を局所化して第１局所を抽出する。第１局所を示すデータは、周波数成分抽出手段１０６ａに送信される。

Ｓ７０６：曲率特徴抽出手段１０６ｄは、第１局所の方位成分に基づいて、第１局所の曲線に関する特徴を抽出する。

Ｓ７０８：局所選択手段５０６ｅは、第１局所に共通する抽出点を有する別の局所があるか否か判断する。選択する別の局所がある場合は、Ｓ７１０に進む。選択する別の局所がない場合は、Ｓ７１２に進む。

Ｓ７１０：局所選択手段５０６ｅは、認識対象の画像から、第２局所を選択する。

Ｓ７１２：近傍特徴算出手段５０６ｆは、第１局所と第２局所との特徴が抽出されている場合は第１局所と第２局所との特徴に基づいて、第１局所の特徴しか抽出されていない場合は第１局所の特徴に基づいて、抽出点近傍（第１所定空間）の曲線に関する特徴を算出する。

Ｓ７１４：空間選択手段５０６ｇは、第１所定空間とは別の所定空間があるか否か判断する。選択する別の所定空間がある場合は、Ｓ７１６に進む。選択する別の所定空間がない場合は、Ｓ７１８に進む。

Ｓ７１６：空間選択手段５０６ｇは、認識対象の画像から、第２所定空間を選択する。Ｓ７０６に進み、第２所定空間に含まれる局所の曲線に関する特徴を抽出する。

Ｓ７１８：画像特徴算出手段５０６ｈは、第１所定空間と第２所定空間との特徴が抽出されている場合は第１所定空間と第２所定空間との特徴に基づいて、第１所定空間の特徴しか抽出されていない場合は第１所定空間の特徴に基づいて、画像の曲線に関する特徴を算出する。

Ｓ７２０：画像推定手段１０８は、画像の曲線に関する特徴に基づいて画像を推定する。推定画像を示すデータは、出力手段１１０に送信される。

Ｓ７２２：出力手段１１０は、推定画像を出力する。

なお、Ｓ７０６からＳ７１８は、本発明の第２実施形態における画像特徴抽出手段５０６により実行可能であり、本発明の画像特徴抽出方法を構成する。

以上、図５から図８を参照して、本発明の第２実施形態を説明した。本発明の第２実施形態では、画像は、２つの所定空間（第１所定空間と第２所定空間）を含み、第１所定空間は、共通する抽出点を有する８つの局所を含み、第２所定空間は、１つの局所を含む例を説明したが、本発明はこれに限定されない。本発明によれば、認識対象となる画像に含まれる所定空間の数、及び各所定空間に含まれる局所の数は任意である。

本発明の画像特徴抽出装置によれば、認識対象の画像から、共通する抽出点を有する複数の局所を選択し、抽出点近傍の曲線に関する特徴を算出できる。例えば、曲線の向きは０〜３６０°の範囲を有するため、１つの局所に基づくデータだけでは不十分であるものの、曲線の向きが変わるように複数の局所に基づくデータを採れば特徴抽出の精度がアップし、抽出点近傍の曲線に関する特徴を高レンジで抽出することができる。

本発明の画像特徴抽出装置によれば、複数の所定空間を選択し、画像の曲線に関する特徴を算出することで曲率特徴抽出を画像の一部分に限定することなく、画像全般にわたって広範囲で画像の曲線に関する特徴を得ることができる。

図９は、本発明の画像認識装置１００又は画像認識装置５００を用いた画像処理結果と従来の画像認識装置を用いた画像処理結果とを比較する比較図である。（ａ）は、ノイズありの原画像とノイズなしの原画像とを示す。（ｂ）は、ノイズありの原画像を２値化処理した画像とノイズなしの原画像を２値化処理した画像とを示す。２値化処理の閾値は９５％である。（ｃ）は、２値画像からエッジ検出した画像を示す。エッジ検出にはＳｏｂｅｌフィルタを使用した。（ｄ）は、原画像中心部を抽出点とした抽出点近傍の曲線に関する特徴を示す。（ｅ）は、原画像中心部を抽出点とした抽出点近傍の推定された曲率を示す。

本発明の画像認識装置１００又は画像認識装置５００を用いた場合は、画像に明示的に物体の境界線が含まれる必要がないため、線画や文字のような明示的に線で描かれた画像だけでなく、写真や撮像された映像のようにノイズを多く含み境界が曖昧な画像にも機能を損なうことなく適用できるという点で、技術的に従来の方法より優れている。図９に示されたように、従来の画像認識装置では、ノイズの多く含まれるような画像に対して特徴抽出の途中段階であるエッジ検出精度が悪くなる（（ｂ）、（ｃ）参照）。一方、本発明の画像認識装置１００又は画像認識装置５００では、ノイズ状況下でも精度を保ったまま曲線に関する特徴を抽出し得る（（ｄ）参照）。結果、ノイズ状況下においても最適な曲率を推定し得る（（ｅ）参照）。

以上、図１から図９を参照して、本発明による画像特徴抽出装置、画像特徴抽出方法、画像認識装置、及び画像認識方法を説明した。なお、本発明において、「周波数成分抽出手段」は「周波数成分抽出部」として機能し、「方位成分抽出手段」は「方位成分抽出部」として機能し、「曲率特徴抽出手段」は「曲率特徴抽出部」として機能し、「局所選択手段」は「局所選択部」として機能し、「近傍特徴算出手段」は「近傍特徴算出部」として機能し、「空間選択手段」は「空間選択部」として機能し、「画像特徴算出手段」は「画像特徴算出部」として機能し、「相関値算出手段」は「相関値算出部」として機能し、「入力手段」は「入力部」として機能し、「局所抽出手段」は「局所抽出部」として機能し、「画像推定手段」は「画像推定部」として機能し、「出力手段」は「出力部」として機能する。

本発明の実施の形態によれば、曲線に関する特徴として、曲線の向きと曲率の大きさを抽出したが、曲線に関する特徴である限りはこれらに限定されない。例えば、局所の空間周波数成分に基づいて、局所の曲線に関する特徴として曲線の太さを算出し得る。例えば、画像特徴抽出手段によって抽出した局所の周波数成分を高周波数サイドに限定することにより、細い曲線を抽出し得る。また、画像特徴抽出手段によって抽出した局所の周波数成分を低周波数サイドに限定することにより、太い曲線を抽出し得る。従って、境界線の検出が困難な状況下でも、局所の曲線に関する特徴として、曲線の太さを算出することができる。なお、本発明の原理によれば、計算対象となる２地点において、別の空間周波数（別の太さ）の成分を抽出し得る。従って、例えば空間上の位置変化に対して太さが変化するような曲線を抽出し得る。

第１実施形態における画像特徴抽出手段１０６、第２実施形態における画像特徴抽出手段５０６において、方位成分抽出手段が第１領域の方位成分と第２領域の方位成分とを抽出し得る。従って、第１領域の方位成分と第２領域の方位成分とに基づいて、曲率特徴抽出手段が、曲線に関する特徴（曲線の向きと曲率の大きさ）を抽出し得る限りは、相関値算出手段は必須ではない。

本発明の実施形態では、１つの局所が、局所化された第１領域と第２領域とを含む例を説明したが、本発明はこれに限定されない。本発明によれば、１つの局所が、局所化された領域を少なくとも２つ含む限りは、領域の数は任意である。曲線に関する特徴を定義するためには、少なくとも２つの領域の周波数成分を抽出する必要がある。

本発明による画像特徴抽出装置、画像特徴抽出方法、画像認識装置、及び画像認識方法は、デジタルカメラなどにおける特徴認識や、画面および文書のデジタル化はもちろん、防犯、生体認証等の個人照合や物流、交通、医療用イメージング技術などの分野に利用され得る。また発展の目覚ましい生体認証分野にも広く利用可能である。

１０２入力手段
１０４局所抽出手段
１０６画像特徴抽出装置
１０６ａ周波数成分抽出手段
１０６ｂ方位成分抽出手段
１０６ｃ相関値算出手段
１０６ｄ曲率特徴抽出手段
１０８画像推定手段
１１０出力手段
５０６ｅ局所選択手段
５０６ｆ近傍特徴算出手段
５０６ｇ空間選択手段
５０６ｈ画像特徴抽出手段

Claims

画像に含まれる特徴を抽出する画像特徴抽出装置であって、
前記画像のうち局所の空間周波数成分を抽出する周波数成分抽出部と、
前記局所の空間周波数成分に基づいて、前記局所の方位成分を抽出する方位成分抽出部と、
前記局所の方位成分に基づいて、前記局所の曲線に関する特徴を抽出する曲率特徴抽出部と
を備えた画像特徴抽出装置。
前記局所の方位成分は、第１地点の方位成分と第２地点の方位成分とを含み、
前記曲率特徴抽出部は、前記第１地点の方位成分と前記第２地点の方位成分とに基づいて、前記局所の曲線に関する特徴として曲率の大きさと曲線の向きとを算出する、請求項１に記載の画像特徴抽出装置。
前記曲率特徴抽出部は、前記局所の空間周波数成分に基づいて、前記局所の曲線に関する特徴として前記曲線の太さを算出する、請求項１又は請求項２に記載の画像特徴抽出装置。
前記画像は、共通する抽出点を有する複数の局所を含み、
前記複数の局所を選択する局所選択部と、
前記抽出点近傍の曲線に関する特徴を算出する近傍特徴算出部と
を更に備え、
前記周波数成分抽出部は、前記複数の局所の各々の空間周波数成分を抽出し、
前記方位成分抽出部は、前記複数の局所の各々の空間周波数成分に基づいて、前記複数の局所の各々の方位成分を抽出し、
前記曲率特徴抽出部は、前記複数の局所の各々の方位成分に基づいて、前記複数の局所の各々の曲線に関する特徴を抽出し、
前記近傍特徴算出部は、前記各々の曲線に関する特徴に基づいて、前記抽出点近傍の曲線に関する特徴を算出する、請求項１から請求項３の何れか一項に記載の画像特徴抽出装置。
前記画像は、複数の所定空間を含み、前記複数の所定空間の各々は少なくとも１つの局所を含み、
前記複数の所定空間を選択する空間選択部と、
前記画像の曲線に関する特徴を算出する画像特徴算出部と
を更に備え、
前記局所選択部は前記複数の所定空間の各々から少なくとも１つの局所を選択し、
前記周波数成分抽出部は、前記少なくとも一つの局所の空間周波数成分を抽出し、
前記方位成分抽出部は、前記少なくとも一つの局所の空間周波数成分に基づいて、前記少なくとも一つの局所の方位成分を抽出し、
前記曲率特徴抽出部は、前記少なくとも一つの局所の方位成分に基づいて、前記少なくとも一つの局所の曲線に関する特徴を抽出し、
前記画像特徴算出部は、前記曲線に関する特徴に基づいて、前記画像の曲線に関する特徴を算出する、請求項４に記載の画像特徴抽出装置。
前記局所の方位成分に基づいて、方位成分の相関値を算出する相関値算出部を備えた、請求項１から請求項５の何れか一項に記載の画像特徴抽出装置。
前記画像を入力する入力部と、
前記画像のうちの少なくとも２点を含む領域を局所化して前記局所を抽出する局所抽出部と、
請求項１から請求項６の何れか一項に記載の画像特徴抽出装置と、
前記局所の曲率又は前記画像の曲線に関する特徴に基づいて、前記画像を推定する画像推定部と、
前記推定画像を出力する出力部と
を備えた画像認識装置。
画像に含まれる特徴を抽出する画像特徴抽出方法であって、
前記画像のうち局所の空間周波数成分を抽出する周波数成分抽出ステップと、
前記局所の空間周波数成分に基づいて、前記局所の方位成分を抽出する方位成分抽出ステップと、
前記局所の方位成分に基づいて、前記局所の曲線に関する特徴を抽出する曲率特徴抽出ステップと
を包含する画像特徴抽出方法。
前記画像を入力する入力ステップと、
前記画像のうちの少なくとも２点を含む領域を局所化して前記局所を抽出する局所抽出ステップと、
請求項８に記載の画像特徴抽出方法における前記周波数成分抽出ステップ、前記方位成分抽出ステップ、及び前記曲率特徴抽出ステップと、
前記局所の曲率又は前記画像の曲線に関する特徴に基づいて、前記画像を推定する画像推定ステップと、
前記推定画像を出力する出力ステップと
を備えた画像認識方法。