JP4993615B2 - 画像認識方法および装置 - Google Patents

画像認識方法および装置 Download PDF

Info

Publication number
JP4993615B2
JP4993615B2 JP2008054760A JP2008054760A JP4993615B2 JP 4993615 B2 JP4993615 B2 JP 4993615B2 JP 2008054760 A JP2008054760 A JP 2008054760A JP 2008054760 A JP2008054760 A JP 2008054760A JP 4993615 B2 JP4993615 B2 JP 4993615B2
Authority
JP
Japan
Prior art keywords
pixel
image
relative
pixels
bit string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008054760A
Other languages
English (en)
Other versions
JP2009211490A (ja
Inventor
賢治 松尾
真幸 橋本
淳 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2008054760A priority Critical patent/JP4993615B2/ja
Publication of JP2009211490A publication Critical patent/JP2009211490A/ja
Application granted granted Critical
Publication of JP4993615B2 publication Critical patent/JP4993615B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像認識方法および装置に係り、特に、顔画像の認識に好適な画像認識方法および装置に関する。
顔写真の中から自動的に顔の領域を検出し、それが誰であるかを識別する顔認証の研究開発が盛んである。顔認証では、元来3次元の構造物である顔を2次元の画像として認識するため、顔の見た目と識別結果とが、顔に付加される様々な変動要素の影響に応じて大きく異なる場合がある。代表的な変動要素として、照明およびカメラの特性の違いによる「照明変動」と、カメラやスキャナ等の機材の違いによる「特性変動」とがある。
このような「照明変動」および「特性変動」を抑制するために、本発明の発明者は、照明変動や撮影機材の特性変動に対して耐性のある隣接相対ビット列(LBP)に基づいて画像を比較し、その類似スコアに基づいて画像認識を行う技術を発明し、特許出願した(特許文献1)。
この先行技術では、正規化された顔画像内で各画素に順次注目し、各注目画素を、当該注目画素と、この注目画素に隣接する複数の周辺画素との相対的な特徴量の相対値が各周辺画素の位置に応じて配列されたLBP(Local Binary Pattern)に変換される。
LBPはテクスチャ解析の手法であり、主に領域分割等で使用されている。このLBPは、画像処理分野でのエッジ抽出用のフィルタ(ラプラシアンフィルタ、Cannyフィルタ等)処理と同様であり、注目画素と周辺画素との特徴量の相対値に基づいて出力値が決定される。
図13は、LBPを概念的に説明した図である。LBPは、一つの注目画素Pi,jおよびその周辺画素の特徴量(例えば、輝度差)の相対値を示す情報である。顔画像から抽出された一つの注目画素の特徴量が、これに隣接する8つの周辺画素の特徴量と比較され、特徴量が注目画素よりも大きい周辺画素には「1」が、小さい周辺画素には「0」が、それぞれ割り当てられ、その一つをMSBとして時計回りに8ビットで構成される数値列がLBPとして出力される。図13の例では、LBP値は「131(10進数)」となる。
図14(a),(b)は、同一人物の顔を異なる照明下で撮影して得られた2つの顔画像から求められたLBPを可視化したLBP画像であり、各画素がLBPに対応した輝度で表現されている。同図(a),(b)を比較すれば、顔画像には照明変動に応じた輝度差やコントラスト差が認められるものの、LBP画像では照明変動の影響が抑制されていることが判る。
以上のようにして、全画素のLBPが求まると、参照顔画像のLBPと各被参照顔画像のLBPとが比較され、両者の類似度に基づいて類似スコアを算出される。
図15は、類似度算出方法を模式的に表現した図であり、参照顔画像Dの注目画素Pi,jのLBPと、被参照顔画像Dkにおいて前記注目画素Pi,jに対応する位置の画素(対応画素)P'i,jのLBPとが、対応するビットごとに比較される。そして、値が一致するビットには「1」、不一致のビットには「0」が割り当てられ、一画素分のビット和が当該注目画素Pi,jの類似スコアとなる。
図15に示した例では、参照顔画像Dの注目画素Pi,jのLBPが(10001011)であり、被参照顔画像Dkの対応画素P'i,jのLBPが(00011010)であり、MSBから第2,3,5,6,7番目の各ビット同士が一致するので、当該注目画素Pi,jの類似スコアは「5」となる。そして、これを参照顔画像Dの全画素に関して繰り返し、全画素の類似スコアの総和ΣCi,jが参照顔画像Dと被参照顔画像Dkとの類似スコアとなる。
特願2007−254641号
図16は、相互に隣接する2つの注目画素に関して、それぞれの周辺画素が重畳する様子を示した図であり、同図(a)に示したように、注目画素Pi,jと、その左上に隣接する注目画素Pi-1,j-1とは、両者の画素値が一致しない限りLBPビットに関して相補的な関係にあり、注目画素Pi,jから見た周辺画素Pi-1,j-1のLBPビット「1」であれば、注目画素Pi-1,j-1から見た周辺画素Pi,jのLBPビットは「0」になる。したがって、注目画素Pi-1,j-1から見た周辺画素Pi,jのLBPビットが「0」であることが既知ならば、注目画素Pi,jから見た周辺画素Pi-1,j-1のLBPビットは「1」であることが直ちに判明する。
同様の関係は、同図(b)に示したように、注目画素Pi,jとその上に隣接する注目画素Pi-1,j、同図(c)に示したように、注目画素Pi,jとその右上に隣接する注目画素Pi-1,j+1、同図(d)に示したように、注目画素Pi,jとその左に隣接する注目画素Pi,j-1、などにおいても同様に成立する。
そして、注目画素Pi,jが画像の左上から右下へラスタスキャンされる場合を考えれば、図17に示したように、注目画素Pi,jの左に隣接する周辺画素Pi1,j-1、左上に隣接する周辺画素Pi-1,j-1、真上に隣接する周辺画素Pi-1,j、および右上に隣接する周辺画素Pi-1,j+1のLBPビットは冗長となる。
しかしながら、上記した従来技術では、これらの冗長なLBPビットも全て計算されていたので、認識処理に無駄が生じるのみならず、冗長なLBPビットを記憶する記憶容量が無駄に消費されるという技術課題があった。
本発明の目的は、上記した従来技術の課題を解決し、冗長な計算やデータを省くことで、処理負荷を低減して記憶領域を有効利用できる画像認識方法および装置を提供することにある。
上記した目的を達成するために、本発明は、参照画像と被参照画像とを比較して両者の類似スコアを算出する画像認識装置において、以下のような手段を講じた点に特徴がある。
(1)画像ごとに各画素に順次注目し、当該注目画素とその周辺に位置する複数の周辺画素のうちの所定画素の各々の特徴量に基づいて当該注目画素の相対ビット列を生成する手段と、前記参照画像および被参照画像の対応する画素の前記相対ビット列同士を対応するビットごとに比較して前記相対ビット列同士の類似度を算出する手段と、各画素の前記相対ビット列同士の類似度に基づいて、前記参照画像と被参照画像との類似スコアを算出する手段とを含み、前記相対ビット列を生成する手段は、前記複数の周辺画素のうち、当該周辺画素を注目画素として前記注目画素を周辺画素とした相対値が算出済みでない周辺画素を前記所定画素とし、前記注目画素と前記所定画素の各々との特徴量の相対値を前記所定画素の各々の位置に応じて配列することにより当該注目画素の相対ビット列を生成することを特徴とする。
(2)前記画像の各画素に順次注目し、当該注目画素ごとに、その相対ビット列に冗長ビットを補完する補完手段を含み、前記補完手段前記注目画素の相対ビット列を取り込み、当該相対ビット列に関して、前記注目画素と前記複数の周辺画素との特徴量の相対値が各周辺画素の位置に応じて配列されていないビット位置に、当該周辺画素を注目画素として前記注目画素を周辺画素とした他の相対ビット列の対応ビットの反転値を、当該周辺画素の位置に応じて補完することを特徴とする。
本発明によれば、以下のような効果が達成される。
(1)冗長な計算やデータを省くことができるので、処理負荷の低減による認識速度の向上および記憶領域の有効利用が可能になる。
(2)冗長部分が削除されたした相対ビット列に冗長なデータを付与できるので、冗長部分を含む相対ビット列に基づいて認識処理を実行する既存システムと相対ビット列を共用できる。
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図1は、本発明を適用した顔画像認識システムの主要部の構成を示したブロック図であり、撮影された顔画像を、データベースに既登録の多数の顔画像と比較し、類似度の高い既登録の顔画像を認識結果として出力する。
撮影された顔画像は顔検出部10に取り込まれる。顔検出部10は、入力された顔画像の中から顔の領域を検出する。本実施形態では、以下の文献に記載された公知の顔画像検出方法に基づいて顔領域の座標情報が出力される。顔領域が長方形で規定され場合、座標情報とは顔領域の左上座標、幅および高さである。なお、複数の顔領域が検出された場合は各顔領域の座標情報が出力される。
文献:P. Viola, M.J. Jones, "Robust real-time object detection," in: Second International Workshop on Theories of Visual Modelling, Learning, Computing, and Sampling, 2001.
基準点検出部11は、検出された顔領域の中から顔の基準点となる器官として、目および鼻の位置を検出する。本実施形態では、顔領域から目鼻等の器官を検出する代表的な手法である円形リングフィルタを用いて基準点が検出される。
図2は、円形リングフィルタを利用した器官検出方法を概念的に示した図であり、初めに、座標情報に基づいて顔領域Rが特定[同図(a)]される。次いで、概念的には外周が半径r2の白色リングフィルタ、内周が半径r1の黒色円形リングフィルタ[同図(b)]が前記顔領域で走査される。円形リングフィルタでは、黒目と白目との差が大きい箇所で出力が大きくなるので、目および鼻の対応位置にフィルタ出力(孤立点)が得られる[同図(c)]。本実施形態では、顔領域内上方で円形リングフィルタの出力値が大きい2つの孤立点P1,P2が「目」と認識され、下方で円形リングフィルタの出力値が大きい2つの孤立点P3,P4が「鼻」と認識[同図(c)]される。
図1へ戻り、正規化部12は、前記基準点に基づいて顔の切り出し位置を決定し、この切り出し位置から切り出された顔画像を、その大きさ(画素数)が一定となるように正規化する。
本実施形態では、図3に示したように、前記検出された両目の座標P1,P2の距離を「10」とし、この距離に基づいて、目から左右方向に距離「3」の各垂直線を顔領域の左右輪郭L1,L2、目から上方向に距離「6」の水平線を顔領域の上輪郭L3、目から下方向に距離「14」の水平線を顔領域の下輪郭L4とし、[16×20]の画像領域が顔の切り出し領域として決定される。次いで、切り出し領域の画素数が[40×50]となるように拡大/縮小することで顔画像が正規化される。
図1へ戻り、隣接相対ビット列変換部13は、正規化された顔画像内で、各注目画素を、当該注目画素と、この注目画素に隣接する複数の周辺画素との相対的な特徴量の相対値が各周辺画素の位置に応じて配列された数値列(ここでは、隣接相対ビット列と表現する)に変換する。本実施形態では、隣接相対ビット列としてLBP(Local Binary Pattern)を採用すると共に、後に詳述するように、冗長なLBPビットの算出処理を省くことでLBP変換が簡単化され、さらにLBPのビット数が従来の半分に減ぜられる。以下、ビット数を減ぜられて最適化されたLBPをOLBP (Optimized LBP)と表現する。
切替部14は、上記のようにして求められた各顔画像のOLBPを、被参照顔画像Dkとして登録するか、あるいは参照顔画像Dとして既登録の被参照顔画像と比較して類似スコアを算出するかを切り替える。被参照顔画像のOLBPは、登録部15によって、その人物を特定できる名前や識別情報と共に予めデータベース(DB)16に登録される。類似度算出部17は、参照顔画像のOLBPを、前記DB16に既登録の各被参照顔画像のOLBPと比較し、両者の類似度に基づいて類似スコアを算出する。
結果出力部18は、全ての被参照顔画像Dkを類似スコアに基づいてソートし、上位数%の被参照顔画像を認識結果として出力したり、あるいは類似度が最も高い唯一の被参照顔画像のみを認識結果として出力したりする。
冗長情報補完部19は、前記DB16に登録された被参照顔画像DkのOLBPを、従来のLBPに基づく顔認識システムでも活用できるように、OLBPに冗長情報を補完してLBPに変換する。冗長情報削除部20は、従来のLBPに基づく顔認識システムで構築された被参照顔画像のLBPを本システムで活用できるように、LBPから冗長情報を削除してOLBPに変換し、これをDB16に登録する。
次いで、フローチャートを参照して本実施形態の動作を詳細に説明する。図4は、OLBPを用いた顔画像認識手順を示したフローチャートであり、ここでは、多数の被参照顔画像Dkの中から参照顔画像Dに類似した顔画像を検出する場合を例にして説明する。
ステップS1では、比較対照となる被参照顔画像DkがDB16から選択される。ステップS2では、参照顔画像Dの一つの画素が今回の注目画素Pi,jとして選択される。本実施形態では、注目画素Pi,jが画像の左上から右下へラスタスキャンと同一の順序で選択されるものとする。ステップS3では、選択された注目画素Pi,jのOLBPが算出される。
図5は、OLBP算出処理の手順を示したフローチャートであり、ステップS31では注目画素Pi,jに隣接する8つの周辺画素の一つが選択される。本実施形態では、図6に示したように、注目画素Pi,jの右側に隣接する周辺画素1[Pi,j+1]から順に、時計回りで4つの周辺画素が選択される。ステップS32では、注目画素Pi,jの画素値と今回の周辺画素の画素値とが比較される。
ステップS33では、比較結果に応じてOLBPの対応ビットに「0」または「1」がセットされる。ステップS34では、非冗長の全ての周辺画素(本実施形態では、図6の位置1、2、3、4で隣接する4つの周辺画素)に関して上記した処理が完了したか否かが判定され、全ての画素に関して対応ビットのセットが完了するまではステップS31へ戻り、周辺画素を時計回りにシフトさせながら上記の処理が繰り返される。
すなわち、本実施形態では今回の8つの周辺画素のうち、当該今回の周辺画素を注目画素として今回の注目画素Pi,jを周辺画素とした相対値が算出済みでない4つの周辺画素[Pi,j+1,Pi+1,j+1,Pi+1j,Pi+1,j-1]と注目画素Pi,jとに基づいて4ビットのOLBPが求められる。
図4へ戻り、ステップS4では、今回の被参照顔画像Dkから今回の注目画素Pi,jに対応した位置の画素(対応画素)P'i,jのOLBPがDB16から取り込まれる。ステップS5では、注目画素Pi,jのOLBPと対応画素のOLBPとが、対応するビットごとに比較される。ステップS6において、各ビットの値が一致していると判定されれば、ステップS7でスコアCi,jがインクリメントされる。
ステップS8では、OLBPの全ビット(本実施形態では、4ビット)に関して上記した比較が完了したか否かが判定され、完了していなければステップS5へ戻り、注目ビットを切り替えながら上記した各処理が繰り返される。
その後、 今回の注目画素Pi,jに関して、そのOLBPの全ビットの比較が完了してビット和が求まるとステップS9へ進む。ステップS9では、参照顔画像Dの全画素に関して上記した処理が完了したか否かが判定され、完了していなければステップS2へ戻り、注目画素Pi,jを切替ながら上記した各処理が繰り返される。
その後、参照顔画像Dの全ての画素に関して上記した処理が完了するとステップS10へ進み、全ての画素のスコアCi,jの総和ΣCi,jが、今回の被参照顔画像Dkと参照顔画像Dとの類似度を代表する類似スコアCkとして登録される。ステップS11では、全ての被参照顔画像Dkに関して上記した比較が完了したか否かが判定される。完了していなければステップS1へ戻り、被参照顔画像Dkを切替ながら上記した各処理が繰り返される。
その後、全ての被参照顔画像Dkに関して上記した処理が完了し、参照顔画像Dとの類似度Ckが求まるとステップS12へ進む。ステップS12では、被参照顔画像Dkが前記類似度Ckに基づいてソートされ、上位の被参照顔画像のみが認識結果として出力される。
なお、本実施形態のOLBPはLBPの上位4ビットのみであり、下位4ビットは比較対照となっていない。しかしながら、LBPの下位4ビットの各ビットは、他のいずれかのLBPのいずれかのビットと相補的な関係にあって相殺されるので無視できる。
すなわち、図18に一例を示したように、参照顔画像Dのある注目画素Pi,jのLBPの下位4ビットが[1011]であり、被参照顔画像Dkの対応する注目画素P'i,jのLBPの下位4ビットが[1110]である場合を考えると、当該注目画素同士は、上位4ビットを無視すれば2つのビットで一致する。
一方、各注目画素Pi,jに隣接する8つの周辺画素の中には、前記下位4ビットの各ビットの反転値を上位4ビットのいずれかに含む4つの画素が存在し、この4つの周辺画素に関して参照顔画像Dおよび被参照顔画像Dkの対応する各LBPを比較すれば、2つのLBPで1ビットずつ一致することになるので、計2ビットが一致することになる。すなわち、LBPの下位4ビット同士がnビット一致すれば、上位4ビット同士の比較でも必ずnビットが一致し、合計で2nビットが必ず一致することになる。したがって、LBPの下位4ビットを無視しても、得られる類似度が半分になるだけで相対的には等しくなる。
図7は、前記冗長情報補完処理部19の動作を示したフローチャートであり、ここでは、被参照顔画像Dkの全てのOLBP(4ビット)に冗長情報を補完することで当該OLBPがLBP(8ビット)に変換され、当該被参照顔画像Dkが既存のシステムでも利用できるように汎用化される。
ステップS41では、被参照顔画像Dkの一つの画素が今回の注目画素Pi,jとして選択される。本実施形態では、注目画素Pi,jが画像の左上からラスタスキャンと同一の順序で選択されるものとする。ステップS42では、注目画素Pi,jのOLBP(4ビット)がDB16から取り込まれる。ステップS43では、図8に示したように、注目画素Pi,jに隣接する8つの周辺画素のうち、左側に隣接する周辺位置5の画素Pi,j-1から順に時計回りで4つの画素が順次に選択される。
すなわち、本実施形態では今回の注目画素Pi,jのOLBPを取り込み、当該OLBPに関して、注目画素Pi,jとその複数の周辺画素との特徴量の相対値が各周辺画素の位置に応じて配列されていない下位4ビットに、今回の周辺画素を注目画素として今回の注目画素を周辺画素とした他の相対ビット列の対応ビットの反転値を、当該今回の周辺画素の位置に応じて補完する。
ステップS44では、前記注目画素Pi,jのOLBP(4ビット)がLBPの上位4ビットとして登録される。ステップS45では、今回の周辺画素のOLBP(4ビット)がDB16から取り込まれる。ステップS46では、取り込まれた周辺画素のOLBPの対応ビットの反転値が、今回の注目画素Pi,jのLBPの対応ビット(LSB側の下位4ビットのいずれか)にセットされる。
図9は、周辺画素のOLBPの対応ビットが注目画素Pi,jのLBPの対応ビットにセットされる様子を模式的に示した図である。
本実施形態では、注目画素Pi,jのLBPのMSB側から第5番目のビットには、位置5で隣接する周辺画素[Pi,j-1]のOLBPのMSBの反転値がセットされる。同様に、注目画素Pi,jのLBPのMSB側から第6番目のビットには、位置6で隣接する周辺画素[Pi-1,j-1]のOLBPのMSB側から第2番目のビットの反転値がセットされる。同様に、注目画素Pi,jのMSB側から第7番目のビットには、位置7で隣接する周辺画素[Pi-1,j]のOLBPのMSB側から第3番目のビットの反転値がセットされる。同様に、注目画素Pi,jのMSB側から第8番目のビット(すなわち、LSB)には、位置8で隣接する周辺画素[Pi-1,j+1]のOLBPのMSB側から第4番目のビットの反転値がセットされる。
図7へ戻り、ステップS47ではLBPの下位4ビットが全て補完されたか否かが判定され、補完が完了するまではステップS43へ戻り、周辺画素を時計回りにシフトさせながら上記の処理が繰り返される。ステップS48では、全画素に関してLBPへの変換が完了したか否かが判定され、全画素に関して完了するまではステップS41へ戻り、注目画素をラスタスキャン方向へシフトさせながら上記の処理が繰り返される。
図10は、前記冗長情報削除処理部20の動作を示したフローチャートであり、ここでは、被参照顔画像Dkの8ビットLBPの下位4ビットを削除することで当該LBPが4ビットのOLBPに変換される。
ステップS61では、被参照顔画像Dkの一つの画素が今回の注目画素Pi,jとして選択される。本実施形態では、注目画素Pi,jが画像の左上からラスタスキャンと同一の順序で選択されるものとする。ステップS62では、注目画素Pi,jのLBP(8ビット)が取り込まれる。ステップS63では、前記LBPの上位4ビットが抽出され、OLBPとしてDB16に登録される。ステップS64では、全画素に関してOLBPへの変換が完了したか否かが判定され、全画素に関して完了するまではステップS61へ戻り、注目画素をシフトさせながら上記の処理が繰り返される。
次いで、本発明の変形例について説明する。上記した実施形態では、3×3の画素ブロックを対象に、その中心に位置する注目画素Pi,jと、この注目画素Pi,jに隣接する非冗長の4つの周辺画素との特徴量の大小関係に基づいて4ビットのOLBPが求められるものとして説明したが、図11に示したように、例えば5×5の画素ブロックを対象に、その中心に位置する注目画素Pi,jと、この注目画素Pi,jから半径が2画素で円周方向に等間隔で配置された8つの周辺画素P1〜P8のうち4つの周辺画素P1〜P4との特徴量の大小関係に基づいて4ビットのOLBPを求めるようにしても良い。このとき、周辺画素P2,P4のように、4つの画素に跨る仮想的な画素に関しては、当該4つの画素の特徴量の平均値を特徴量として採用できる。
そして、サイズの異なる画素ブロックごとに求められたOLBPを用いて、それぞれ類似スコアを計算し、画素ブロックの大きさとは無関係に、類似スコアが上位の被参照顔画像のみが認識結果として出力されるようにしても良い。
また、上記した実施形態では、類似度算出部17は、参照顔画像Dの注目画素Pi,jのOLBPと、被参照顔画像Dkの対応画素P'i,jのOLBPとを、対応するビットごとに比較して一致するビット数Ci,jを画素ごとに求め、その全画素分の総和ΣCi,jを参照顔画像Dと被参照画像Dkとの類似スコアCkとするものとして説明したが、本発明はこれのみに限定されるものではなく、参照顔画像Dの注目画素Pi,jごとに、前記一致するビット数Ci,jが所定の閾値Cref以上であるか否かを求め、前記一致するビット数Ci,jが閾値Cref以上である画素の総数を類似スコアCkとしても良い。
さらに、上記した実施形態では、前記正規化部12によって40×50画素の大きさに正規化された顔画像のOLBPに基づいて類似度が算出されるものとして説明したが、本発明はこれのみに限定されるものではなく、参照画像Dおよび被参照画像Dkのいずれに関しても、図12に模式的に示したように、画素数の異なる複数の正規化画像を求め、正規化画像ごとに類似スコアを算出し、正規化画像の大きさとは無関係に、類似スコアが上位の被参照顔画像のみが認識結果として出力されるようにしても良い。
ただし、類似スコアCkは正規化画像の面積に依存するので、40×50画素の正規化画像から求められた類似スコア以外には、面積比に応じた係数を乗じて正規化された類似スコアCk1,Ck2,Ck3,Ck4を求め、これら正規化された類似スコアCk1,Ck2,Ck3,Ck4同士を比較することが望ましい。
さらに、上記した実施形態では、本発明を顔画像認識に適用して説明したが、それ以外にも、例えばオブジェクト認識、テクスチャ認識あるいは画像認識にも同様に適用できる。
本発明を適用した顔画像認識システムのブロック図である。 円形リングフィルタを利用した器官検出方法を概念的に示した図である。 顔画像の正規化方法を説明した図である。 LBPを用いた顔画像認識手順を示したフローチャートである。 OLBP算出処理の手順を示したフローチャートである。 周辺画素の参照順序を示した図である。 補完処理の手順を示した図である。 周辺画素の参照順序を示した図である。 OLBPとLBPの冗長ビットとの関係を示した図である。 削除処理の手順を示した図である。 本発明の変形例を説明した図(その1)である。 本発明の変形例を説明した図(その2)である。 LBPを概念的に説明した図である。 LBP画像の一例を示した図である。 類似度算出方法を模式的に表現した図である。 相互に隣接する2つの注目画素の周辺画素が重畳する様子を示した図である。 冗長部分の一例を示した図である。 OLBPによる類似度算出の正当性を説明した図である。
符号の説明
10…顔画像検出部,11…基準点検出部,12…正規化部,13…隣接相対ビット列変換部,14…切替部,15…登録部,16…データベース(DB),17…類似度算出部,18…結果出力部

Claims (9)

  1. 参照画像と被参照画像とを比較して両者の類似スコアを算出する画像認識装置において、
    画像ごとに各画素に順次注目し、当該注目画素とその周辺に位置する複数の周辺画素のうちの所定画素の各々の特徴量に基づいて当該注目画素の相対ビット列を生成する手段と、
    前記参照画像および被参照画像の対応する画素の前記相対ビット列同士を対応するビットごとに比較して前記相対ビット列同士の類似度を算出する手段と、
    各画素の前記相対ビット列同士の類似度に基づいて、前記参照画像と被参照画像との類似スコアを算出する手段とを含み、
    前記相対ビット列を生成する手段は、前記複数の周辺画素のうち、当該周辺画素を注目画素として前記注目画素を周辺画素とした相対値が算出済みでない周辺画素を前記所定画素とし、前記注目画素と前記所定画素の各々との特徴量の相対値を前記所定画素の各々の位置に応じて配列することにより当該注目画素の相対ビット列を生成することを特徴とする画像認識装置。
  2. 前記相対ビット列の類似度を算出する手段は、前記相対ビット列同士を対応するビットごとに比較して前記相対値の一致数を画素ごとに求め、
    前記類似スコアを算出する手段は、前記相対値の一致数の総和を前記類似スコアとすることを特徴とする請求項1に記載の画像認識装置。
  3. 前記相対ビット列の類似度を算出する手段は、前記相対ビット列同士を対応するビットごとに比較して前記相対値の一致数を画素ごとに求め、
    前記類似スコアを算出する手段は、前記相対値の一致数が所定の基準値を超えるか否かを判定し、前記相対値の一致数が前記所定の基準値を超える画素数を前記類似スコアとすることを特徴とする請求項1に記載の画像認識装置。
  4. 前記相対ビット列を生成する手段は、前記参照画像および被参照画像の画素ごとに、前記周辺画素の範囲が異なる複数の相対ビット列を生成し
    前記相対ビット列の類似度を算出する手段、前記周辺画素の範囲が異なる相対ビット列ごとに、前記参照画像および被参照画像の対応する画素の前記相対ビット列同士を対応するビットごとに比較して各相対ビット列の類似度を算出し、
    前記類似スコアを算出する手段、各画素の前記相対ビット列同士の類似度に基づいて前記参照画像と被参照画像との類似スコアを算出することを特徴とする請求項1ないし3のいずれかに記載の画像認識装置。
  5. 前記参照画像および被参照画像を同一画素数に正規化する複数の正規化手段を含み、
    前記各正規化手段、それぞれ前記参照画像および被参照画像を異なる画素数に正規化し、
    前記相対ビット列を生成する手段、各正規化画像の画素ごとに、当該画素と前記所定画素の各々との特徴量の相対値を前記周辺画素の各々の位置に応じて配列することにより当該注目画素の相対ビット列を生成し
    前記相対ビット列の類似度を算出する手段前記正規化画像ごとに、前記参照画像および被参照画像の対応する画素の前記相対ビット列同士を対応するビットごとに比較して前記相対ビット列同士の類似度を算出し、
    前記類似スコアを算出する手段前記正規化画像ごとに、各画素の前記相対ビット列の類似度に基づいて、前記参照画像と被参照画像との類似スコアを算出する手段とを含むことを特徴とする請求項1ないし3のいずれかに記載の画像認識装置。
  6. 前記画像の各画素に順次注目し、当該注目画素ごとに、その相対ビット列に冗長ビットを補完する補完手段を含み、
    前記補完手段
    前記注目画素の相対ビット列を取り込み、当該相対ビット列に関して、前記注目画素と前記複数の周辺画素との特徴量の相対値が各周辺画素の位置に応じて配列されていないビット位置に、当該周辺画素を注目画素として前記注目画素を周辺画素とした他の相対ビット列の対応ビットの反転値を、当該周辺画素の位置に応じて補完することを特徴とすることを特徴とする請求項1ないし5のいずれかに記載の画像認識装置。
  7. 前記相対ビット列がLBP(Local Binary Pattern)であることを特徴とする請求項1ないし6のいずれかに記載の画像認識装置。
  8. 前記参照画像および被参照画像が顔画像であり、
    入力された顔画像の中から顔領域を検出する顔検出手段と、
    前記顔領域から複数の器官を基準点として検出する基準点検出手段と、
    前記各基準点間の距離に基づいて顔画像の大きさを正規化する正規化手段とを含み、
    前記相対ビット列を生成する手段前記正規化手段により正規化された各顔画像の画素ごとに前記相対ビット列を生成することを特徴とする請求項1ないし7のいずれかに記載の画像認識装置。
  9. 参照画像と被参照画像とを比較して両者の類似スコアを算出する画像認識方法において、
    画像ごとに各画素に順次注目し、当該注目画素とその周辺に位置する複数の周辺画素のうちの所定画素の各々との特徴量に基づいて当該注目画素の相対ビット列を生成する手順と、
    前記参照画像および被参照画像の対応する画素の前記相対ビット列同士を対応するビットごとに比較して前記相対ビット列同士の類似度を算出する手順と、
    各画素の前記相対ビット列同士の類似度に基づいて、前記参照画像と被参照画像との類似スコアを算出する手順とを含み、
    前記相対ビット列を生成する手順では、前記複数の周辺画素のうち、当該周辺画素を注目画素として前記注目画素を周辺画素とした相対値が算出済みでない周辺画素を前記所定画素とし、前記注目画素と前記所定画素の各々との特徴量の相対値を前記所定画素の各々の位置に応じて配列することにより当該注目画素の相対ビット列を生成することを特徴とする画像認識方法。
JP2008054760A 2008-03-05 2008-03-05 画像認識方法および装置 Expired - Fee Related JP4993615B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008054760A JP4993615B2 (ja) 2008-03-05 2008-03-05 画像認識方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008054760A JP4993615B2 (ja) 2008-03-05 2008-03-05 画像認識方法および装置

Publications (2)

Publication Number Publication Date
JP2009211490A JP2009211490A (ja) 2009-09-17
JP4993615B2 true JP4993615B2 (ja) 2012-08-08

Family

ID=41184558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008054760A Expired - Fee Related JP4993615B2 (ja) 2008-03-05 2008-03-05 画像認識方法および装置

Country Status (1)

Country Link
JP (1) JP4993615B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011128990A (ja) * 2009-12-18 2011-06-30 Canon Inc 画像処理装置とその方法
JP6452793B2 (ja) * 2012-10-25 2019-01-16 キヤノン株式会社 画像処理装置及び画像処理方法
US9141851B2 (en) * 2013-06-28 2015-09-22 Qualcomm Incorporated Deformable expression detector
KR101889645B1 (ko) * 2017-02-06 2018-08-20 부산대학교 산학협력단 도로 기상정보 제공 장치 및 방법
CN108460335B (zh) * 2018-01-26 2022-05-27 百度在线网络技术(北京)有限公司 视频细粒度识别方法、装置、计算机设备及存储介质
JP7363384B2 (ja) 2019-11-05 2023-10-18 富士通株式会社 解析装置、解析プログラム及び解析方法
JP7363382B2 (ja) 2019-11-05 2023-10-18 富士通株式会社 解析装置、解析プログラム及び解析方法
JP7363383B2 (ja) 2019-11-05 2023-10-18 富士通株式会社 解析装置、解析プログラム及び解析方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4687900B2 (ja) * 2006-04-03 2011-05-25 富士ゼロックス株式会社 画像処理装置、及びプログラム。
JP5047005B2 (ja) * 2008-02-29 2012-10-10 キヤノン株式会社 画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置

Also Published As

Publication number Publication date
JP2009211490A (ja) 2009-09-17

Similar Documents

Publication Publication Date Title
JP4993615B2 (ja) 画像認識方法および装置
JP4868530B2 (ja) 画像認識装置
CN102667810B (zh) 数字图像中的面部识别
CN110838119B (zh) 人脸图像质量评估方法、计算机装置及计算机可读存储介质
WO1994023390A1 (en) Apparatus for identifying person
JP2006252162A (ja) パターン認識装置及びその方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN110852311A (zh) 一种三维人手关键点定位方法及装置
JP2014531097A (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
JP4772819B2 (ja) 画像検索装置および画像検索方法
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN114863492B (zh) 一种低质量指纹图像的修复方法及修复装置
CN112396050B (zh) 图像的处理方法、设备以及存储介质
Shirodkar et al. Automated attendance management system using face recognition
US20230394871A1 (en) Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image
JP2009237669A (ja) 顔認識装置
US20070014433A1 (en) Image processing apparatus and image processing method
CN110738265A (zh) 一种基于改进的lbp特征和lndp特征相融合的改进orb算法
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN111027637A (zh) 一种文字检测方法及计算机可读存储介质
CN107368832A (zh) 基于图像的目标检测及分类方法
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置
CN117911668A (zh) 药品信息识别方法及装置
US10115195B2 (en) Method and apparatus for processing block to be processed of urine sediment image
Talele et al. Face detection and geometric face normalization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120411

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120502

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees