JPH08161497A - 画像認識方法及び装置 - Google Patents

画像認識方法及び装置

Info

Publication number
JPH08161497A
JPH08161497A JP6301042A JP30104294A JPH08161497A JP H08161497 A JPH08161497 A JP H08161497A JP 6301042 A JP6301042 A JP 6301042A JP 30104294 A JP30104294 A JP 30104294A JP H08161497 A JPH08161497 A JP H08161497A
Authority
JP
Japan
Prior art keywords
image
degree
compressed
image data
coincidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6301042A
Other languages
English (en)
Other versions
JP2630923B2 (ja
Inventor
Hiroki Nakano
宏毅 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IBM Japan Ltd
Original Assignee
IBM Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IBM Japan Ltd filed Critical IBM Japan Ltd
Priority to JP6301042A priority Critical patent/JP2630923B2/ja
Priority to US08/567,221 priority patent/US5805727A/en
Publication of JPH08161497A publication Critical patent/JPH08161497A/ja
Application granted granted Critical
Publication of JP2630923B2 publication Critical patent/JP2630923B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

(57)【要約】 【目的】 画像を認識するときの演算負荷を軽減でき、
高速で対象となる画像を認識する。 【構成】 テンプレート画像の粗情報、詳細情報及び圧
縮画像データを読み取り(402、404)、圧縮画像
データの直流成分のみをハフマンデコードする(40
6)。これによって、平均的明るさに対応するDCT係
数が得られる。直流成分のDCT係数及びテンプレート
画像の粗情報を用いてブロックによる平均の明るさに関
する粗一致度Crを演算することにより粗照合し(40
8)、相関が高い候補画像領域を復元する(410、4
12)。復元画像の画像データ及びテンプレート画像の
詳細情報(平均及び分散)を用いて画素毎の明るさに関
係する微一致度Cを演算することにより微照合し、微一
致度Cが最大となるときを認識結果領域とする(414
〜420)。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像認識方法及び装置
にかかり、特に、圧縮された画像データを用いる画像認
識方法及び装置に関する。
【0002】
【従来の技術】近年の情報処理技術の進歩に伴って、マ
イクロコンピュータやオフィスコンピュータのCPU等
の処理の高速化やHDD装置等の記憶装置の大容量化が
進んでいる。このため、このようなコンピュータを用い
たシステムでは、カラー信号や階調信号等を表す画像情
報(以下、画像データという)を用いて、映像を手軽に
記憶や再生することができるようになってきている。
【0003】このような情報化社会のなかで、膨大な量
の画像データを用いて必要な画像を得るためには、高速
かつ確実な検索処理を含めた画像処理が要求される。ま
た、連続的な静止画像から構成される動画像等の中から
必要な画像を検索することは、この要求をさらに加速す
る。
【0004】このような画像処理の1例として、画像認
識がある。画像認識は、画像パターンを認識する場合、
複数の対象画像から設定画像と一致する画像を検索する
場合、検査対象部分の画像と良否に応じた複数の基準画
像とを対比して検査対象部分の良否を検査する場合、対
象画像の中から設定画像の位置を検索する場合、等のさ
まざまな用途に使用される。
【0005】ところで、画像データは、1枚の静止画像
であっても膨大な情報量を保有するため、最近では、静
止画像の画像データを圧縮した小容量の画像データ(以
下、圧縮画像データという)を用いている。画像データ
を圧縮することによって画像データ伝送の高速化や記憶
の効率化を図ることができ、圧縮画像データを復元すれ
ば元の画像の表示等の提示を容易に行うことができる。
【0006】この圧縮画像データを得るための圧縮方法
には、静止画像の場合、JPEG(Joint Photographic
Experts Group:合同写真専門家グループ)圧縮があ
る。このJPEG圧縮は、直交変換方法の1つであるD
CT(Discrete Cosine Transform,離散的コサイン変
換)とハフマン符号化等によって静止画像の画像データ
を圧縮する。また、動画像の場合には、MPEG(Movin
g Picture Experts Group:動画像専門家グループ)方
式による音声情報を含めた帯域圧縮がある。
【0007】例えば、このような圧縮方法によって圧縮
された画像データによって表される複数の画像から、入
力された所定の画像を検索する場合には、圧縮画像デー
タを逐次復元して得られる画像と、所定画像とのパター
ンマッチング(照合)を行うことが一般的である。
【0008】このように、従来の画像認識方法では、圧
縮画像データを逐次復元していた。従って、復元した画
像とパターンマッチングを行うことは、画像の復元に膨
大な演算処理を伴うため、演算負荷が大きくなる。この
ため、画像処理の高速化を図ることが困難である。
【0009】また、JPEG方式で圧縮された画像デー
タのうち、低域空間周波数部分と高域空間周波数部分と
を分離し、低域空間周波数部分のデータに基づいて低解
像度の画像を表示することによって、検索目的画像を大
まかに判断する画像検索システムがある(特開平5−2
68480号公報参照)。この画像検索システムでは、
検索目的に合致する画像が表示されたときは、低域空間
周波数部分と高域空間周波数部分の合成によって詳細な
画像を表示する。
【0010】しかしながら、この画像検索システムで
は、演算負荷は小さくなるものの、表示画像に基づいて
検索目的に合致する画像が表示されたか否かをユーザが
視覚的に判断しており、画像の認識または検索を自動的
に処理することができない。
【0011】
【発明が解決しようとする課題】本発明は、上記事実を
考慮して、画像を認識するときの演算負荷を軽減でき、
高速にかつ自動的に画像を認識することができる画像認
識方法及び装置を得ることが目的である。
【0012】
【課題を解決するための手段】本発明は、非圧縮画像
と、2次元空間周波数領域への直交変換を用いて所定の
複数画素の明るさの平均に対応する値としての直流成分
を含むように圧縮された画像データとして記憶される圧
縮画像との間の一致を検出する画像認識方法を提供す
る。非圧縮画像は、所定の複数画素の大きさに対応する
所定数で分割したブロック毎の明るさの平均を求めるよ
うに処理される。圧縮画像は、圧縮画像データから、非
圧縮画像の大きさに対応する圧縮画像中の複数の部分領
域についての直流成分を順次抽出するように処理され
る。抽出された部分領域の直流成分の各値と、非圧縮画
像の各ブロックの明るさの平均値とに基づいて、非圧縮
画像と圧縮画像とのラフパターンマッチングを行い、両
画像の一致度を粗一致度として求める。求めた粗一致度
に基づいて候補領域を求め、候補領域に対応する圧縮画
像データを復元して当該候補領域に対応する候補画像の
画像データを求める。求めた候補画像の画像データと、
非圧縮画像の画像データとに基づいて、ファインパター
ンマッチングを行い、候補画像と非圧縮画像との一致度
を微一致度として求める。求めた微一致度に基づいて、
非圧縮画像と圧縮画像との一致を判定する。
【0013】本発明は、上記方法を実施する画像認識装
置も提供する。
【0014】
【作用】本発明は、直交変換後の圧縮画像データの直流
成分の値を用いて非圧縮画像と圧縮画像との粗一致度を
求め、粗一致度に基づいて求めた候補領域の復元画像と
非圧縮画像との一致度を微一致度として求めている。従
って、圧縮画像の復元に要するデータ処理量を最小に
し、少ない演算負荷で非圧縮画像と圧縮画像とのマッチ
ングを短時間で効率的に行うことができる。
【0015】
【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。
【0016】第1実施例は、JPEG方式で圧縮された
画像データで表される複数の対象画像から、オペレータ
が入力または予め設定した非圧縮の設定画像と一致する
可能性の高い明るさ領域を含む対象画像を検索すると共
に、その対象画像上における当該領域の位置を特定する
画像認識システムに本発明を適用したものである。
【0017】図1に示すように、本実施例の画像認識シ
ステムは、汎用パーソナルコンピュータ10を備えてい
る。この汎用パーソナルコンピュータ10は、認識処理
自体を制御するためのものであり、データ等を入力する
ためのキーボード16、画像や処理結果等を表示するた
めのディスプレイ18、及び後述するJPEG方式によ
って圧縮された画像データで表される複数の対象画像が
静止画像ファイルとして記憶された画像メモリ30が接
続されている。
【0018】図2に示すように、汎用パーソナルコンピ
ュータ10は、CPU22、メインメモリ24、及びプ
ログラムメモリ26を含んで構成されている。これらの
CPU22、メインメモリ24、及びプログラムメモリ
26は、PCATバスやSCSIバス等のバス28に接
続されている。また、バス28には、ディスプレイ18
及びキーボード16が接続されている。
【0019】次に、本実施例の画像認識システムにおけ
る処理を図3乃至図16を参照して説明する。先ず、画
像認識処理が開始されると、図3の制御メインルーチン
が実行され、ステップ100において、設定画像として
のテンプレート画像の設定処理を実行する。
【0020】テンプレート画像の設定処理は、図4の設
定ルーチンに従って実行される。先ず、ステップ102
では、テンプレート画像用として予め用意した1または
複数の基準画像50がディスプレイ18に表示される
(図8(A)参照)。なお、基準画像50は、圧縮して
いない画像データを画像メモリ30に記憶しておき、こ
の画像データを読み取ることにより表示できる。勿論、
非圧縮の基準画像50は任意の適当な画像データ源から
与えることができる。
【0021】次のステップ104では、表示された基準
画像50の少なくとも一部の領域を指定し、テンプレー
ト画像52を設定する。図8(A)の例では、人物を含
むように所定の領域(図8(A)の点線で囲まれた領
域)を設定する。このテンプレート画像52の領域設定
は、例えば、マウス等のポインティングデバイス(図示
省略)により対角方向の2点(図8(A)の点p1 ,p
2 )を指示することによって行うことができる。このス
テップ104では、テンプレート画像52の領域が設定
されると、基準画像50からテンプレート画像52が抽
出され(図8(B)参照)、テンプレート画像52の画
像データS、すなわち画素毎の明るさや色の全データが
メインメモリ24に記憶される。
【0022】上記のテンプレート画像52の領域設定で
は、設定した四隅のポイントを含むと共に、後述するJ
PEG圧縮方法との整合をとるため縦横共に8の倍数と
なる長さ(の画素数)の領域が設定される。本実施例で
は、以下の説明を簡単にするため、テンプレート画像5
2の大きさを縦横同一の長さM(1画素の幅を単位長さ
とし、M個の画素の連続による長さ)とし、テンプレー
ト画像52内の画素(i行のj列に位置する画素、i≧
0,j≧0)に対応する画像データをS(i,j)と表
記する(図11(B)参照)。
【0023】また、静止画像ファイルとして記憶された
対象画像(被検索画像、詳細は後述)54の大きさにつ
いても、縦横共に8の倍数となる長さ(の画素)である
ものとする。本実施例では、対象画像54の大きさを縦
横同一の長さL(L個の画素の連続による長さ)とし
て、対象画像54内の画素(i行、j列)に対応する画
像データをW(i,j)と表記する(図11(A)参
照)。
【0024】なお、このステップ102、104は、予
めテンプレート画像を用意しておき、読み取るようにし
てもよい。
【0025】次のステップ106では、設定されたテン
プレート画像52を、以下のようにして前処理をする。
【0026】先ず、図11(B)に示したように、テン
プレート画像52を8×8画素を1ブロックとして分割
する。このブロック毎に分割されたテンプレート画像5
2について、横方向(図11(B)の矢印X方向)にm
番目(m≧0)でかつ縦方向(図11(B)の矢印Y方
向)にn番目(n≧0)のブロックをブロックB(m,
n)として、各ブロックに含まれる画素の画像データS
を用い、各ブロックの平均輝度、すなわちブロックB
(m,n)の平均輝度u(m,n)を順次以下の式
(1)を参照して演算する。
【0027】
【数1】
【0028】次に、各ブロックの平均輝度u(m,n)
を用いて、テンプレート画像52のブロックの平均輝度
の平均μu 及びブロックの平均輝度のばらつきを表す分
散σ u 2 を以下の式(2)、(3)を参照し演算し、テ
ンプレート画像52の粗情報とする。
【0029】
【数2】
【0030】 但し、mmax=nmax=(M/8)−1
【0031】次に、テンプレート画像52の詳細情報と
して、テンプレート画像52に含まれる全画素の画像デ
ータS(i,j)を用いて明るさの平均μs 及び画素デ
ータの明るさのバラツキを表す分散σs 2 を以下の式
(4)、(5)を参照し演算する。
【0032】
【数3】
【0033】但し、imax=jmax=M−1
【0034】このようにしてテンプレート画像52の設
定処理が終了すると、図3のステップ300へ進み、対
象画像54を読み取る。この対象画像54は、後述する
ように、圧縮画像データΦで表され、静止画像ファイル
として画像メモリ30に記憶されている。この静止画像
ファイルは、対象画像54の画像データを、周知のJP
EG画像圧縮アルゴリズムに従った直交変換、量子化及
び符号化等の処理をした圧縮画像データとして格納され
ている。
【0035】JPEG画像圧縮アルゴリズムは、縦横8
×8画素の画像領域毎にDCTを行った後に、量子化を
行い、その後にランレングス符号化及びハフマン符号化
を行ってデータ量を削減することによって画像データを
圧縮する。このDCTを用いた画像データ圧縮は周知で
あるが、次にその概略を説明する。
【0036】先ず、圧縮前の原画像(以下、入力画像と
いう)を8×8画素のブロックに分割し、この各々のブ
ロックに対してDCT演算する。DCT演算の変換式
は、次に示す式(6)で表せる。また、DCT演算の変
換式の逆変換(IDCT)は、次の式(7)で表せる。
【0037】
【数4】
【0038】 但し、F(u,v):変換画像(DCT変換後の画像データ) f(i,j):入力画像(画像データ) u =0 のとき、C(u)=1/ √2 ,u ≠0 のとき、C(u)=1 v =0 のとき、C(v)=1/ √2 ,v ≠0 のとき、C(v)=1
【0039】
【数5】
【0040】但し、f(i,j):入力画像(復元画像) F(u,v):変換画像 u =0 のとき、C(u)=1/ √2 ,u ≠0 のとき、C(u)=1 v =0 のとき、C(v)=1/ √2 ,v ≠0 のとき、C(v)=1
【0041】上記式(6)、(7)から理解されるよう
に、変換はコサイン乗算による空間周波数毎に分類する
ことに対応している。すなわち、コサイン乗算による変
換時に使用する関数(基底関数)は、図9に一例を示す
空間周波数毎の基底画像に対応する。図中、変数u,v
は空間周波数に対応し、値が「0」、すなわち、u=
0,v=0のとき直流を表す。この各値が大きくなるに
従って空間周波数が高くなる。上記の式(7)から変換
画像Fは、空間周波数毎の基底画像の係数になる。従っ
て、変換画像Fは、入力画像fを空間周波数毎に分類し
たときの各々の空間周波数の成分、すなわち係数の大き
さで表される。
【0042】一般に入力画像fは、低い空間周波数成分
は多いが、高い空間周波数成分は少ない。この性質を利
用して入力画像fの画像データWの量子化及び圧縮を次
のようにして行う。
【0043】量子化は、空間周波数の高域成分に対して
粗く行うもので、通常、上記の式(6)によるDCT変
換後の値を所定値で除算した値を用いる。上記のように
入力画像の空間周波数の高域成分は少ないので、その空
間周波数の高域成分を表すデータ(係数)のビット数を
減少させても低域成分程顕著な影響が現れない。従っ
て、除算するときの所定値を大きくすることにより空間
周波数の高域成分を表すデータのビット数を小さくでき
る。このため、通常は、上記除算するときの所定値を空
間周波数毎に予め設定された値を表すテーブル(所謂量
子化テーブルまたはQテーブルと呼ばれ、以下、量子化
テーブルという、図示省略)を用いて決定する。これに
より、入力画像fの空間周波数の高域成分は少ないの
で、粗い量子化により得られるデータはその多くが
「0」になり、空間周波数の高域成分の変換係数は
「0」が多くなる。また、ランレングス符号化では、デ
−タ「0」が連続すると圧縮率が増大するので、ジグザ
グスキャンして(図10の矢印A参照)、ランレングス
符号化及びハフマン符号化を行い圧縮する。また、ブロ
ック内の平均の明るさを表すDCT後の直流成分(u=
0,v=0)については周知のDPCM(Differential
Pulse Code Modulation)を行う。このDPCMは、予
測符号化の1つであり、既に符号化した周囲の画素デー
タから注目画素の予測値を求め、その予測誤差を符号化
する方法である。このようにして、入力画像の圧縮画像
データΦを得る。
【0044】上記のようにして圧縮された圧縮画像デー
タΦが静止画像ファイルとして画像メモリ30に記憶さ
れている。この圧縮画像データΦは、平均の明るさを表
す直流成分である直流係数及び空間周波数の大きさに応
じた値となる交流成分であるDCTの係数から構成され
る。
【0045】従って、ステップ300では、対象画像の
圧縮画像データΦが画像メモリ30から読みだされ、メ
インメモリ24に伝送される。
【0046】次のステップ400では、メインメモリ2
4に格納された圧縮画像データΦで表される対象画像5
4とテンプレート画像52とのマッチング処理(照合処
理)が実行される。本実施例のマッチング処理は、多変
量解析による方法で知られている、分散及び共分散を用
いて画像の照合を行う。
【0047】ステップ400のマッチング処理は、図5
の画像マッチングルーチンに従って実行される。先ず、
ステップ402では、ステップ100において設定され
たテンプレート画像52の粗情報(平均μu 及び分散σ
u 2 )及び詳細情報(平均μ s 及び分散σs 2 )を読み
取り、次のステップ404においてメインメモリ24に
格納された圧縮画像データΦを読み取る。
【0048】次のステップ406では、読み取った圧縮
画像データΦの(直流成分に対応する)直流係数のみを
ハフマンデコードする。本実施例では、対象画像54か
らテンプレート画像52を検索するにあたり、図12に
示すように、対象画像54をL/8×L/8の大きさと
想定する。すなわち対象画像54は、上記で説明したよ
うにJPEG画像圧縮アルゴリズムによって縦横8×8
画素の画像領域(ブロック)毎に圧縮されているので、
圧縮画像データΦにはテンプレート画像52を分割した
ブロックBに相当する大きさに対応する縦横8×8画素
の画像領域毎の平均輝度としてのデータを含んでいる。
従って、対象画像54を平均輝度として扱うときはL/
8×L/8に相当するの大きさで考えることができる。
この対象画像54についてのL/8×L/8の大きさに
相当する圧縮画像データΦの直流係数をハフマンデコー
ドすることによって、直流係数で表される量子化係数マ
トリクスQp,q (u,v)を求める。この引数及び添字
p,q(p≧0,q≧0)は、対象画像54中の(8×
8の大きさに相当する)画像領域の位置を表している。
次に、この量子化係数マトリクスQp,q (u,v)に量
子化係数K(0,0)、すなわち上記の量子化テーブル
の値を乗算したマトリクスFp,q (u,v)を求め、こ
のマトリクスFp,q (u,v)を直流成分マトリクスD
(p,q)とする。これによって、直流成分のみがハフ
マンデコードされてDCT係数に復元される。
【0049】従って、直流成分マトリクスD(p,q)
は、平均輝度を表すことになる。すなわち、直流成分マ
トリクスD(p,q)に含まれる画像領域毎の平均輝
度、すなわち各マトリクス値は、上記で説明したように
JPEG画像圧縮アルゴリズムによって縦横8×8画素
の画像領域毎に圧縮されているので、テンプレート画像
を分割したブロックBに相当する大きさによる部分領域
毎の平均輝度として復元される。なお、以下の説明で
は、直流成分マトリクスD(p,q)による平均輝度と
してのマトリクス値を、平均輝度v(p,q)と表す。
【0050】次のステップ408では、直流成分マトリ
クスD(p,q)及びテンプレート画像52の粗情報を
用いて粗照合(ラフパターンマッチング)を行う。すな
わち、図12に示すように、直流成分マトリクスD
(p,q)を用いて、L/8×L/8の大きさに相当す
る対象画像54についてテンプレート画像52の大きさ
(直流成分マトリクスDでは、M/8×M/8の大き
さ)に対応する部分領域Vを順次走査(図12の白抜矢
印方向及び逆方向の移動を)することにより、平均の明
るさに関する粗一致度Crを演算し、最大となる粗一致
度Crを演算する。この最大となる粗一致度Crを演算
するときは、図13に示すように、直流成分マトリクス
D(p,q)中の後述する部分領域V(ξ,ε)とテン
プレート画像52との間で相関を求めることである。次
に、粗一致度Crの演算の詳細を説明する。
【0051】ステップ408の最大粗一致度Crは、図
6の粗一致度演算ルーチンによって求められる。図6の
ステップ430では、直流成分マトリクスD(p,q)
を読み取る。次のステップ432では、読み取った直流
成分マトリクスD(p,q)の平均輝度v(p,q)を
用いて、テンプレート画像52の大きさ(M/8×M/
8)に対応する部分領域Vの分散σD 2 を以下の式
(8)、(9)を参照し演算する。すなわち、L/8×
L/8の大きさに相当する対象画像54において部分領
域の位置(ξ,ε)を設定する(図12)。この位置
(ξ,ε)における部分領域Vの分散σD 2 を演算す
る。以下、位置(ξ,ε)における部分領域Vを部分領
域V(ξ,ε)と表記する。
【0052】
【数6】
【0053】 但し、v(m,n)=v(ξ+m,ε+n) nmax=mmax=(M/8)−1 0≦ξ≦L/8−M/8 0≦ε≦L/8−M/8
【0054】次のステップ434では、部分領域V
(ξ,ε)についてテンプレート画像52の平均輝度u
(m,n)を用いて、共分散σDu 2 を以下の式(10)
を参照し演算する。
【0055】
【数7】
【0056】次のステップ436では、演算された部分
領域V(ξ,ε)の分散σD 2 及び共分散σDu 2 を用い
て、次の式(11)に従って、ブロック内の部分領域V
(ξ,ε)について、平均の明るさに関する粗一致度C
rを演算する。
【0057】
【数8】
【0058】この式(11)の意味は、画像間の明るさ
に関する類似性を表す評価関数による相関である。すな
わち、単純な評価関数Dは以下の式(12)で表せる。
【0059】
【数9】
【0060】この式(12)の値が小さくなる程、類似
性は高くなる。しかし、この評価関数Dは、分散
σu 2 、または分散σD 2 が大きいと、大きくなる傾向
がある。従って、画像間の相関を考慮し、2つの画像間
の類似性の範囲を広げるため、式(12)を平均と分散
によって規準化すると、次式の評価関数DN となる。
【0061】
【数10】
【0062】この評価関数DN を上記の式(11)を用
いて変形すれば、DN =2−2Crとなる。従って、評
価関数DN の値を最小にすることは粗一致度Crを最大
にすることに等価である。このため、相関を表す粗一致
度Crの値が大きなものほど、平均の明るさに関して似
かよっていることになる。
【0063】次のステップ440では、得られた粗一致
度Crを一時的に記憶すると共に、この粗一致度Crの
部分領域を表す座標g(mr ,nr )を一時的に記憶す
る。この座標g(mr ,nr )は、部分領域Vの位置
(ξ,ε)である。
【0064】次のステップ442では、部分領域Vの走
査が全て終了したか否かを判断し、終了するまで、ステ
ップ432からステップ440を繰り返し実行する。す
なわち、部分領域の走査が終了していない場合には、位
置(ξ,ε)の少なくとも一方の座標をインクリメント
することによって、部分領域V(ξ,ε)を8画素に対
応する長さ移動させた後に、移動された部分領域につい
て分散及び共分散を求め、粗一致度Crを演算・記憶す
ることを繰り返す。
【0065】次のステップ444では、記憶された各部
分領域の粗一致度Crから、最大の粗一致度Crを選択
する。この記憶された粗一致度の中の最大の粗一致度C
r及び最大の粗一致度Crの座標g(mr ,nr )を、
対象画像54の明るさ平均による粗一致度Cr及び座標
gとして記憶する。
【0066】なお、上記記憶する粗一致度Cr及び座標
gは、最大値のみではなく、所定値以上の複数を記憶す
るようにしてもよい。
【0067】対象画像54の明るさ平均による粗一致度
Crの演算が終了すると、図5のステップ410へ進
む。ステップ410では、Cr≧th1(予め定めたし
きい値)か否かを判断することにより、対象画像54と
テンプレート画像52との相関が高いか否かを判別し、
肯定判断の場合にはステップ412へ進み、否定判断の
場合にはステップ420へ進む。
【0068】ステップ410において肯定された場合に
はステップ412において候補画像領域を設定し、設定
された候補画像領域を復元する。すなわち、図14に示
すように、上記記憶された座標g(mr ,nr )の対角
位置にある対角座標g1(m r −1,nr −1)、g2
(mr +M/8+1,nr +M/8+1)を求める。こ
の対角座標g1,g2を対角とするブロックを候補画像
領域yとする。この候補画像領域yを上記の式(7)を
用いて画像復元することによって対象画像の少なくとも
一部である部分復元画像Yの画像データWr (i,j)
を求める。この画像データWr (i,j)は、対象画像
の画像データW(i,j)の少なくとも一部である。
【0069】このステップ412において、記憶された
座標g(mr ,nr )の対角位置にある対角座標g1、
g2を求めることによって、テンプレート画像52が僅
かにかけた画像が部分領域に対応する場合であっても、
復元される候補画像には、これを補間するように膨張し
た領域を復元することができる。従って、テンプレート
画像52と対象画像54との相関がより高くなる。
【0070】上記のステップ412において候補画像領
域を復元するときには、空間周波数に対応する基底画像
の係数を予め定めておけば、すなわち使用する係数の数
を設定すれば、定められた詳細度で画像が復元(設定さ
れた空間周波数までの成分で復元)される。従って、以
下に説明する微照合時に用いられる復元画像として、要
求される画像の精度に応じた画像を得ることができる。
【0071】すなわち、上記の式(7)で表されるID
CTに使用する係数の数を減ずることによって、要求さ
れる画像の精度に応じた復元画像を得ることができる。
例えば、上記の式(7)では、Σの上限値に7(加算回
数なら8)を設定し、i,jが0〜7までを演算してい
るが、この数を4に設定することによって、i,jは0
〜4の演算になり、低い空間周波数の成分のみを復元す
ることができる。このようにIDCTに使用する係数の
数を減ずることによって、IDCTの演算負荷、すなわ
ち、演算コストを低減することができる。従って、要求
される画像の精度に応じてIDCTの演算負荷を最適量
に設定することができる。
【0072】このように、低い空間周波数の成分のみを
復元することでは、復元される画像の情報量は減少する
が、従来のシステムのように画素自体を間引くような空
間精度が減少するものではない。すなわち、空間周波数
領域で高い空間周波数成分を減じても、復元される画像
に含まれる人物等の形状(輪郭)が大きくずれることは
ない。従って、従来のシステムで画素を1/2間引いて
以下のように微照合を行うと、空間座標精度も1/2に
なるが、本実施例のシステムでは、空間周波数領域にお
ける情報量の減少であるので、空間座標での精度は1/
2以上を保持することができる。
【0073】次のステップ414では、部分復元画像の
画像データWr (i,j)及びテンプレート画像52の
詳細情報(平均μs 及び分散σs 2 )を用いて微照合
(ファインパターンマッチング)を行う。すなわち、部
分復元画像内についてテンプレート画像52の大きさ
(M×M)に対応する対象領域を順次走査することによ
り、対象領域毎に画素に関する微一致度Cを演算し、全
ての対象領域の内、最大となる微一致度Cを演算する。
【0074】このステップ414の微照合では、図7の
微一致度演算ルーチンが実行される。図7のステップ4
50では、上記粗一致度Crの演算と同様にして、部分
復元画像Y中のテンプレート画像52の大きさ(M×
M)に対応する対象領域の位置(ξ,ε)を設定し、以
下の式(13)、(14)を参照して、設定された対象
領域の分散σW 2 を画像データWr (i,j)を用いて
演算する(図15参照)。
【0075】
【数11】
【0076】 但し、ω(m,n)=Wr (ξ+i,ε+j) imax=jmax=M−1
【0077】次のステップ452では、部分復元画像の
画像データWr (i,j)及びテンプレート画像52の
画像データS(i,j)を用いて、以下の式(15)を
参照し、共分散σWS 2 を演算する。
【0078】
【数12】
【0079】次のステップ454では、演算された部分
復元画像の分散σW 2 及び共分散σ WS 2 を用いて、以下
の式(16)に従って、画素毎の明るさに関係する一致
度Cを演算する。
【0080】
【数13】
【0081】この式(16)は、ステップ408におけ
る説明と同様に、画素毎の明るさについての相関を表す
微一致度Cの値が大きなものほど、画像は似かよってい
ることになる。このようにして求めた微一致度C及び座
標G(if ,jf )を、次のステップ455において一
次的に記憶する。この座標G(if ,jf )は、対象領
域の位置(ξ,ε)である。
【0082】次のステップ456では、部分復元画像内
についてテンプレート画像52の大きさ(M×M)に対
応する対象領域を全て走査が終了したか否かを判断し、
終了するまで、ステップ450からステップ454を繰
り返し実行する。すなわち、対象領域の走査が終了して
いない場合には、位置(ξ,ε)の少なくとも一方をイ
ンクリメントした後に、分散及び共分散を求め、微一致
度Cを演算・記憶する。
【0083】次のステップ458では、記憶された各対
象領域の微一致度Cを用いて、最大の微一致度Cを求め
る。この記憶された微一致度の中の最大の微一致度C及
び最大の微一致度Cの座標G(if ,jf )を、対象画
像54の明るさによる微一致度C及び座標Gとして記憶
する。
【0084】なお、上記記憶する微一致度C及び座標G
は、最大値のみではなく、所定値以上の複数を記憶する
ようにしてもよい。
【0085】対象画像54の各画素データによる微一致
度Cの演算が終了すると、図5のステップ416へ進
む。ステップ416では、Cr≧th2(予め定めたし
きい値)か否かを判断することにより、対象画像54と
テンプレート画像52との相関が高いか否かを判別す
る。肯定判断の場合にはステップ418において記憶さ
れた座標G(if ,jf )、すなわち対象領域の位置
を、認識結果、すなわち対象画像54についてテンプレ
ート画像の相関が最も高い画像領域の座標として、出力
する。一方、否定判断の場合にはステップ420へ進
み、次に認識する対象画像54がある場合にはステップ
404へ戻ると共に、次に認識する対象画像54がない
場合には(ステップ420)、本ルーチンを終了する。
【0086】この座標G(if ,jf )、すなわち部分
復元画像の位置に対応する対象画像54の画像データW
(i,j)を表示すれば、オペレータに認識結果を表示
することができる。
【0087】上記実施例の画像認識システムと、従来の
圧縮画像データを復元してから認識を行うシステムとの
各々のシステムにおいて、512×480画素で1画素
8ビットの画像を表す画像データについて、テンプレー
ト画像を認識することをソフトウェアで処理した場合
の、処理演算負荷を比較し得られた結果は、図16の通
りであった。但し、従来のシステムで用いたピラミッド
変換は、8×8画素を1ブロックとして、ブロック毎の
平均輝度を演算する処理である。
【0088】従来のシステムでは、圧縮画像データΦか
ら復元画像を得るのに35000msを要し、ピラミッド
変換に1396msを要し、粗照合(ラフパターンマッチ
ング)及び微照合(ファインパターンマッチング)に5
00msを必要とした。
【0089】これに対して、本実施例の画像認識システ
ムでは、逆ハフマン(ハフマンデコード)及び圧縮画像
データΦから直流成分を抽出するのに600msを要し、
粗照合、粗照合により設定される候補領域の復元画像を
得ること及び微照合に583msを必要とした。本実施例
の画像認識システムでは、粗照合時に設定される候補領
域は64×64画素の領域に設定される。
【0090】この結果から理解されるように、従来のシ
ステムでは、36896msの所要時間を必要とするが、
本実施例の画像認識システムでは1683msでよいこと
になる。従って、演算負荷は、22:1に低減される。
【0091】このように、本実施例では、対象画像54
の画像データが圧縮されたままの状態で直接参照できる
直流係数を入力情報として粗照合(ラフパターンマッチ
ング)しているので、ラフパターンマッチング以前に圧
縮画像データを復元する必要がない。このため、演算量
を飛躍的に低減することができる。また、圧縮画像デー
タを復元した後にメッシュ(ブロック毎)の平均輝度を
演算する必要がないので、さらに演算量を飛躍的に低減
することができる。
【0092】また、微照合(ファインパターンマッチン
グ)時に、候補領域のみを画像復元しているので、全て
の圧縮画像データを復元する必要がなく、復元にかかる
演算コスト を最小限に抑えることができる。この場
合、要求精度に応じて復元に使用する係数の数を制限す
ることによりさらに演算コストを低減することができ
る。
【0093】次に、第2実施例を説明する。本実施例
は、TVカメラで撮像した画像を必要な記憶スペースを
節約するために、一旦JPEG方式によって圧縮し、こ
の圧縮画像の中から、非圧縮の設定画像と略一致する形
状の対象物を検索する画像認識システムに本発明を適用
したものである。なお、第2実施例は、第1実施例と略
同様の構成のため、同一部分には同一符号を付し詳細な
説明は省略する。
【0094】図17及び図18に示すように、本実施例
の画像認識システムの汎用パーソナルコンピュータ10
には、TVカメラ20が接続された、上記実施例で説明
した画像の圧縮等の処理をするためのビデオキャプチャ
ーボード12が装填されている。従って、汎用パーソナ
ルコンピュータ10は、ビデオキャプチャーボード12
を含んで構成されている。このビデオキャプチャーボー
ド12は、バス28に接続されると共に、画像を撮像す
ることにより入力画像を得るTVカメラ20に接続され
ている。また、ビデオキャプチャーボード12には、T
Vカメラ20により撮像されたTV信号をデジタル信号
に変換するアナログデジタル変換器(A/D)14及び
このデジタル符号化された画像データを圧縮し圧縮画像
データΦを生成する画像データ圧縮器(JPEG_En
coder)15を含んで構成されている。ビデオキャ
プチャーボード12は、TVカメラ20の出力信号から
1画像(例えば、1フレームの画像)に対応するTV信
号を抽出し、これをデジタル符号化して圧縮する。バス
28には、ディスプレイ18及びキーボード16が接続
されている。なお、以下の説明を簡単にするため、TV
カメラ20の出力信号から1画像(例えば、1フレーム
の画像)として、図21に示す撮像画像を対象画像55
として説明する。
【0095】なお、ビデオキャプチャーボード12は、
音響情報や画像情報を操作するための独立したデジタル
信号プロセッサ(DSP等)を含んで構成してもよい。
【0096】また、上記のビデオキャプチャーボード1
2への接続は、TVカメラに限定されるものではなく、
画像を再生するレーザディスク装置等のビデオ信号(N
TSC等)を出力する装置でもよい。
【0097】また、汎用パーソナルコンピュータ10に
ビデオキャプチャーボード12を備えることなく、上記
説明した手順によるソフトウェアによって、デジタル符
号化された画像データを圧縮し圧縮画像データを生成す
るようにしてもよい。次に、本実施例の画像認識システ
ムにおける処理を図19乃至図21を参照して説明す
る。先ず、画像認識処理が開始されると、図19の制御
メインルーチンが実行され、ステップ100において、
上記実施例において説明したように、パターンマッチン
グによる画像認識(検索)のために基準とするテンプレ
ート画像の設定処理が実行される。本実施例では、図2
0に示すように、検索の対象物の形状を合わす画像がテ
ンプレート画像53として設定され、テンプレート画像
53の画像データSがメインメモリ24に記憶される。
【0098】設定されたテンプレート画像53を、上述
のようにして前処理をし、テンプレート画像53を8×
8画素を1ブロックとする、各々のブロックの平均輝度
u(m,n)を上記の式(1)を参照して演算する。こ
れと共に、平均輝度の平均μ u 及び分散σu 2 を演算
し、テンプレート画像53の粗情報とする。次に、テン
プレート画像53の詳細情報として、画像データS
(i,j)を用いて画素毎の明るさの平均μs 及び分散
σs 2 を演算する。
【0099】このようにしてテンプレート画像53の設
定処理が終了すると、図19のステップ200へ進み、
TVカメラ20で撮像された対象画像としての対象画像
55の画像圧縮処理が実行される。このステップ200
の画像圧縮処理は、上記実施例で説明した周知のJPE
G画像圧縮アルゴリズムに従った直交変換、量子化及び
符号化等の処理であり、TVカメラ20で撮像された対
象画像がビデオキャプチャーボード12において処理さ
れる。
【0100】このステップ200の画像圧縮処理が終了
すると、次のステップ300において圧縮画像データΦ
がビデオキャプチャーボード12から出力されて、メイ
ンメモリ24にロードされる。
【0101】次のステップ400では、設定されたテン
プレート画像53を用いて、メインメモリ24に格納さ
れた圧縮画像データΦに対応する対象画像55の認識処
理(照合処理)が実行される。この対象画像55の認識
処理は、上記実施例で説明した図5の画像マッチングル
ーチンと同様のため、詳細な説明を省略する。
【0102】本実施例では、上記ステップ408におけ
る粗一致度の演算のとき、すなわち、粗照合(ラフパタ
ーンマッチング)のときには、図21に示すように、テ
ンプレート画像53に含まれる物53Aに類似した形状
の物53B,53Cが存在するが、ブロック毎の平均輝
度、分散σD 2 及び共分散σDu 2 を用いて、上記の式
(11)に従って、粗一致度Crを求めているので、よ
り相関が高い物53Cの粗一致度Crが高く演算され
る。
【0103】従って、この物53Cを含むように候補画
像領域が復元され、復元された部分復元画像の画像デー
タを用いて、微照合(ファインパターンマッチング)が
行われる。このため、部分復元画像中で得られた一致度
Cが最大となるとき、すなわち、より相関が高い物53
Cを含んだ領域を認識結果領域とし、このときの座標G
(if ,jf )が記憶される。
【0104】これによって、対象画像55とテンプレー
ト画像52との一致を検出することができると共に、対
象画像55上における認識領域の座標位置を検出するこ
とができる。
【0105】また、この座標G(if ,jf )、すなわ
ち部分復元画像の位置に対応する対象画像の画像データ
W(i,j)を表示すれば、オペレータに認識結果、す
なわち検索結果を画像として表示することができる。
【0106】また、本発明が適用可能な画像認識システ
ムは、画像データを圧縮した圧縮画像データを復元する
ことなく照合に用いることができる性質上、高速処理が
要求される装置に好適である。例えば、本実施例の画像
認識システムが適用可能なものとして、工業用画像処理
において、撮像した画像を用いて、物品を特定し、特定
された物品を位置決めする位置決め装置、製品管理シス
テムとして基準となる物品との不一致を識別する欠陥検
査装置がある。また、応用としてパターンマッチングに
よる文字認識装置、位置基準形状を認識することによっ
て計測を行う画像計測装置等の装置もある。また、これ
らの装置を複合した複合システムにも応用可能である。
【0107】本発明は、非圧縮画像と、上述のように圧
縮された圧縮画像との間のマッチングを行って両画像の
一致を調べる任意のアプリケーションに適用することが
できる。また、本発明は静止画像に限定されるものでは
なく、動画像への適用も可能である。この場合、周波数
成分への直交変換を利用した、例えば、MPEG方式に
よる音声情報を含めた帯域圧縮された圧縮データを用い
ることができる。
【0108】さらに、画像は、標準的な明るさで格納さ
れるとは限らないので、正規化相関方法等による正規化
された画像の情報を用いることが好ましい。この場合、
上記圧縮画像データによる画像から直流成分を抽出する
ことによってブロック毎の平均的な明るさを得て、この
平均的な明るさについて正規化してもよく、圧縮画像デ
ータによる粗照合を行った結果、その設定された候補領
域の画像を復元してから正規化相関方法等によって正規
化してもよい。
【0109】
【発明の効果】以上説明したように本発明によれば、圧
縮画像データの直流成分の値を用いて対象画像(圧縮画
像)の明るさの平均に対応する値を求めているので、圧
縮画像データを全て復元する必要がないため、演算負荷
を軽減することができる、という効果がある。
【図面の簡単な説明】
【図1】第1実施例の画像認識システムを示す構成図で
ある。
【図2】第1実施例の画像認識システムの機能接続を示
すブロック図である。
【図3】第1実施例の制御メインルーチンの流れを示す
フローチャートである。
【図4】テンプレート画像の設定処理ルーチンの流れを
示すフローチャートである。
【図5】画像マッチングルーチンの流れを示すフローチ
ャートである。
【図6】粗一致度演算ルーチンの流れを示すフローチャ
ートである。
【図7】微一致度演算ルーチンの流れを示すフローチャ
ートである。
【図8】(A)は基準画像を表し、(B)はテンプレー
ト画像を表すイメージ図である。
【図9】DCTに関係する空間周波数毎の基底画像の一
例を示す概念図である。
【図10】画像圧縮時に対象画像上を走査するときのジ
グザグスキャン状態を説明するための説明図である。
【図11】画像の大きさを説明するための説明図であ
り、(A)は対象画像、(B)はテンプレート画像を表
している。
【図12】直流成分マトリクス及びテンプレート画像か
ら粗照合を行うことを説明するための説明図である。
【図13】粗照合時の対象画像とテンプレート画像との
関係を示すイメージ図である。
【図14】粗照合時の候補画像領域を示すイメージ図で
ある。
【図15】微照合時の部分復元画像とテンプレート画像
との関係を示す線図である。
【図16】本実施例の画像認識システムと従来のシステ
ムにおける画像認識時の演算負荷の比較した結果を示す
線図である。
【図17】第2実施例の画像認識システムを示す構成図
である。
【図18】第2実施例の画像認識システムの機能接続を
示すブロック図である。
【図19】第2実施例の制御メインルーチンの流れを示
すフローチャートである。
【図20】第2実施例にかかるテンプレート画像を示す
線図である。
【図21】第2実施例にかかる対象画像を示す線図であ
る。
【符号の説明】
10 汎用パーソナルコンピュータ 12 ビデオキャプチャーボード 20 TVカメラ 24 メインメモリ 52 テンプレート画像 54、55 対象画像
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成7年9月27日
【手続補正1】
【補正対象書類名】図面
【補正対象項目名】図2
【補正方法】変更
【補正内容】
【図2】
【手続補正2】
【補正対象書類名】図面
【補正対象項目名】図7
【補正方法】変更
【補正内容】
【図7】 ─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成7年9月27日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0012
【補正方法】変更
【補正内容】
【0012】
【課題を解決するための手段】本発明は、非圧縮画像
と、複数の所定数の画素を含むブロック毎にそのブロッ
クの明るさの平均に対応する直流成分を含むように、2
次元空間周波数領域への直交変換を用いて圧縮された画
像データとして記憶された圧縮画像との間の一致を検出
する画像認識方法を提供する。非圧縮画像は、圧縮画像
における前記ブロックの大きさに対応する大きさのブロ
ックに分割され、ブロック毎の明るさの平均を求める。
圧縮画像から直流成分を抽出する。抽出された直流成分
と、非圧縮画像の各ブロックの明るさの平均値とに基づ
いて、非圧縮画像と圧縮画像との一致度を粗一致度とし
て求める(ラフパターンマッチング)。求めた粗一致度
が所定のしきい値を越えた時、圧縮画像データを復元す
る。復元された圧縮画像の画像データと、非圧縮画像の
画像データとに基づいて、非圧縮画像と圧縮画像との一
致度を微一致度として求める(ファインパターンマッチ
ング)。求めた微一致度に基づいて、非圧縮画像と圧縮
画像との一致を判定する。復元後の圧縮画像が非圧縮画
像よりも大きい場合は、粗一致度を求める際に、非圧縮
画像の大きさに対応する大きさの部分領域単位で復元後
の圧縮画像データを順次に走査し、粗一致度が最も高い
部分領域を候補領域として求めることができる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0018
【補正方法】変更
【補正内容】
【0018】図2に示すように、汎用パーソナルコンピ
ュータ10は、CPU22、メインメモリ24、及びプ
ログラムメモリ26を含んで構成されている。これらの
CPU22、メインメモリ24、及びプログラムメモリ
26は、PCATバスやSCSIバス等のバス28に接
続されている。また、バス28には、ディスプレイ18
及びキーボード16が接続されている。ブロック12は
JPEGアルゴリズムにしたがって画像処理をすること
ができる画像処理ユニットを示している。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0048
【補正方法】変更
【補正内容】
【0048】次のステップ406では、読み取った圧縮
画像データΦの(直流成分に対応する)直流係数のみを
ハフマンデコードする。本実施例では、対象画像54か
らテンプレート画像52を検索するにあたり、図12に
示すように、対象画像54をL/8×L/8の大きさと
想定する。すなわち対象画像54は、上記で説明したよ
うにJPEG画像圧縮アルゴリズムによって縦横8×8
画素の画像領域(ブロック)毎に圧縮されているので、
圧縮画像データΦにはテンプレート画像52を分割した
ブロックBに相当する大きさに対応する縦横8×8画素
の画像領域毎の平均輝度としてのデータを含んでいる。
従って、対象画像54を平均輝度として扱うときはL/
8×L/8に相当するの大きさで考えることができる。
この対象画像54についてのL/8×L/8の大きさに
相当する圧縮画像データΦの直流係数をハフマンデコー
ドすることによって、直流係数で表される量子化係数マ
トリクスQp,q (u,v)を求める。この引数u、v及
び添字p,q(p≧0,q≧0)は、対象画像54中の
(8×8の大きさに相当する)画像領域の位置を表して
いる。次に、この量子化係数マトリクスQp,q (u,
v)から直流成分を抽出し、上記の量子化テーブルの値
を乗算して直流成分マトリクスD(p,q)を求める。
これによって、直流成分のみがハフマンデコードされて
DCT係数に復元される。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0082
【補正方法】変更
【補正内容】
【0082】次のステップ456では、部分復元画像内
についてテンプレート画像52の大きさ(M×M)に対
応する対象領域を全て走査が終了したか否かを判断し、
終了するまで、ステップ450からステップ454を繰
り返し実行する。すなわち、対象領域の走査が終了して
いない場合には、位置(i,j)の少なくとも一方をイ
ンクリメントした後に、分散及び共分散を求め、微一致
度Cを演算・記憶する。

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 非圧縮画像と、2次元空間周波数領域へ
    の直交変換を用いて複数画素の明るさの平均に対応する
    値としての直流成分を含んで圧縮された画像データとし
    て記憶される圧縮画像との間の一致を検出する画像認識
    方法であって、 前記非圧縮画像を、前記複数画素の大きさに対応する所
    定数で分割したブロック毎の明るさの平均を求め、 前記圧縮画像データから前記非圧縮画像の大きさに対応
    する前記圧縮画像中の複数の部分領域についての直流成
    分を順次抽出し、 抽出された部分領域の直流成分の各値と、前記非圧縮画
    像の各ブロックの明るさの平均値とに基づいて、前記非
    圧縮画像と前記圧縮画像との一致度を粗一致度として求
    め、 求めた粗一致度に基づいて候補領域を求め、求めた候補
    領域に対応する圧縮画像データを復元して当該候補領域
    に対応する候補画像の画像データを求め、 前記候補画像の画像データと、前記非圧縮画像の画像デ
    ータとに基づいて、前記候補画像と前記非圧縮画像との
    一致度を微一致度として求め、 求めた微一致度に基づいて、前記非圧縮画像と前記圧縮
    画像との一致を判定する、 ことを含む画像認識方法。
  2. 【請求項2】 前記粗一致度は、複数の部分領域の各々
    と前記非圧縮画像との前記ブロックによる明るさの平均
    に関する相関を表す一致度を求めることを特徴とする請
    求項1に記載の画像認識方法。
  3. 【請求項3】 前記微一致度は、前記候補画像と前記非
    圧縮画像との画素に関する相関を表す一致度を求めるこ
    とを特徴とする請求項1または請求項2に記載の画像認
    識方法。
  4. 【請求項4】 前記明るさは、予め定めた色に関する明
    るさであることを特徴とする請求項1乃至請求項3の何
    れか1項に記載の画像認識方法。
  5. 【請求項5】 前記粗一致度及び微一致度の各々の基準
    値を予め定め、求めた粗一致度及び微一致度の少なくと
    も一方が基準値未満の場合には、不一致と判断すること
    を特徴とする請求項1乃至請求項4の何れか1項に記載
    の画像認識方法。
  6. 【請求項6】 圧縮画像の明るさは、正規化相関方法に
    よって正規化された明るさを用いることを特徴とする請
    求項1乃至請求項5の何れか1項に記載の画像認識方
    法。
  7. 【請求項7】 前記候補領域を復元するときは、予め設
    定された空間周波数領域に対応して復元することを特徴
    とする請求項1乃至請求項6の何れか1項に記載の画像
    認識方法。
  8. 【請求項8】 非圧縮画像と、2次元空間周波数領域へ
    の直交変換を用いて複数画素の明るさの平均に対応する
    値としての直流成分を含んで圧縮された画像データとし
    て記憶される圧縮画像との間の一致を検出する画像認識
    装置において、 前記非圧縮画像を、前記複数画素の大きさに対応する所
    定数で分割したブロック毎の明るさの平均を演算する前
    演算手段と、 前記圧縮画像データから前記非圧縮画像の大きさに対応
    する前記圧縮画像中の複数の部分領域についての直流成
    分を順次抽出し、抽出された部分領域の直流成分の各値
    と、前記非圧縮画像の各ブロックの明るさの平均値とに
    基づいて、前記非圧縮画像と前記圧縮画像との一致度を
    粗一致度として演算する粗一致度演算手段と、 前記粗一致度に基づいて候補領域を求め、求めた候補領
    域に対応する圧縮画像データを復元して当該候補領域に
    対応する候補画像の画像データを演算する候補画像演算
    手段と、 前記候補画像の画像データと、前記非圧縮画像の画像デ
    ータとに基づいて、前記候補画像に対する前記非圧縮画
    像の一致度を微一致度として演算する微一致度演算手段
    と、 前記微一致度に基づいて、前記非圧縮画像と前記圧縮画
    像との一致を判定する判定手段と、 を備えた画像認識装置。
JP6301042A 1994-12-05 1994-12-05 画像認識方法及び装置 Expired - Fee Related JP2630923B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP6301042A JP2630923B2 (ja) 1994-12-05 1994-12-05 画像認識方法及び装置
US08/567,221 US5805727A (en) 1994-12-05 1995-12-05 Image recognition method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6301042A JP2630923B2 (ja) 1994-12-05 1994-12-05 画像認識方法及び装置

Publications (2)

Publication Number Publication Date
JPH08161497A true JPH08161497A (ja) 1996-06-21
JP2630923B2 JP2630923B2 (ja) 1997-07-16

Family

ID=17892167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6301042A Expired - Fee Related JP2630923B2 (ja) 1994-12-05 1994-12-05 画像認識方法及び装置

Country Status (2)

Country Link
US (1) US5805727A (ja)
JP (1) JP2630923B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305718A (ja) * 1995-05-01 1996-11-22 Canon Inc 情報処理方法及び装置
JPH11187350A (ja) * 1997-12-22 1999-07-09 Canon Inc 撮像記録装置及びその制御方法
US6185343B1 (en) 1997-01-17 2001-02-06 Matsushita Electric Works, Ltd. Position detection system and method
JP2006211071A (ja) * 2005-01-26 2006-08-10 Nippon Hoso Kyokai <Nhk> 明度評価値算出装置及び明度評価値算出プログラム
JP2006285907A (ja) * 2005-04-05 2006-10-19 Nippon Hoso Kyokai <Nhk> 指定流通コンテンツ特定装置、指定流通コンテンツ特定プログラムおよび指定流通コンテンツ特定方法
US7315650B2 (en) 2003-09-30 2008-01-01 Fanuc Ltd Image processor
US7356190B2 (en) 2002-07-02 2008-04-08 Canon Kabushiki Kaisha Image area extraction method, image reconstruction method using the extraction result and apparatus thereof
US7949042B2 (en) 2005-01-21 2011-05-24 Sony Corporation Image searching device and method, program and program recording medium
JP2011170519A (ja) * 2010-02-17 2011-09-01 Konica Minolta Holdings Inc 画像処理装置、画像処理方法、およびプログラム

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6631364B1 (en) * 1997-03-26 2003-10-07 National Research Council Of Canada Method of searching 3-Dimensional images
JP3166905B2 (ja) * 1997-07-02 2001-05-14 インターナショナル・ビジネス・マシーンズ・コーポレ−ション パターンマッチングによる画像処理方法およびシステム
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US5949904A (en) * 1997-11-06 1999-09-07 International Business Machines Corporation Method, apparatus and computer program product for querying by image colors using JPEG image format
US6185332B1 (en) 1999-04-22 2001-02-06 Faxtrieve, Inc. Character recognition technique
EP1269414B1 (en) * 2000-03-30 2003-10-22 BRITISH TELECOMMUNICATIONS public limited company Image processing
US6658148B1 (en) * 2000-06-06 2003-12-02 Matsushita Electric Works, Ltd. Image processing method and apparatus
US6670960B1 (en) 2000-09-06 2003-12-30 Koninklijke Philips Electronics N.V. Data transfer between RGB and YCRCB color spaces for DCT interface
WO2002023469A1 (en) * 2000-09-13 2002-03-21 Newstakes, Inc. A robust and fast method for colour image size reduction with fine structure preservation
US6940523B1 (en) 2000-11-15 2005-09-06 Koninklijke Philips Electronics N.V. On the fly data transfer between RGB and YCrCb color spaces for DCT interface
FR2831304A1 (fr) * 2001-10-23 2003-04-25 St Microelectronics Sa Detection d'un motif dans une image numerique
FR2837581A1 (fr) * 2002-03-22 2003-09-26 St Microelectronics Sa Commande d'une charge de puissance
US7043079B2 (en) 2002-04-25 2006-05-09 Microsoft Corporation “Don't care” pixel interpolation
US7263227B2 (en) * 2002-04-25 2007-08-28 Microsoft Corporation Activity detector
US7392472B2 (en) * 2002-04-25 2008-06-24 Microsoft Corporation Layout analysis
US7110596B2 (en) * 2002-04-25 2006-09-19 Microsoft Corporation System and method facilitating document image compression utilizing a mask
US7120297B2 (en) * 2002-04-25 2006-10-10 Microsoft Corporation Segmented layered image system
US7024039B2 (en) * 2002-04-25 2006-04-04 Microsoft Corporation Block retouching
US7164797B2 (en) * 2002-04-25 2007-01-16 Microsoft Corporation Clustering
RU2234126C2 (ru) * 2002-09-09 2004-08-10 Аби Софтвер Лтд. Способ распознавания текста с применением настраиваемого классификатора
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7587085B2 (en) 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US8036458B2 (en) 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US20050140801A1 (en) * 2003-08-05 2005-06-30 Yury Prilutsky Optimized performance and performance for red-eye filter method and apparatus
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US9412007B2 (en) 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US7580158B2 (en) * 2003-08-28 2009-08-25 Fujifilm Corporation Image processing apparatus, method and program
JP3945474B2 (ja) * 2003-11-28 2007-07-18 松下電器産業株式会社 眼画像入力装置および認証装置ならびに画像処理方法
JP4324044B2 (ja) 2004-07-15 2009-09-02 キヤノン株式会社 画像処理装置およびその方法
JP4324043B2 (ja) * 2004-07-15 2009-09-02 キヤノン株式会社 画像処理装置およびその方法
JP4616120B2 (ja) * 2005-08-08 2011-01-19 株式会社日立ハイテクノロジーズ 画像処理装置及び検査装置
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
EP1987475A4 (en) 2006-02-14 2009-04-22 Fotonation Vision Ltd AUTOMATIC DETECTION AND CORRECTION OF RED EYE FLASH DEFECTS
JP2007243399A (ja) * 2006-03-07 2007-09-20 Matsushita Electric Ind Co Ltd データ圧縮方式およびその関連技術
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
KR101159830B1 (ko) 2007-03-05 2012-06-26 디지털옵틱스 코포레이션 유럽 리미티드 얼굴 위치 및 방위를 이용한 적목 거짓 양성 필터링 방법
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
FI20095785A (fi) * 2009-07-13 2011-01-14 Gurulogic Microsystems Oy Menetelmä hahmon tunnistamiseksi, hahmontunnistaja ja tietokoneohjelma
US9131246B2 (en) * 2009-12-01 2015-09-08 Intel Corporation Detecting artifacts in quantization noise in images compresses using discrete cosine transforms
JP2011139164A (ja) * 2009-12-25 2011-07-14 Canon Inc 画像処理装置及びその処理方法
JP5826612B2 (ja) * 2011-11-18 2015-12-02 株式会社キーエンス 画像処理装置、画像処理方法及びコンピュータプログラム
US9087269B2 (en) * 2012-08-24 2015-07-21 Google Inc. Providing image search templates
US8958604B2 (en) * 2013-03-25 2015-02-17 Schlumberger Technology Corporation LWD real-time borehole image transmission

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04101278A (ja) * 1990-08-20 1992-04-02 Fuji Photo Film Co Ltd 画像ファイリング装置
US5249053A (en) * 1991-02-05 1993-09-28 Dycam Inc. Filmless digital camera with selective image compression
US5572596A (en) * 1994-09-02 1996-11-05 David Sarnoff Research Center, Inc. Automated, non-invasive iris recognition system and method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305718A (ja) * 1995-05-01 1996-11-22 Canon Inc 情報処理方法及び装置
US6185343B1 (en) 1997-01-17 2001-02-06 Matsushita Electric Works, Ltd. Position detection system and method
JPH11187350A (ja) * 1997-12-22 1999-07-09 Canon Inc 撮像記録装置及びその制御方法
US7356190B2 (en) 2002-07-02 2008-04-08 Canon Kabushiki Kaisha Image area extraction method, image reconstruction method using the extraction result and apparatus thereof
US7542615B2 (en) 2002-07-02 2009-06-02 Canon Kabushiki Kaisha Image area extraction method, image reconstruction method using the extraction result and apparatus thereof
US7315650B2 (en) 2003-09-30 2008-01-01 Fanuc Ltd Image processor
US7949042B2 (en) 2005-01-21 2011-05-24 Sony Corporation Image searching device and method, program and program recording medium
US8467442B2 (en) 2005-01-21 2013-06-18 Sony Corporationn Image searching device and method, program and program recording medium
JP2006211071A (ja) * 2005-01-26 2006-08-10 Nippon Hoso Kyokai <Nhk> 明度評価値算出装置及び明度評価値算出プログラム
JP2006285907A (ja) * 2005-04-05 2006-10-19 Nippon Hoso Kyokai <Nhk> 指定流通コンテンツ特定装置、指定流通コンテンツ特定プログラムおよび指定流通コンテンツ特定方法
JP2011170519A (ja) * 2010-02-17 2011-09-01 Konica Minolta Holdings Inc 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
US5805727A (en) 1998-09-08
JP2630923B2 (ja) 1997-07-16

Similar Documents

Publication Publication Date Title
JP2630923B2 (ja) 画像認識方法及び装置
US5915038A (en) Using index keys extracted from JPEG-compressed images for image retrieval
JP5116788B2 (ja) 動画像検索装置
US6488627B1 (en) Ultrasonic image searching apparatus and ultrasonic image transmission and reception system adopting the same
JP2003507804A (ja) 動き補償されたブロックベースの圧縮デジタルビデオの可変複雑性デコーディングの方法と装置
JP2002183145A (ja) 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体
JP2001160062A (ja) 画像データ検索装置
JP2008527809A (ja) 画像圧縮および伸張加速化のためのプロセス
JP2000048036A (ja) 画像処理装置およびその方法
US20030026476A1 (en) Scaled image generating apparatus and method, image feature calculating apparatus and method, computer programs therefor, and image data structure
US6594375B1 (en) Image processing apparatus, image processing method, and storage medium
Katakol et al. Distributed learning and inference with compressed images
JP3252941B2 (ja) 画像切り出し認識装置
CN113810654A (zh) 图像视频的上传方法、装置、存储介质以及电子设备
KR19990071354A (ko) 레이아웃 기반 영상검색장치 및 방법
JP2002158982A (ja) 画像処理方法、装置及びコンピュータ可読媒体
JP4652698B2 (ja) 画像認識装置、画像認識方法及びプログラム
EP1244291A2 (en) Moving image compression and cut detection
Iida et al. Robust image identification for double-compressed and resized JPEG images
JPH118838A (ja) 画像信号処理装置及び方法並びに予測パラメータの学習方法
JPH11238067A (ja) 画像検索システムおよび記録媒体
JP2002245456A (ja) 画像特徴量生成装置および方法、ならびに画像特徴量生成プログラムを記録した記憶媒体
JP4575751B2 (ja) ヒストグラム近似復元装置及びヒストグラム近似復元方法、並びに画像検索装置及び画像検索方法
JP2002133414A (ja) 画像処理方法及びその装置、記憶媒体
JP3792762B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees