JPH1166310A - 画像特徴量抽出装置および方法並びに画像特徴量抽出プログラムを記録した記録媒体 - Google Patents

画像特徴量抽出装置および方法並びに画像特徴量抽出プログラムを記録した記録媒体

Info

Publication number
JPH1166310A
JPH1166310A JP9226101A JP22610197A JPH1166310A JP H1166310 A JPH1166310 A JP H1166310A JP 9226101 A JP9226101 A JP 9226101A JP 22610197 A JP22610197 A JP 22610197A JP H1166310 A JPH1166310 A JP H1166310A
Authority
JP
Japan
Prior art keywords
image
texture
extracting
feature
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9226101A
Other languages
English (en)
Other versions
JP3718967B2 (ja
Inventor
Akira Murakawa
彰 村川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP22610197A priority Critical patent/JP3718967B2/ja
Priority to US09/137,234 priority patent/US6381365B2/en
Publication of JPH1166310A publication Critical patent/JPH1166310A/ja
Application granted granted Critical
Publication of JP3718967B2 publication Critical patent/JP3718967B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 画像からテクスチャ特徴量を効率よく、ま
た、画像の特徴をより正確に抽出する画像特徴量抽出装
置を提供する。 【解決手段】 画像データに対して、画像の中心を通過
する複数の方向に走査し、一定幅の帯状領域内の画素に
対して濃度共起行列を求め(S31)、この濃度共起行
列に基づいて画像の周期性を求めテクスチャ特徴量とし
て抽出し、画像データとともに画像データベースに登録
する(S32)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像の特徴量を抽出
するものであって、特に、画像からテクスチャ特徴量を
抽出する画像特徴量抽出装置に関するものである。
【0002】
【従来の技術】一般に、画像データベースは、画像デー
タに、作成日、修正日、ファイル名、ファイルフォーマ
ット等の属性情報と、キーワード、形状特徴、色味、音
声等の検索情報とを付加し、保管・管理する。このよう
な画像データベースにおいて、データを登録する際に、
属性情報が自動的に付加されることは一般的に行われて
いる。また、色味、テクスチャ、エッジ情報等の特徴量
が画像データから抽出され、自動的に付加されることも
一般的に知られている。しかし、画像データから上記各
特徴量を抽出する際は、抽出のための処理時間が問題と
なる。特に、テクスチャ特徴量については、画像からテ
クスチャの情報を得るための画像処理の演算量が多く、
従来から効率的な方法が要望されていた。
【0003】
【発明が解決しようとする課題】例えば、画像からテク
スチャの特徴量を抽出する方法として、特開平5−28
266号公報に開示された発明がある。この発明では、
画像を正方形状のブロックに分割し、各ブロック毎に特
徴量を算出している。しかし、この方法では、画像全体
に対してブロック化および特徴量の算出を行うため、処
理対象が画像全体となり、一様なテクスチャパターンを
有する画像に対しては効率的ではなかった。
【0004】また、一般に、画像の特徴量抽出は、画像
の正規化、グレー化および二値化処理が行われた後の画
像データに対して行われる。従来、画像の二値化処理に
おいては、二値化の閾値を、グレー化後の画素値分布に
おいて0値の画素と1値の画素の出現確率がほぼ同じに
なる中間値や、明度の平均値等に設定していた。しか
し、この場合、画像中の大きな面積を占めかつ緩やかな
諧調を持つ部分の画素値が閾値となりやすいため、青空
や無地の背景のような一様に見える背景等を含む画像を
二値化したときの画像が不自然になるという問題があっ
た。すなわち、青空や無地の背景等を含む画像におい
て、同じ背景でありながら、背景のうちのある部分は0
に変換され、ある部分は1に変換されてしまうため、二
値化後の画像が不自然に見えてしまうという問題があっ
た。したがって、このような二値化後のデータを用いて
画像の特徴量を抽出しても、画像の特徴を適切に抽出で
きないという問題がある。
【0005】本発明は上記問題を解決するためになされ
たものであり、その目的とするところは、画像からテク
スチャ特徴量を効率よく、また、画像の特徴をより正確
に抽出する画像特徴量抽出装置を提供することにある。
【0006】
【課題を解決するための手段】上記目的を達成するため
に、本発明に係る画像特徴量抽出装置は、多値化された
画素情報が二次元格子状に配列されてなるテクスチャを
含む画像からテクスチャ特徴量を抽出する画像特徴量抽
出装置において、画像上の所定方向に向かう線上または
一定幅の領域内に存在する画素を用いて、画像のテクス
チャ特徴量を抽出する。
【0007】前記画像特徴量抽出装置は、画像を入力す
る画像入力手段と、入力した画像において、所定方向に
一定幅領域を走査し、該一定幅領域内の画素に基づい
て、画像のテクスチャの濃度共起行列を計算する手段
と、該濃度共起行列を計算する手段により計算された結
果に基づいて画像の周期性の有無を判断し、周期性があ
るときに画像の周期性をテクスチャ特徴量として抽出す
る特徴量抽出手段とからなる。
【0008】また、前記画像特徴量抽出装置は、グレー
化された画像を入力する画像入力手段と、該グレー化さ
れた画像を構成する画素の濃度に基づいて、グレー化後
の画像における画素値分布の中間値から所定値だけシフ
トした値に設定された閾値を境として0または1で表さ
れる二値化画像に変換する二値化変換手段とを備え、該
二値化変換手段により二値化された画像からテクスチャ
特徴量を抽出する。
【0009】本発明に係る第1の画像特徴量抽出方法
は、多値化された画素情報が二次元格子状に配列されて
なるテクスチャを含む画像からテクスチャ特徴量を抽出
する画像特徴量抽出方法において、画像上の所定方向に
向かう線上または一定幅の領域内に存在する画素を用い
て、テクスチャ特徴量を抽出する。
【0010】本発明に係る第2の画像特徴量抽出方法
は、グレー化された画像を入力し、該入力画像を構成す
る画素の濃度に基づき、閾値を境として0または1で表
される二値化画像に変換する二値化処理を行い、該二値
化された画像から画像特徴量を抽出する画像特徴量抽出
方法において、前記閾値をグレー化された画像の画素値
分布の中間値から所定値だけシフトした値に設定する。
これにより、青空や無地の背景のような一様に見える背
景等を含む画像を二値化したときに元画像の特徴を有し
たままの二値化画像が得られ、より正確に画像の特徴量
が抽出できる。
【0011】本発明に係る第1の記録媒体は、多値化さ
れた画素情報が二次元格子状に配列されてなるテクスチ
ャを含む画像からテクスチャ特徴量を抽出するプログラ
ムであって、所定の方向に向かう線上または一定幅の領
域内に存在する画素を用いて、テクスチャ特徴量を抽出
するプログラムを記録する。
【0012】本発明に係る第2の記録媒体は、グレー化
された画像を入力し、該入力画像を構成する画素の濃度
に基づき、閾値を境として0または1で表される二値化
画像に変換する二値化処理を行い、該二値化された画像
から画像特徴量を抽出する画像特徴量抽出プログラムに
おいて、前記閾値をグレー化された画像の画素値分布の
中間値から所定値だけシフトした値に設定するプログラ
ムを記録する。
【0013】
【発明の実施の形態】以下、添付の図面を用いて本発明
に係る画像特徴量抽出装置の実施の形態を説明する。
【0014】本実施形態の画像特徴量抽出装置は、画像
からテクスチャの特徴量を抽出する際に、画像全体に対
してではなく、一定幅の帯状領域内の画像を走査し、こ
の領域内にある像からテクスチャの特徴量を抽出する。
すなわち、画像全体ではなく、画像の一部の領域から画
像特徴量を抽出することにより、特徴量抽出時の処理効
率を向上させたものである。
【0015】<画像特徴量抽出装置の全体構成>図1に
本実施形態の画像特徴量抽出装置(以下、「システム」
と称す。)の概略構成図を示す。図1に示すように、シ
ステムは中央演算処理(以下、「CPU」と称す。)を
備え、システム全体を制御する制御装置1を中心として
構成される。CPUには例えばインテル社製のペンティ
アム等が用いられる。この制御装置1には、画像あるい
は文字等の表示や、操作のための表示等を行うディスプ
レイ2と、各種入力、指示操作等を行うためのキーボー
ド3およびマウス4と、データ保管媒体であるフロッピ
ーディスク装置5aおよびハードディスク装置6と、文
字や画像データ等を印刷するプリンタ7と、画像データ
を取り込むためのスキャナ8と、CD−ROM9aに格
納されたデータを読み出すためのCD−ROM装置9b
と、音声出力のためのスピーカ10と、音声入力のため
のマイクロホン11とが接続される。
【0016】図2に本システムのブロック図を示す。C
PU201には、データバス220を介して、本システ
ムを制御するプログラムが格納されているROM203
と、CPU201が制御のために実行するプログラムや
データを一時的に格納するRAM204とが接続され
る。また、CPU201にデータバス220を介して接
続される回路には、画像あるいは文字等の表示のためデ
ィスプレイ2を制御する表示制御回路205と、キーボ
ード3からの入力を転送制御するキーボード制御回路2
06と、マウス4からの入力を転送制御するマウス制御
回路207と、フロッピーディスク装置5bを制御する
フロッピーディスク装置制御回路208と、ハードディ
スク装置6を制御するハードディスク装置制御回路20
9と、プリンタ7への出力を制御するプリンタ制御回路
210と、スキャナ8を制御するスキャナ制御回路21
1と、CD−ROM装置9bを制御するCD−ROM装
置制御回路212と、スピーカ10を制御するスピーカ
制御回路213と、マイクロホン11を制御するマイク
ロホン制御回路214とがある。さらに、CPU201
には、システムを動作させるために必要な基準クロック
を発生させるためのクロック202が接続され、また、
各種拡張ボードを接続するための拡張スロット215が
データバス220を介して接続される。なお、拡張スロ
ット215にSCSIIボードを接続し、このSCSI
Iボードを介してフロッピーディスク装置5b、ハード
ディスク装置6、スキャナ8またはCD−ROM装置9
b等を接続してもよい。
【0017】なお、上記システムにおいて、画像データ
保管媒体としてはフロッピーディスク5a、ハードディ
スク装置6を用いているが、光磁気ディスク(MO)等
の他の情報記憶媒体でもよい。また、画像データ入力装
置としてスキャナ8を用いているが、スチルビデオカメ
ラやデジタルカメラ等の他のデータ入力装置であっても
よい。さらに、出力装置としてプリンタ7を用いている
が、デジタル複写機等の他の出力装置であってもよい。
また、本システムでは、データの管理システムを実現す
るプログラムをROM203に格納する。しかし、本プ
ログラムの一部または全部をフロッピーディスク5aや
ハードディスク装置6やCD−ROM9b等の情報記憶
媒体に格納しておき、必要に応じて情報記憶媒体よりプ
ログラムおよびデータをRAM204に読み出し、これ
を実行させてもよい。
【0018】<画像特徴量抽出装置で用いるデータベー
スおよびキーワード辞書>また、本システムは画像デー
タを保管、管理するため、データおよびその検索キーと
なる付加情報等を含む画像データベースを有する。この
画像データベースはハードディスク装置6等の情報記憶
媒体上に論理的に構成されている。図3に、本システム
の画像データベースの構成の一例を示す。図3に示すデ
ータベース50は、管理する画像情報である「画像デー
タ」と、その画像データに対する検索キーの1つである
「キーワード」と、画像データの特徴を示す特徴量であ
る「特徴量1」、「特徴量2」等の情報から構成され
る。
【0019】<濃度共起行列について>ここで、本実施
形態において画像特徴量の抽出の際に用いる濃度共起行
列およびその慣性(inertia)について説明する。テク
スチャ解析の方法として濃度共起行列を用いる方法は、
広く使用されている手法である。この方法については、
例えば、「画像認識の基礎[II]−特徴抽出、エッジ検
出、テクスチャ解析−(森俊二・他著)」に詳しく述べ
られている。
【0020】この手法は、基本的には2次元結合確率密
度関数f(i,j|d,θ)の評価に基づくものである。f
(i,j|d,θ)は、濃度値iをもった画素からθ方向に距
離dだけ離れた画素が、濃度値jをもつ可能性を示す確率
密度関数である。(d,θ)ごとにf(i,j|d,θ)を行
列で表したものが濃度共起行列であり、i,jはそれぞれ
行、列の位置を示す。テクスチャが粗く、距離dがテク
スチャの構成要素の大きさに比べて小さい場合、(d,
θ)だけ離れた一対の画素は一般に類似した濃度値を持
ち、したがって、濃度共起行列の対角要素付近の値が大
きくなるようになる。逆に細かいテクスチャで距離dが
テクスチャの構成要素程度の大きさであれば、(d,θ)
だけ離れた一対の画素はいろいろな組み合わせの濃度値
をとる可能性があり、濃度共起行列の全要素にわたって
比較的一様に分布するようになる。
【0021】本実施形態では、濃度共起行列を求める際
の走査方向となるθを図4の(a)〜(d)に示すよう
に0°、45°、90°、135°にとる(詳細は後
述)。ここで、濃度共起行列M(d,θ)を用いて行列
θ(d)を以下のように定義する。 S0(d)={M(d,0°)+Mt(d,0°)}/2 …(1) S45(d)={M(d,45°)+Mt(d,45°)}/2 …(2) S90(d)={M(d,90°)+Mt(d,90°)}/2 …(3) S135(d)={M(d,135°)+Mt(d,135°)}/2 …(4) ここで、Mt(d,θ)はM(d,θ)の転置行列とす
る。これらの行列を用いて種々の特徴量を計算し、特徴
空間を構成し、テクスチャの識別を行うことができる。
【0022】また、上記特徴量の1つである濃度共起行
列の慣性(inertia)は上記行列を用いて以下の式で求
められる。
【数1】 ここで、Sθ(i,j|θ)は行列Sθ(θ)のi行、j列
要素であり、NGは画像の濃度レベルの数である。
【0023】テクスチャの周期性は濃度の周期性である
から、テクスチャの周期性はSθ(i,j|d)に反映さ
れるはずである。そこで、各方向に対してdを3、4、
…dmax(距離dの最大値)と変化させた場合のグラフ
から周期性の有無を判定する。以下にこの判定方法につ
いて説明する。まず、各方向θにおいて、各距離dに対
する慣性I{Sθ(d)}を求め、各慣性I{Sθ(d)}
の中から最小の慣性の値Iner(θ)を求める。ここ
で、Iner(θ)は次式で与えられる。 Iner(θ)= Min(I{Sθ(3)},I{Sθ(4)},…,I{Sθ(dmax)}) …(6)
【0024】その後、Iner(0)、Iner(45)、I
ner(90)、Iner(135)の中から、最小のもの
と、2番目に小さいものとを選択する。選択されたそれ
ぞれの慣性の最小値Iner(θ)が所定値より小さけれ
ば、対象とするテクスチャが周期性を持つと判断する。
【0025】例えば、図5は、4つの方向θにおいて、
ある画像に対して距離dを変化させた場合の慣性Iを求
めた結果を示したものである。この図の場合、方向θ=
0°では距離d=7のときに、方向θ=45°では距離
d=7のときに、方向θ=90°では距離d=13のと
きに、方向θ=135°では距離d=6のときに、それ
ぞれの方向での慣性の最小値Iner(θ)が求まる。各
方向θに対する慣性Iの最小値Iner(θ)のうち、In
er(135)が最小となり、Iner(45)が2番目に
小さい値となる。そして、Iner(45)、Iner(13
5)の双方とも周期性判定の閾値より低いため、この画
像はθ=45°、135°の方向に対して周期性がある
と判断される。
【0026】<画像特徴量抽出装置の制御動作>以下
に、本システムの具体的な制御動作についてフローチャ
ートを用いて説明する。
【0027】<メインフロー>図6は本システムにおい
て実行されるプログラムのメインルーチンを示すフロー
チャートである。本プログラムが起動されると、まず、
以降の各処理で必要なフラグ等のイニシャライズや、初
期メニュー画面の表示等を行う初期設定処理が行われる
(S1)。図7に初期画面の一例を示す。初期メニュー
画面21上では、所定の処理を選択するための選択項目
23〜25がアイコンとして表示されており、この選択
項目23〜25の1つがユーザにより選択されることに
より所定の処理が実行される。なお、本システムにおい
ては、ディスプレイ2等上に表示された初期メニュー画
面21等の設定画面上で、ユーザにより、キーボード3
やマウス4等を介して各種処理の選択、設定値の入力等
が行われる。ステップS1の後、初期メニュー画面21
上でユーザによるメニュー選択がなされたか否かを判定
する(S2)。ステップS2において、「テクスチャ抽
出」23が選択されれば、指定された画像データからテ
クスチャ特徴量を抽出し、画像データベース50に登録
する等の処理を行うテクスチャ抽出処理(S3)へ進
み、その後、ステップS6へ進む。ステップS2におい
て、「テクスチャ比較検索」24が選択されれば、指定
された画像データと、データベース50に登録されてい
る画像データのテクスチャを比較し、類似する画像デー
タを抽出する処理を行うテクスチャ比較検索処理(S
4)へ進み、その後、ステップS6へ進む。ステップS
2において、「その他のメニュー」25が選択されれ
ば、その他のメニュー処理を行い(S5)、その後、ス
テップS6へ進む。ステップS2において、メニュー選
択されなければ、なにもせずにステップS6へ進む。ス
テップS6では、その他の処理を実行し、すべての処理
が終わるとステップS2へ戻り、以後、同様の処理が繰
り返される。
【0028】ここで、その他のメニュー処理(S5)に
ついても、一般的な検索システムと基本的に同様であ
り、本願発明に直接関係しないのでここでの説明は省略
し、特に、テクスチャ抽出処理(ステップS3)および
テクスチャ比較検索処理(ステップS4)について以下
に詳細に説明する。
【0029】<画像特徴量抽出装置におけるテクスチャ
抽出処理>最初に、テクスチャ抽出処理(ステップS
3)について説明する。図8にテクスチャ抽出処理のフ
ローチャートを示す。図8に示すようにテクスチャ抽出
処理では、画像データを画像データベース50に登録す
る際に、画像データから濃度共起行列を計算する濃度共
起行列計算処理(S31)と、濃度共起行列計算処理の
結果に基づいてテクスチャ特徴量を抽出し、この特徴量
を画像データとともに画像データベース50に登録する
特徴量抽出処理(S32)とを行う。以下に、それぞれ
のステップを図9及び図10のフローチャートを参照し
て説明する。
【0030】図9は濃度共起行列計算処理(S31)の
フローチャートである。図9において、まず、データベ
ースやファイルシステムなどの記憶媒体から画像をロー
ドし(S301)、正規化する(S302)。ここでの
正規化とは、画像処理時間の短縮とノイズの削減の目的
のために、取得する画像を所定の大きさに縮小または拡
大することである。本実施形態では120×120ピク
セルの大きさに画像が収まるように縦横比を維持したま
ま縮小する。
【0031】次に、正規化されたデータをグレー画像に
変換した後、二値化処理を行う(S303)。ここで、
本実施形態では、従来技術で述べた二値化処理の問題を
解決すべく、閾値を出現頻度の高い画素値に設定せず、
その前後の値を閾値に設定するようにした。すなわち、
閾値をグレー化後の画素値分布の中間値から所定値だけ
前後にシフトした値に設定する。以下に具体例を用いて
説明する。
【0032】図9はグレー化後の画像の画素値に対する
画素値分布を示したものである。この図では画素値は2
56諧調を有する。本実施形態では、図9に示すよう
に、画素値分布において、画素値の中間値(M)から、
標準偏差(s)の3分の1だけ画素値の高い方にシフト
した値に閾値を設定する。このように、二値化の閾値を
画素値分布の中間値から所定値だけシフトした値に設定
することにより、頻度の高い画素値に閾値を設定しない
ため、元画像の特徴をより保持したまま二値化が可能と
なる。ただし、以下の場合は、上記とは異なる閾値の設
定を行う。すなわち、中間値Mが128以上で、かつ、
中間値での累積画素数が90%を越える場合は、画素値
が中間値未満となる画素を「0」にし、中間値以上とな
る画素を「1」にする。また、中間値Mが128未満
で、かつ、中間値での累積画素数が90%を越える場合
は、画素値が中間値以下となる画素を「0」にし、中間
値を越える画素を「1」にする。また、(中間値M+標
準偏差s/3)となる値での累積画素数が100%にな
る場合は、閾値は中間値Mに設定する。このように閾値
を設定し二値化処理することにより、結果として元画像
のイメージに近い二値化画像が得られる。
【0033】画像の正規化(S302)及び二値化(S
303)が終了すると、次に、当該画像から濃度共起行
列を計算する。まず、濃度共起行列を求める走査方向θ
に対応した方向番号nを初期値0に設定する(S30
4)。方向番号nは、0のとき0°、1のとき45°、
2とき90°、3のとき135°の方向θにそれぞれ対
応する。ここで、より正確な方向性を求めるならば、例
えば、濃度共起行列を求める角度間隔を10°毎に設定
し、方向番号が0のとき0°、1のとき10°、2のと
き20°というように角度を細かく分割して走査方向θ
に対応させ、濃度共起行列を求めてもよい。しかし、角
度を細かく分割すると計算処理が多くなり、処理時間が
かかるため、ここでは45°づつに分割する。
【0034】次に、濃度共起行列を求める時の画素の距
離dを1に設定する(S305)。第n方向、距離dに
おける濃度共起行列を求める(S306)。すなわち、
この場合、第1方向、距離1における濃度共起行列を求
めることになる。本実施形態においては、濃度共起行列
を計算する際には、画像全体の画素に対して求めるので
はなく、計算対象の方向と同じ方向の所定幅の帯上の画
素に対して行う。帯の幅は画像の大きさに比べて処理の
高速化の効果を得るために充分小さく、かつ濃度共起行
列が得られるため必要な大きさであれば良い。当然、帯
の幅を太くすれば計算結果の精度は上がるが計算対象の
画素が増えるので処理は遅くなり、逆に帯を細くすれば
処理は速くなるが計算結果の精度は下がる。
【0035】本実施例では正規化の画像サイズが120
×120であることを考慮して、帯の幅を10ピクセル
として説明していく。例えば、第0方向であれば、図4
の(a)に示すように画像の中心を通り10ピクセル幅
の横方向の帯になる。第1方向であれば、図4の(b)
に示すように画像の中心を通り10ピクセル幅の45°
方向の帯になる。第2方向であれば、図4の(c)に示
すように画像の中心を通り10ピクセル幅の90°方向
の帯になる。第3方向であれば、図4の(d)に示すよ
うに画像の中心を通り10ピクセル幅の135°方向の
帯になる。なお、走査する画像領域は、図4に示すよう
に連続でなくてもよく、同一方向性を有していれば、不
連続な複数の線または領域からなる領域であってもよ
い。例えば、離散的に位置する1ピクセルづつの10本
の線からなる領域を走査してもよい。画像全体に周期性
があれば、このようにしても同様に周期性は求められる
からである。
【0036】ステップS306で得られた濃度共起行列
から式(5)を用いて慣性の値I{Sθ(d)}を求め
る(S307)。ステップS307で得られた慣性の値
を配列Val[d]に代入する(S308)。その後、
距離dの値をインクリメントする(S309)。
【0037】設定された距離dが、所定の距離の上限d
maxを越えているか否かを判定する(S310)。距離
dが上限dmaxを越えていればS311に進む。距離d
がその上限dmax以下であればステップS306に戻
り、距離dがその上限dmaxを越えるまで、処理(S3
06〜S310)を繰り返す。ここで、距離の上限d
maxは、画像のサイズの半分程度の値までに設定する。
【0038】ステップS310では、同一方向におけ
る、各距離dに対する慣性Val[d]の値の中から、そ
の方向における慣性の最小値Iner[n]を求める(S3
11)。
【0039】その後、次の方向を指定するため、方向番
号nをインクリメントする(S312)。インクリメン
トされた方向番号nが3以下であるかを判定する(S3
13)。方向番号nが3以下であれば処理S305に戻
り、上記処理を繰り返す(S305〜S313)。全て
の方向番号nに対して慣性の値の計算が終了すると、処
理を終了する。
【0040】以上のようにして、濃度共起行列を用いて
所定の方向に対する画像の慣性を求めると、次にこの慣
性の値に基づいて画像の特徴量を抽出する。ここで、本
実施形態では、画像のテクスチャの周期性をテクスチャ
特徴量として抽出する。一般に、濃度共起行列から得ら
れた慣性の値は同じ方向で見た場合、テクスチャの周期
性が顕著である場合ほど距離dに対する慣性の値に周期
性が見られることは良く知られている。そして、周期と
なる距離dでは慣性の値が0に近づく。このため、本実
施形態では、周期性を判断するための閾値を決め、この
閾値と慣性の最小値とを比較し、慣性の最小値が閾値よ
り小さいときに、慣性の最小値が与えられる距離dにお
いて周期性があると判断する。
【0041】図10は特徴量抽出処理(S32)のフロ
ーチャートである。図10において、各走査方向に対し
て慣性の最小値を格納したIner[0]〜Iner[3]の
うちから最小値を選択する(S314)。そして、この最
小値が前述の周期性を判断するための閾値以下であるか
否かを判断する(S315)。閾値を越えていればステッ
プS322に進み、閾値以下であればステップS316
へ進む。
【0042】ステップS316では、周期性があると判
断された最小値の慣性に対する方向番号nと周期dをテ
クスチャ特徴量として保存する。ここで、最小の慣性の
最小値を与える周期性を「第1の周期」と呼ぶ。また、
ここで得られたテクスチャ特徴量の方向と周期を第1周
期特徴量と呼ぶ。
【0043】次に、4つの走査方向に対する各慣性の最
小値を格納した配列Iner[0]〜Iner[3]のうちか
ら2番目に小さい慣性の値を選択する(S317)。こ
の慣性の値が、周期性を持つと判断する閾値以下である
か否かを判断し(S318)、閾値を越えていればステ
ップS322に進む。閾値以下であればステップS31
9へ進む。
【0044】ステップS319では、周期性があると判
断された2番目に小さい値の慣性に対する方向番号nと
周期dをテクスチャ特徴量として保存する。ここで、2
番目に小さい慣性の最小値を与える周期性を「第2の周
期」と呼ぶ。また、ここで得られたテクスチャの方向性
と周期を第2周期特徴量と呼ぶ。
【0045】その後、ステップS320において、周期
性フラグを「有」にセットし、処理を終了する。ここ
で、周期性フラグは「有」のとき対象画像に周期性があ
ることを意味し、「無」のとき対象画像に周期性がない
ことを意味する。ステップS322では、周期性フラグ
を「無」にセットする。最後に、画像データを周期性フ
ラグおよび特徴量(周期性があるとき)とともに画像デ
ータベース50に登録し(S321)、処理を終了す
る。
【0046】以上の処理において、周期性フラグにより
対象画像が周期性を有するか否かの情報が得られ、さら
に周期性がある場合は、「第1周期」の方向と周期及び
「第2周期」の方向と周期がテクスチャ特徴量として得
られる。また、第1方向特徴量と第2方向特徴量だけで
もテクスチャの特徴量として意味があるが、その方向と
周期より部分画像を切り出しテクスチャのパターン画像
とする応用も考えられる。
【0047】<画像特徴量抽出装置のテクスチャ比較検
索処理>次にテクスチャ比較検索処理(S4)について
説明する。ここでは、検索キーとなる画像(以下、キー
画像と呼ぶ)をユーザーがキーボード3等を介して画面
上より指定し、キー画像のテクスチャ特徴量とよく似た
テクスチャ特徴量を持つ画像を類似性があると判断し画
像データベース50から検索し、ディスプレイ2等の表
示部に結果を表示する処理を説明する。
【0048】図11はテクスチャ比較検索処理のフロー
チャートである。最初に、ユーザーが指定したキー画像
のテクスチャ情報(T0)を画像データベース50から
ロードする(S401)。ここで、テクスチャ情報は、
画像登録時に画像とともに画像データベース50に登録
されたものであり、ここでは、周期性フラグ、第1方向
特徴量および第2方向特徴量等を含む。キー画像のテク
スチャ情報が周期性を持つか否かを、テクスチャ特徴量
抽出処理の過程で設定された周期性フラグにより判定す
る(S402)。周期性がなければ処理を終了し、周期
性があればステップS403へ進む。
【0049】ステップS403では、検索対象の画像デ
ータベース50においてレコードポインタiをトップに
移動する。レコードポインタiが示す画像のテクスチャ
情報T[i]を画像データベース50からロードする(S
404)。
【0050】S404でロードしたテクスチャ情報T
[i]の中の周期性フラグに基づいて周期性の有無を判断
する(S405)。周期性がなければステップS409
に進み、周期性があればステップS406に進む。
【0051】ステップS406では、キー画像のテクス
チャ情報T0と検索対象のテクスチャ情報T[i]との類似
度を比較演算し、数値化し、類似画像か否かを判定する
(S406)。類似画像でなければ処理S409に進
み、類似画像と判断すればステップS407に進む。こ
こで、類似度の計算は、第1周期特徴量における方向と
周期および第2周期特徴量における方向と周期から計算
してもよい。
【0052】例えば、キー画像のテクスチャ情報T0の
第一周期の周期をd0(1)、検索対象画像のテクスチ
ャ情報T[i]の第一周期の周期をdi(1)、キー画像
のテクスチャ情報T0の第二周期の周期をd0(2)、検
索対象画像のテクスチャ情報T[i]の第二周期の周期を
i(2)、第一周期の方向の角度をθ0、第二周期の方
向の角度をθi、類似度判定のウェイトをWA,Wθとす
ると、周期が(d0(1),d0(2),θ0)のテクス
チャT0と、周期が(di(1),di(2),θi)のテ
クスチャTiとの類似度Dは、次式で求められる。ここ
で、Dは大きい方が類似している。
【数2】 ここで、R0,Riはパターン形状の縦横比であり、次式
で表される。 R0=d0(2)/d0(1) …(8) Ri=di(2)/di(1) …(9)
【0053】ステップS407において、現在のレコー
ドポインタiが示す画像の情報をロードし(S407)
し、このロードされた画像情報を検索結果とし、ディス
プレイ2にサムネイル画像を表示する(S408)。検
索結果表示の例としては、上記のようにサムネイル画像
を表示する方法、画像の名前を表示する方法、サムネイ
ルを生成した元画像のファイル名やパスを表示する方
法、元画像の入手先を表示する方法などのバリエーショ
ンが考えられる。又は、類似性があると判定した結果の
画像の数をカウントし、その数を表示する方法も考えら
れる。
【0054】その後、引き続き画像検索を行うために、
レコードポインタiを一つ進める(S409)。画像デ
ータベース50中に検索対象の画像データがまだあるか
否かを判定する(S410)。すなわち、レコードポイ
ンタiを進めた結果、新たに読み出す画像データがまだ
あるか否かを判断する。検索対象の画像データが新たに
ないときは処理を終了し、検索対象の画像データがまだ
あるときはステップS404に戻り、上記処理(S40
4〜S410)を繰り返す。
【0055】以上のようにして、本実施形態の画像特徴
量抽出装置は、画像の特徴を抽出する際に、画像データ
の一定幅の帯状部分の領域に対して濃度共起行列を求
め、これに基づいて画像データの周期性(テクスチャ特
徴量)を求めることにより、画像データのテクスチャ特
徴量の抽出において処理速度を向上できる。
【0056】なお、本実施形態では、所定方向の帯上の
領域の画像データに基づいてテクスチャ特徴量を検出す
るようにしたが、これに限らず、1本の線上の画像デー
タでもよいし、所定間隔毎の数本の線上の画像データで
もよい。但し、1本の線上の画像データで検出する場
合、非常に高速であるが、扱える画像に制約がある。例
えば、周期性を有することがある程度分かっている画像
を扱うシステム(例えば、幾何学模様の布地データベー
ス等)には適用可能である。また、所定間隔毎の数本の
線上の画像データで検出する場合、少ないデータ量で検
出ができ、かつ、比較的広範囲の領域に対して検出が可
能である。
【0057】
【発明の効果】本発明の画像特徴量抽出装置は、画像デ
ータにおいて、一定幅の帯状部分の領域に対してテクス
チャ特徴量を抽出するため、効率よく特徴量の抽出が行
える。また、テクスチャ特徴量の抽出の際の前段処理で
あるデータの二値化処理において、その閾値を画素値分
布における中間値より所定値だけシフトさせた値に設定
することにより、画像中の大きな面積を占めかつ緩やか
な諧調を持つ画像に対して元画像の特徴を損なうことな
く画像の二値化が実現でき、画像の特徴量がより正確に
抽出できる。
【図面の簡単な説明】
【図1】 本実施形態の画像特徴量抽出装置の構成の概
略を示す図。
【図2】 画像特徴量抽出装置の制御装置を中心とした
ブロック図。
【図3】 画像データベースの構成図。
【図4】 濃度共起行列を求める際の走査方向θを示し
た図。
【図5】 各走査方向θにおいて、距離dに対して求め
られる慣性の値Iを示した図。
【図6】 画像特徴量抽出装置のメインのフローチャー
ト。
【図7】 データ入力または設定等の画面の表示例を示
した図。
【図8】 画像特徴量抽出装置におけるテクスチャ抽出
処理のフローチャート。
【図9】 画像特徴量抽出装置における濃度共起行列計
算処理のフローチャート。
【図10】 画像特徴量抽出装置における特徴量抽出処
理のフローチャート。
【図11】 二値化処理の閾値を求める方法を説明した
図。
【図12】 画像特徴量抽出装置におけるテクスチャ比
較検索処理のフローチャート。
【符号の説明】
1…制御装置、 2…ディスプレイ、 3…キーボー
ド、 4…マウス、 5a…フロッピーディスク、 5
b…フロッピーディスク装置、 6…ハードディスク、
7…プリンタ、 8…スキャナ、 9a…CD−RO
M、 9b…CD−ROM装置、 10…スピーカ、
11…マイク、 21…初期設定画面、23〜25…選
択用アイコン、 29,30…設定用画面、 50…画
像データベース、 201…CPU、 202…クロッ
ク、 203…ROM、 204…RAM。

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 多値化された画素情報が二次元格子状に
    配列されてなるテクスチャを含む画像からテクスチャ特
    徴量を抽出する画像特徴量抽出装置において、 画像上の所定方向に向かう線上または一定幅の領域内に
    存在する画素を用いて、画像のテクスチャ特徴量を抽出
    することを特徴とする画像特徴量抽出装置。
  2. 【請求項2】 請求項1に記載の画像特徴量抽出装置に
    おいて、 画像を入力する画像入力手段と、 入力した画像において、所定方向に一定幅領域を走査
    し、該一定幅領域内の画素に基づいて、画像のテクスチ
    ャの濃度共起行列を計算する手段と、 該濃度共起行列を計算する手段による計算結果に基づい
    て画像の周期性の有無を判断し、周期性があるときに画
    像の周期性をテクスチャ特徴量として抽出する特徴量抽
    出手段とからなることを特徴とする画像特徴量抽出装
    置。
  3. 【請求項3】 請求項1に記載の画像特徴量抽出装置に
    おいて、 グレー化された画像を入力する画像入力手段と、 該グレー化された画像を構成する画素の濃度に基づい
    て、グレー化後の画像における画素値分布の中間値から
    所定値だけシフトした値に設定された閾値を境として0
    または1で表される二値化画像に変換する二値化変換手
    段とを備え、 該二値化変換手段により二値化された画像からテクスチ
    ャ特徴量を抽出することを特徴とする画像特徴量抽出装
    置。
  4. 【請求項4】 多値化された画素情報が二次元格子状に
    配列されてなるテクスチャを含む画像からテクスチャ特
    徴量を抽出する画像特徴量抽出方法において、 画像上の所定方向に向かう線上または一定幅の領域内に
    存在する画素を用いて、テクスチャ特徴量を抽出するこ
    とを特徴とする画像特徴量抽出方法。
  5. 【請求項5】 多値化された画素情報が二次元格子状に
    配列されてなるテクスチャを含む画像からテクスチャ特
    徴量を抽出するプログラムであって、所定の方向に向か
    う線上または一定幅の領域内に存在する画素を用いて、
    テクスチャ特徴量を抽出することを特徴とするプログラ
    ムを記録したコンピュータ読み取り可能な記録媒体。
  6. 【請求項6】 グレー化された画像を入力し、該入力画
    像を構成する画素の濃度に基づき、閾値を境として0ま
    たは1で表される二値化画像に変換する二値化処理を行
    い、該二値化された画像から画像特徴量を抽出する画像
    特徴量抽出方法において、 前記閾値はグレー化された画像の画素値分布の中間値か
    ら所定値だけシフトした値に設定されることを特徴とす
    る画像特徴量抽出方法。
  7. 【請求項7】 グレー化された画像を入力し、該入力画
    像を構成する画素の濃度に基づき、閾値を境として0ま
    たは1で表される二値化画像に変換する二値化処理を行
    い、該二値化された画像から画像特徴量を抽出する画像
    特徴量抽出プログラムにおいて、前記閾値はグレー化さ
    れた画像の画素値分布の中間値から所定値だけシフトし
    た値に設定されることを特徴とするプログラムを記録し
    たコンピュータ読み取り可能な記録媒体。
JP22610197A 1997-08-22 1997-08-22 画像特徴量抽出装置および方法並びに画像特徴量抽出プログラムを記録した記録媒体 Expired - Fee Related JP3718967B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP22610197A JP3718967B2 (ja) 1997-08-22 1997-08-22 画像特徴量抽出装置および方法並びに画像特徴量抽出プログラムを記録した記録媒体
US09/137,234 US6381365B2 (en) 1997-08-22 1998-08-20 Image data processing apparatus and image data processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22610197A JP3718967B2 (ja) 1997-08-22 1997-08-22 画像特徴量抽出装置および方法並びに画像特徴量抽出プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JPH1166310A true JPH1166310A (ja) 1999-03-09
JP3718967B2 JP3718967B2 (ja) 2005-11-24

Family

ID=16839851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22610197A Expired - Fee Related JP3718967B2 (ja) 1997-08-22 1997-08-22 画像特徴量抽出装置および方法並びに画像特徴量抽出プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3718967B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100375831B1 (ko) * 2001-03-14 2003-03-15 한국전자통신연구원 영상의 질감도를 기반으로 한 영상 db 브라우징 및 소팅방법
JP2005526456A (ja) * 2002-05-22 2005-09-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 電子透かしを抽出する方法
US7698740B2 (en) 2004-09-10 2010-04-13 Japan Science And Technology Agency Sequential data examination method using Eigen co-occurrence matrix for masquerade detection
JP2010117772A (ja) * 2008-11-11 2010-05-27 Panasonic Corp 特徴量抽出装置、物体識別装置及び特徴量抽出方法
CN107209942A (zh) * 2015-04-20 2017-09-26 株式会社日立制作所 对象检测方法和图像检索系统
KR20200059422A (ko) * 2018-11-21 2020-05-29 대한민국(산림청 국립산림과학원장) 피해목 검출 장치 및 방법
CN115601631A (zh) * 2022-12-15 2023-01-13 深圳爱莫科技有限公司(Cn) 一种卷烟陈列图像识别方法、模型、设备及储存介质
CN116978003A (zh) * 2023-09-22 2023-10-31 支付宝(杭州)信息技术有限公司 食材商品的纹理检测处理方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198496B (zh) * 2013-03-29 2015-08-26 浙江大学 一种对抽象化图像进行矢量化的方法
CN104217431B (zh) * 2014-08-29 2017-02-08 天津大学 基于边缘提取与图像融合技术的压缩感知补偿方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100375831B1 (ko) * 2001-03-14 2003-03-15 한국전자통신연구원 영상의 질감도를 기반으로 한 영상 db 브라우징 및 소팅방법
JP2005526456A (ja) * 2002-05-22 2005-09-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 電子透かしを抽出する方法
US7698740B2 (en) 2004-09-10 2010-04-13 Japan Science And Technology Agency Sequential data examination method using Eigen co-occurrence matrix for masquerade detection
JP2010117772A (ja) * 2008-11-11 2010-05-27 Panasonic Corp 特徴量抽出装置、物体識別装置及び特徴量抽出方法
US8649608B2 (en) 2008-11-11 2014-02-11 Panasonic Corporation Feature value extracting device, object identification device, and feature value extracting method
CN107209942A (zh) * 2015-04-20 2017-09-26 株式会社日立制作所 对象检测方法和图像检索系统
KR20200059422A (ko) * 2018-11-21 2020-05-29 대한민국(산림청 국립산림과학원장) 피해목 검출 장치 및 방법
CN115601631A (zh) * 2022-12-15 2023-01-13 深圳爱莫科技有限公司(Cn) 一种卷烟陈列图像识别方法、模型、设备及储存介质
CN116978003A (zh) * 2023-09-22 2023-10-31 支付宝(杭州)信息技术有限公司 食材商品的纹理检测处理方法及装置
CN116978003B (zh) * 2023-09-22 2024-03-12 支付宝(杭州)信息技术有限公司 食材商品的纹理检测处理方法及装置

Also Published As

Publication number Publication date
JP3718967B2 (ja) 2005-11-24

Similar Documents

Publication Publication Date Title
JP3747589B2 (ja) 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体
JP2776295B2 (ja) 画像インデックス生成方法及び画像インデックス生成装置
US6839466B2 (en) Detecting overlapping images in an automatic image segmentation device with the presence of severe bleeding
US6381365B2 (en) Image data processing apparatus and image data processing method
US6738154B1 (en) Locating the position and orientation of multiple objects with a smart platen
US5644765A (en) Image retrieving method and apparatus that calculates characteristic amounts of data correlated with and identifying an image
US7272269B2 (en) Image processing apparatus and method therefor
US6643400B1 (en) Image processing apparatus and method for recognizing specific pattern and recording medium having image processing program recorded thereon
US20070143272A1 (en) Method and apparatus for retrieving similar image
US5892854A (en) Automatic image registration using binary moments
US6704456B1 (en) Automatic image segmentation in the presence of severe background bleeding
WO2022028313A1 (en) Method and device for image generation and colorization
JP4772819B2 (ja) 画像検索装置および画像検索方法
US20030012440A1 (en) Form recognition system, form recognition method, program and storage medium
JPH09293082A (ja) 画像検索装置及び画像検索方法
JPH1166310A (ja) 画像特徴量抽出装置および方法並びに画像特徴量抽出プログラムを記録した記録媒体
US6816633B1 (en) Image retrieval apparatus and method
JP2004334337A (ja) 画像処理装置
JP2010102501A (ja) 画像処理装置、画像処理方法およびプログラム
EP0975146B1 (en) Locating the position and orientation of multiple objects with a smart platen
JP3199009B2 (ja) 画像蓄積・管理装置及び画像インデックス生成方法
JP2004192121A (ja) 画像検索装置、画像分類方法、画像検索方法、及びプログラム
JP4545847B2 (ja) 画像検索装置およびその方法
JPH10336428A (ja) 画像処理装置
EP0974931A1 (en) Method and apparatus for identifying a plurality of sub-images in an input image

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050201

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050318

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050331

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050331

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050829

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080916

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090916

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100916

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100916

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110916

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120916

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120916

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130916

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees