JP4228031B1 - 画像解析装置、画像登録装置および画像検索装置 - Google Patents
画像解析装置、画像登録装置および画像検索装置 Download PDFInfo
- Publication number
- JP4228031B1 JP4228031B1 JP2008151090A JP2008151090A JP4228031B1 JP 4228031 B1 JP4228031 B1 JP 4228031B1 JP 2008151090 A JP2008151090 A JP 2008151090A JP 2008151090 A JP2008151090 A JP 2008151090A JP 4228031 B1 JP4228031 B1 JP 4228031B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- kernel
- vector
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】解析装置10は、複数の画像を取得して、画像ごとに特徴量を抽出する。また、取得した画像ごとに、その画像の種類が示された教師信号を取得する。ここで、解析装置10は、抽出された特徴量と、取得した教師信号と用いて、画像の種類を判別するための重み行列を算出する。また、解析装置10は、所定のカーネル非線形関数を用いて、それぞれの画像の特徴量が分布している空間をより次元の高い高次元空間に射影するためのカーネル行列を導出する。さらに、解析装置10は、カーネル行列と重み行列とを用いて、高次元空間から、画像の種類を識別するための部分空間を抽出して、カーネル射影ベクトルを生成する。
【選択図】図5
Description
まず、本発明の実施形態を詳細に説明する前に、概要を述べる。本実施形態は、画像検索システムに関する。画像検索システムとは、入力される検索要求画像に類似する画像を、複数の被検索画像を予め登録してあるデータベースから検索するシステムである。図1は、画像検索システム1の構成例を示す図である。画像検索システム1は、解析装置10と、登録装置60と、検索装置80と、記憶装置20とを含む。
検索処理の前段階として、まず解析装置10が、複数種類のトレーニング画像Iiを取得して、それらの画像に関する特徴量を抽出し、抽出した特徴量からそれらの画像の特徴量を最もよく表現している部分空間のカーネル射影ベクトルを導出する。解析装置10には、m枚のトレーニング(学習用)画像Iiが入力される。トレーニング画像Iiには、さまざまな種類(以下、「クラス」という。)の画像、たとえば、ビル、バス、花、馬、山などの画像が含まれる。効率的な学習効果を得るために、トレーニング画像Iiとして、クラスごとに、たとえば100枚の画像が解析装置10に入力される。解析装置10は、入力された複数のトレーニング画像Iiを解析して、複数種類の特徴量から、それぞれのクラスを判別できるようなカーネル射影ベクトルを導出する。
登録装置60は、解析装置10により導出されたカーネル射影ベクトルを用いて、複数の登録用画像を、検索される対象となる被検索画像として記憶装置20に登録する。具体的に登録装置60は、登録用画像から画像特徴量を抽出し、その画像特徴量が複数のカーネル射影ベクトルにより形成される部分空間において位置する座標(射影)を特定する。登録装置60においては、次元数の高い元の特徴量(カラーヒストグラム等)の代わりに、次元数の低い部分空間での座標(射影)が、新しい特徴量(以下、特徴ベクトルともよぶ)として検索に用いるために登録される。登録装置60は、登録用画像を、特定した特徴ベクトルに対応付けて、被検索画像として記憶装置20に登録する。これにより記憶装置20は、被検索画像のデータベースを構築する。以上の解析処理および登録処理により、検索の前処理が完了する。
検索装置80は、入力された検索要求画像に類似する被検索画像を記憶装置20から検索して出力する。具体的に検索装置80は、検索要求画像から画像特徴量を抽出し、複数のカーネル射影ベクトルにより形成される部分空間内の座標(特徴ベクトル)を特定する。検索装置80は、検索要求画像の特徴ベクトルと、記憶装置20に保持されている被検索画像の特徴ベクトルとを比べて、互いのユークリッド距離が近いと判定される被検索画像を抽出する。互いの特徴ベクトルのユークリッド距離が近くなっている画像は、基本的(理想的)には、同一クラスの画像となる。同一クラスの画像とは、たとえば、検索要求画像が「馬」の画像であった場合、データベースに記憶されたビル、バス、花、馬、山の画像のうちの「馬」の画像である。なお、互いの特徴ベクトルのユークリッド距離が近くても、検索処理によりデータベースから抽出される画像のクラスが、検索要求画像と異なる場合がある。これは、解析装置10により導出されたカーネル射影ベクトルの精度に起因し、したがって解析装置10は、異なるクラスの画像間においては、互いの特徴ベクトルのユークリッド距離が遠くなるように、部分空間を構成するカーネル射影ベクトルを効果的に決定する必要がある。
従来の画像検索システムにおいては、まず、複数の画像を用いて画像データベースを作成する際に、画像とともに、その画像を説明するためのキーワードを関連づけて記憶させていた。そのため、データベースに登録する画像数の増加にともなって、データベースの作成、管理が煩雑となっていた。
画像検索は様々な特徴量を用いて行うことができる。たとえば、特徴量としてカラーヒストグラムなどがある。様々な画像の特徴量を解析し、それぞれのクラスが最もよく判別できるような線形基底関数βiを導出することができる。画像の特徴量(たとえば、カラーヒストグラム)は基底関数βiの線形和で表される。βiは線形射影ベクトルとも言う。一方、本実施形態において複雑な現象や非線形現象などにも対応するために、低次元の入力特徴量を非線形関数で高次元特徴空間に射影し、非線形基底を求めるが、「カーネルトリック」と呼ばれる方法(カーネル関数)を導入することにより、解析装置10は非線形基底関数の代わりに、複数種類のトレーニング画像Iiのクラスを効果的に判別できるカーネル射影ベクトルαiを導出することもできる。以下、線形関数を利用して導出する基底ベクトルβiを説明する。
S=[s0,s1,・・・sN]
は、部分空間Fにおける座標を示し、画像の特徴量fと同義に扱うことができる。一方、Sの次元数(部分空間の次元数)は、fの次元数より低いので、fの代わりにSを特徴量(特徴ベクトル)として用いると、高い次元を低い次元に圧縮することができる。したがって、このSにより、画像を表現することができ、線形射影による基底ベクトルβiが導出できれば、検索処理時にユークリッド距離を算出する際に座標(特徴ベクトル)Sを利用することができる。
教師信号Ciは、トレーニング画像Iiのクラスを示す識別情報である。この教師信号Ciは、それぞれのトレーニング画像Iiに対応付けられて、解析装置10に入力される。たとえば教師信号Ciは、トレーニング画像Iiの属性情報として、画像フォーマットの一部に組み込まれていてもよい。また教師信号Ciは、トレーニング画像Iiを解析装置10に入力する際に、オペレータなどにより指定されてもよい。たとえば、100枚の馬の画像を解析装置10に連続して入力するときには、オペレータが、馬の画像を100枚入力することを解析装置10に通知し、解析装置10は、この通知情報を、それから連続して入力される100枚の画像が馬の画像であることを知らせる教師信号Ciとして処理してもよい。さらに、トレーニング画像Iiをクラスごとに異なるフォルダに入れておき、解析装置10が、読み出している画像ファイルのフォルダを、教師信号Ciとして取り扱ってもよい。本実施形態では、学習段階で教師信号Ciを導入することにより、解析装置10が、トレーニング画像をクラスごとにまとめることができ、結果として解析精度を高めることが可能となる。
前述したように、被検索画像の登録時におけるメモリ容量や、検索処理時における処理負荷を考慮すると、抽出するクラス分類に必要な特徴量の次元数、すなわち特徴ベクトルfを表現する部分空間の次元数は、できるだけ下げることが望ましい。しかしながら、次元数を下げすぎると、有用な情報が消失してしまい、精度が下がる場合がある。
このような部分空間の構築は、射影演算により実現される。ここでは、まず、線形な射影について説明する。なお、理解を容易にするために、2次元の空間を1次元の空間である「軸」に射影する場合について説明する。図2は、第1空間500の例を示す図である。第1空間500は、X軸とY軸とで表現される2次元空間である。第1空間500には、丸で表現された第1クラス310の特徴ベクトルと、三角で表現された第2クラス320の特徴ベクトルとが、図示するような状態で分布している。
しかしながら、線形空間だけで考えても、有用な情報が含まれる部分空間が見つからないことがある。このような場合、非線形関数により、高次元空間に射影して、次元数を上げて、その後、重要な成分が含まれた部分空間を抽出すればよい。
ここでは、非線形演算を簡易に実現するために、「カーネルトリック」と呼ばれる方法を導入する。この「カーネルトリック」と呼ばれる方法は、1964年にAizerman氏によって提案されたものである。この方法に用いられるカーネル関数は、低次元ベクトルを簡易に非線形変換して、高次元部分空間に射影するための関数である。
以下、(3−1)で述べた教師信号と(3−2)で述べた非線形化の双方を用いて、部分空間を抽出するための射影関数を導出する際の処理について、理論的に説明する。
図5は、本発明の実施形態にかかる教師信号付非線形画像解析手法を用いた画像検索システム1における解析装置10の構成例を示す図である。解析装置10は、トレーニング画像取得部40と、教師信号取得部42と、画像特徴量抽出部44と、カーネル射影ベクトル解析部46とを備える。カーネル射影ベクトル解析部46は、複数の画像をクラスごとに検索するためのカーネル射影ベクトルαを生成する機能をもち、パラメータ導出部48と、カーネル射影ベクトル導出部50と、関数保持部52と、カーネル射影ベクトル保持部54とを備える。
以上の態様における動作例について説明する。まず、図5の解析装置10の動作について説明する。なお、以下の例では、トレーニング画像を解析装置10により解析するとともに、トレーニング画像を記憶装置20に登録する処理を同時に行っている。
ここでは、2つのシミュレーションを用いて、本実施形態の効果について説明する。第1のシミュレーションは、次元数Nを変数とした場合における検索の正答率についてのシミュレーションである。第1のシミュレーションにおける条件は、以下のとおりである。
クラス総数:10クラス
トレーニング画像の枚数:960枚(96枚×10クラス)
検索要求画像総数:40枚(4枚×10クラス)
検索要求画像:同一クラスに属する4枚のいずれか
連続検索回数:30
次元数N:1〜20
比較対象:PCA、ICA、LPP、SLPP、KLPP、KPCA
その他:一度検索されたトレーニング画像は削除され、その後、再検索が実行される
クラス総数:10クラス
トレーニング画像の枚数:960枚(96枚×10クラス)
検索要求画像総数:40枚(4枚×10クラス)
検索要求画像:同一クラスに属する4枚のいずれか
カーネル射影ベクトルαの最大次元数N:10
検索回数:1〜96
比較対象:PCA、ICA、LPP、SLPP、KLPP、KPCA
その他:一度検索されたトレーニング画像は削除され、その後、再検索が実行される
前述した実施形態においては、画像の特徴量として、カラーヒストグラムを用いるとして説明した。しかしながらこれにかぎらず、たとえば、画像の形状や、画像の模様、あるいは、これらの組合せた情報を数値化して、特徴量として規定してもよい。このような特徴量を用いたとしても、前述の実施形態に適用することが可能であり、また、前述と同等の効果が得られることは言うまでもない。
Claims (5)
- 複数の画像を取得する画像取得部と、
前記画像取得部によって取得した画像ごとに、画像特徴量を抽出する抽出部と、
前記抽出部によって画像特徴量が抽出された画像のクラスを特定する教師信号を取得する教師信号取得部と、
前記抽出部によって抽出された画像特徴量と、前記教師信号取得部によって取得した教師信号とを用いて、同じクラスの画像同士の場合はその相関係数を要素とし、異なるクラスの画像同士の場合は0を要素とする重み行列を生成する重み行列生成部と、
所定のカーネル非線形関数を用いて、前記抽出部にて抽出されたそれぞれの画像の画像特徴量が分布している空間をより次元の高い高次元空間に射影するためのカーネル行列を導出するカーネル行列導出部と、
前記カーネル行列導出部によって導出されたカーネル行列と、前記重み行列生成部によって生成された重み行列との積により射影行列を生成し、生成された射影行列のカーネル射影ベクトルを導出することにより、前記画像取得部にて取得された画像のそれぞれのクラスが識別可能な部分空間を前記高次元空間から抽出するためのカーネル射影ベクトルを導出するカーネル射影ベクトル導出部と、
を備えることを特徴とする画像解析装置。 - 前記抽出部は、前記画像取得部によって取得した画像のカラーヒストグラムを抽出することを特徴とする請求項1に記載の画像解析装置。
- 前記重み行列生成部は、異なるクラスの画像同士の特徴量の相関がなくなるように、重み行列を生成することを特徴とする請求項1または2に記載の画像解析装置。
- 登録用の画像を取得する登録用画像取得部と、
請求項1から3のいずれかに記載の画像解析装置により導出されたカーネル射影ベクトルを保持する保持部と、
前記登録用画像取得部で取得された登録用画像の画像特徴量を抽出する抽出部と、
抽出した前記画像特徴量を、前記カーネル射影ベクトルで特定される部分空間に射影する射影部と、
前記射影部により導出された特徴ベクトルを取得する特徴ベクトル取得部と、
登録用画像を、取得した特徴ベクトルに対応付けて記憶装置に登録する登録部と、
を備えることを特徴とする画像登録装置。 - 検索を要求する検索要求画像を取得する検索要求画像取得部と、
請求項1から3のいずれかに記載の画像解析装置により導出されたカーネル射影ベクトルを保持する保持部と、
請求項4に記載の画像登録装置により登録された複数の画像および特徴ベクトルを記憶する記憶装置と、
前記検索要求画像取得部で取得された検索要求画像の画像特徴量を抽出する抽出部と、
抽出した前記画像特徴量を、前記カーネル射影ベクトルで特定される部分空間に射影する射影部と、
前記射影部により導出された特徴ベクトルを取得する特徴ベクトル取得部と、
検索要求画像の特徴ベクトルと、前記記憶装置に記憶された複数の特徴ベクトルとを比較することによって、前記記憶装置に記憶された複数の画像から、検索要求画像とユークリッド距離の近い画像を出力する検索処理部と、
を備えることを特徴とする画像検索装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008151090A JP4228031B1 (ja) | 2008-06-09 | 2008-06-09 | 画像解析装置、画像登録装置および画像検索装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008151090A JP4228031B1 (ja) | 2008-06-09 | 2008-06-09 | 画像解析装置、画像登録装置および画像検索装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4228031B1 true JP4228031B1 (ja) | 2009-02-25 |
JP2009295130A JP2009295130A (ja) | 2009-12-17 |
Family
ID=40445114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008151090A Expired - Fee Related JP4228031B1 (ja) | 2008-06-09 | 2008-06-09 | 画像解析装置、画像登録装置および画像検索装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4228031B1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5458815B2 (ja) * | 2009-11-11 | 2014-04-02 | 株式会社デンソーアイティーラボラトリ | マルチメディア検索システム |
JP5755516B2 (ja) * | 2011-06-17 | 2015-07-29 | セコム株式会社 | 物体形状推定装置 |
JP6397378B2 (ja) * | 2015-07-27 | 2018-09-26 | 日本電信電話株式会社 | 特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100473598B1 (ko) * | 2002-11-04 | 2005-03-11 | 삼성전자주식회사 | 가려진 얼굴영상을 판단하는 시스템 및 방법 |
JP2004341959A (ja) * | 2003-05-16 | 2004-12-02 | Just Syst Corp | データ分類装置、データ分類方法およびその方法をコンピュータに実行させるプログラム |
-
2008
- 2008-06-09 JP JP2008151090A patent/JP4228031B1/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009295130A (ja) | 2009-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4292837B2 (ja) | パターン特徴抽出方法及びその装置 | |
US9691003B2 (en) | Keypoint descriptor generation by complex wavelet analysis | |
JP5234469B2 (ja) | 対応関係学習装置および方法ならびに対応関係学習用プログラム、アノテーション装置および方法ならびにアノテーション用プログラム、および、リトリーバル装置および方法ならびにリトリーバル用プログラム | |
WO2019015246A1 (zh) | 图像特征获取 | |
JP6270182B2 (ja) | 属性要因分析方法、装置、およびプログラム | |
WO2005111936A1 (ja) | パラメタ推定方法、パラメタ推定装置および照合方法 | |
KR20060110707A (ko) | 얼굴 특징 추출 장치 및 그 방법 | |
US10163000B2 (en) | Method and apparatus for determining type of movement of object in video | |
US10311332B2 (en) | Orientation-based subject-matching in images | |
WO2020213742A1 (ja) | 画像変換装置、画像変換モデル学習装置、方法、及びプログラム | |
JP5866064B2 (ja) | 画像検索装置、画像検索方法、および記録媒体 | |
JP4228031B1 (ja) | 画像解析装置、画像登録装置および画像検索装置 | |
Mollaysa et al. | Regularising non-linear models using feature side-information | |
US20240249416A1 (en) | Deep learning model optimization method and apparatus for medical image segmentation | |
CN103064857B (zh) | 图像查询方法及图像查询设备 | |
JP5370267B2 (ja) | 画像処理システム | |
JP2008046864A (ja) | 顔画像認識装置及び顔画像認識プログラム | |
JP2008020963A (ja) | パターン認識装置及びその方法 | |
JP4099981B2 (ja) | 画像認識システム、画像認識方法および画像認識プログラム | |
Villegas-Cortez et al. | Interest points reduction using evolutionary algorithms and CBIR for face recognition | |
Hammer et al. | How to visualize large data sets? | |
JP6547280B2 (ja) | 設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラム | |
WO2023178801A1 (zh) | 图像描述方法和装置、计算机设备、存储介质 | |
KR20220076390A (ko) | 시계열 아이템 시각화 시스템 및 방법 | |
JP7221892B2 (ja) | 学習装置、学習方法、および学習プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4228031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |