JP5197492B2 - 半教師画像認識検索装置、半教師画像認識検索方法、及びプログラム - Google Patents
半教師画像認識検索装置、半教師画像認識検索方法、及びプログラム Download PDFInfo
- Publication number
- JP5197492B2 JP5197492B2 JP2009133111A JP2009133111A JP5197492B2 JP 5197492 B2 JP5197492 B2 JP 5197492B2 JP 2009133111 A JP2009133111 A JP 2009133111A JP 2009133111 A JP2009133111 A JP 2009133111A JP 5197492 B2 JP5197492 B2 JP 5197492B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- additional information
- stored
- accumulated
- latent variable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
図1は、本発明の第1実施形態による半教師画像学習装置の構成を示すブロック図である。図において、本第1実施形態による半教師画像学習装置は、蓄積画像特徴抽出部1と、蓄積付加情報特徴抽出部2と、蓄積潜在変数抽出部3と、画像・付加情報間関係性学習部4とから構成される。該半教師画像学習装置は、画像を説明する情報である付加情報が予め付与された画像の集合である完全蓄積画像集合、付加情報が与えられていない画像の集合である不完全蓄積画像集合、及び付与された付加情報の集合である蓄積付加情報集合を入力し、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを出力する。
・画像中の各小領域のディジタルコサイン変換の低周波成分
・Haar waveletの低周波及び/または高周波成分のヒストグラム
・高次局所自己相関特徴(参考文献1「N. Otsu and T. Kurita “A new scheme for practical flexible and intelligent vision systems,” Proc. IAPR Workshop on Computer Vision, pp.431-435, 1988.」参照)
・SIFT(参考文献2「D. Lowe, “Distinctive image features from scale-invariant keypoints, ”International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004.」参照)
・第2信号系列→蓄積付加情報特徴
・完全信号系列群→完全蓄積画像特徴と対応する蓄積付加情報特徴との集合
・第1完全信号系列→完全蓄積画像特徴
・第2完全信号系列→完全蓄積画像特徴に対応する蓄積付加情報特徴
・第1不完全信号系列→不完全蓄積画像特徴
・第2不完全信号系列→(本発明では存在しない)
・第1圧縮信号系列→蓄積潜在変数
・第2圧縮信号系列→(本発明では存在しない)
蓄積潜在変数集合Zを用いた以下の多点近似の数式(3)によって、潜在変数モデルp(z)を決定する。
正準相関分析の確率的な構造を考慮し、潜在変数モデルp(z)を、次式(40)で示すように設定する。
蓄積潜在変数集合の各要素znについて、画像・潜在変数関係モデルp(x|zn)を以下の数式(41)で示すように決定する。なお、式中の文字上部に〜が付いた文字は、文中において文字の前に〜を記載して示す。
正準相関分析の確率的な構造を考慮し、画像・潜在変数関係モデルp(x|z)を以下の数式(42)で示すように決定する。
蓄積潜在変数集合の各要素znについて、付加情報・潜在変数関係モデルp(y|zn)を以下の数式(44)、(45)、(46)、(47)で示すように決定する。
正準相関分析の確率的な構造を考慮し、付加情報・潜在変数関係モデルp(y|z)を以下の数式(48)に示すように決定する。
次に、本発明の第2実施形態について説明する。
図3は、本第2実施形態による半教師画像検索装置の構成を示すブロック図である。図において、本第2実施形態による半教師画像検索装置は、蓄積画像特徴抽出部1と、蓄積付加情報特徴抽出部2と、蓄積潜在変数抽出部3と、画像・付加情報間関係性学習部4と、入力付加情報特徴抽出部5と、画像検索部6とから構成される。なお、蓄積画像特徴抽出部1、蓄積付加情報特徴抽出部2、蓄積潜在変数抽出部3、画像・付加情報間関係性学習部4は、図1に示す第1実施形態と同様のため、説明を省略する。
次に、本発明の第3実施形態について説明する。
図4は、本第3実施形態による半教師画像認識装置の構成を示すブロック図である。図において、本第3実施形態による半教師画像認識装置は、蓄積画像特徴抽出部1と、蓄積付加情報特徴抽出部2と、蓄積潜在変数抽出部3と、画像・付加情報間関係性学習部4と、入力画像特徴抽出部7と、画像認識部8とから構成される。なお、蓄積画像特徴抽出部1、蓄積付加情報特徴抽出部2、蓄積潜在変数抽出部3、画像・付加情報間関係性学習部4は、図1に示す第1実施形態と同様のため、説明を省略する。
2 蓄積付加情報特徴抽出部
3 蓄積潜在変数抽出部
31 完全信号系列群統計量算出部
32 不完全信号系列群統計量算出部
321 第1不完全信号系列群統計量算出部
322 第2不完全信号系列群統計量算出部
33 統合統計量算出部
34 信号系列圧縮関数決定部
35 信号系列圧縮部
4 画像・付加情報間関係性学習部
41 潜在変数モデル学習部
42 画像・潜在変数関係モデル学習部
43 付加情報・潜在変数関係モデル学習部
5 入力付加情報特徴抽出部
6 画像検索部
7 入力画像特徴抽出部
8 画像認識部
Claims (9)
- 与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像認識検索装置であって、
付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出手段と、
付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出手段と、
前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出手段と、
前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習手段と
を備えることを特徴とする半教師画像認識検索装置。 - 前記画像・付加情報間関係性学習手段は、
前記蓄積潜在変数集合から、潜在変数の構造を記述するモデルである潜在変数モデルを学習する潜在変数モデル学習手段と、
前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、及び前記蓄積潜在変数集合から、画像と潜在変数との関係性を記述するモデルである画像・潜在変数関係モデルを学習する画像・潜在変数関係モデル学習手段と、
前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、付加情報と潜在変数との関係性を記述するモデルである付加情報・潜在変数関係モデルを学習する付加情報・潜在変数関係モデル学習手段と
を更に備え、
前記画像・付加情報間関係性学習手段は、前記潜在変数モデル、前記画像・潜在変数関係モデル、及び前記付加情報・潜在変数関係モデルを合わせて、画像・付加情報関係モデルとして出力する
ことを特徴とする請求項1に記載の半教師画像認識検索装置。 - 入力付加情報から、入力付加情報の特性を表現するベクトルである入力付加情報特徴を抽出する入力付加情報特徴抽出手段と、
前記入力付加情報特徴を、前記画像・付加情報関係モデルに与え、蓄積画像集合から類似性の高い画像を選択して提示する画像検索手段と
を更に備えることを特徴とする請求項1または2に記載の半教師画像認識検索装置。 - 入力画像から、入力画像の特性を表現するベクトルである入力画像特徴を抽出する入力画像特徴抽出手段と、
前記入力画像特徴を、前記画像・付加情報関係モデルに与え、前記入力画像との類似性の高い付加情報を選択して提示する画像認識手段と
を更に備えることを特徴とする請求項1または2に記載の半教師画像認識検索装置。 - 与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像処理装置において用いられる半教師画像処理方法であって、
蓄積画像特徴抽出手段が、付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出過程と、
蓄積付加情報特徴抽出手段が、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出過程と、
蓄積潜在変数抽出手段が、前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出過程と、
画像・付加情報間関係性学習手段が、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習過程と
を含むことを特徴とする半教師画像認識検索方法。 - 前記画像・付加情報間関係性学習過程は、
前記蓄積潜在変数集合から、潜在変数の構造を記述するモデルである潜在変数モデルを学習する潜在変数モデル学習過程と、
前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、及び前記蓄積潜在変数集合から、画像と潜在変数との関係性を記述するモデルである画像・潜在変数関係モデルを学習する画像・潜在変数関係モデル学習過程と、
前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、付加情報と潜在変数との関係性を記述するモデルである付加情報・潜在変数関係モデルを学習する付加情報・潜在変数関係モデル学習過程と
を更に含み、
前記画像・付加情報間関係性学習手段は、前記画像・付加情報間関係性学習過程において、前記潜在変数モデル、前記画像・潜在変数関係モデル、及び前記付加情報・潜在変数関係モデルを合わせて、画像・付加情報関係モデルとして出力する
ことを特徴とする請求項5に記載の半教師画像認識検索方法。 - 入力付加情報特徴抽出手段が、入力付加情報から、入力付加情報の特性を表現するベクトルである入力付加情報特徴を抽出する入力付加情報特徴抽出過程と、
画像検索手段が、前記入力付加情報特徴を、前記画像・付加情報関係モデルに与え、蓄積画像集合から類似性の高い画像を選択して提示する画像検索過程と
を更に含むことを特徴とする請求項5または6に記載の半教師画像認識検索方法。 - 入力画像特徴抽出手段が、入力画像から、入力画像の特性を表現するベクトルである入力画像特徴を抽出する入力画像特徴抽出過程と、
画像認識手段が、前記入力画像特徴を、前記画像・付加情報関係モデルに与え、前記入力画像との類似性の高い付加情報を選択して提示する画像認識過程と
を更に含むことを特徴とする請求項5または6に記載の半教師画像認識検索方法。 - 与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像認識検索装置としてのコンピュータに実行させるプログラムであって、
蓄積画像特徴抽出手段が、付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出ステップと、
蓄積付加情報特徴抽出手段が、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出ステップと、
蓄積潜在変数抽出手段が、前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出ステップと、
画像・付加情報間関係性学習手段が、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習ステップと
を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009133111A JP5197492B2 (ja) | 2009-06-02 | 2009-06-02 | 半教師画像認識検索装置、半教師画像認識検索方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009133111A JP5197492B2 (ja) | 2009-06-02 | 2009-06-02 | 半教師画像認識検索装置、半教師画像認識検索方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010282275A JP2010282275A (ja) | 2010-12-16 |
JP5197492B2 true JP5197492B2 (ja) | 2013-05-15 |
Family
ID=43538976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009133111A Expired - Fee Related JP5197492B2 (ja) | 2009-06-02 | 2009-06-02 | 半教師画像認識検索装置、半教師画像認識検索方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5197492B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5499361B2 (ja) * | 2010-07-14 | 2014-05-21 | 日本電信電話株式会社 | 半教師トピックモデル学習装置、半教師トピックモデル学習方法及びプログラム |
JP5499362B2 (ja) * | 2010-07-14 | 2014-05-21 | 日本電信電話株式会社 | 半教師信号認識検索装置、半教師信号認識検索方法及びプログラム |
US11537930B2 (en) | 2013-03-04 | 2022-12-27 | Nec Corporation | Information processing device, information processing method, and program |
JP6712796B2 (ja) * | 2015-11-10 | 2020-06-24 | 国立大学法人 東京大学 | 画像を媒介した異言語文書間の学習法及び装置、言語横断文書検索方法及び装置 |
-
2009
- 2009-06-02 JP JP2009133111A patent/JP5197492B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010282275A (ja) | 2010-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108875074B (zh) | 基于交叉注意力神经网络的答案选择方法、装置和电子设备 | |
US8232996B2 (en) | Image learning, automatic annotation, retrieval method, and device | |
CN110659665B (zh) | 一种异维特征的模型构建方法及图像识别方法、装置 | |
WO2018196718A1 (zh) | 图像消歧方法、装置、存储介质和电子设备 | |
Gong et al. | Machine learning for multimedia content analysis | |
CN110837846A (zh) | 一种图像识别模型的构建方法、图像识别方法及装置 | |
CN110598603A (zh) | 人脸识别模型获取方法、装置、设备和介质 | |
CN112434134B (zh) | 搜索模型训练方法、装置、终端设备及存储介质 | |
JP5197492B2 (ja) | 半教師画像認識検索装置、半教師画像認識検索方法、及びプログラム | |
CN113761124A (zh) | 文本编码模型的训练方法、信息检索方法及设备 | |
CN114090401B (zh) | 处理用户行为序列的方法及装置 | |
CN117473071B (zh) | 数据检索方法、装置、设备及计算机可读介质 | |
CN114925702A (zh) | 文本相似度识别方法、装置、电子设备及存储介质 | |
CN113204679B (zh) | 一种代码查询模型的生成方法和计算机设备 | |
JP2010282276A (ja) | 映像認識理解装置、映像認識理解方法、及びプログラム | |
Arica et al. | A shape descriptor based on circular Hidden Markov Model | |
CN117009599A (zh) | 数据检索方法、装置、处理器及电子设备 | |
Perdana et al. | Instance-based deep transfer learning on cross-domain image captioning | |
JP5499362B2 (ja) | 半教師信号認識検索装置、半教師信号認識検索方法及びプログラム | |
WO2010134539A1 (ja) | 特徴量生成装置、特徴量生成方法および特徴量生成プログラム、ならびにクラス判別装置、クラス判別方法およびクラス判別プログラム | |
Aly et al. | Scaling object recognition: Benchmark of current state of the art techniques | |
CN113609355B (zh) | 一种基于动态注意力与图网络推理的视频问答系统、方法、计算机及存储介质 | |
JP2013105393A (ja) | 映像付加情報関係性学習装置、方法、及びプログラム | |
JP5499361B2 (ja) | 半教師トピックモデル学習装置、半教師トピックモデル学習方法及びプログラム | |
CN113569867A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121030 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5197492 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |