JP6387290B2 - 画像検索装置、画像登録装置、画像特徴選択装置、方法、及びプログラム - Google Patents

画像検索装置、画像登録装置、画像特徴選択装置、方法、及びプログラム Download PDF

Info

Publication number
JP6387290B2
JP6387290B2 JP2014242370A JP2014242370A JP6387290B2 JP 6387290 B2 JP6387290 B2 JP 6387290B2 JP 2014242370 A JP2014242370 A JP 2014242370A JP 2014242370 A JP2014242370 A JP 2014242370A JP 6387290 B2 JP6387290 B2 JP 6387290B2
Authority
JP
Japan
Prior art keywords
image
pattern
feature
extracted
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014242370A
Other languages
English (en)
Other versions
JP2016103235A (ja
Inventor
和彦 村崎
和彦 村崎
数藤　恭子
恭子 数藤
行信 谷口
行信 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014242370A priority Critical patent/JP6387290B2/ja
Publication of JP2016103235A publication Critical patent/JP2016103235A/ja
Application granted granted Critical
Publication of JP6387290B2 publication Critical patent/JP6387290B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、画像検索装置、画像登録装置、画像特徴選択装置、方法、及びプログラムに係り、特に、衣服の領域を含む画像を検索するための画像検索装置、画像登録装置、画像特徴選択装置、方法、及びプログラムに関する。
服飾ショッピングサイトなどで効率的に所望の商品を検索するために、撮影画像や商品画像に基づく類似柄の検索技術の研究が取り組まれている。
衣服画像から柄の類似した画像を検索する技術としては、非特許文献１のような画像の衣服部分から得られる画像特徴に基づいて特徴ベクトルの類似性から求めるものが一般的である。衣服に描かれた柄の類似性を評価する場合、画像から柄の部分を抽出する必要が生じるが、その抽出方法としてはクエリ画像中の衣服領域の位置をあらかじめ決めておき、固定された領域から画像特徴を得る方法（非特許文献１）や、衣服や人体のパーツ検出器を学習し、検出されたパーツに基づいて対応する服の領域を得る方法（非特許文献２）がある。
S. Miura, K. Aizawa, "H-026 snapper : Fashion Coordinate Image Retrieval using Fashion Snap Photos", 情報科学技術フォーラム講演論文集, 12(3), p.151-152, 2013. S. Liu, T. Nguyen, J. Feng, M. Wang, S. Yan, "Hi, Magic Closet, Tell Me What to Wear!", In Proc. of ACM MM, pp.1333-1334, 2012.
従来技術では、類似柄の検索に用いる柄の写る領域を、予め決められた領域によって抽出する（非特許文献１）、もしくは人体のパーツ検出に基づいて対応する位置を抽出するなどしていたが、固定された領域で抽出する場合はもちろん、パーツ検出器に基づく抽出であっても、多様な服の種類、被写体の状況を対象とした場合、柄が特徴的に表れている部分を選択的に抽出することは難しい。これは、服の種類によって柄が付与される領域が異なっていることや、服を着ている人物の姿勢によって服領域の見え方が異なることが原因である。
本発明では、上記問題点を解決するために成されたものであり、衣服の柄を含む画像を精度よく検索することができる画像検索装置、方法、及びプログラムを提供することを目的とする。
また、衣服の柄を精度よく検索するためのデータベースを生成することができる画像登録装置、方法、及びプログラムを提供することを目的とする。
また、衣服の柄を精度よく検索するためのパターンを抽出することができる画像特徴選択装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、第１の発明に係る画像検索装置は、衣服の領域を含む複数の参照用画像から、衣服の領域を含むクエリ画像と類似する前記参照用画像を検索する画像検索装置であって、前記クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される前記支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出する柄領域抽出部と、前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出する選択特徴抽出部と、前記選択特徴抽出部によって抽出された前記画像特徴に基づいて、前記参照用画像と前記参照用画像から抽出された前記画像特徴との組み合わせを複数記憶した衣服画像データベースから、前記クエリ画像と類似する前記参照用画像を検索する類似特徴検索部と、を含んで構成されている。
第２の発明に係る画像検索方法は、柄領域抽出部と、選択特徴抽出部と、類似特徴検索部とを含み、衣服の領域を含む複数の参照用画像から、衣服の領域を含むクエリ画像と類似する前記参照用画像を検索する画像検索装置のおける画像検索方法であって、前記柄領域抽出部が、前記クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される前記支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出し、前記選択特徴抽出部が、前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出し、前記類似特徴検索部が、前記選択特徴抽出部によって抽出された前記画像特徴に基づいて、前記参照用画像と前記参照用画像から抽出された前記画像特徴との組み合わせを複数記憶した衣服画像データベースから、前記クエリ画像と類似する前記参照用画像を検索する。
第１及び第２の発明によれば、柄領域抽出部により、クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた柄クラスの複数の柄領域から抽出される支配的特徴セットで共通する共通特徴セットに基づいて、柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出する。
そして、選択特徴抽出部により、柄領域抽出部によって抽出された柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出する。
そして、類似特徴検索部により、選択特徴抽出部によって抽出された画像特徴に基づいて、参照用画像と参照用画像から抽出された画像特徴との組み合わせを複数記憶した衣服画像データベースから、クエリ画像と類似する参照用画像を検索する。
このように、クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を、衣服の柄領域として抽出し、抽出された柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、抽出された画像特徴に基づいて、衣服画像データベースから、クエリ画像と類似する参照用画像を検索することにより、衣服の柄を含む画像を精度よく検索することができる。
第３の発明に係る画像登録装置は、衣服の領域を含む参照用画像を衣服画像データベースに登録する画像登録装置であって、前記参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される前記支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出する柄領域抽出部と、前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出し、前記参照用画像と前記画像特徴との組み合わせを衣服画像データベースに登録する選択特徴抽出部と、を含んで構成されている。
第４の発明に係る画像登録方法は、柄領域抽出部と、選択特徴抽出部とを含み、衣服の領域を含む参照用画像を衣服画像データベースに登録する画像登録装置における画像登録方法であって、前記柄領域抽出部が、前記参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される前記支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出し、前記選択特徴抽出部が、前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出し、前記参照用画像と前記画像特徴との組み合わせを衣服画像データベースに登録する。
第３及び第４の発明によれば、柄領域抽出部により、参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた柄クラスの複数の柄領域から抽出される支配的特徴セットで共通する共通特徴セットに基づいて、柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を、衣服の柄領域として抽出する。
そして、選択特徴抽出部により、柄領域抽出部によって抽出された柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、参照用画像と画像特徴との組み合わせを衣服画像データベースに登録する。
このように、参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を衣服の柄領域として抽出し、衣服の柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、参照用画像と画像特徴との組み合わせを衣服画像データベースに登録することにより、衣服の柄を精度よく検索するためのデータベースを生成することができる。
第５の発明に係る画像特徴選択装置は、衣服の領域を含む複数の学習用画像であって、かつ衣服の柄クラスが予め付与された複数の学習用画像の各々に対し、前記学習用画像の衣服の柄領域に含まれる画素の各々について局所的なテクスチャパターンを抽出する画像特徴抽出部と、前記複数の学習用画像の各々に対し、前記画像特徴抽出部によって抽出された前記局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出する支配的特徴抽出部と、前記柄クラスが同一の学習用画像集合の各々に対し、前記学習用画像集合から抽出された支配的特徴セットで共通する前記局所的なテクスチャパターンを取り出し、前記学習用画像集合の各々に対して取り出された前記局所的なテクスチャパターンの和集合を、前記柄クラスと関連する前記局所的なテクスチャパターンとして抽出する選択特徴統合部と、を含んで構成されている。
第６の発明の係る画像特徴選択方法は、画像特徴抽出部と、支配的特徴抽出部と、選択特徴統合部とを含む画像特徴選択装置における画像特徴選択方法であって、前記画像特徴抽出部が、衣服の領域を含む複数の学習用画像であって、かつ衣服の柄クラスが予め付与された複数の学習用画像の各々に対し、前記学習用画像の衣服の柄領域に含まれる画素の各々について局所的なテクスチャパターンを抽出し、前記支配的特徴抽出部が、前記複数の学習用画像の各々に対し、前記画像特徴抽出部によって抽出された前記局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出し、前記選択特徴統合部が、前記柄クラスが同一の学習用画像集合の各々に対し、前記学習用画像集合から抽出された支配的特徴セットで共通する前記局所的なテクスチャパターンを取り出し、前記学習用画像集合の各々に対して取り出された前記局所的なテクスチャパターンの和集合を、前記柄クラスと関連する前記局所的なテクスチャパターンとして抽出する。
第５及び第６の発明によれば、画像特徴抽出部が、衣服の領域を含む複数の学習用画像であって、かつ衣服の柄クラスが予め付与された複数の学習用画像の各々に対し、学習用画像の衣服の柄領域に含まれる画素の各々について局所的なテクスチャパターンを抽出する。
そして、支配的特徴抽出部が、複数の学習用画像の各々に対し、画像特徴抽出部によって抽出された局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出する。
そして、選択特徴統合部が、柄クラスが同一の学習用画像集合の各々に対し、学習用画像集合から抽出された支配的特徴セットで共通する局所的なテクスチャパターンを取り出し、学習用画像集合の各々に対して取り出された局所的なテクスチャパターンの和集合を、柄クラスと関連する局所的なテクスチャパターンとして抽出する。
このように、複数の学習用画像の各々に対して抽出された局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出し、衣服の柄クラスが同一の学習用画像集合の各々に対し、学習用画像集合から抽出された支配的特徴セットで共通する局所的なテクスチャパターンを取り出し、学習用画像集合の各々に対して取り出された局所的なテクスチャパターンの和集合を、柄クラスと関連する局所的なテクスチャパターンとして抽出することにより、衣服の柄を精度よく検索するためのパターンを抽出することができる。
また、本発明のプログラムは、コンピュータを、上記の画像検索装置、画像登録装置及び画像特徴選択装置を構成する各部として機能させるためのプログラムである。
以上説明したように、本発明の画像検索装置、方法、及びプログラムによれば、クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を、衣服の柄領域として抽出し、抽出された柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、抽出された画像特徴に基づいて、衣服画像データベースから、クエリ画像と類似する参照用画像を検索することにより、衣服の柄を含む画像を精度よく検索することができる、という効果が得られる。
また、本発明の画像登録装置、方法、及びプログラムによれば、参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を衣服の柄領域として抽出し、衣服の柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、参照用画像と画像特徴との組み合わせを衣服画像データベースに登録することにより、衣服の柄を含む画像を精度よく検索するためのデータベースを生成することができる、という効果が得られる。
また、本発明の画像特徴選択装置、方法、及びプログラムによれば、複数の学習用画像の各々に対して抽出された局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出し、衣服の柄クラスが同一の学習用画像集合の各々に対し、学習用画像集合から抽出された支配的特徴セットで共通する局所的なテクスチャパターンを取り出し、学習用画像集合の各々に対して取り出された局所的なテクスチャパターンの和集合を、柄クラスと関連する局所的なテクスチャパターンとして抽出することにより、衣服の柄を含む画像を精度よく検索するための画像特徴を抽出することができる、という効果が得られる。
本発明の実施の形態に係る画像特徴選択装置の機能的構成を示すブロック図である。 ＬＢＰ特徴を算出する例を示す図である。 特徴選択パラメータＧを抽出する例を示す図である。 本発明の実施の形態に係る画像登録装置の機能的構成を示すブロック図である。 衣服の領域と柄領域の候補領域とを検出する例を示す図である。 本発明の実施の形態に係る画像検索装置の機能的構成を示すブロック図である。 本発明の実施の形態に係る画像特徴選択装置における画像特徴選択処理ルーチンのフローチャートを示す図である。 本発明の実施の形態に係る画像登録装置における画像登録処理ルーチンのフローチャートを示す図である。 本発明の実施の形態に係る画像検索装置における画像検索処理ルーチンのフローチャートを示す図である。 実施例の結果の例を示す図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本発明の原理＞
まず、本発明の実施の形態に係る画像特徴選択装置、画像登録装置、及び画像検索装置についての原理について説明する。
本実施の形態では、衣服の領域を含む画像について、認識すべき衣服の柄のクラスを限定し、衣服の柄のクラスを表す柄クラスに固有の画像特徴を設計することで、上述の課題を解決する。
本実施の形態では、類似の柄を検索する際に、画像中の大まかな衣服の領域については、衣服の領域を検出する検出器ベースのアプローチを用いて衣服の領域の絞り込みを行い、絞り込まれた衣服の領域内のいくつかの柄領域の候補領域から、柄クラスに固有の画像特徴を多く含む領域をクエリ領域として採用する。
また、柄クラスに固有の画像特徴の記述については、非特許文献３（Y. Guo, G. Zhao, M. Pietikaeinen, “Discriminative features for texture description” Pattern Recognition, 45(10), p.3834-3843, 2012）で提案されるような局所画像特徴による識別問題のための特徴選択手法を用いることができる。衣服の領域を含む画像に対して、予め定義された柄クラスのラベル付けを行い、各柄クラスに固有の局所特徴セットを獲得する。そして、類似の柄を検索する際には、検出器によって絞り込まれた衣服の領域内の柄の候補領域から、いずれかの柄クラスの固有特徴セットを最も網羅的に含む領域を、クエリ領域として用いる。
また、選択された柄クラスに固有の画像特徴を、検索時の類似度評価においても用いることで、同一の柄クラスが類似の柄として提示されやすい、という良い結果を得ることができる。
次に、本実施の形態に係る画像特徴選択装置、画像登録装置、及び画像検索装置の構成について説明する。本実施の形態においては、特に、衣服の領域を含む画像の検索を行うための画像特徴選択装置、画像登録装置、及び画像検索装置を適用する場合について説明する。また、本実施の形態においては、局所的なテクスチャパターンを取り出す画像特徴としては、例えば、ＬＢＰ画像特徴を用いる。
画像特徴選択装置においては、衣服の柄のクラスを表す柄クラスのラベルが予め付与された複数の学習用画像を用いて、柄クラスに固有の特徴を選択する。
画像登録装置においては、参照用画像から衣服を含む部分を検出し、検出された衣服の領域から、画像特徴選択装置において選択された画像特徴を用いて、柄クラスに固有の特徴を網羅的に含む領域を、衣服の柄を表す柄領域として抽出する。そして、画像登録装置は、抽出された柄領域から得られる画像特徴と共に、参照用画像を衣服画像データベースへ登録する。
画像検索装置においては、クエリ画像から衣服を含む部分を検出し、検出された衣服の領域から、画像特徴選択装置において選択された画像特徴を用いて、柄クラスに固有の特徴を網羅的に含む領域を、衣服の柄を表す柄領域として抽出する。そして、画像検索装置は、抽出された柄領域から得られる画像特徴に基づいて、衣服画像データベースから、クエリ画像と類似する参照用画像の検索を行う。
＜本発明の実施の形態に係る画像特徴選択装置の構成＞
まず、本発明の実施の形態に係る画像特徴選択装置の構成について説明する。図１に示すように、本発明の実施の形態に係る画像特徴選択装置１００は、ＣＰＵと、ＲＡＭと、後述する画像特徴選択処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像特徴選択装置１００は、機能的には図１に示すように入力部１０と、提示部１２と、柄領域入力部１４と、演算部２０と、出力部９０とを備えている。
入力部１０は、衣服の領域を含む複数の学習用画像を受け付け、画像記憶部２２に記憶する。学習用画像には衣服の柄のクラスを表す柄クラスが予め付与されている。入力部１０は、学習用画像の各々に予め付与された柄クラスを、柄クラスデータとして受け付け、柄クラスデータ記憶部３４に記憶する。なお、柄クラスデータ記憶部３４に記憶されている柄クラスデータの各々は、対応する学習用画像の各々と対応づけられて記憶されている。
提示部１２は、後述する学習用柄領域抽出部２８によって出力された学習用画像をユーザに提示する。
柄領域入力部１４は、提示部１２によって提示された学習用画像に対し、ユーザによって入力された、当該学習用画像内の衣服の柄領域の情報を受け付ける。具体的には、後述する衣服検出部２４によって検出された衣服の領域の中から、主に柄を含む領域をユーザによる手作業によって確認し、ユーザによって指定された衣服の柄領域の情報を受け付ける。
演算部２０は、画像記憶部２２と、衣服検出部２４と、画像正規化部２６と、学習用柄領域抽出部２８と、画像特徴抽出部３０と、支配的特徴抽出部３２と、柄クラスデータ記憶部３４と、選択特徴統合部３６と、特徴選択パラメータ記憶部３８と、を備えている。
画像記憶部２２には、入力部１０によって受け付けた複数の学習用画像が記憶されている。
衣服検出部２４は、画像記憶部２２に記憶されている学習用画像の各々に対し、当該学習用画像から衣服の領域を検出する。
具体的には、衣服検出部２４は、学習用画像中の衣服が写っている領域の位置を検出する。衣服の領域を検出する方法として、例えばDeformable Part Model（非特許文献４：P. Felzenszwalb, D. McAllester, D. Ramanan “A discriminatively trained, multiscale, deformable part model”, In Proc. of CVPR, pp.1-8, 2008.）を用いることができる。上記非特許文献４に示すような汎用的な物体の検出器を用いる場合、物体の見えを学習するための学習用の画像が必要となるため、衣服検出のための衣服の領域を手作業によって指定した学習用の画像を別途用意し、検出器を予め学習させておく。
画像正規化部２６は、画像記憶部２２に記憶されている学習用画像の各々に対し、衣服検出部２４によって検出された衣服の領域を用いて、学習用画像の画像サイズを調整し、正規化を行う。具体的には、画像正規化部２６は、衣服領域の横幅を一定値にするよう学習用画像全体をスケーリングする。
学習用柄領域抽出部２８は、画像記憶部２２に記憶されている学習用画像の各々に対し、画像正規化部２６によって正規化された学習用画像から、衣服の柄領域を抽出する。ここで、柄領域の抽出は人手によって行う。学習用柄領域抽出部２８は、画像正規化部２６によって正規化された学習用画像を提示部１２へ出力し、柄領域入力部１４によって受け付けた柄領域の情報に基づいて、正規化された学習用画像から、衣服の柄領域を抽出する。
画像特徴抽出部３０は、画像記憶部２２に記憶されている学習用画像の各々に対し、学習用柄領域抽出部２８によって抽出された、学習用画像の衣服の柄領域に含まれる画素の各々について、局所的なテクスチャパターンを抽出する。
具体的には、画像特徴抽出部３０は、学習用柄領域抽出部２８によって抽出された柄領域から、局所的なテクスチャパターンとして、Local Binary Pattern（ＬＢＰ）特徴を抽出する。本実施の形態では、衣服の柄を精度良く認識するために局所的なテクスチャパターンを捉える特徴量としてＬＢＰ特徴を用いるが、必ずしもＬＢＰ特徴でなくても良い。ＬＢＰ特徴は、図２に示されるように、注目画素と周辺画素との輝度値の比較を２値コード化したものであり、局所的なテクスチャパターンである。具体的には、まず、画像特徴抽出部３０は、学習用画像における柄領域に含まれる各画素について、注目画素と周辺画素との関係から１つのＬＢＰ特徴を以下の式（１）に従って算出する。
ここで、上記式（１）におけるｇｃのｃは注目画素であり、ｇｃは注目画素の輝度値である。また、ｇｐのｐは参照画素であり、ｇｐは参照画素の輝度値である。Ｐは参照点数であり、Ｒは半径を示し、参照画素ｐは、半径Ｒの円周上をＰ点に分割した画素として取得する。なお、ｐ＝０となる画素の位置と、ｐの値が増加する方向、及び位置とは予め定められているものとする。また、注目画素ｃの周辺画素としてＰ個の参照画素が存在しない場合には、当該注目画素ｃについては、ＬＢＰ特徴を算出しない。
次に、画像特徴抽出部３０は、学習用画像における柄領域の各画素について取得されたＬＢＰ特徴に基づいて、ＬＢＰ特徴のヒストグラムを作成し、当該ＬＢＰ特徴のヒストグラムを画像のＬＢＰ特徴ヒストグラムとする。
支配的特徴抽出部３２は、画像記憶部２２に記憶されている学習用画像の各々に対し、画像特徴抽出部３０によって抽出されたＬＢＰ特徴のうち、頻出するＬＢＰ特徴の各々を支配的特徴セットとして抽出する。
具体的には、支配的特徴抽出部３２は、学習用画像の各々に対し、画像特徴抽出部３０によって生成された学習用画像についてのＬＢＰ特徴ヒストグラムにおいて、ＬＢＰ特徴の検出量が大きい順に支配的特徴セットに加えていき、加算した値の総和が全体の一定割合に到達したところで加算を終了し、取得されたＬＢＰ特徴の組み合わせを学習用画像ｉの支配的特徴セットＤｉとする。
ここで、ＬＢＰ特徴には様々な形態があり、そのパラメータによっていくつかの種類のＬＢＰ特徴を設計することができるが、この支配的特徴抽出は設計されたＬＢＰ特徴毎に独立して実行する。ここで画像ｉから得られた支配的特徴セットをＤｉとする。ＤｉはＬＢＰ特徴の集合である。
柄クラスデータ記憶部３４には、入力部１０において受け付けた学習用画像の各々に対応した柄クラスデータが、学習用画像に対応づけられて記憶されている。本実施の形態においては、当該学習用画像に含まれる衣服の領域の柄のクラスを表す柄クラスを、当該学習用画像に対応する柄クラスデータとする。
選択特徴統合部３６は、図３に示されるように、支配的特徴抽出部３２により取得された各学習用画像ｉの支配的特徴セットＤｉから、画像検索に有用な特徴であるＬＢＰ特徴を特徴選択パラメータＧとして抽出する。
具体的には、選択特徴統合部３６は、学習用画像の各々についての支配的特徴セットＤｉから、類似する柄を含む画像の検索に有用な特徴をさらに抽出する。図３に示されるように、選択特徴統合部３６は、まず、柄クラスデータ記憶部３４に記憶された柄クラスデータを用いて、同一の柄クラスの学習用画像集合に対応する支配的特徴セット群から、共通部分を取り出し、以下の式（２）に示すように各柄クラスの共通特徴セットＬｃを算出し、特徴選択パラメータ記憶部３８に記憶する。
ここで、Ｉ（ｃ）は、柄クラスｃに含まれる学習用画像集合を示す。次に、選択特徴統合部３６は、以下の式（３）に従って、全ての柄クラスで得られた共通特徴セットの論理和を取り、同一の柄クラスの学習用画像集合の各々に対して取り出された共通特徴セットＬｃの和集合を、推定に用いる特徴選択パラメータＧとして取得し、出力部９０に出力すると共に、特徴選択パラメータ記憶部３８に記憶する。なお、特徴選択パラメータＧは、柄クラスと関連するＬＢＰ特徴の集合である。
出力部９０は、選択特徴統合部３６によって出力された特徴選択パラメータＧを結果として出力する。
＜本発明の実施の形態に係る画像登録装置の構成＞
次に、本発明の実施の形態に係る画像登録装置の構成について説明する。画像登録装置は、衣服の領域を含む参照用画像を衣服画像データベースに登録する。図４に示すように、実施の形態に係る画像登録装置２００は、ＣＰＵと、ＲＡＭと、後述する画像登録処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像登録装置２００は、機能的には図４に示すように入力部２１０と、演算部２２０と、出力部２９０とを備えている。
入力部２１０は、衣服の領域を含む参照用画像を受け付ける。
演算部２２０は、衣服検出部２２４と、画像正規化部２２６と、特徴選択パラメータ記憶部２２８と、柄領域抽出部２３０と、選択特徴抽出部２３２と、衣服画像データベース２３４とを備えている。
衣服検出部２２４は、入力部２１０によって受け付けた参照用画像について、本実施の形態に係る画像特徴選択装置１００の衣服検出部２４と同様に、当該参照用画像から衣服の領域を検出する。
画像正規化部２２６は、入力部２１０によって受け付けた参照用画像について、本実施の形態に係る画像特徴選択装置１００の画像正規化部２６と同様に、衣服検出部２４によって検出した衣服の領域を用いて、参照用画像の画像サイズを調整し、正規化を行う。画像正規化部２２６は、検索対象となる参照用画像の各々に対して、衣服の領域の検出と検出された衣服の領域に応じた画像サイズの正規化を行う。
特徴選択パラメータ記憶部２２８には、上記画像特徴選択装置１００の特徴選択パラメータ記憶部３８に記憶されている、各柄クラスの共通特徴セットＬｃ及び特徴選択パラメータＧと同一の、各柄クラスの共通特徴セットＬｃ及び特徴選択パラメータＧが記憶されている。
柄領域抽出部２３０は、入力部２１０によって受け付けた参照用画像について、画像正規化部２２６によって正規化された参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、候補領域に含まれる画素の各々について取得されるＬＢＰ特徴のうち、頻出するＬＢＰ特徴の各々を、候補領域に対応する支配的特徴セットとして抽出する。
柄領域抽出部２３０は、検出された衣服の領域から柄の検索に有用な領域の抽出を行う。具体的には、柄領域抽出部２３０は、まず、検出された衣服の領域に対して、図５に示されるように、柄領域を多く含むことが予想される候補領域を設定する。例えば、柄領域抽出部２３０は、図５に示されるように、衣服検出部２２４における検出器が衣服の領域の外接矩形を検出する検出器であった場合、衣服の領域の中心付近から候補領域を設定すると良い。当然、多様な検出結果に対応するために、検出された衣服の領域から候補領域を網羅的に取得しても良いし、候補領域は矩形である必要はなく任意形状を対象とすることができる。
次に、柄領域抽出部２３０は、得られた各候補領域について、特徴選択パラメータ記憶部２２８に記憶された各柄クラスｃの共通特徴セットＬｃに基づいて、各柄クラスに固有な特徴の網羅数を算出する。候補領域ｊから得られる支配的特徴セットＤｊに対して各柄クラスの共通特徴セットＬｃが何個含まれているかを算出し、最も網羅的に含まれている領域ｊ＾を柄領域として抽出する。
ここで、Ｎｕｍ（・）は集合の要素数を示す関数である。上記式（４）を満たす候補領域が複数存在する場合は、支配的特徴セットの出現数がより多い方を採用する。
選択特徴抽出部２３２は、柄領域抽出部２３０によって抽出された柄領域に含まれる画素の各々について取得されるＬＢＰ特徴であって、かつ、特徴選択パラメータ記憶部３２８に格納されたＬＢＰ特徴についてのＬＢＰ特徴ヒストグラムを、柄領域の画像特徴として抽出する。そして、選択特徴抽出部２３２は、参照用画像と画像特徴との組み合わせを衣服画像データベースに登録する。
選択特徴抽出部２３２は、柄領域抽出部２３０によって抽出された柄領域から、ＬＢＰ特徴を抽出する。この際、選択特徴抽出部２３２は、抽出するＬＢＰ特徴として、特徴選択パラメータ記憶部２２８に記憶されている特徴選択パラメータＧのみを用いる。具体的には、選択特徴抽出部２３２は、予め定められた柄クラスと関連するＬＢＰ特徴として、特徴選択パラメータ記憶部２２８に記憶されている特徴選択パラメータＧを参照し、特徴選択パラメータＧに含まれるＬＢＰ特徴のみを抽出する。
そして、選択特徴抽出部２３２は、柄領域から抽出されたＬＢＰ特徴の数に基づいてＬＢＰ特徴ヒストグラムを作成し、生成されたＬＢＰ特徴ヒストグラムを参照用画像の画像特徴として、参照用画像と画像特徴との組み合わせを衣服画像データベース２３４に登録する。
衣服画像データベース２３４には、選択特徴抽出部２３２によって登録された、参照用画像と画像特徴との組み合わせが格納される。
出力部２９０は、選択特徴抽出部２３２によって出力された、参照用画像と画像特徴との組み合わせを結果として出力する。
なお、画像登録装置は、複数の参照用画像の各々について上記の処理を行い、参照用画像と画像特徴との組み合わせが複数登録された衣服画像データベース２３４を生成する。
＜本発明の実施の形態に係る画像検索装置の構成＞
次に、本発明の実施の形態に係る画像検索装置の構成について説明する。画像検索装置は、衣服の領域を含む複数の参照用画像から、衣服の領域を含むクエリ画像と類似する参照用画像を検索する。図６に示すように、本実施の形態に係る画像検索装置３００は、ＣＰＵと、ＲＡＭと、後述する画像検索処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像検索装置３００は、機能的には図６に示すように入力部３１０と、演算部３２０と、出力部３９０とを備えている。
入力部３１０は、衣服の領域を含むクエリ画像を受け付ける。
演算部３２０は、衣服検出部３２４と、画像正規化部３２６と、特徴選択パラメータ記憶部３２８と、柄領域抽出部３３０と、選択特徴抽出部３３２と、衣服画像データベース３３４と、類似特徴検索部３３６と、を備えている。
衣服検出部３２４は、入力部３１０によって受け付けたクエリ画像について、本実施の形態に係る画像特徴選択装置１００の衣服検出部２４と同様に、当該クエリ画像から衣服の領域を検出する。
画像正規化部３２６は、衣服検出部３２４によって検出された衣服の領域を用いて、本実施の形態に係る画像特徴選択装置１００の画像正規化部２６と同様に、クエリ画像の画像サイズを調整し、正規化を行う。
特徴選択パラメータ記憶部３２８には、本実施の形態に係る画像特徴選択装置１００の特徴選択パラメータ記憶部３８に記憶されている、各柄クラスの共通特徴セットＬｃ及び特徴選択パラメータＧと同一の、各柄クラスの共通特徴セットＬｃ及び特徴選択パラメータＧが記憶されている。
柄領域抽出部３３０は、入力部３１０によって受け付けたクエリ画像について、本実施の形態に係る画像登録装置２００の柄領域抽出部２３０と同様に、当該クエリ画像に含まれる柄領域を抽出する。
具体的には、柄領域抽出部３３０は、クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、候補領域に含まれる画素の各々について取得されるＬＢＰ特徴のうち、頻出するＬＢＰ特徴の各々を候補領域に対応する支配的特徴セットとして抽出する。
そして、柄領域抽出部３３０は、特徴選択パラメータ記憶部３２８に記憶されている各柄クラスの共通特徴セットＬｃに基づいて、柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通するＬＢＰ特徴の数が最大となる候補領域を、衣服の柄領域として抽出する。
選択特徴抽出部３３２は、柄領域抽出部３３０によって抽出されたクエリ画像の柄の領について、本実施の形態に係る画像登録装置２００の選択特徴抽出部２３２と同様に、柄領域抽出部３３０によって抽出された柄領域に含まれる画素の各々について取得されるＬＢＰ特徴であって、かつ、特徴選択パラメータ記憶部３２８に格納されたＬＢＰ特徴についてのＬＢＰ特徴ヒストグラムを、柄領域の画像特徴として抽出する。
選択特徴抽出部３３２は、柄領域抽出部３３０によって抽出された柄領域から、ＬＢＰ特徴を抽出する。この際、選択特徴抽出部３３２は、抽出するＬＢＰ特徴として、特徴選択パラメータ記憶部３２８に記憶されている特徴選択パラメータＧのみを用いる。具体的には、選択特徴抽出部３３２は、予め定められた柄クラスと関連するＬＢＰ特徴として、特徴選択パラメータ記憶部３２８に記憶されている特徴選択パラメータＧを参照し、特徴選択パラメータＧに含まれるＬＢＰ特徴のみを抽出する。
そして、選択特徴抽出部３３２は、柄領域から抽出されたＬＢＰ特徴の数に基づいてＬＢＰ特徴ヒストグラムを作成し、生成されたＬＢＰ特徴ヒストグラムをクエリ画像の画像特徴として抽出する。
衣服画像データベース３３４には、本実施の形態に係る画像登録装置２００の衣服画像データベース３３４に複数記憶されている参照用画像と画像特徴との組み合わせと同一の参照用画像と画像特徴との組み合わせが、複数記憶されている。
類似特徴検索部３３６は、選択特徴抽出部３３２によって生成された画像特徴に基づいて、衣服画像データベース３３４から、クエリ画像と類似する参照用画像を検索する。
具体的には、類似特徴検索部３３６は、画像特徴として得られたＬＢＰ特徴ヒストグラムを用いて、近傍のＬＢＰ特徴ヒストグラムを衣服画像データベース３３４より検索する。類似特徴検索部３３６は、クエリ画像のＬＢＰ特徴ヒストグラムと、衣服画像データベース３３４に格納された参照用画像のＬＢＰ特徴ヒストグラムとの距離を計算し、最も距離が近いものから順に対応する参照用画像を類似画像検索結果として出力する。クエリ画像のＬＢＰ特徴ヒストグラムと参照用画像のＬＢＰ特徴ヒストグラムとのヒストグラム間の距離指標は、ユークリッド距離、マンハッタン距離など様々な距離指標を用いることができる。また、近傍ヒストグラムの探索には、全てのＬＢＰ特徴ヒストグラムと距離を計算しても良いが、ハッシングなどの近似最近傍探索手法を用いても良い。
出力部３９０は、類似特徴検索部３３６によって出力された類似画像検索結果を結果として出力する。
＜本発明の実施の形態に係る画像特徴選択装置の作用＞
次に、本発明の実施の形態に係る画像特徴選択装置１００の作用について説明する。まず、入力部１０において、衣服の領域を含む複数の学習用画像を受け付け、画像記憶部２２に記憶する。また、入力部１０において、学習用画像の各々に対応した柄クラスデータを受け付け、柄クラスデータ記憶部３４に記憶する。そして、画像特徴選択装置１００は、画像記憶部２２から複数の学習用画像を読み込むと、図７に示す画像特徴選択処理ルーチンを実行する。
まず、ステップＳ１００では、柄クラスデータ記憶部３４に記憶されている、学習用画像の各々に対応する柄クラスデータの各々を読み込む。
次に、ステップＳ１０２では、読み込んだ複数の学習用画像から、処理対象となる学習用画像ｉを決定する。
次に、ステップＳ１０４では、衣服検出部２４によって、上記ステップＳ１０２で決定された学習用画像ｉから、衣服の領域を検出する。
次に、ステップＳ１０６では、画像正規化部２６によって、上記ステップＳ１０４で検出された衣服の領域に基づいて、学習用画像ｉの画像サイズを調整し、正規化する。
次に、ステップＳ１０８では、学習用柄領域抽出部２８によって、上記ステップＳ１０６で正規化された学習用画像ｉを提示部１２によりユーザに提示する。
次に、ステップＳ１１０では、柄領域入力部１４によりユーザによって指定された衣服の柄領域の情報を受け付け、学習用柄領域抽出部２８によって、学習用画像ｉから衣服の柄領域を抽出する。
次に、ステップＳ１１２では、上記ステップＳ１１０で抽出された柄領域に含まれる画素の内、処理対象となる画素を決定する。
次に、ステップＳ１１４では、上記ステップＳ１１２で決定された処理対象となる画素について、上記（１）式に従って、ＬＢＰ特徴を算出し、メモリ（図示省略）に記憶する。
次に、ステップＳ１１６では、上記ステップＳ１１０で抽出された柄領域に含まれる画素の全てについて上記ステップＳ１１４の処理を終了したか否かを判定する。柄領域に含まれる画素の全てについて上記ステップＳ１１４の処理を終了している場合には、ステップＳ１１８へ移行する。一方、柄領域に含まれる画素の全てについて上記ステップＳ１１４の処理を終了していない場合には、ステップＳ１１２へ移行し、処理対象となる別の画素を決定し、ステップＳ１１２〜ステップＳ１１４の処理を繰り返す。
次に、ステップＳ１１８では、上記ステップＳ１１４で算出した画素の各々についてのＬＢＰ特徴に基づいて、学習用画像ｉのＬＢＰ特徴ヒストグラムを作成する。
次に、ステップＳ１２０では、上記ステップＳ１１４で算出した、処理対象となる学習用画像ｉのＬＢＰ特徴の総和を算出する。
次に、ステップＳ１２２では、上記ステップＳ１１８で作成したＬＢＰ特徴ヒストグラムに基づいて、前回までのステップＳ１２４の処理対象となっておらず、かつ、ＬＢＰ特徴の検出量が一番大きいＬＢＰ特徴を、処理対象となるＬＢＰ特徴として決定する。
次に、ステップＳ１２４では、上記ステップＳ１２２で決定したＬＢＰ特徴の検出量の値を、初期値０又は前回の本ステップＳ１２４で加算された値に加算する。
次に、ステップＳ１２６では、上記ステップＳ１２４で算出された加算値が、上記ステップＳ１２０で算出されたＬＢＰ特徴の検出量の総和の一定割合を超えたか否かを判定する。上記ステップＳ１２４で算出された加算値が、上記ステップＳ１２０で算出されたＬＢＰ特徴の検出量の総和の一定割合を超えた場合には、ステップＳ１２８へ移行する。一方、ステップＳ１２４で算出された加算値が、上記ステップＳ１２０で算出されたＬＢＰ特徴の検出量の総和の一定割合以下である場合には、ステップＳ１２２へ移行し、処理対象となる別のＬＢＰ特徴を決定し、ステップＳ１２４〜ステップＳ１２６の処理を繰り返す。
次に、ステップＳ１２８では、上記ステップＳ１２２で決定されたＬＢＰ特徴の各々をまとめて、当該学習用画像ｉの支配的特徴セットＤｉと決定し、メモリ（図示省略）に記憶する。
次に、ステップＳ１３０では、処理対象となる全ての学習用画像ｉについてステップＳ１０２〜ステップＳ１２８までの処理を終了したか否かを判定する。処理対象となる全ての学習用画像ｉについてステップＳ１０２〜ステップＳ１２８までの処理を終了している場合には、ステップＳ１３２へ移行する。一方、処理対象となる全ての学習用画像ｉについてステップＳ１０２〜ステップＳ１２８までの処理を終了していない場合には、ステップＳ１０２へ移行し、処理対象となる別の学習用画像ｉを決定し、ステップＳ１０４〜ステップＳ１３０までの処理を繰り返す。
次に、ステップＳ１３２では、選択特徴統合部３６によって、上記ステップＳ１００で読み込まれた学習用画像ｉの各々についての柄クラスデータに基づいて、１つの柄クラスｃを設定する。
次に、ステップＳ１３４では、選択特徴統合部３６によって、上記ステップＳ１３２で設定された柄クラスｃに属する学習用画像集合に含まれる学習用画像の各々に対し、上記ステップＳ１２８で決定された学習用画像の支配的特徴セットを取得する。
次に、ステップＳ１３６では、選択特徴統合部３６によって、上記ステップＳ１３４で取得された柄クラスｃに属する学習用画像集合の支配的特徴セットの各々に基づいて、上記式（２）に従って、柄クラスが同一の学習用画像集合の各々に対し、学習用画像集合から抽出された支配的特徴セットで共通するＬＢＰ特徴として、共通特徴セットＬｃを算出する。また、選択特徴統合部３６によって、算出された柄クラスｃの共通特徴セットＬｃを特徴選択パラメータ記憶部３８に記憶する。
次に、ステップＳ１３８では、全ての柄クラスについて上記ステップＳ１３２〜ステップＳ１３６の処理を終了したか否かを判定する。全ての柄クラスについてステップＳ１３２〜ステップＳ１３６の処理を終了している場合には、ステップＳ１４０へ移行する。一方、全ての柄クラスについてステップＳ１３２〜ステップＳ１３６の処理を終了していない場合には、ステップＳ１３２へ移行し、別の柄クラスｃを設定し、ステップＳ１３４〜ステップＳ１３８の処理を繰り返す。
次に、ステップＳ１４０では、上記ステップＳ１３６で算出された各柄クラスの共通特徴セットＬｃに基づいて、上記式（３）に従って、特徴選択パラメータＧを算出する。
次に、ステップＳ１４２では、上記ステップＳ１４０で算出された特徴選択パラメータＧを特徴選択パラメータ記憶部３８に記憶する。
次に、ステップＳ１４４では、ステップＳ１４０で算出された特徴選択パラメータＧを出力部９０に出力して特徴選択処理ルーチンを終了する。
＜本発明の実施の形態に係る画像登録装置の作用＞
次に、本発明の実施の形態に係る画像登録装置２００の作用について説明する。事前に、入力部２１０において、画像特徴選択装置１００において取得した、各柄クラスｃの共通特徴セットＬｃ及び特徴選択パラメータＧを受け付け、特徴選択パラメータ記憶部２２８に記憶しておく。そして、入力部２１０において、参照用画像を受け付けると、画像登録装置２００は、図８に示す画像登録処理ルーチンを実行する。
まず、ステップＳ２００では、特徴選択パラメータ記憶部２２８に記憶されている各柄クラスｃの共通特徴セットＬｃ及び特徴選択パラメータＧを読み込む。
次に、ステップＳ２０２では、衣服検出部２２４によって、受け付けた参照用画像から衣服の領域を検出する。
次に、ステップＳ２０４では、画像正規化部２２６によって、受け付けた参照用画像について、上記ステップＳ２０２で検出した衣服の領域を用いて、参照用画像の画像サイズを調整し、正規化を行う。
次に、ステップＳ２０６では、柄領域抽出部２３０によって、上記ステップＳ２０４で正規化された参照用画像に含まれる、衣服の柄領域の候補を表す候補領域を設定する。
次に、ステップＳ２０８では、柄領域抽出部２３０によって、上記ステップＳ２０６で設定された候補領域の各々に対し、候補領域に含まれる画素の各々について取得されるＬＢＰ特徴のうち、頻出するＬＢＰ特徴の各々を、候補領域に対応する支配的特徴セットとして抽出する。
次に、ステップＳ２１０では、柄領域抽出部２３０によって、特徴選択パラメータ記憶部２２８に記憶された各柄クラスｃの共通特徴セットＬｃに基づいて、何れかの柄クラスの共通特徴セットと、上記ステップＳ２０８で抽出された支配的特徴セットとで共通するＬＢＰ特徴の数が最大となる候補領域を、衣服の柄領域として抽出する。
次に、ステップＳ２１２では、上記ステップＳ２１０で抽出された柄領域内の画素のうち、１つの画素を設定する。
次に、ステップＳ２１４では、選択特徴抽出部２３２によって、上記ステップＳ２１２で設定された画素について、局所的なテクスチャパターンとしてＬＢＰ特徴を算出する。
次に、ステップＳ２１６では、選択特徴抽出部２３２によって、上記ステップＳ２１４で算出されたＬＢＰ特徴が、上記ステップＳ２００で読み込まれた特徴選択パラメータＧに含まれているか否かを判定する。上記ステップＳ２１４で算出されたＬＢＰ特徴が、上記ステップＳ２００で読み込まれた特徴選択パラメータＧに含まれている場合には、ステップＳ２１８へ移行する。一方、上記ステップＳ２１４で算出されたＬＢＰ特徴が、上記ステップＳ２００で読み込まれた特徴選択パラメータＧに含まれていない場合には、ステップＳ２１２へ移行し、柄領域に含まれる別の画素を設定し、ステップＳ２１４〜ステップＳ２１６の処理を繰り返す。
次に、ステップＳ２１８では、選択特徴抽出部２３２によって、上記ステップＳ２１４で算出されたＬＢＰ特徴をメモリ（図示省略）に記憶する。
次に、ステップＳ２２０では、選択特徴抽出部２３２によって、上記ステップＳ２１０で抽出された柄領域に含まれる全ての画素について、上記ステップＳ２１２〜ステップＳ２１８の処理を終了したか否かを判定する。全ての画素についてステップＳ２１２〜ステップＳ２１８の処理を終了している場合には、ステップＳ２２２へ移行する。一方、全ての画素についてステップＳ２１２〜ステップＳ２１８の処理を終了していない場合には、ステップＳ２１２へ移行し、別の画素を設定し、ステップＳ２１４〜ステップＳ２２０の処理を繰り返す。
次に、ステップＳ２２２では、選択特徴抽出部２３２によって、上記ステップＳ２１８でメモリ（図示省略）に記憶されたＬＢＰ特徴の各々に基づいて、ＬＢＰ特徴ヒストグラムを画像特徴として作成する。
次に、ステップＳ２２４では、選択特徴抽出部２３２によって、上記ステップＳ２２２で作成された画像特徴と、参照画像とを衣服画像データベース２３４に登録する。
次に、ステップＳ２２６では、上記ステップＳ２２２で作成された画像特徴と、参照画像とを出力部２９０に出力して画像登録処理ルーチンを終了する。
なお、画像登録装置は、参照用画像を受け付ける毎に画像登録処理ルーチンを実行し、参照用画像と画像特徴との組み合わせが複数登録された衣服画像データベース２３４を生成する。
＜本発明の実施の形態に係る画像検索装置の作用＞
次に、本発明の実施の形態に係る画像検索装置３００の作用について説明する。まず、事前に入力部３１０において、画像特徴選択装置１００において取得した各柄クラスｃの共通特徴セットＬｃ及び特徴選択パラメータＧを受け付け、特徴選択パラメータ記憶部３２８に記憶し、また、入力部３１０において、画像登録装置２００の衣服画像データベース２３４に格納されている参照画像と画像特徴との複数の組み合わせを受け付け、衣服画像データベース３３４に記憶する。そして、入力部３１０において、クエリ画像を受け付けると、画像検索装置３００は、図９に示す画像検索処理ルーチンを実行する。
まず、ステップＳ３００では、特徴選択パラメータ記憶部３２８に記憶されている各柄クラスｃの共通特徴セットＬｃ及び特徴選択パラメータＧを読み込む。
次に、ステップＳ３０２では、衣服検出部３２４によって、受け付けたクエリ画像から衣服の領域を検出する。
次に、ステップＳ３０４では、画像正規化部３２６によって、受け付けたクエリ画像について、上記ステップＳ３０２で検出した衣服の領域を用いて、クエリ画像の画像サイズを調整し、正規化を行う。
次に、ステップＳ３０６では、柄領域抽出部３３０によって、上記ステップＳ３０４で正規化されたクエリ画像に含まれる、衣服の柄領域の候補を表す候補領域を設定する。
次に、ステップＳ３０８では、柄領域抽出部３３０によって、上記ステップＳ３０６で設定された候補領域の各々に対し、候補領域に含まれる画素の各々について取得されるＬＢＰ特徴のうち、頻出するＬＢＰ特徴の各々を、候補領域に対応する支配的特徴セットとして抽出する。
次に、ステップＳ３１０では、柄領域抽出部２３０によって、特徴選択パラメータ記憶部２２８に記憶された各柄クラスｃの共通特徴セットＬｃに基づいて、何れかの柄クラスの共通特徴セットと、上記ステップＳ２０８で抽出された支配的特徴セットとで共通するＬＢＰ特徴の数が最大となる候補領域を、衣服の柄領域として抽出する。
次に、ステップＳ３１２では、上記ステップＳ３１０で抽出された柄領域内の画素のうち、１つの画素を設定する。
次に、ステップＳ３１４では、選択特徴抽出部３３２によって、上記ステップＳ３１２で設定された画素について、局所的なテクスチャパターンとしてＬＢＰ特徴を算出する。
次に、ステップＳ３１６では、選択特徴抽出部３３２によって、上記ステップＳ３１４で算出されたＬＢＰ特徴が、上記ステップＳ３００で読み込まれた特徴選択パラメータＧに含まれているか否かを判定する。上記ステップＳ３１４で算出されたＬＢＰ特徴が、上記ステップＳ３００で読み込まれた特徴選択パラメータＧに含まれている場合には、ステップＳ３１８へ移行する。一方、上記ステップＳ３１４で算出されたＬＢＰ特徴が、上記ステップＳ３００で読み込まれた特徴選択パラメータＧに含まれていない場合には、ステップＳ３１２へ移行し、柄領域に含まれる別の画素を設定し、ステップＳ３１４〜ステップＳ３１６の処理を繰り返す。
次に、ステップＳ３１８では、選択特徴抽出部３３２によって、上記ステップＳ３１４で算出されたＬＢＰ特徴をメモリ（図示省略）に記憶する。
次に、ステップＳ３２０では、選択特徴抽出部３３２によって、上記ステップＳ３１０で抽出された柄領域に含まれる全ての画素について、上記ステップＳ３１２〜ステップＳ３１８の処理を終了したか否かを判定する。全ての画素についてステップＳ３１２〜ステップＳ３１８の処理を終了している場合には、ステップＳ３２２へ移行する。一方、全ての画素についてステップＳ３１２〜ステップＳ３１８の処理を終了していない場合には、ステップＳ３１２へ移行し、別の画素を設定し、ステップＳ３１４〜ステップＳ３２０の処理を繰り返す。
次に、ステップＳ３２２では、選択特徴抽出部２３２によって、上記ステップＳ３１８でメモリ（図示省略）に記憶されたＬＢＰ特徴の各々に基づいて、ＬＢＰ特徴ヒストグラムを画像特徴として作成する。
次に、ステップＳ３２４では、類似特徴検索部３３６によって、上記ステップＳ３２２で生成された画像特徴に基づいて、衣服画像データベース３３４から、クエリ画像と類似する参照用画像を検索する。
次に、ステップＳ３２６では、上記ステップＳ３２４で得られた類似画像検索結果を結果として出力して画像検索処理ルーチンを終了する。
＜実験例＞
図１０に、本実施の形態に係る画像検索装置３００によって得られる類似柄検索結果の一例を示す。図１０内の左側にクエリ画像、右側に検索結果画像を示しており、上列左から順に検索１位〜５位、下列左から順に６位〜１０位を示している。クエリ画像に含まれる柄と類似する柄を含む画像が検索されていることがわかる。
以上説明したように、本実施の形態に係る画像特徴選択装置によれば、複数の学習用画像の各々に対して抽出された局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出し、衣服の柄クラスが同一の学習用画像集合の各々に対し、学習用画像集合から抽出された支配的特徴セットで共通する局所的なテクスチャパターンを取り出し、学習用画像集合の各々に対して取り出された局所的なテクスチャパターンの和集合を、柄クラスと関連する局所的なテクスチャパターンとして抽出することにより、衣服の柄を含む画像を精度よく検索するための画像特徴を抽出することができる。
また、本実施の形態に係る画像登録装置によれば、参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を衣服の柄領域として抽出し、衣服の柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、参照用画像と画像特徴との組み合わせを衣服画像データベースに登録することにより、衣服の柄を含む画像を精度よく検索するためのデータベースを生成することができる。
また、本実施の形態に係る画像検索装置によれば、クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を、衣服の柄領域として抽出し、抽出された柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、抽出された画像特徴に基づいて、衣服画像データベースから、クエリ画像と類似する参照用画像を検索することにより、衣服の柄を含む画像を精度よく検索することができる。
また、服の種類や人の姿勢によらず柄が付与された領域を抽出し、柄が類似する衣服を提示することができる。
また、デジタルカメラによって撮影された衣服の領域を含む画像に対して、その柄領域を抽出し、類似した柄を持つ衣服画像を閲覧することができる。
また、オンラインショッピングのカタログの画像を用いて、閲覧している衣服の領域を含む画像と柄の類似した商品一覧などを取得することもできる。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、本実施の形態においては、局所的なテクスチャパターンとしてＬＢＰ特徴を用いる場合を例に説明したが、これに限定されるものではなく、他の特徴を局所的なテクスチャパターンとして用いてもよい。
また、本実施の形態においては、画像から抽出される柄領域の画像特徴としてＬＢＰ特徴ヒストグラムを用いる場合を例に説明したが、これに限定されるものではなく、他の特徴を柄領域の画像特徴として用いてもよい。
また、本実施の形態においては、画像特徴選択装置１００、画像登録装置２００、及び画像検索装置３００を別々の装置として構成する場合について説明したが、これに限定されるものではない。例えば、画像特徴選択装置１００と画像登録装置２００とを併せて画像登録装置として構成してもよく、画像特徴選択装置１００、画像登録装置２００、及び画像検索装置３００を１つの画像検索装置として構成してもよい。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
１０ 入力部
１２ 提示部
１４ 柄領域入力部
２０ 演算部
２２ 画像記憶部
２４ 衣服検出部
２６ 画像正規化部
２８ 学習用柄領域抽出部
３０ 画像特徴抽出部
３２ 支配的特徴抽出部
３４ 柄クラスデータ記憶部
３６ 選択特徴統合部
３８ 特徴選択パラメータ記憶部
９０ 出力部
１００ 画像特徴選択装置
２００ 画像登録装置
２１０ 入力部
２２０ 演算部
２２４ 衣服検出部
２２６ 画像正規化部
２２８ 特徴選択パラメータ記憶部
２３０ 柄領域抽出部
２３２ 選択特徴抽出部
２３４ 衣服画像データベース
２９０ 出力部
３００ 画像検索装置
３１０ 入力部
３２０ 演算部
３２４ 衣服検出部
３２６ 画像正規化部
３２８ 特徴選択パラメータ記憶部
３３０ 柄領域抽出部
３３２ 選択特徴抽出部
３３４ 衣服画像データベース
３３６ 類似特徴検索部
３９０ 出力部

Claims (7)

  1. 衣服の領域を含む複数の参照用画像から、衣服の領域を含むクエリ画像と類似する前記参照用画像を検索する画像検索装置であって、
    前記クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出する柄領域抽出部と、
    前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出する選択特徴抽出部と、
    前記選択特徴抽出部によって抽出された前記画像特徴に基づいて、前記参照用画像と前記参照用画像から抽出された前記画像特徴との組み合わせを複数記憶した衣服画像データベースから、前記クエリ画像と類似する前記参照用画像を検索する類似特徴検索部と、
    を含む画像検索装置。
  2. 衣服の領域を含む参照用画像を衣服画像データベースに登録する画像登録装置であって、
    前記参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出する柄領域抽出部と、
    前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出し、前記参照用画像と前記画像特徴との組み合わせを衣服画像データベースに登録する選択特徴抽出部と、
    を含む画像登録装置。
  3. 衣服の領域を含む複数の学習用画像であって、かつ衣服の柄クラスが予め付与された複数の学習用画像の各々に対し、前記学習用画像の衣服の柄領域に含まれる画素の各々について局所的なテクスチャパターンを抽出する画像特徴抽出部と、
    前記複数の学習用画像の各々に対し、前記画像特徴抽出部によって抽出された前記局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出する支配的特徴抽出部と、
    前記柄クラスが同一の学習用画像集合の各々に対し、前記学習用画像集合から抽出された支配的特徴セットで共通する前記局所的なテクスチャパターンを取り出し、前記学習用画像集合の各々に対して取り出された前記局所的なテクスチャパターンの和集合を、前記柄クラスと関連する前記局所的なテクスチャパターンとして抽出する選択特徴統合部と、
    を含む画像特徴選択装置。
  4. 柄領域抽出部と、選択特徴抽出部と、類似特徴検索部とを含み、衣服の領域を含む複数の参照用画像から、衣服の領域を含むクエリ画像と類似する前記参照用画像を検索する画像検索装置のおける画像検索方法であって、
    前記柄領域抽出部が、前記クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出し、
    前記選択特徴抽出部が、前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出し、
    前記類似特徴検索部が、前記選択特徴抽出部によって抽出された前記画像特徴に基づいて、前記参照用画像と前記参照用画像から抽出された前記画像特徴との組み合わせを複数記憶した衣服画像データベースから、前記クエリ画像と類似する前記参照用画像を検索する、
    画像検索方法。
  5. 柄領域抽出部と、選択特徴抽出部とを含み、衣服の領域を含む参照用画像を衣服画像データベースに登録する画像登録装置における画像登録方法であって、
    前記柄領域抽出部が、前記参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出し、
    前記選択特徴抽出部が、前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出し、前記参照用画像と前記画像特徴との組み合わせを衣服画像データベースに登録する、
    画像登録方法。
  6. 画像特徴抽出部と、支配的特徴抽出部と、選択特徴統合部とを含む画像特徴選択装置における画像特徴選択方法であって、
    前記画像特徴抽出部が、衣服の領域を含む複数の学習用画像であって、かつ衣服の柄クラスが予め付与された複数の学習用画像の各々に対し、前記学習用画像の衣服の柄領域に含まれる画素の各々について局所的なテクスチャパターンを抽出し、
    前記支配的特徴抽出部が、前記複数の学習用画像の各々に対し、前記画像特徴抽出部によって抽出された前記局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出し、
    前記選択特徴統合部が、前記柄クラスが同一の学習用画像集合の各々に対し、前記学習用画像集合から抽出された支配的特徴セットで共通する前記局所的なテクスチャパターンを取り出し、前記学習用画像集合の各々に対して取り出された前記局所的なテクスチャパターンの和集合を、前記柄クラスと関連する前記局所的なテクスチャパターンとして抽出する、
    画像特徴選択方法。
  7. コンピュータを、請求項１記載の画像検索装置、請求項２記載の画像登録装置、又は請求項３記載の画像特徴選択装置を構成する各部として機能させるためのプログラム。
JP2014242370A 2014-11-28 2014-11-28 画像検索装置、画像登録装置、画像特徴選択装置、方法、及びプログラム Active JP6387290B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014242370A JP6387290B2 (ja) 2014-11-28 2014-11-28 画像検索装置、画像登録装置、画像特徴選択装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014242370A JP6387290B2 (ja) 2014-11-28 2014-11-28 画像検索装置、画像登録装置、画像特徴選択装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016103235A JP2016103235A (ja) 2016-06-02
JP6387290B2 true JP6387290B2 (ja) 2018-09-05

Family

ID=56087861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014242370A Active JP6387290B2 (ja) 2014-11-28 2014-11-28 画像検索装置、画像登録装置、画像特徴選択装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6387290B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7211775B2 (ja) * 2018-11-26 2023-01-24 株式会社メルカリ 検索プログラム、サーバ装置、検索方法及び検索システム
JP7211776B2 (ja) * 2018-11-26 2023-01-24 株式会社メルカリ 検索プログラム、サーバ装置、検索方法及び検索システム
CN109670591B (zh) * 2018-12-14 2022-09-27 深圳市商汤科技有限公司 一种神经网络的训练方法及图像匹配方法、装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090239A (ja) * 1998-09-10 2000-03-31 Matsushita Electric Ind Co Ltd 画像検索装置
US6584465B1 (en) * 2000-02-25 2003-06-24 Eastman Kodak Company Method and system for search and retrieval of similar patterns
JP2009288928A (ja) * 2008-05-28 2009-12-10 Fujifilm Corp 服飾検索方法及び装置、服飾検索プログラム、並びに服飾登録装置
US8798362B2 (en) * 2011-08-15 2014-08-05 Hewlett-Packard Development Company, L.P. Clothing search in images
WO2013099038A1 (ja) * 2011-12-29 2013-07-04 楽天株式会社 画像検索システム、画像検索方法、画像検索装置、プログラム、及び情報記憶媒体

Also Published As

Publication number Publication date
JP2016103235A (ja) 2016-06-02

Similar Documents

Publication Publication Date Title
Kim et al. Canonical correlation analysis of video volume tensors for action categorization and detection
JP2018508888A5 (ja)
WO2019033569A1 (zh) 眼球动作分析方法、装置及存储介质
US20140079286A1 (en) Method and apparatus of object recognition
JP2012053606A (ja) 情報処理装置および方法、並びにプログラム
Cheng et al. Person re-identification by articulated appearance matching
KR101865253B1 (ko) Ｒｅｇｉｏｎ－ｓｉｆｔ와 ｄｉｓｃｒｉｍｉｎａｎｔ ｓｖｍ 분류기를 이용한 나이 및 성별 인식 장치 및 그 방법
JP6387290B2 (ja) 画像検索装置、画像登録装置、画像特徴選択装置、方法、及びプログラム
JP6410450B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
KR101796027B1 (ko) 얼굴 영상 기반 성별 인식 방법 및 장치
JP2015106300A (ja) 画像検索装置、画像検索装置の制御方法およびプログラム
WO2019033567A1 (zh) 眼球动作捕捉方法、装置及存储介质
CN112330383A (zh) 用于基于可视元素的物品推荐的设备及方法
EP3591580A1 (en) Method and device for recognizing descriptive attributes of appearance feature
JP6571200B2 (ja) 製品インデキシング方法およびそのシステム
JP2017211938A (ja) 生体情報処理装置、生体情報処理方法および生体情報処理プログラム
JP2017084078A (ja) スタイル検索装置、方法、及びプログラム
JP5988286B1 (ja) プログラム及び画像処理装置
JP2015228129A (ja) コーディネート推薦装置及びプログラム
CN107231519B (zh) 视频处理装置及控制方法
JP6220737B2 (ja) 被写体領域抽出装置、方法、及びプログラム
US20210166425A1 (en) Mapping multiple views to an identity
Teixeira et al. Unsupervised fingerprint segmentation based on multiscale directional information
JP6739896B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2018081597A (ja) 属性判定方法、属性判定装置及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180813

R150 Certificate of patent or registration of utility model

Ref document number: 6387290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150