JP7013497B2 - イメージ検索装置及びその方法 - Google Patents

Description

本発明は、検索の技術分野に関し、さらに具体的には、イメージに基づく検索装置及びその方法に関する。

情報通信技術の発達と共に、スマートフォン、個人用コンピュータのような多様な端末を利用した情報検索が幅広く利用されている。従来は、ユーザが入力したテキストを基に文書などを検索して提供していたが、最近は、写真や絵のようなイメージを検索する場合が増加している。

衣類や風景のようなイメージをテキストだけで検索することは、容易ではない。例えば、ユーザが自分が所望するスタイルの衣類を検索する場合、テキスト検索では、適切なイメージを見い出し難い場合がある。

最近では、ユーザからテキストではない検索イメージが入力され、検索イメージと類似したイメージを検索するサービスも試みられているが、そのためには、データベースに保存された多くのイメージに対して、一つ一つ手動的にタグを割り当てなければならないという困難さが伴う。

韓国登録特許第１０－１７６８５２１号公報

本発明の一実施形態によるイメージ検索装置及びその方法は、データベースに保存されたイメージに対する属性タグの割り当てを簡便に行うことができるようにすることを技術的課題とする。

また、一実施形態によるイメージ検索装置及びその方法は、代表特徴ベクトルを利用し、ユーザが所望する種類のイメージを、さらに正確に検索することができるようにすることを技術的課題とする。

一実施形態によるイメージ検索方法は、同一属性を含む複数の参照イメージに対応する参照特徴ベクトルを獲得する段階と、前記獲得した参照特徴ベクトルに基づいて訓練された生成モデルから、前記同一属性に対応する代表特徴ベクトルを獲得する段階と、データベースに保存されたターゲットイメージの特徴ベクトルと、前記代表特徴ベクトルとを比較し、前記ターゲットイメージのうち少なくとも一部のターゲットイメージに、前記同一属性に対応する属性タグを割り当てる段階と、を含んでもよい。

一実施形態によるイメージ検索方法は、ユーザ端末から複数の検索イメージを受信する段階と、前記複数の検索イメージに対応する特徴ベクトルを獲得する段階と、前記獲得した特徴ベクトルでもって生成モデルを訓練させる段階と、前記特徴ベクトルでもって訓練された前記生成モデルから出力される代表特徴ベクトルと、データベースに保存されたターゲットイメージの特徴ベクトルとを比較し、前記複数の検索イメージに対応するターゲットイメージを決める段階と、前記決定されたターゲットイメージを、前記ユーザ端末に伝送する段階と、を含んでもよい。

一実施形態によるイメージ検索装置は、プロセッサと、少なくとも１つのプログラム、及び生成モデルを保存するメモリと、ターゲットイメージを保存するデータベースと、を含むが、前記プロセッサは、前記少なくとも１つのプログラムが実行されることにより、同一属性を含む複数の参照イメージに対応する参照特徴ベクトルを獲得し、前記獲得した参照特徴ベクトルに基づいて訓練された前記生成モデルから、前記同一属性に対応する代表特徴ベクトルを獲得し、前記ターゲットイメージの特徴ベクトルと、前記代表特徴ベクトルとを比較し、前記ターゲットイメージのうち少なくとも一部のターゲットイメージに、前記同一属性に対応する属性タグを割り当てることができる。

他の実施形態によるイメージ検索方法は、イメージ検索装置に接続して属性を選択する段階と、前記イメージ検索装置に保存されたターゲットイメージのうち、前記選択した属性に対応する属性タグが割り当てられたターゲットイメージを、前記イメージ検索装置から受信する段階と、を含むが、前記イメージ検索装置に保存されたターゲットイメージは、複数の属性それぞれに対応する代表特徴ベクトルと、前記ターゲットイメージの特徴ベクトルとの比較結果に基づいて、前記複数の属性に対応する複数の属性タグのうち少なくとも一部の属性タグが割り当てられる。

本発明の一実施形態によるイメージ検索装置及びその方法は、データベースに保存されたイメージに対する属性タグの割り当てを簡便に行うことができる。

また、本発明の一実施形態によるイメージ検索装置及びその方法は、代表特徴ベクトルを利用し、ユーザが所望する種類のイメージをさらに正確に検索するようにできる。

ただし、本発明の一実施形態によるイメージ検索装置及びその方法が達成することができる効果は、前述のところに制限されるものではなく、言及されていない他の効果は、以下の記載から、本開示が属する技術分野で当業者に明確に理解されるであろう。

一実施形態によるイメージ検索装置及びユーザ端末を図示する図面である。 一実施形態による属性タグの割り当て方法について説明するためのフローチャートである。 生成モデルから代表特徴ベクトルを獲得する方法について説明するための図面である。 ターゲットイメージに対する属性タグの割り当て方法について説明するための例示的な図面である。 ユーザが属性を選択することができるようにするＵＩ（user interface）画面を図示する図面である。 一実施形態によるイメージ検索方法について説明するためのフローチャートである。 他の実施形態によるイメージ検索方法について説明するためのフローチャートである。 検索イメージから抽出される属性別特徴ベクトルを示す図面である。 検索イメージの属性別特徴ベクトルのうち少なくとも一つを、代表特徴ベクトルに交換する方法について説明するための図面である。 検索イメージの属性別特徴ベクトルと、ターゲットイメージの属性別特徴ベクトルと、を比較する方法について説明するための図面である。 複数のオブジェクトを含む検索イメージを図示する例示的な図面である。 図１１に図示された検索イメージの特徴ベクトルシーケンスのうち少なくとも一つを、代表特徴ベクトルに交換する方法について説明するための図面である。 図１１に図示された検索イメージに対応する検索結果イメージを図示する例示的な図面である。 一実施形態によるイメージ検索装置の構成を図示するブロック図である。

本開示は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、それを詳細な説明を介して説明する。しかし、それは、本開示を特定の実施形態について限定するものではなく、本開示の思想及び技術範囲に含まれる全ての変更、均等物あるいは代替物を含むものであると理解されなければならない。

本実施形態についての説明において、関連公知技術についての具体的な説明が要旨を必要以上に不明確にすると判断される場合、その詳細な説明を省略する。また、本実施形態の説明過程において利用される数あるいは序数（例えば、第１、第２など）は、１つの構成要素を他の構成要素と区分するための識別記号に過ぎない。

また、本明細書において、一構成要素が他の構成要素と「連結されている」としたり「接続されている」としたりして言及されたときには、前記一構成要素が前記他の構成要素と直接連結されるか、あるいは直接接続されてもいるが、特に反対となる記載が存在しない以上、中間に他の構成要素を媒介させて連結されるか、あるいは接続されもすると理解されなければならないのである。

また、本明細書において、「～部（ユニット）」、「モジュール」と表現される構成要素は、２個以上の構成要素が１つの構成要素に合わされるか、あるいは１つの構成要素がさらに細分化された機能別に２個以上に分化されもする。また、以下で説明する構成要素それぞれは、自体が担当する株機能以外にも、他の構成要素が担当する機能のうち一部または全部をさらに遂行することもでき、構成要素それぞれが担当する主機能のうち一部機能が他の構成要素によって専担されても遂行されるということは言うまでもない。

以下、本開示の技術的思想による実施形態について順に詳細に説明する。

図１は、一実施形態によるイメージ検索装置１００及びユーザ端末１０を図示する図面である。

ユーザ端末１０は、イメージ検索装置１００に、検索条件（例えば、検索イメージ、属性など）を選択または入力して伝送し、イメージ検索装置１００は、検索条件に対応する検索結果イメージを、ユーザ端末１０に伝送する。一実施形態において、イメージ検索装置１００は、検索条件に対応する検索結果イメージを決定するためのターゲットイメージをデータベースに保存することができる。イメージ検索装置１００は、ターゲットイメージのうち検索条件に対応するターゲットイメージを、検索結果イメージとしてユーザ端末１０に伝送することができる。

ユーザ端末１０は、ネットワークを介して、イメージ検索装置１００に接続することができるデスクトップＰＣ（personal computer）、タブレット、スマートフォン、ノート型パソコンなどを含んでもよいが、それらに限定されるものではない。

一実施形態において、イメージ検索装置１００及びユーザ端末１０は、ネットワークを介して互いに連結され、互いにデータを送受信することができる。ここで、該ネットワークは、有線ネットワークと無線ネットワークとを含んでもよく、具体的には、近距離ネットワーク（ＬＡＮ：local area network）、都市圏ネットワーク（ＭＡＮ：metropolitan area network）、広域ネットワーク（ＷＡＮ：wide area network）のような多様なネットワークを含んでもよい。また、ネットワーク１０は、公知のワールドワイドウェブ（ＷＷＷ：worldwide web）を含んでもよい。しかし、本発明によるネットワーク１０は、前記列挙されたネットワークに限られるものではなく、公知の無線データネットワークや公知の電話ネットワーク、公知の有無線テレビネットワークを少なくとも一部として含んでもよい。

一実施形態によるイメージ検索装置１００は、あらかじめ保存されたターゲットイメージに対して属性タグを割り当てることができる。本明細書において、「属性」とは、イメージに含まれたオブジェクトの特徴を意味する。前記属性は、カテゴリー別に区分される。例えば、ある衣類は、色相カテゴリーに属した赤色の属性、柄カテゴリーに属した縞模様属性、形状カテゴリーに属したワンピース属性を有することができる。また、本明細書において、「属性タグ」とは、イメージ内オブジェクトの特徴を示すためにイメージに割り当てられた情報を意味する。例えば、ある衣類の属性タグは、当該衣類の色相が赤色であり、柄は、縞模様で、形状は、ワンピースであるということ示すことができる。

イメージ検索装置１００が、ターゲットイメージに対して属性タグを割り当てる方法について、図２を参照して説明する。

図２は、一実施形態による属性タグの割り当て方法について説明するためのフローチャートである。

Ｓ２１０段階において、イメージ検索装置１００は、同一属性を有しているか、あるいは同一属性タグが割り当てられた複数の参照イメージに対応する参照特徴ベクトルを獲得する。一実施形態において、管理者は、複数の参照イメージに対して、同一属性タグを割り当てることができる。例えば、複数の参照イメージに対して、「赤色」、「串柄」または「女性に人気ある衣類」のような同一属性タグが割り当てられる。

複数の参照イメージに対応する参照特徴ベクトルは、マシンラーニングモデルによって出力されたものであってもよい。前記マシンラーニングモデルは、例えば、ＣＮＮ（convolutional neural network）を含んでもよい。また、該参照特徴ベクトルは、Ｎ（Ｎは、１以上の整数である）次元のデータであってもよい。一実施形態において、複数の参照イメージに対応する参照特徴ベクトルは、マシンラーニングモデルによって出力された後、後処理（post processing）を介して生成されたものでもある。後処理は、例えば、マシンラーニングモデルから出力された特徴ベクトルに含まれた複数の元素をサイズ基準で整列した後、上位ｋ個の要素の特徴ベクトル内での位置を示すインデックスを獲得し、獲得したインデックスを要素として有するインデックス特徴ベクトルを、参照特徴ベクトルとして生成する処理を含んでもよい。

Ｓ２２０段階において、イメージ検索装置１００は、複数の参照イメージに対応する参照特徴ベクトルに基づいて訓練された生成モデルから、同一属性ないし同一属性タグに対応する代表特徴ベクトルを獲得する。該生成モデルは、複数の参照イメージの参照特徴ベクトルに基づいて訓練されることにより、参照特徴ベクトルと類似した代表特徴ベクトルを生成することができる。一実施形態において、生成モデルは、敵対的生成ネットワーク（ＧＡＮ：generative adversarial network）を含んでもよい。

図３を参照すれば、生成モデル３００は、参照イメージ３１０ａ，３１０ｂ，３１０ｃに対応する参照特徴ベクトル３２０ａ，３２０ｂ，３２０ｃによって訓練された後、例えば、ランダムノイズを入力データとして入力し、参照特徴ベクトル３２０ａ，３２０ｂ，３２０ｃと類似した代表特徴ベクトルを生成することができる。一実施形態において、生成モデル３００に該当するＧＡＮは，複数のＦＣＬ（fully connected layer）からなる。ＦＣＬとは、それぞれのレイヤが少なくとも１つのノードで構成されるが、あるレイヤの各ノードが、以前レイヤ及び次のレイヤに含まれた全てのノード全部と個別的に連結されたネットワーク構造である。該ＧＡＮは、イメージではない参照特徴ベクトルによって訓練されるので、ＣＮＮを含む必要がなく、ＦＣＬだけで、参照特徴ベクトルと類似した代表特徴ベクトルを生成することができる。すなわち、イメージ生成のためのＧＡＮの代わりに、代表特徴ベクトル生成のための複数のＦＣＬからなるＧＡＮが利用されることにより、訓練が迅速になされ、処理速度も、非常に速くなる。

一実施形態において、該生成モデルは、参照特徴ベクトル元素の平均値を獲得し、獲得した平均値を元素として有する代表特徴ベクトルを生成することもできる。

再び図２を参照すれば、Ｓ２３０段階において、イメージ検索装置１００は、データベースに保存されたターゲットイメージの特徴ベクトルと、代表特徴ベクトルとを比較する。一例において、イメージ検索装置１００は、ターゲットイメージの特徴ベクトルそれぞれと、代表特徴ベクトルとのディスタンス（例えば、コサインディスタンス（cosine distance））を算出することができる。特徴ベクトル間の類似性を判断するために算出されるディスタンスは、公知されたものであるので、本明細書において、詳細な説明は、省略する。

Ｓ２４０段階において、イメージ検索装置１００は、ターゲットイメージのうち少なくとも一部のターゲットイメージに、複数の参照イメージが有している同一属性に対応する属性タグを割り当てる。一実施形態において、イメージ検索装置１００は、代表特徴ベクトル対比で既設定の値以下のディスタンスを有する特徴ベクトルに対応するターゲットイメージに、同一属性に対応する属性タグを割り当てることができる。

図４は、ターゲットイメージに対する属性タグ割り当て方法について説明するための図面であり、図４を参照すれば、ターゲットイメージ４１０ａ，４２０ａ，４３０ａの特徴ベクトル４１０ｂ，４２０ｂ，４３０ｂそれぞれと、代表特徴ベクトルとの比較結果により、第１ターゲットイメージ４１０ａ及び第２ターゲットイメージ４２０ａに「ジグザグ柄」の属性タグ４１０ｃ，４２０ｃが割り当てられ、第３ターゲットイメージ４３０ａには、「パーガンディ色相」の属性タグ４３０ｃが割り当てられる。図４は、１つのターゲットイメージに１つの属性タグが割り当てられるように図示しているが、１つのターゲットイメージに複数の属性タグが割り当てられてもよい。

一実施形態によれば、相対的に少数の参照イメージに基づいて、多量のターゲットイメージに対して属性タグを割り当てることができるので、管理者が一つ一つデータベースに保存されたターゲットイメージに対して属性タグを割り当てる必要がなくなる。

また、一実施形態によれば、新たな属性の開発、流行などにより、ターゲットイメージに新たな属性タグを割り当てる必要が発生した場合にも、速かに新たな属性タグをターゲットイメージに割り当てることができる。例えば、管理者によって新たな属性を有する少数の参照イメージが選択されれば、イメージ検索装置１００は、選択された参照イメージの参照特徴ベクトルでもって生成モデルを訓練させ、生成モデルから出力される代表特徴ベクトルと、ターゲットイメージの特徴ベクトルの比較結果により、ターゲットイメージに対し、新たな属性に対応する属性タグを割り当てることができる。

図５は、ユーザが属性を選択することができるようにするユーザインターフェース（ＵＩ）画面５００を図示する図面である。

前述のように、データベースに保存されたターゲットイメージに対し、属性タグが割り当てられれば、ユーザは、ユーザ端末１０のディスプレイに表示されたＵＩ画面５００において、特定属性を選択され行えば、簡便にイメージ検索が可能である。

図５を参照すれば、ユーザ端末１０のディスプレイに検索画面５００が表示されれば、ユーザは、検索画面５００において、特定カテゴリー（例えば、パターン）５２０に属した多くの属性５３０のうち一部（例えば、チェック）を選択することにより、当該属性に対応する属性タグが割り当てられたターゲットイメージを、検索結果に受信することができる。

イメージ検索装置１００は、データベースに保存されたターゲットイメージのうち、ユーザ端末１０によって選択された属性に対応するタグが割り当てられたターゲットイメージを、検索結果イメージとして、ユーザ端末１０に伝送することができる。

具現例として、ユーザは、検索画面５００に、属性として検索語５１０を入力することもできる。イメージ検索装置１００は、データベースに保存されたターゲットイメージのうち、検索語５１０に対応する属性と係わる属性タグを有するターゲットイメージを、検索結果イメージとしてユーザ端末１０に伝送することができる。

一実施形態において、イメージ検索装置１００は、ユーザ端末１０によって選択された属性に対応する代表特徴ベクトルと、データベースに保存されたターゲットイメージの特徴ベクトルとを比較し、代表特徴ベクトルと同一であるか、あるいは類似した特徴ベクトルに対応するターゲットイメージを、検索結果イメージとして、ユーザ端末１０に伝送することができる。イメージ検索装置１００は、代表特徴ベクトルとの間で既設定の値以下であるディスタンスを有する特徴ベクトルに対応するターゲットイメージを検索結果イメージとしてユーザ端末１０に伝送することができる。

代表特徴ベクトルとの比較対象になる特徴ベクトルは、代表特徴ベクトルを出力する生成モデルを訓練させるのに利用された参照特徴ベクトルを、いかなる種類のマシンラーニングモデルが出力したかということによって相違し得る。例えば、生成モデルを訓練させるのに利用した参照特徴ベクトルが、従属（dependant）モデルによって出力された場合、比較対象になるターゲットイメージの特徴ベクトルも、従属モデルによって出力されたものでもある。該従属モデルは、特定カテゴリーの属性に対応する特徴ベクトルを出力するように訓練されたマシンラーニングモデルを意味する。例えば、該従属モデルは、色相カテゴリー専用のモデル、柄カテゴリー専用のモデルなどを含んでもよい。管理者は、ターゲットイメージに対して、色相属性のタグを割り当てる場合、参照イメージを、色相カテゴリー専用モデルに入力させ、参照イメージに対応する参照特徴ベクトルを獲得し、獲得した参照特徴ベクトルでもって生成モデルを訓練させることができる。

また、生成モデルを訓練させるのに利用した特徴ベクトルが、独立（independent）モデルによって出力された場合、比較対象になるターゲットイメージの特徴ベクトルも、独立モデルによって出力されたものでもある。該独立モデルは、属性のカテゴリーと無関係な特徴ベクトルを出力するように訓練されたマシンラーニングモデルを意味する。

図６は、一実施形態によるイメージ検索方法について説明するためのフローチャートである。

Ｓ６１０段階において、イメージ検索装置１００は、ユーザ端末１０から複数の検索イメージを受信する。イメージ検索装置１００は、ユーザ端末１０から、ネットワークを介して、複数の検索イメージを直接受信することもでき、ユーザ端末１０から、複数の検索イメージを特定することができる情報（例えば、複数の検索イメージが保存されたＵＲＬ、複数の検索イメージの識別情報など）を受信し、受信された情報に基づいて、複数の検索イメージを獲得することもできる。

Ｓ６２０段階において、イメージ検索装置１００は、複数の検索イメージに対応する特徴ベクトルを獲得する。イメージ検索装置１００は、マシンラーニングモデルに複数の検索イメージを入力させ、マシンラーニングモデルから出力される特徴ベクトルを獲得することができる。前記マシンラーニングモデルは、従属モデルまたは独立モデルでもある。

Ｓ６３０段階において、イメージ検索装置１００は、複数の検索イメージに対応する特徴ベクトルでもって生成モデルを訓練させる。生成モデルがＧＡＮである場合、ＧＡＮは、生成器（generator）と区別器（discriminator）との相互作用を基に、訓練データと類似したデータを生成するように訓練される。

Ｓ６４０段階において、イメージ検索装置１００は、複数の検索イメージの特徴ベクトルでもって訓練された生成モデルから出力される代表特徴ベクトルと、ターゲットイメージの特徴ベクトルとを比較する。イメージ検索装置１００は、ターゲットイメージの特徴ベクトルそれぞれと、代表特徴ベクトルとのディスタンスを算出することができる。

前述のように、代表特徴ベクトルとの比較対象になる特徴ベクトルは、代表特徴ベクトルを出力する生成モデルを訓練させるのに利用された特徴ベクトルが、いかなる種類のマシンラーニングモデルによって出力されたかということによっても異なる。

Ｓ６５０段階において、イメージ検索装置１００は、データベースに保存されたターゲットイメージのうち、複数の検索イメージに対応するターゲットイメージを検索結果イメージとしてユーザ端末１０に伝送する。

イメージ検索装置１００は、代表特徴ベクトルとの間で既設定の値以下のディスタンスを有する特徴ベクトルに対応するターゲットイメージを、検索結果イメージとしてユーザ端末１０に伝送することができる。

図６に図示された実施形態によれば、例えば、ユーザが、自分の趣向に符合する複数の検索イメージを選択すれば、イメージ検索装置１００は、ユーザの趣向に符合する検索イメージ以外の他のイメージを、検索結果として提供することができる。

図７は、他の実施形態によるイメージ検索方法について説明するためのフローチャートである。

Ｓ７１０段階において、イメージ検索装置１００は、ユーザ端末１０から検索イメージを受信する。イメージ検索装置１００は、ユーザ端末１０から、ネットワークを介して、検索イメージを直接受信することもでき、ユーザ端末１０から、検索イメージを特定することができる情報（例えば、検索イメージが保存されたＵＲＬ、検索イメージの識別情報など）を受信し、受信された情報に基づいて、検索イメージを獲得することもできる。

Ｓ７２０段階において、イメージ検索装置１００は、検索イメージの属性別特徴ベクトルを獲得する。イメージ検索装置１００は、複数の従属モデルそれぞれに検索イメージを入力させ、複数の従属モデルから出力される特徴ベクトルを獲得することができる。例えば、図８に図示されているように、検索イメージ８１０を、第１従属モデル８２１に入力させ、第１属性（例えば、色相属性）に対応する特徴ベクトル８３１を獲得し、検索イメージ８１０を、第２従属モデル８２３に入力させ、第２属性（例えば、柄属性）に対応する特徴ベクトル８３３を獲得し、検索イメージ８１０を、第３従属モデル８２５に入力させ、第３属性（例えば、形状属性）に対応する特徴ベクトル８３５を獲得することができる。

一実施形態において、ユーザ端末１０から受信された検索イメージが２個である場合、いずれか１つの検索イメージを第１従属モデル８２１に入力させ、第１属性に対応する特徴ベクトルを獲得し、他の１つの検索イメージを、第２従属モデル８２３及び第３従属モデル８２５に入力させ、第２属性に対応する特徴ベクトルと、第３属性に対応する特徴ベクトルとを獲得することもできる。

他の実施形態において、ユーザ端末１０から受信された検索イメージが３個である場合、いずれか１つの検索イメージを第１従属モデル８２１に入力させ、第１属性に対応する特徴ベクトルを獲得し、他の１つの検索イメージを第２従属モデル８２３に入力させ、第２属性に対応する特徴ベクトルを獲得し、さらに他の１つの検索イメージを第３従属モデル８２５に入力させ、第３属性に対応する特徴ベクトルを獲得することもできる。

すなわち、イメージ検索装置１００は、複数の検索イメージに対応する特徴ベクトルを組み合わせ、属性別特徴ベクトルを獲得することができる。

図８は、属性別特徴ベクトルを抽出するために、３個の従属モデル８２１，８２３，８２５が利用されるように図示されているが、それは、１つの例示であるにすぎず、検索イメージとして、多様な個数の属性の特徴ベクトルを抽出するための多様な個数の従属モデルが利用され得る。

再び図７を参照すれば、Ｓ７３０段階において、イメージ検索装置１００は、属性別特徴ベクトルのうち、ユーザ端末１０によって選択された属性の特徴ベクトルを、ユーザ端末１０によって選択された属性に対応する代表特徴ベクトルに変更する。ユーザは、代表特徴ベクトルに変更する属性を、ユーザ端末１０を介して選択することができる。ユーザ端末１０は、検索イメージに含まれたオブジェクトの属性のうち、変更する属性（例えば、色相属性）と、変更する属性の代わりとなる他の属性とを選択することができる。それに対応し、イメージ検索装置１００は、属性別特徴ベクトルのうちユーザ端末１０によって選択された属性の特徴ベクトルを、他の属性に対応する代表特徴ベクトルに変更することができる。

例えば、図９に図示されているように、第１属性の特徴ベクトル８３１、第２属性の特徴ベクトル８３３、及び第３属性の特徴ベクトル８３５において、ユーザ端末１０によって選択された第２属性の特徴ベクトル８３３を、代表特徴ベクトル９３３に交換することができる。ここで、代表特徴ベクトル９３３は、第２属性専用の従属モデル８２３から出力される参照特徴ベクトルでもって訓練された生成モデルから出力された特徴ベクトルでもある。

Ｓ７４０段階において、イメージ検索装置１００は、代表特徴ベクトルを含む属性別特徴ベクトルと、データベースに保存されたターゲットイメージの属性別特徴ベクトルとを比較する。ここで、データベースに保存されたターゲットイメージの属性別特徴ベクトルは、従属モデルから出力されたものでもある。

一実施形態において、イメージ検索装置１００は、図１０に図示されているように、代表特徴ベクトル９３３を含む属性別特徴ベクトル８３１，９３３，８３５と、データベースに保存されたターゲットイメージの属性別特徴ベクトル１０３１，１０３３，１０３５との比較にあたり、同一カテゴリーに属した属性の特徴ベクトル同士比較し、属性別ディスタンスを獲得することができる。イメージ検索装置１００は、ターゲットイメージの属性別特徴ベクトル１０３１，１０３３，１０３５それぞれに対し、第１属性に対応するディスタンス、第２属性に対応するディスタンス、及び第３属性に対応するディスタンスを算出することができる。

Ｓ７５０段階において、イメージ検索装置１００は、データベースに保存されたターゲットイメージのうち、ユーザ端末１０に伝送するターゲットイメージを、前記算出された属性別ディスタンスに基づいて決定することができる。

イメージ検索装置１００は、属性別ディスタンスを組み合わせた結果に基づいて、データベースに保存されたターゲットイメージのうち、代表特徴ベクトルを含む属性別特徴ベクトルと、同一であるか、あるいは類似したターゲットイメージを決定することができる。一例において、イメージ検索装置１００は、属性別ディスタンスを組み合わせた結果値が大きい順に、所定個数のターゲットイメージを選択することができ、または、属性別ディスタンスを組み合わせた結果値が既設定の値以上であるターゲットイメージを選択することもできる。

Ｓ７６０段階において、イメージ検索装置１００は、Ｓ７５０段階で選択されたターゲットイメージを、ユーザ端末１０に伝送する。

図７に図示された実施形態によれば、ユーザは、検索イメージをイメージ検索装置１００に伝送し、検索イメージに含まれたオブジェクトの特定属性を他の属性に変更することにより、変更された属性に対応する検索結果を受信することができる。例えば、ユーザは、赤色及び縞模様のワンピースを含む検索イメージを、イメージ検索装置１００に伝送し、赤色の代わりに青色を選択し、青色及び縞模様のワンピースを含むイメージを検索結果として受けることができるのである。

図１１は、複数のオブジェクト１１１０，１１３０，１１５０を含む検索イメージ１１００を図示する例示的な図面である。

一実施形態において、ユーザ端末１０からイメージ検索装置１００に送信される検索イメージ１１００は、図１１に図示されているように、複数のオブジェクト１１１０，１１３０，１１５０を含んでもよい。図１１において、複数のオブジェクト１１１０，１１３０，１１５０は、上着オブジェクト１１１０、下衣（bottoms）オブジェクト１１３０及びかばんオブジェクト１１５０を含む。この場合、イメージ検索装置１００は、複数のオブジェクト１１１０，１１３０，１１５０それぞれに対応する部分イメージをクロッピング（cropping）して従属モデルに入力させ、従属モデルから出力されるそれぞれのオブジェクトの属性別特徴ベクトルを獲得することができる。例えば、イメージ検索装置１００は、図１１に図示された検索イメージ１１００から、上着オブジェクト１１１０の属性別特徴ベクトル、下衣オブジェクト１１３０の属性別特徴ベクトル、及びかばんオブジェクト１１５０の属性別特徴ベクトルを獲得することができる。

イメージ検索装置１００は、検索イメージ１１００に含まれた複数のオブジェクト１１１０，１１３０，１１５０それぞれの属性別特徴ベクトルを含む特徴ベクトルシーケンスにおいて、ユーザ端末１０によって選択されたオブジェクトの特定属性の特徴ベクトルを、ユーザ端末１０が選択した属性に対応する代表特徴ベクトルに変更することができる。例えば、ユーザが、図１１に図示された検索イメージ１１００において、かばんオブジェクト１１５０を選択し、かばんの色相属性を他の色相に変更する場合、イメージ検索装置１００は、かばんオブジェクト１１５０の色相属性の特徴ベクトルの代わりに、ユーザが変更する色相に対応する代表特徴ベクトルを、特徴ベクトルシーケンスに含めることができるのである。

例えば、図１２に図示されているように、第１オブジェクトの属性別特徴ベクトル１２１０、第２オブジェクトの属性別特徴ベクトル１２２０及び第３オブジェクトの属性別特徴ベクトル１２３０のうち、第３オブジェクト１２３０の第１属性の特徴ベクトル１２３１を、代表特徴ベクトル１２４１に交換することができる。

イメージ検索装置１００は、代表特徴ベクトル１２４１を含む特徴ベクトルシーケンス１２５０と、データベースに保存されたターゲットイメージの特徴ベクトルシーケンスとを比較し、検索イメージ１１００に対応するターゲットイメージを決定することができる。イメージ検索装置１００は、代表特徴ベクトル１２４１を含む特徴ベクトルシーケンス１２５０と、ターゲットイメージの特徴ベクトルシーケンスとを比較するのにあたり、同一オブジェクトの同一カテゴリーの属性の特徴ベクトル同士比較し、各オブジェクトに係わる属性別ディスタンスを算出し、算出されたディスタンスを基に、検索結果に該当するターゲットイメージを決定することができる。一実施形態において、イメージ検索装置１００は、代表特徴ベクトル１２４１を含む特徴ベクトルシーケンス１２５０と、ターゲットイメージの特徴ベクトルシーケンスとを比較した結果として算出された各オブジェクトに係わる属性別ディスタンスを組み合わせ、組み合わせ結果値に基づいて、検索結果に該当するターゲットイメージを決定することができる。

一実施形態において、イメージ検索装置１００は、検索結果として選択されたターゲットイメージを、ユーザ端末１０に伝送することができる。

他の実施形態において、イメージ検索装置１００は、検索結果として選択されたターゲットイメージ内において、ユーザ端末１０が選択したオブジェクトに対応する部分イメージを抽出し、抽出された部分イメージを検索イメージに合成し、検索結果として、ユーザ端末１０に伝送することもできる。例えば、図１１及び図１３に図示されているように、イメージ検索装置１００は、検索イメージ１１００において、かばんオブジェクト１１５０を含む部分を、ターゲットイメージ内かばんオブジェクトを含む部分イメージ１３１１，１３２１，１３３１に交換した合成イメージ１３１０，１３２０，１３３０を、検索結果イメージとして、ユーザ端末１０に伝送することができる。

ユーザは複数のオブジェクトを含む検索イメージを、イメージ検索装置１００に伝送し、自らの趣向に符合するコーディネーションスタイルを検索結果を介して、容易に把握することができる。

図１４は、一実施形態によるイメージ検索装置１００の構成を図示するブロック図である。

図１４を参照すれば、一実施形態に他のイメージ検索装置１００は、メモリ１４１０、データベース１４３０、通信部１４５０及びプロセッサ１４７０を含んでもよい。

メモリ１４１０は、少なくとも１つのプログラムを保存する。メモリ１４１０、データベース１４３０、通信部１４５０及びプロセッサ１４７０は、少なくとも１つのプログラムによって動作することができる。また、メモリ１４１０は、代表特徴ベクトルを生成するための生成モデルをさらに保存することができる。また、メモリ１４１０は、特徴ベクトル抽出のためのマシンラーニングモデルをさらに保存することができる。

データベース１４３０は、ターゲットイメージ、及びターゲットイメージの特徴ベクトルを保存する。該ターゲットイメージの特徴ベクトルは、マシンラーニングモデルによって出力されたものでもある。例えば、該ターゲットイメージの特徴ベクトルは、従属モデルによって出力されたものを含んでもよく、独立モデルによって出力されたものを含んでもよい。また、複数のオブジェクトを含むターゲットイメージに対し、前記特徴ベクトルは、それぞれのオブジェクトの属性別特徴ベクトルを含む特徴ベクトルシーケンスを含んでもよい。一実施形態において、データベース１４３０は、ハードディスク（ＨＤＤ）、ＳＳＤなどの保存装置からもなる。

通信部１４５０は、ユーザ端末１０とデータ送受信をする。通信部１４５０は、ユーザ端末１０から検索条件を受信し、検索条件に対応する検索結果、例えば、検索結果イメージをユーザ端末１０に伝送する。

プロセッサ１４７０は、同一属性を有するか、あるいは同一属性タグが割り当てられた複数の参照イメージに対応する参照特徴ベクトルを獲得し、参照特徴ベクトルに基づいて訓練された生成モデルから、同一属性ないし同一属性タグに対応する代表特徴ベクトルを獲得し、ターゲットイメージの特徴ベクトルと代表特徴ベクトルとを比較し、ターゲットイメージのうち少なくとも一部のターゲットイメージに、同一属性に対応する属性タグを割り当てることができる。

また、プロセッサ１４７０は、ユーザ端末１０から受信された検索条件に対応するターゲットイメージを選択することができる。プロセッサ１４７０は、ユーザ端末１０が選択または入力した属性に対応する属性タグが割り当てられたターゲットイメージを選択するか、あるいはユーザ端末１０が選択または入力した属性の代表特徴ベクトルと同一／類似の特徴ベクトルを有したターゲットイメージを選択することができる。

また、プロセッサ１４７０は、ユーザ端末１０から受信された複数の検索イメージに対応するターゲットイメージを選択することができる。また、プロセッサ１４７０は、ユーザ端末１０から受信された検索イメージの属性別特徴ベクトルのうち一部を、他の属性の代表特徴ベクトルで置換し、置換された結果に基づいて、ターゲットイメージを選択することもできる。

一方、前述の本開示の実施形態は、コンピュータで実行されるプログラムに作成可能であり、作成されたプログラムは、媒体にも保存される。

該媒体は、コンピュータで実行可能なプログラムを続けて保存するか、あるいは実行またはダウンロードのために臨時保存するものでもある。また、該媒体は、単一またはいくつかのハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するでもある。該媒体の例示としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体；ＣＤ－ＲＯＭ（compact disc read only memory）及びＤＶＤ（digital versatile disc）のような光記録媒体、フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical medium）；及びＲＯＭ（read-only memory）、ＲＡＭ（random access memory）、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。また、他の媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給したり流通したりするサイト、サーバなどで管理する記録媒体ないし記録媒体も挙げることができる。

以上、本開示の技術的思想について、望ましい実施形態を挙げて詳細に説明したが、本開示の技術的思想は、前記実施形態に限定されるものではなく、本開示の技術的思想の範囲内で、当分野で当業者によってさまざまな変形及び変更が可能である。

１０ ユーザ端末
１００ イメージ検索装置
３００ 生成モデル
８１０，１１００ 検索イメージ
１３１０，１３２０，１３３０ 合成イメージ
１４１０ メモリ
１４３０ データベース
１４５０ 通信部
１４７０ プロセッサ

Claims (13)

1. イメージ検索装置によるイメージ検索方法において、
   同一属性を含む複数の参照イメージに対応する参照特徴ベクトルを獲得する段階と、
   前記獲得した参照特徴ベクトルに基づいて訓練された生成モデルを用いてノイズから前記同一属性に対応する代表特徴ベクトルを獲得する段階と、
   データベースに保存されたターゲットイメージの特徴ベクトルと、前記代表特徴ベクトルとを比較し、前記ターゲットイメージのうち少なくとも一部のターゲットイメージに、前記同一属性に対応する属性タグを割り当てる段階と、を含むことを特徴とするイメージ検索方法。
2. 前記イメージ検索方法は、
   ユーザ端末から属性の選択を受ける段階と、
   前記ターゲットイメージのうち、前記選択を受けた属性に対応する属性タグが割り当てられたターゲットイメージを決定する段階と、
   前記決定されたターゲットイメージを、前記ユーザ端末に伝送する段階と、をさらに含むことを特徴とする請求項１に記載のイメージ検索方法。
3. 前記イメージ検索方法は、
   ユーザ端末から属性の選択を受ける段階と、
   前記選択された属性に対応する代表特徴ベクトルと、前記データベースに保存されたターゲットイメージの特徴ベクトルと、を比較する段階と、
   前記ターゲットイメージのうち、前記比較の結果に基づいて選択されたターゲットイメージを、前記ユーザ端末に伝送する段階と、をさらに含むことを特徴とする請求項１に記載のイメージ検索方法。
4. 前記比較する段階は、
   前記ユーザ端末が選択した属性に対応する代表特徴ベクトルが、従属モデルから出力される参照特徴ベクトルに基づいて訓練された前記生成モデルから出力されたものである場合、前記選択された属性に対応する代表特徴ベクトルと、前記従属モデルから出力された前記ターゲットイメージの特徴ベクトルと、を比較し、
   前記ユーザ端末が選択した属性に対応する代表特徴ベクトルが、独立モデルから出力される参照特徴ベクトルに基づいて訓練された前記生成モデルから出力されたものである場合、前記選択された属性に対応する代表特徴ベクトルと、前記独立モデルから出力された前記ターゲットイメージの特徴ベクトルと、を比較する段階を含むことを特徴とする請求項３に記載のイメージ検索方法。
5. 前記イメージ検索方法は、
   ユーザ端末から検索イメージを受信する段階と、
   前記検索イメージの属性別特徴ベクトルを獲得する段階と、
   前記属性別特徴ベクトルのうち、前記ユーザ端末が選択した属性の特徴ベクトルを、前記ユーザ端末が選択した属性に対応する代表特徴ベクトルに変更する段階と、
   前記代表特徴ベクトルを含む属性別特徴ベクトルと、前記データベースに保存されたターゲットイメージの属性別特徴ベクトルと、を比較する段階と、
   前記データベースに保存されたターゲットイメージのうち、前記比較の結果に基づいて選択されたターゲットイメージを、前記ユーザ端末に伝送する段階と、を含むことを特徴とする請求項１に記載のイメージ検索方法。
6. 前記比較する段階は、
   前記代表特徴ベクトルを含む属性別特徴ベクトルと、前記ターゲットイメージの属性別特徴ベクトルと、を同一カテゴリーの属性同士比較し、属性別ディスタンスを獲得する段階と、
   前記獲得した属性別ディスタンスの大きさを組み合わせた結果により、前記データベースに保存されたターゲットイメージのうち、前記ユーザ端末に伝送するターゲットイメージを選択する段階と、を含むことを特徴とする請求項５に記載のイメージ検索方法。
7. 前記イメージ検索方法は、
   ユーザ端末から複数のオブジェクトを含む検索イメージを受信する段階と、
   前記検索イメージに含まれた複数のオブジェクトそれぞれの属性別特徴ベクトルを含む特徴ベクトルシーケンスを獲得する段階と、
   前記複数のオブジェクトのうち、前記ユーザ端末からオブジェクトの選択を受ける段階と、
   前記選択されたオブジェクトの属性別特徴ベクトルのうち、前記ユーザ端末が選択した属性の特徴ベクトルを、前記ユーザ端末が選択した属性に対応する代表特徴ベクトルに変更する段階と、
   前記代表特徴ベクトルを含む特徴ベクトルシーケンスと、前記データベースに保存されたターゲットイメージの特徴ベクトルシーケンスと、を比較する段階と、
   前記データベースに保存されたターゲットイメージのうち、前記比較の結果に基づいて選択されたターゲットイメージを、前記ユーザ端末に伝送する段階と、をさらに含むことを特徴とする請求項１に記載のイメージ検索方法。
8. 前記選択されたターゲットイメージを、前記ユーザ端末に伝送する段階は、
   前記選択されたターゲットイメージそれぞれに含まれた複数のオブジェクトのうち、前記ユーザ端末が選択したオブジェクトに対応する部分イメージを、前記検索イメージに合成する段階と、
   前記部分イメージが合成された検索イメージを、検索結果として、前記ユーザ端末に伝送する段階と、を含むことを特徴とする請求項７に記載のイメージ検索方法。
9. イメージ検索装置によるイメージ検索方法において、
   ユーザ端末から複数の検索イメージを受信する段階と、
   前記複数の検索イメージに対応する特徴ベクトルを獲得する段階と、
   前記獲得した特徴ベクトルに基づいて生成モデルを訓練する段階と、
   前記訓練された生成モデルを用いてノイズから代表特徴ベクトルを獲得し、前記代表特徴ベクトルと、データベースに保存されたターゲットイメージの特徴ベクトルと、を比較し、前記複数の検索イメージに対応するターゲットイメージを決定する段階と、
   前記決定されたターゲットイメージを、前記ユーザ端末に伝送する段階と、を含むことを特徴とするイメージ検索方法。
10. 前記生成モデルは、複数のＦＣＬ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を含むＧＡＮ（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）を含むことを特徴とする請求項１または９に記載のイメージ検索方法。
11. 請求項１ないし１０のうちいずれか１項に記載のイメージ検索方法を装置のコンピュータに実行させるコンピュータプログラム。
12. プロセッサと、
    少なくとも１つのプログラム、及び生成モデルを保存するメモリと、
    ターゲットイメージを保存するデータベースと、を含むが、
    前記プロセッサは、前記少なくとも１つのプログラムが実行されることにより、
    同一属性を含む複数の参照イメージに対応する参照特徴ベクトルを獲得し、
    前記獲得した参照特徴ベクトルに基づいて訓練された前記生成モデルを用いてノイズから前記同一属性に対応する代表特徴ベクトルを獲得し、
    前記ターゲットイメージの特徴ベクトルと、前記代表特徴ベクトルとを比較し、前記ターゲットイメージのうち少なくとも一部のターゲットイメージに、前記同一属性に対応する属性タグを割り当てることを特徴とするイメージ検索装置。
13. ユーザ端末装置によるイメージ検索方法において、
    請求項１２に記載のイメージ検索装置に接続して属性を選択する段階と、
    前記イメージ検索装置に保存されたターゲットイメージのうち、前記選択した属性に対応する属性タグが割り当てられたターゲットイメージを、前記イメージ検索装置から受信する段階と、を含み、
    前記イメージ検索装置に保存されたターゲットイメージには、
    複数の属性それぞれに対応する代表特徴ベクトルと、前記ターゲットイメージの特徴ベクトルとの比較結果に基づいて、前記複数の属性に対応する複数の属性タグのうち少なくとも一部の属性タグが割り当てられていることを特徴とするイメージ検索方法。

Images