JP7238963B2 - 情報処理装置、検索方法、及びプログラム - Google Patents

Description

本発明は情報処理装置、検索方法、及びプログラムに関する。

近年、スマートフォンや防犯カメラなどのカメラ機器の普及により、大量に増加している画像に対する検索の需要が高まっている。これに関連し、画像の検索に関する技術が提案されている。

例えば、特許文献１は、特徴や撮像条件などの検索条件をユーザが入力する負担を減らすために、検索キー画像から検索条件を生成し画像を検索する技術について開示している。この技術では、検索キー画像から取得する特徴量または撮像条件に基づき、互いに異なる複数の検索条件を生成する。その後、この技術はそれぞれの検索条件に一致又は類似する画像を検索し、検索結果をユーザに提示する。ユーザは提示された検索結果から画像を選択し、選択した画像を新たな検索キー画像として設定する。このように、ユーザが意図した特徴や撮像条件を満たしている画像を見つけるように検索が繰り返される。

また、特許文献２では、電子機器のモニタ画面上に表示された被写体の画像に対し、ユーザにより指定された色、あるいは、色と形状を有する部分を検索する技術を開示している。そして、この技術では、指定された条件に該当する部分のみを表示するか、該当する部分以外を半透明状態で表示することにより、検索結果を表示する。

また、画像を検索する技術の他に、画像を生成する技術についても、様々な技術が提案されている。例えば、非特許文献１では、機械学習技術を用い、ユーザからのテキストに合う写実的画像を生成する技術について開示している。この技術では、テキストに忠実な画像を生成することを目指している。

特開２０１１－１６４７９９号公報 特開２００５－１８６２８号公報

Z. Zhang, Y. Xie, L. Yang, "Photographic Text-to-Image Synthesis with a Hierarchically-nested Adversarial Network", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.

画像の検索を適切に行うためには、ユーザが意図する検索条件を適切に取得することが重要である。
例えば、人物の画像が集まっているデータセットから、赤い服を着ている人物の画像を検索するとする。データセットに赤い服を着ている人物画像が大量にある場合、「赤い服」という条件に対するさらなる絞り込みが重要である。「赤」がより詳細には、真っ赤なのか、ピンクっぽい赤なのか、及び、「赤い服」とは、全身が赤い服なのか上半身だけが赤い服なのかなどを、ユーザに選択させ、ユーザが意図する検索条件を絞り込むことが望まれる。検索条件の絞り込みにより、検索結果として得られる画像の件数を減らすことができる。また、検索処理の速度を上げるだけではく、ユーザが結果画像を確認する手間を減らす効果もある。つまり、ユーザの意図を詳細に反映した検索条件を決定する技術が求められている。

特許文献１に記載の技術では、検索の際、ユーザは検索キー画像を選択するだけであり、ユーザは、具体的な検索対象についての情報を装置に入力しない。このため、ユーザの意図を詳細に反映した検索条件を決定することはできない。

また、特許文献２では、ユーザに指定された色又は形状に合致する部分を検索する際に、ユーザの検索意図をより詳細に確認することは行なわれていない。このため、この技術では、ユーザの意図を詳細に反映した検索条件を決定することはできない。

非特許文献１は、ユーザの条件に合う高画質な画像を生成する技術であり、ユーザの意図を詳細に反映した検索条件を決定することはできない。

そこで、本明細書に開示される実施形態が達成しようとする目的の１つは、ユーザの意図を詳細に反映した検索条件を決定することができる情報処理装置、検索方法、及びプログラムを提供することにある。

第１の態様にかかる情報処理装置は、
入力された検索条件を取得する検索条件取得手段と、
前記検索条件取得手段が取得した検索条件で指定された物体の画像であって、当該物体のバリエーション又は当該物体の当該検索条件で指定された態様のバリエーションを表す１種類以上の画像を表示する画像表示手段と、
前記画像表示手段が表示した画像のうちの１種類以上の画像を選択する指示を受け付ける選択受付手段と、
前記選択受付手段が受け付けた指示に従って選択された前記画像に基づいて検索条件を決定する検索条件決定手段と
を有する。

第２の態様にかかる検索方法では、
入力された検索条件を取得し、
取得した検索条件で指定された物体の画像であって、当該物体のバリエーション又は当該物体の当該検索条件で指定された態様のバリエーションを表す１種類以上の画像を表示し、
表示された前記画像のうちの１種類以上の画像を選択する指示を受け付け、
受け付けた指示に従って選択された前記画像に基づいて検索条件を決定する。

第３の態様にかかるプログラムは、
入力された検索条件を取得する検索条件取得ステップと、
取得した検索条件で指定された物体の画像であって、当該物体のバリエーション又は当該物体の当該検索条件で指定された態様のバリエーションを表す１種類以上の画像を表示する画像表示ステップと、
表示された前記画像のうちの１種類以上の画像を選択する指示を受け付ける選択受付ステップと、
受け付けた指示に従って選択された前記画像に基づいて検索条件を決定する検索条件決定ステップと
をコンピュータに実行させる。

上述の態様によれば、ユーザの意図を詳細に反映した検索条件を決定することができる情報処理装置、検索方法、及びプログラムを提供することができる。

実施の形態の概要にかかる情報処理装置の構成の一例を示すブロック図である。 実施の形態にかかる情報処理装置の構成の一例を示すブロック図である。 物体に関するシソーラス情報の一例を示す模式図である。 物体の色に関するシソーラス情報の一例を示す模式図である。 物体の位置に関するシソーラス情報の一例を示す模式図である。 物体の向きに関するシソーラス情報の一例を示す模式図である。 物体の動作に関するシソーラス情報の一例を示す模式図である。 実施の形態にかかる情報処理装置のハードウェア構成の一例を示すブロック図である。 実施の形態にかかる情報処理装置の動作の流れを示すフローチャートである。 人物が描画された画像の検索例の流れを示す模式図である。 検索条件決定部により決定される検索条件の一例を示す表である。 車が描写された画像の検索例の流れを示す模式図である。 検索条件決定部により決定される検索条件の一例を示す表である。

＜実施の形態の概要＞
実施の形態の詳細な説明に先立って、実施の形態の概要を説明する。図１は、実施の形態の概要にかかる情報処理装置１の構成の一例を示すブロック図である。図１に示すように、情報処理装置１は、検索条件取得部２と、画像表示部３と、選択受付部４と、検索条件決定部５とを有する。

検索条件取得部２は、情報処理装置１に入力された検索条件を取得する。検索条件取得部２が取得する検索条件は、例えばユーザが入力した検索条件である。この検索条件は、少なくとも、検索対象の物体を指定するものである。また、この検索条件は検索対象の物体のみならず、当該物体の態様（例えば、物体の色、物体の位置、物体の向き、物体の動作など）を指定してもよい。情報処理装置１は、検索条件取得部２が取得した検索条件を検索処理にそのまま利用するのではなく、当該検索条件よりもユーザの意図を詳細に反映した検索条件を検索条件決定部５により決定する。

画像表示部３は、検索条件取得部２が取得した検索条件で指定された物体の画像であって、当該物体のバリエーション又は当該物体の当該検索条件で指定された態様のバリエーションを表す１種類以上の画像をディスプレイに表示する。例えば、検索条件取得部２が取得した検索条件で指定された検索対象の物体が「車」である場合、画像表示部３は、車のバリエーションを表す１種類以上の画像を表示する。より具体的には、例えば、画像表示部３は、普通車の画像、小型車の画像、バスの画像などを表示する。以下の説明では、バリエーションを表す画像を単にバリエーション画像と称すことがある。

選択受付部４は、画像表示部３が表示した画像のうちの１種類以上の画像を選択する指示を受け付ける。検索条件を入力したユーザは、表示された画像のうち、自分の意図を反映している画像を選択する。この選択が、選択受付部４により受け付けられる。

検索条件決定部５は、選択受付部４が受け付けた指示に従って選択された画像に基づいて検索条件を決定する。すなわち、検索条件決定部５は、選択された画像の内容に対応する検索条件を、検索処理に利用する検索条件とする。

上述の通り、情報処理装置１は、バリエーション画像を表示し、バリエーション画像に対するユーザの選択を受け付ける。そして、その選択に従って検索条件を決定する。このため、ユーザの意図を詳細に反映した検索条件を決定することができる。

＜実施の形態の詳細＞
次に、実施の形態の詳細について説明する。
図２は、実施の形態にかかる情報処理装置１０の構成の一例を示すブロック図である。図２に示すように、情報処理装置１０は、シソーラス記憶部１１と、検索条件取得部１２と、画像生成部１３と、画像表示部１４と、制御部１５と、検索条件決定部１６と、画像検索部１７とを有する。

シソーラス記憶部１１は、検索に用いられうるキーワードを予め体系的にまとめた情報を記憶する。以下の説明では、この情報をシソーラス情報と称す。シソーラス情報は、例えば、上位概念であるキーワードとその下位概念のキーワードとの関係を示すツリー構造の情報である。本実施の形態では、シソーラス記憶部１１は、物体に関するシソーラス情報と物体の態様に関するシソーラス情報とを記憶する。

図３は、物体に関するシソーラス情報の一例を示す模式図である。図４から図７は、そぞれ、物体の態様に関するシソーラス情報の一例を示す模式図である。図３から図７で示したシソーラス情報は、上位概念のキーワードを分類するキーワードを関連付けることが階層的に繰り返して構成されている。例えば、図３に示した例では、「物体」という概念（キーワード）に対し、「人物」、「その他」という概念（キーワード）を関連づけている。さらに、「人物」については、「男性」、「女性」、「不明」という概念（キーワード）を関連づけている。

図４は、物体の色に関するシソーラス情報の一例を示す模式図である。色に関するシソーラス情報では、公知の色の分類が使われてもよい。そのような分類の一例として、図４では、ＨＴＭＬで用いられる「拡張された基本色」である１４７色の分類体系の一部を示している。

図５は、物体の位置に関するシソーラス情報の一例を示す模式図である。図５に示したシソーラス情報によれば、例えば、「隣」という位置についての情報は、「左」隣と「右」隣に分類される。また、さらに、「左」は、「左上」と「左下」に分類され、「右」は、「右上」と「右下」に分類される。

図６は、物体の向きに関するシソーラス情報の一例を示す模式図である。図６に示したシソーラス情報によれば、例えば、「正面」という位置についての情報は、「左正面」（正面ではあるが、真正面ではなく左側面が多少見える状態）と「右正面」（正面ではあるが、真正面ではなく右側面が多少見える状態）に分類される。

図７は、物体の動作に関するシソーラス情報の一例を示す模式図である。図７に示したシソーラス情報によれば、例えば、「立つ」という動作についての情報は、「じっとする」動作と、「頭が動く」という動作と、「腕が動く」という動作に分類される。また、「頭が動く」という動作についての情報は、「頭が左右に動く」動作と、「頭が上下に動く」という動作に分類される。

シソーラス情報における分類の粒度、及び、階層化の深さについては、任意に決めればよい。シソーラス情報は、設計者が作成してもよいし、既存の知識ベース若しくはアルゴリズムに基づいて自動的に作成されてもよい。

検索条件取得部１２は、図１の検索条件取得部２に対応している。検索条件取得部１２は、ユーザが入力した検索条件を取得する。ユーザは、検索したい画像に描写されている物体（すなわち、被写体）を検索条件として指定する。すなわち、検索条件取得部１２が取得する検索条件は、検索対象の物体の指定を含む。また、検索条件取得部１２が取得する検索条件は、検索したい画像に描写されている物体の態様の指定を含んでもよい。すなわち、検索条件取得部１２は、検索条件として、検索対象の画像の被写体について条件を取得する。

検索条件取得部１２は、検索条件として、ユーザが情報処理装置１０に入力したテキストを取得してもよいし、テキスト以外の他の入力で指定された検索条件を取得してもよい。例えば、情報処理装置１０に入力された音声データに基づいて検索条件を取得してもよい。この場合、検索条件取得部１２は、音声データに対し、公知の音声分析技術を用い音声データをテキストに変換して検索条件を取得する。また、ユーザは、所定の物体又は所定の態様を表すアイコンなどの選択肢を選択してもよい。この場合、検索条件取得部１２は、選択された選択肢に対応する検索条件を取得する。例えば、検索条件取得部１２は、「人物」というテキストを選択肢の一つとして提示し、この選択肢がユーザにより選択された場合、検索条件として「人物」を取得してもよい。また、検索条件取得部１２は、人物のイラスト図形を選択肢の一つとして提示し、この選択肢がユーザにより選択された場合、検索条件として「人物」を取得してもよい。

なお、テキストから検索条件を取得する場合、検索条件取得部１２は、構文解析や形態素解析など公知のテキスト分析技術を用い、テキストを分析し、検索条件の情報を抽出する。例えば、形態素解析では、事前に既知の単語を辞書に格納しておき、辞書を参照することで、テキストを適切な単語列に分割する。辞書において、単語に品詞（名詞、動詞などの単語の種類）や読みなどを付与しておくことで、単語にさまざまな情報を付けることができる。

例えば、検索条件をテキストから抽出するために、シソーラス記憶部１１に記憶されているシソーラス情報で定義されているキーワード（単語）が予め格納された辞書が用いられてもよい。この場合、検索条件取得部１２は、入力されたテキストから辞書に出現している単語を抽出することで、検索条件を取得する。

なお、同義語リストが用いられてもよい。この同義語リストは、シソーラス情報で定義されているキーワード（単語）と同じ意味の単語を示すデータである。この場合、検索条件取得部１２は、シソーラス情報で定義された単語のみならず、その同義語の単語を検索条件として取得することができる。

画像生成部１３及び画像表示部１４は、図１の画像表示部３に対応している。すなわち、画像生成部１３及び画像表示部１４を総称して画像表示部と称すことがある。
画像表示部１４は、画像生成部１３が生成した画像をディスプレイに表示することにより、画像をユーザに提示する。

画像生成部１３は、検索条件取得部１２が取得した検索条件に従って、検索条件を表す画像を生成する。画像生成部１３は、検索条件取得部１２が取得した検索条件で指定された物体のバリエーション画像又は検索条件取得部１２が取得した検索条件で指定された態様のバリエーション画像を生成する。具体的には、画像生成部１３は、次のようにして、表示すべきバリエーション画像を生成する。

まず、画像生成部１３は、検索条件取得部１２が取得した検索条件に対応するキーワードをシソーラス情報において特定する。すなわち、画像生成部１３は、検索条件で指定された物体が、シソーラス情報で定義されたどのキーワードに該当するかを特定する。また、画像生成部１３は、検索条件で指定された物体の態様が、シソーラス情報で定義されたどのキーワードに該当するかを特定する。そして、画像生成部１３は、特定したキーワードの下位概念としてシソーラス情報で定義されているキーワードに対応する画像を生成する。すなわち、画像生成部１３は、検索条件で指定された概念（キーワード）に関連する概念（キーワード）を表す画像を生成する。

画像生成部１３は、具体的には、例えば、次のような画像を生成する。例えば、検索条件として「車」が取得された場合、図３に示すシソーラス情報によれば、「車」の下位概念として「普通車」、「小型車」、「バス」が定義されている。このため、画像生成部１３は、「普通車」の画像、「小型車」の画像、「バス」の画像の３種類の画像を生成する。

なお、画像生成部１３は、検索条件で指定された概念に関連する概念の画像ではなく、検索条件で指定された概念自体を表す画像を生成してもよい。例えば、検索条件として「男性」が取得された場合、画像生成部１３は、「男性」を表す１種類の画像を生成してもよい。

画像生成部１３は、１種類の画像のみを生成してよいし、複数種類の画像を生成してもよい。

検索条件に複数のキーワード（概念）が含まれる場合、それぞれに対し、バリエーション画像が存在しうる。例えば、「赤」及び「車」を含む検索条件に対しては、「赤」に対してのバリエーション画像を生成可能であるし、「車」のバリエーション画像も生成可能である。このような場合、全てのバリエーション画像をユーザに提示せずに、所定の優先順位に従って選択される画像だけを表示してもよい。例えば、所定の優先順位は、物体、物体の位置、物体の向き、物体の色、物体の動作の順である。

優先順位として、検索条件取得部１２が取得した検索条件での物体又は態様の指定順序が用いられてもよい。例えば、検索条件のテキストにおいて、重要な順に、物体又は態様が指定されることが考えられる。この場合、先に指定された物体又は態様のバリエーション画像を優先的に表示するようにしてもよい。そのため、画像生成部１３は、先に指定された物体又は態様のバリエーション画像を優先的に生成してもよい。また、画像生成部１３は、指定された全ての物体又は態様のバリエーション画像を生成し、後述する画像表示部１４が、それら画像のうち、先に指定された物体又は態様のバリエーション画像を優先的に表示してもよい。
例えば、「赤」、「車」という順で検索条件が指定されている場合、「赤」に対するバリエーション画像の表示を「車」に対するバリエーション画像の表示よりも優先させる。このように、画像表示部１４は、検索条件取得部１２が取得した検索条件での物体又は態様の指定順序に応じて画像の表示における優先順位を決定してもよい。このような構成によれば、ユーザが重視している概念についてのバリエーション画像を優先的に提示することができるため、ユーザは自分の意図を反映したバリエーション画像を選択しやすくなる。

なお、本実施の形態では、シソーラス情報を用いて、生成する画像の内容が決定されるが、他の方法により生成する画像の内容が決定されてもよい。例えば、検索対象となる画像データセットに対して予め定義された索引の階層構造を参照することにより生成するバリエーション画像が決定されてもよい。

なお、検索条件取得部１２が取得した検索条件で指定されていない態様については、デフォルトの設定が用いられてもよい。例えば、検索条件として、「赤い車」が取得された場合、この検索条件では、物体の向きや物体の位置についての態様は指定されていない。この場合、画像生成部１３は、所定の向きの物体が、画像内の所定の位置に存在する画像を生成する。例えば、画像生成部１３は、正面から見た赤い車が画像の中央に位置して描写されている画像を生成する。

画像生成部１３は、生成すべき画像の内容を特定すると、公知の任意の技術を用いて、当該内容に対応する画像を生成する。例えば、画像生成部１３は、物体に関するシソーラス情報（図３参照）で定義されているキーワードを表す、予め用意された画像データ群から、生成すべき画像の内容に合致する画像データを選択する。物体に関するシソーラス情報で定義されているキーワードを表す画像データ群は、例えば、車を表す図形の画像データ、普通車を表す図形の画像データ、小型車を表す図形の画像データ、バスを表す図形の画像データなどである。なお、これらの画像データは、必ずしも予め用意されていなくてもよい。すなわち、画像生成部１３は、公知の画像生成技術により、物体のキーワードから物体の画像を生成してもよい。そして、画像生成部１３は、物体の画像データを用いて、検索条件又はデフォルト設定に基づいて決定された態様で当該物体が表された画像を生成する。例えば、画像生成部１３は、取得された検索条件又はデフォルト設定に基づいて決定された色で物体が着色された画像を生成する。画像の生成においては、コンピューター・グラフィックス・ソフトウェアなどを含む任意の描画ソフトウェアが用いられてもよい。

生成される画像は、静止画であっても、動画であってもよい。生成される画像が動画の場合、画像生成部１３は、例えば物体の動作を表す連続的な複数の静止画を結合することにより動画を生成する。静止画の例としては絵画や図形、クリップアート、イラストなどがあり、動画の例としてはビデオ映像やアニメーションなどがあるが、画像の種類はこれらに限定されない。

なお、物体を指定する検索条件として、ユーザは、描画ツール等を用いて自らが作成した図形の画像データを指定してもよい。この場合、画像生成部１３は、検索条件又はデフォルト設定に基づいて決定された態様で物体が表された画像を、ユーザが作成した図形の画像データを用いて生成してもよい。

制御部１５は、図１の選択受付部４に対応している。制御部１５は、画像表示部１４が表示した画像のうちの１種類以上の画像を選択する指示をユーザから受け付ける。また、制御部１５は、検索条件の決定の指示をユーザから受け付ける。また、制御部１５は、ユーザに対し画像の選択の要求を行なう制御、及び、検索条件の再入力についての制御などを含む制御処理を行なう。ユーザは、画像表示部１４が表示した画像群に、自らの意図を反映した内容の画像が含まれるかどうか確認し、意図を反映した内容の画像がある場合、意図を反映した内容の画像を一枚または複数枚、選択する。また、ユーザは、画像表示部１４が表示した画像を確認後、検索条件を再入力することができる。これにより、再度、画像生成部１３による画像生成処理、及び画像表示部１４による表示処理が行なわれる。これらの処理は、検索条件の決定の指示をユーザから受け付けるまで繰り返される。

検索条件決定部１６は、図１の検索条件決定部５に対応しており、検索条件の決定の指示が受け付けられると、制御部１５が受け付けた画像選択の指示で選択された画像に基づいて検索条件を決定する。すなわち、検索条件決定部１６は、選択された画像の内容に対応する検索条件を、検索処理に利用する検索条件とする。具体的には、選択された画像が表す物体及び物体の態様を検索対象と特定し、当該物体及び態様を検索条件とする。

画像検索部１７は、検索条件決定部１６が決定した検索条件に従って、この検索条件に該当する画像を検索する。すなわち、画像検索部１７は、画像のデータセットの中から、検索条件にマッチする画像を検索する。

次に、情報処理装置１０のハードウェア構成の一例について説明する。図８は、情報処理装置１０のハードウェア構成の一例を示すブロック図である。

図８に示すように、情報処理装置１０は、例えば、ネットワークインタフェース５０と、メモリ５１と、プロセッサ５２と、入力装置５３と、表示装置５４とを有する。

ネットワークインタフェース５０は、他の装置との通信を行うために使用される。例えば、ユーザからの入力を他の装置を介して情報処理装置１０が受信する場合、又は、他の装置を介してユーザに画像を提示する場合などに用いられる。ネットワークインタフェース５０は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。

メモリ５１は、例えば揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ５１は、プロセッサ５２により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）などを格納するために使用される。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、Compact Disc Read Only Memory（CD-ROM）、CD-R、CD-R/W、半導体メモリ（例えば、マスクROM、Programmable ROM（PROM）、Erasable PROM（EPROM）、フラッシュROM、Random Access Memory（RAM））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

プロセッサ５２は、例えば、マイクロプロセッサ、ＭＰＵ(Micro Processor Unit)、又はＣＰＵ(Central Processing Unit)などであってもよい。プロセッサ５２は、複数のプロセッサを含んでもよい。プロセッサ５２は、メモリ５１からコンピュータプログラムを読み出して実行することで、検索条件取得部１２、画像生成部１３、画像表示部１４、制御部１５、検索条件決定部１６、及び画像検索部１７の処理を行う。なお、シソーラス記憶部１１は、メモリ５１又は記憶装置（図示せず）により実現される。また、画像のデータセットなど、処理に必要となるデータも、メモリ５１又は記憶装置に予め記憶されている。

入力装置５３は、ユーザからの入力を受け付けるキーボードなどの装置である。表示装置５４は、情報の表示を行うディスプレイなどの装置である。

次に、情報処理装置１０の動作の流れについて説明する。図９は、情報処理装置１０の動作の流れを示すフローチャートである。以下、図９を参照しつつ、情報処理装置１０の動作について説明する。

ステップＳ１００において、検索条件取得部１２が、ユーザが入力した検索条件を取得する。

次に、ステップＳ１０１において、画像生成部１３が、シソーラス情報を参照し、ステップＳ１００で取得した検索条件に対応するキーワードをシソーラス情報において特定する。さらに、画像生成部１３は、この特定したキーワードの下位概念としてシソーラス情報において定義されているキーワードを特定する。

次に、ステップＳ１０２において、画像生成部１３は、ステップＳ１０１で特定結果に対応するバリエーション画像を生成する。

次に、ステップＳ１０３において、画像表示部１４は、ステップＳ１０２で生成した画像をディスプレイに表示する。

次に、ステップＳ１０４において、制御部１５は、ステップＳ１０３で表示された画像のうちユーザの検索意図に合致した内容の画像を選択するようメッセージを出力し、ユーザに選択を促す。これに対し、ユーザは、画像の選択とともに、若しくは、画像の選択を伴わずに、検索条件を修正することができる。

次に、ステップＳ１０５において、制御部１５は、画像を選択する指示と検索条件の決定の指示を受け付けたか否かを判定する。これらの指示を受け付けた場合、処理はステップＳ１０７に移行する。これに対し、検索条件の決定の指示がない場合、処理はステップＳ１０６に移行する。検索条件の決定の指示がない場合、再度、上述した処理が繰り返されることとなる。なお、この場合、画像生成部１３は、修正された検索条件に基づいて、新たなバリエーション画像を生成してもよいし、選択された画像に基づいて新たなバリエーション画像を生成してもよい。

ステップＳ１０６において、制御部１５は、検索条件が修正されたかを判定する。検索条件が修正された場合、処理はステップＳ１００に戻り、再度、検索条件が取得される。すなわち、ステップＳ１０２において新たな検索条件に基づいて画像が生成されることとなる。検索条件が修正されていない場合、処理はステップＳ１０１に戻る。その後、ステップＳ１０２において、選択された画像に基づいて新たなバリエーション画像を生成する場合、画像生成部１３は、例えば、選択された画像に対応するキーワードの更に下位概念に対応するバリエーション画像を生成する。

ステップＳ１０７において、検索条件決定部１６は選択された画像に基づいて検索条件を決定し、画像検索部１７は、画像のデータセットの中から、検索条件にマッチする画像を検索する。

このように、情報処理装置１０は、バリエーション画像を表示し、バリエーション画像に対するユーザの選択を受け付ける。そして、その選択に従って検索条件を決定し、この検索条件を使って検索を行なう。このような構成によれば、ユーザの意図を詳細に反映した検索条件を決定することができる。このため、ユーザの意図に沿った検索結果を提供することができる。

特に、上述した通り、情報処理装置１０は、検索条件の修正機能及びそれに応じた画像の表示機能を提供する。すなわち、検索条件取得部１２は、画像表示部１４による画像の表示の後に、新たに検索条件を取得する。そして、画像表示部１４は、新たに取得された検索条件で指定された物体の画像であって、当該物体のバリエーション又は当該物体の当該検索条件で指定された態様のバリエーションを表す１種類以上の画像を表示する。このため、ユーザの意図を適切に把握することができる。

また、情報処理装置１０は、選択された画像に基づいて、さらにバリエーション画像を生成する。すなわち、画像表示部１４は、制御部１５が受け付けた指示に従って選択された画像が表す物体の態様についてのバリエーションを表す１種類以上の画像を表示する。このため、ユーザの意図をさらに詳細に把握することができる。

次に、具体例を用いて、情報処理装置１０の動作について説明する。図１０は、人物が描画された画像の検索例の流れを示す模式図である。図１０に示される各ステップで、情報処理装置１０は、入力されたテキストから検索条件を取得し、シソーラス情報に基づいて画像を生成し、ユーザに提示する。

ステップ１では、ユーザから検索条件として「男性、赤い服」が入力されたとする。情報処理装置１０は、図３の物体に関するシソーラス情報及び図４の色の関するシソーラス情報を参照し、男性らしい体を表す例えば次のような三種類の画像を生成する。１つ目の画像は、男性が赤の服を着ている画像である。２つ目の画像は、男性が暗赤の服を着ている画像である。３つ目の画像は、男性がライトコーラルの服を着ている画像である。情報処理装置１０は、これらの画像を表示し、ユーザに自分の検索意図に合っている画像を選ばせる。ユーザは男性が暗赤の服を着ている画像を選んだとする。さらに、表示された画像を見て、意図が正しく情報処理装置１０に伝わっていないと感じたユーザは、検索条件の「赤い服」を「上半身が赤、下半身が灰」に変更したとする。

ステップ２で、情報処理装置１０は、ステップ１で選択された画像と修正された検索条件に基づき、新たな画像を生成する。この例では、新たに３種類の画像が生成されている。１つ目の画像は、上半身が暗赤で下半身が灰色の服を着ている男性の画像である。２つ目の画像は、上半身がブラウンで下半身が灰色の服を着ている男性の画像である。３つ目の画像は、上半身がファイアブリックで下半身が灰色の服を着ている男性の画像である。情報処理装置１０は、これらの画像を表示し、ユーザに自分の検索意図に合っている画像を選ばせる。これに対し、ユーザは、上半身が暗赤で下半身が灰色の服を着ている男性の画像を選択し、検索条件については変更しなかったとする。

ステップ３で、情報処理装置１０は、ステップ２に選択された画像に基づき、新たな画像を生成する。情報処理装置１０は、図４に示した色に関するシソーラス情報を参照し、例えば、次のような画像を生成する。１つ目の画像は、上半身が暗赤で下半身が灰色の服を着ている男性の画像である。２つ目の画像は、上半身が暗赤で下半身がシルバーの服を着ている男性の画像である。３つ目の画像は、上半身が暗赤で下半身が暗灰の服を着ている男性の画像である。情報処理装置１０は、これらの画像を表示し、ユーザに自分の検索意図に合っている画像を選ばせる。これに対し、ユーザは、上半身が暗赤で下半身が灰色の服を着ている男性の画像と、上半身が暗赤で下半身が暗灰の服を着ている男性の画像の２種類の画像を選択したとする。そして、さらに、ユーザは、検索条件に「サングラス」を追加したとする。

ステップ４では、情報処理装置１０は、ステップ３で選択された画像と追加された検索条件に基づき、新たな画像を生成する。この例では、情報処理装置１０は、ステップ３に選択された人物画像にサングラスをつけた画像を生成したとする。なお、ここでは、人物がサングラスをつけた画像を生成しているが、情報処理装置１０は、サングラスを表す図形と人物を表す図形を並べて描画する画像を生成してもよい。この例では、予め定められた画像生成ルールに従い、サングラスと人物を並べて描画した画像ではなく、人物がサングラスをかけた様子を描画した画像が生成されている。情報処理装置１０は、これらの画像を表示し、ユーザに自分の検索意図に合っている画像を選ばせる。これに対し、ユーザは、下半身が暗灰である画像を選択したとする。そして、さらに、ユーザは、検索条件に「頭が動いている」という条件を追加したとする。

ステップ５で、情報処理装置１０は、ステップ４で選択された画像と追加された検索条件に基づき、新たな画像を生成する。例えば、情報処理装置１０は、図７に示した動作に関するシソーラス情報を参照し、画像を生成する。図７に示す通り、「頭が動く」に対しては、「頭が左右に動く」と「頭が上下に動く」の２種類の下位概念があるため、情報処理装置１０は、これら２種類の下位概念を表す画像を生成する。なお、ここでは、複数の画像により動きを表すものとする。生成される画像の第１のセットは、頭が左右に動く様子を表す画像の集合である。第１のセットは、例えば、頭が左に向いている画像、頭が正面を向いている画像、頭が右に向いている画像からなる。また、生成される画像の第２のセットは、頭が上下に動く様子を表す画像の集合である。第２のセットは、例えば、頭が上に向いている画像、頭が正面を向いている画像、頭が下に向いている画像からなる。情報処理装置１０は、これら２種類のセットを表示し、ユーザに自分の検索意図に合っているセットを選ばせる。これに対し、ユーザは、第１のセットを選択したとする。そして、ユーザは、検索条件の決定の指示を入力したとする。この場合、検索条件決定部１６は、例えば図１１に示す検索条件を最終的な検索条件として決定する。すなわち、例えば、検索条件決定部１６は、選択された画像により特定される物体及びその態様を最終的な検索条件とする。そして、画像検索部１７は、決定された検索条件に基づき、画像の検索を行なう。これにより、ステップ１で入力した検索条件で検索を行なう場合に比べて、よりユーザの意図を反映した検索を行なうことができる。なお、図１１に示した例では、ユーザから指定されていない態様については、デフォルトの設定値が検索条件として用いられている。

図１２は車が描写された画像の検索例の流れを示す模式図である。図１２に示される各ステップで、情報処理装置１０は、入力されたテキストから検索条件を取得し、シソーラス情報に基づいて画像を生成し、ユーザに提示する。

ステップ１では、ユーザから検索条件として「車」が入力されたとする。情報処理装置１０は、図３の物体に関するシソーラス情報を参照し、車を表す例えば次のような三種類の画像を生成する。１つ目の画像は、普通車の画像である。２つ目の画像は、小型車の画像である。３つ目の画像は、バスの画像である。情報処理装置１０は、これらの画像を表示し、ユーザに自分の検索意図に合っている画像を選ばせる。ユーザは普通車の画像を選んだとする。さらに、表示された画像を見て、意図が正しく情報処理装置１０に伝わっていないと感じたユーザは、検索条件を「赤い車」へと修正したとする。

ステップ２で、情報処理装置１０は、ステップ１で選択された画像と修正された検索条件に基づき、新たな画像を生成する。この例では、情報処理装置１０は、図４に示した色に関するシソーラス情報を参照し、新たに次のような３種類の画像が生成したとする。１つ目の画像は、色が赤である普通車の画像である。２つ目は、色が暗赤である普通車の画像である。３つ目は、色がライトコーラルである普通車の画像である。情報処理装置１０は、これらの画像を表示し、ユーザに自分の検索意図に合っている画像を選ばせる。これに対し、ユーザは、色が赤である普通車の画像を選択し、検索条件については変更しなかったとする。

ステップ３で、情報処理装置１０は、ステップ２で選択された画像に基づき、新たな画像を生成する。情報処理装置１０は、図４に示した色に関するシソーラス情報を参照し、例えば、次のような画像を生成する。１つ目の画像は、色が赤である普通車の画像である。２つ目は、色が深紅である普通車の画像である。３つ目は、色が橙赤である普通車の画像である。情報処理装置１０は、これらの画像を表示し、ユーザに自分の検索意図に合っている画像を選ばせる。これに対し、ユーザは、色が橙赤である普通車の画像を選択し、検索条件を「正面の赤い車」へと修正したとする。

ステップ４で、情報処理装置１０は、ステップ３で選択された車画像と追加された検索条件に基づき、新たな画像を生成する。この例では、情報処理装置１０は、図５の向きに関するシソーラス情報を参照し、次のような３種類の画像を生成したとする。１つ目の画像は、正面ではあるが真正面ではなく左側面が多少見える状態の普通車であって、その色が橙赤である画像である。２つ目の画像は、真正面を向いた状態の普通車であって、その色が橙赤である画像である。３つ目の画像は、正面ではあるが真正面ではなく右側面が多少見える状態の普通車であって、その色が橙赤である画像である。情報処理装置１０は、これらの画像を表示し、ユーザに自分の検索意図に合っている画像を選ばせる。これに対し、ユーザは、真正面を向いた状態の普通車であって、その色が橙赤である画像を選択したとする。そして、さらに、ユーザは、検索条件に「隣に人がいる」という条件を追加したとする。

ステップ５で、情報処理装置１０は、ステップ４で選択された画像と追加された条件に基づき、新たな画像を生成する。この例では、情報処理装置１０は、図５に示した位置に関するシソーラス情報を参照し、次のような２種類の画像を生成したとする。すなわち、「隣」の下位概念である「左」と「右」に基づいて、次のような２種類の画像を生成したとする。１つ目の画像は、ステップ４で選択された車の左隣に人物が追加された画像である。２つ目の画像は、ステップ４で選択された車の右隣に人物が追加された画像である。情報処理装置１０は、これらの画像を表示し、ユーザに自分の検索意図に合っている画像を選ばせる。これに対し、ユーザは、車の左隣に人物が追加された画像を選択したとする。そして、ユーザは、検索条件の決定の指示を入力したとする。この場合、検索条件決定部１６は、例えば図１３に示す検索条件を最終的な検索条件として決定する。すなわち、例えば、検索条件決定部１６は、選択された画像により特定される物体及びその態様を最終的な検索条件とする。そして、画像検索部１７は、決定された検索条件に基づき、画像の検索を行なう。これにより、ステップ１で入力した検索条件で検索を行なう場合に比べて、よりユーザの意図を反映した検索を行なうことができる。なお、図１３に示した例では、ユーザから指定されていない態様については、デフォルトの設定値が検索条件として用いられている。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記実施の形態では、バリエーション画像を生成するための態様として、色、位置、向き、動作を挙げたが、これら以外の態様が用いられてもよい。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
入力された検索条件を取得する検索条件取得手段と、
前記検索条件取得手段が取得した検索条件で指定された物体の画像であって、当該物体のバリエーション又は当該物体の当該検索条件で指定された態様のバリエーションを表す１種類以上の画像を表示する画像表示手段と、
前記画像表示手段が表示した画像のうちの１種類以上の画像を選択する指示を受け付ける選択受付手段と、
前記選択受付手段が受け付けた指示に従って選択された前記画像に基づいて検索条件を決定する検索条件決定手段と
を有する情報処理装置。
（付記２）
前記検索条件取得手段は、前記画像表示手段による画像の表示の後に、新たに検索条件を取得し、
前記画像表示手段は、新たに取得された前記検索条件で指定された物体の画像であって、当該物体のバリエーション又は当該物体の当該検索条件で指定された態様のバリエーションを表す１種類以上の画像を表示する
付記１に記載の情報処理装置。
（付記３）
前記画像表示手段は、前記選択受付手段が受け付けた指示に従って選択された前記画像が表す前記物体の態様についてのバリエーションを表す１種類以上の画像を表示する
付記１又は２に記載の情報処理装置。
（付記４）
前記画像表示手段は、前記検索条件取得手段が取得した検索条件での物体又は態様の指定順序に応じて画像の表示における優先順位を決定する
付記１乃至３のいずれか１項に記載の情報処理装置。
（付記５）
前記態様の一つは、前記物体の色である
付記１乃至４のいずれか１項に記載の情報処理装置。
（付記６）
前記態様の一つは、画像内の前記物体の位置である
付記１乃至５のいずれか１項に記載の情報処理装置。
（付記７）
前記態様の一つは、前記物体の向きである
付記１乃至６のいずれか１項に記載の情報処理装置。
（付記８）
前記態様は、前記物体の動作である
付記１乃至７のいずれか１項に記載の情報処理装置。
（付記９）
前記検索条件決定手段が決定した検索条件に従って該検索条件に該当する画像を検索する画像検索手段をさらに有する
付記１乃至８のいずれか１項に記載の情報処理装置。
（付記１０）
入力された検索条件を取得し、
取得した検索条件で指定された物体の画像であって、当該物体のバリエーション又は当該物体の当該検索条件で指定された態様のバリエーションを表す１種類以上の画像を表示し、
表示された前記画像のうちの１種類以上の画像を選択する指示を受け付け、
受け付けた指示に従って選択された前記画像に基づいて検索条件を決定する
検索方法。
（付記１１）
入力された検索条件を取得する検索条件取得ステップと、
取得した検索条件で指定された物体の画像であって、当該物体のバリエーション又は当該物体の当該検索条件で指定された態様のバリエーションを表す１種類以上の画像を表示する画像表示ステップと、
表示された前記画像のうちの１種類以上の画像を選択する指示を受け付ける選択受付ステップと、
受け付けた指示に従って選択された前記画像に基づいて検索条件を決定する検索条件決定ステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１９年３月２０日に出願された日本出願特願２０１９－０５３０４５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 情報処理装置
２ 検索条件取得部
３ 画像表示部
４ 選択受付部
５ 検索条件決定部
１０ 情報処理装置
１１ シソーラス記憶部
１２ 検索条件取得部
１３ 画像生成部
１４ 画像表示部
１５ 制御部
１６ 検索条件決定部
１７ 画像検索部
５０ ネットワークインタフェース
５１ メモリ
５２ プロセッサ
５３ 入力装置
５４ 表示装置

Claims (8)

1. 入力された検索条件を取得する検索条件取得手段と、
   前記検索条件取得手段が取得した検索条件で指定された物体の画像であって、当該物体の当該検索条件で指定された態様のバリエーションを表す１種類以上の画像を表示する画像表示手段と、
   前記画像表示手段が表示した画像のうちの１種類以上の画像を選択する指示を受け付ける選択受付手段と、
   前記選択受付手段が受け付けた指示に従って選択された前記画像に基づいて検索条件を決定する検索条件決定手段と
   を有し、
   前記態様は、前記物体の色、画像内の前記物体の位置、画像内の前記物体の向き、及び前記物体の動作のうち少なくともいずれか一つである
   情報処理装置。
2. 前記検索条件取得手段は、前記画像表示手段による画像の表示の後に、新たに検索条件を取得し、
   前記画像表示手段は、新たに取得された前記検索条件で指定された物体の画像であって、当該物体の当該検索条件で指定された態様のバリエーションを表す１種類以上の画像を表示する
   請求項１に記載の情報処理装置。
3. 前記画像表示手段は、前記選択受付手段が受け付けた指示に従って選択された前記画像が表す前記物体の態様についてのバリエーションを表す１種類以上の画像を表示する
   請求項１又は２に記載の情報処理装置。
4. 前記画像表示手段は、前記検索条件取得手段が取得した検索条件での物体又は態様の指定順序に応じて画像の表示における優先順位を決定する
   請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記画像表示手段は、さらに、前記検索条件取得手段が取得した検索条件で指定された物体の画像であって、当該物体のバリエーションを表す１種類以上の画像を表示する
   請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記検索条件決定手段が決定した検索条件に従って該検索条件に該当する画像を検索する画像検索手段をさらに有する
   請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 情報処理装置が、
   入力された検索条件を取得し、
   取得した検索条件で指定された物体の画像であって、当該物体の当該検索条件で指定された態様のバリエーションを表す１種類以上の画像を表示し、
   表示された前記画像のうちの１種類以上の画像を選択する指示を受け付け、
   受け付けた指示に従って選択された前記画像に基づいて検索条件を決定し、
   前記態様は、前記物体の色、画像内の前記物体の位置、画像内の前記物体の向き、及び前記物体の動作のうち少なくともいずれか一つである
   検索方法。
8. 入力された検索条件を取得する検索条件取得ステップと、
   取得した検索条件で指定された物体の画像であって、当該物体の当該検索条件で指定された態様のバリエーションを表す１種類以上の画像を表示する画像表示ステップと、
   表示された前記画像のうちの１種類以上の画像を選択する指示を受け付ける選択受付ステップと、
   受け付けた指示に従って選択された前記画像に基づいて検索条件を決定する検索条件決定ステップと
   をコンピュータに実行させ、
   前記態様は、前記物体の色、画像内の前記物体の位置、画像内の前記物体の向き、及び前記物体の動作のうち少なくともいずれか一つである
   プログラム。

Images