JP7264171B2 - 画像検索システム、画像検索方法、およびプログラム - Google Patents

Description

本発明は、画像検索技術に関する。

検索対象物の色といった外見的特徴を使って、その検索対象物の画像を探し出す技術がある。例えば、下記特許文献１には、２以上の色および当該２以上の色それぞれの割合を示す指定入力を受け付け、当該指定された２以上の色を、指定された割合以上含むアルバムアートワークを画像データベースの中から抽出し、その抽出結果をユーザに提示する技術が開示されている。

国際公開第２０１３／００５２６２号

上述の特許文献１の技術では、検索対象物の画像を検索する条件として複数の色を指定する場合、複数の色それぞれについて割合を指定している。そのため、ユーザが複数の色を有する検索対象物の画像を検索する場合、各色の割合を適切に設定しなければならない。より簡易に目的の画像を検索可能とする技術が望まれる。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、色を条件に画像を検索する場合において、簡易に目的の画像を検索可能とする技術を提供することである。

本発明の画像検索システムは、
複数の色を示す色指定情報、および、前記複数の色が画像領域において占める割合の基準を示す基準情報を取得する検索キー情報取得手段と、
前記色指定情報に対応する前記複数の色が処理対象の画像において占める割合を示す指定色割合情報を取得する指定色割合情報取得手段と、
前記指定色割合情報と前記基準情報とに基づいて、前記処理対象の画像が検索対象の画像か否かを識別する画像検索手段と、
を備える。

本発明の画像検索方法は、
コンピュータが、
複数の色を示す色指定情報、および、前記複数の色が画像領域において占める割合の基準を示す基準情報を取得し、
前記色指定情報に対応する前記複数の色が処理対象の画像において占める割合を示す指定色割合情報を取得し、
前記指定色割合情報と前記基準情報とに基づいて、前記処理対象の画像が検索対象の画像か否かを識別する、
ことを含む。

本発明のプログラムは、コンピュータに、上述の画像検索方法を実行させる。

本発明によれば、色を条件に画像を検索する場合において、簡易に目的の画像を検索することが可能となる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本発明に係る画像検索システムが行う処理の流れ概略的に示す図である。 第１実施形態に係る画像検索システムの機能構成を概念的に示す図である。 画像検索システムのハードウエア構成を例示するブロック図である。 第１実施形態の画像検索システムにより実行される処理の流れを例示するフローチャートである。 色ヒストグラム生成部が色ヒストグラム情報を生成する流れを模式的に示す図である。 検索キー情報取得部が色指定情報を生成する流れの具体例を示す図である。 指定色割合情報取得部が、指定色割合情報を生成する流れの具体例を示す図である。 第２実施形態に係る画像検索システムの機能構成を概念的に示す図である。 第２実施形態の画像検索システムにより実行される処理の流れを例示するフローチャートである。 画像検索時に適用するプリセット情報を選択する画面の一例を示す図である。 第３実施形態における検索キー情報取得部の動作の一例を示す図である。 第３実施形態における指定色割合情報取得部の動作の一例を示す図である。 第４実施形態における検索キー情報取得部の動作の一例を示す図である。 第４実施形態における指定色割合情報取得部の動作の一例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［概要］
図１を用いて、本発明に係る画像検索システム１が行う処理の概要について説明する。図１は、本発明に係る画像検索システム１が行う処理の流れ概略的に示す図である。

まず、画像検索システム１は、検索キー情報取得部１１０、指定色割合情報取得部１２０、画像検索部１３０を含んで構成される。検索キー情報取得部１１０は、色指定情報および基準情報を取得する。色指定情報および基準情報は、検索対象の画像を特定するための情報である。色指定情報は、ユーザにより指定された１または複数の色を示す。なお、ここで、色の数（種類）は、任意の表色系で表現したときの値に基づいてカウントすることができる。基準情報は、ユーザにより指定された１または複数の色が画像領域において占める割合の基準を示す。ここで、色指定情報により複数の色が指定される場合、基準情報は、それら複数の色全体の基準を示す情報として設定される。例えば、赤系統の色および青系統の色が色指定情報により指定される場合、基準情報は、赤系統の色および青系統の色の割合の和に対する基準を示す情報として設定される。色指定情報および基準情報は、ユーザがユーザ端末３０に入力した情報を基に生成され、検索キー情報取得部１１０に送信される。

指定色割合情報取得部１２０は、検索キー情報取得部１１０が取得した色指定情報を用いて、処理対象の画像の指定色割合情報を取得する。指定色割合情報は、色指定情報に対応する１または複数の色が、処理対象の画像において占める割合を示す。

ここで、処理対象の画像は画像データベース２０に記憶されている。処理対象の画像は、検索対象物（例えば、人、車両、または、商品など）の画像である。また、処理対象の画像は、原画像の部分領域を所定の形状に切り抜いた部分画像であってもよい。例えば、処理対象の画像は、監視カメラ等の映像データ（原画像）から、人物や車両等の検索対象物として認識された領域を切り出して生成されていてもよい。なお、処理対象の画像の形状は特に限定されない。処理対象の画像の形状は、例えば矩形等の多角形の形状であってもよいし、円形または楕円形といった形状であってもよい。また、処理対象の画像が部分画像である場合、画像データベース２０は、各処理対象の画像について、原画像との対応関係（例えば、その処理対象の画像が原画像のどの部分領域に対応するか、など）を示す情報を記憶していてもよい。

画像検索部１３０は、指定色割合情報取得部１２０が取得した指定色割合情報と、検索キー情報取得部１１０が取得した基準情報と、に基づいて、処理対象の画像が検索対象の画像か否かを識別する。画像検索部１３０は、例えば、ある処理対象の画像において指定色が占める割合が、基準情報によって示される基準以上である場合、或いは、基準情報によって示される基準の範囲内に収まる場合に、その処理対象の画像を検索対象の画像と識別できる。そして、画像検索部１３０は、検索キー情報取得部１１０に入力された色指定情報および基準情報に基づく検索対象の画像の識別結果を出力用の装置（例えば、ユーザ端末３０など）に出力する。

＜作用・効果＞
以上、本発明に係る画像検索システム１によれば、色とその色の割合を指定するという簡易な操作で、ユーザは、目的の画像を検索することができる。また、複数の色が指定される場合に、色毎ではなく、それらの色全部に対して１つの基準が設定される。これにより、複数の色を有する物体の画像を検索する場合において、ユーザが画像の検索条件を厳密に指定する必要がなくなり、ユーザビリティが向上する。また、本発明に係る画像検索システム１によれば、検索対象の画像を識別する条件（色の範囲や割合など）をユーザが直観的に制御することができる。つまり、ユーザがどのような画像を探しているかを画像検索システム１に的確に伝えることが可能となり、結果として、ユーザが求めている画像を検索する精度を向上させる効果が見込める。

［第１実施形態］
＜機能構成例＞
図２は、第１実施形態に係る画像検索システム１の機能構成を概念的に示す図である。本実施形態において、１つの情報処理装置１０が、画像検索システム１の各機能を有している。図２に示されるように、情報処理装置１０は、検索キー情報取得部１１０、指定色割合情報取得部１２０、および画像検索部１３０を有している。なお、画像検索システム１の機能構成は図２に例示される構成に限定されない。例えば、画像検索システム１の処理部の全部または一部は、複数の装置に分散して或いは重複して設けられていてもよい。

＜ハードウエア構成例＞
画像検索システム１の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、１つの情報処理装置１０が、ハードウエアとソフトウエアとの組み合わせで画像検索システム１の各機能構成部を実現する場合について、図３を用いてさらに説明する。図３は、画像検索システム１のハードウエア構成を例示するブロック図である。

情報処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像検索システム１の各機能（検索キー情報取得部１１０、指定色割合情報取得部１２０、画像検索部１３０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は、画像データベース２０を記憶する手段として利用されていてもよい。

入出力インタフェース１０５０は、情報処理装置１０と各種入出力デバイスとを接続するためのインタフェースである。入出力インタフェース１０５０には、キーボードやマウスといった入力装置（図示せず）、ディスプレイやスピーカーといった出力装置（図示せず）などが接続され得る。

ネットワークインタフェース１０６０は、情報処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。図３の例では、情報処理装置１０は、ネットワークインタフェース１０６０を介して、ユーザ端末３０と接続されている。また、画像データベース２０が図示しない外部装置に備えられている場合、情報処理装置１０は、ネットワークインタフェース１０６０を介して、図示しない外部装置の画像データベース２０にアクセスすることができる。

なお、画像検索システム１のハードウエア構成は図３に例示される構成に限定されない。

＜処理の流れ＞
以下、本実施形態における画像検索システム１により実行される処理の流れを、図を用いて説明する。図４は、第１実施形態の画像検索システム１により実行される処理の流れを例示するフローチャートである。

検索キー情報取得部１１０は、色指定情報と基準情報とを取得する（Ｓ１０２）。例えば、検索キー情報取得部１１０は、色を指定するためのユーザインタフェース（例えば、カラーパレットや色平面を有する色指定用の画面など）をユーザ端末３０に表示させ、そのユーザインタフェース上でユーザに１以上の色を選択させる。ユーザ端末３０に表示されたユーザインタフェース上でのユーザの選択入力に基づいて、検索キー情報取得部１１０は色指定情報を取得することができる。また、検索キー情報取得部１１０は、前述の色指定用の画面またはユーザ端末３０に別途表示させた入力用画面におけるユーザ入力に基づいて、指定された色に関する基準情報を取得することができる。ここで、画像の検索条件として複数の色が指定されている場合、それら複数の色に対して１つの基準が設定される。

そして、指定色割合情報取得部１２０は、画像データベース２０に記憶されている処理対象の画像を１つ選択し、Ｓ１０２の処理で取得した色指定情報に基づいて、その画像の指定色割合情報を取得する（Ｓ１０４）。例えば、指定色割合情報取得部１２０は、色指定情報と、処理対象の画像の色ヒストグラム情報とを用いて、その処理対象の画像の指定色割合情報を取得する。色ヒストグラム情報は、処理対象の画像が有する色の度数分布を示す情報である。

ここで、処理対象の画像それぞれの色ヒストグラム情報は、例えば、図５に例示されるように、色ヒストグラム生成部２１０により生成され、画像データベース２０に記憶される。図５は、色ヒストグラム生成部２１０が色ヒストグラム情報を生成する流れを模式的に示す図である。色ヒストグラム生成部２１０は、処理対象の画像ＩＭＧを解析して、色ヒストグラム情報を生成する処理部である。色ヒストグラム生成部２１０は、画像検索システム１に備えられていてもよいし、画像検索システム１とは異なる他のシステム（図示せず）に備えられていてもよい。色ヒストグラム生成部２１０は、例えば、次のようにして色ヒストグラム情報を生成することができる。まず、色ヒストグラム生成部２１０は、処理対象の画像について、画素の色値を取得する。そして、色ヒストグラム生成部２１０は、各画素の色値に基づいて、予め色値の範囲が設定された階級（ビン）毎に属する画素の数をカウントする。これにより、処理対象の画像が有する色の度数分布を示す色ヒストグラム情報が生成される。そして、色ヒストグラム生成部２１０は、生成した色ヒストグラム情報を、その色ヒストグラム情報に対応する画像（処理対象の画像）の識別情報と紐付けて、画像データベース２０に格納する。画像データベース２０は、例えば、情報処理装置１０のストレージデバイス１０４０に記憶されている。

図４に戻り、画像検索部１３０は、Ｓ１０４の処理で取得した指定色割合情報と、Ｓ１０２で取得した基準情報とに基づいて、処理対象の画像において指定色の占める割合が、当該基準情報の基準を満たすか否かを判定する（Ｓ１０６）。処理対象の画像において指定色の占める割合が基準を満たす場合（Ｓ１０６：ＹＥＳ）、画像検索部１３０は、その処理対象の画像を検索対象の画像として識別する（Ｓ１０８）。この場合、画像検索部１３０は、検索対象の画像と識別された画像のＩＤ（Identifier）などを、メモリ１０３０などの記憶領域に保存する。一方、処理対象の画像において指定色の占める割合が基準を満たさない場合（Ｓ１０６：ＮＯ）、画像検索部１３０は、Ｓ１０８の処理を実行しない。Ｓ１０４からの処理は、画像データベース内の画像が全て処理されるまで、繰り返し実行される（Ｓ１１０：ＮＯ）。

画像データベース内の画像が全て処理された場合（Ｓ１１０：ＹＥＳ）、画像検索部１３０は、画像の検索結果をユーザ端末３０に出力する（Ｓ１１２）。画像検索部１３０は、メモリ１０３０などの記憶領域に記憶した、画像のＩＤを用いて、検索対象の画像として識別された画像を特定し、画像データベース２０に記憶されているその画像のデータをユーザ端末３０に出力する。これにより、ユーザは、検索対象の画像と識別された画像をユーザ端末３０のディスプレイ上で確認することができる。

＜＜具体例＞＞
以下、図を用いて、本実施形態の処理の流れをより具体的に説明する。

図６は、検索キー情報取得部１１０が色指定情報を生成する流れの具体例を示す図である。図６の例において、検索キー情報取得部１１０は、複数の色（Ａ～Ｌ）を有するカラーパレットＣＰをユーザ端末３０に表示させている。また、図６の例において、ユーザは、カラーパレットＣＰで４つの色（Ｅ、Ｆ、Ｈ、Ｉ）を選択している。検索キー情報取得部１１０は、このカラーパレットＣＰの選択状態を示す情報を取得し、図に示すような、画像検索用のヒストグラムＨ_Ｓを生成する。図６に例示される画像検索用ヒストグラムＨ_Ｓでは、カラーパレットＣＰ上で選択された４つの色（Ｅ、Ｆ、Ｈ、Ｉ）に対応する階級（ビン）の大きさが１、選択されなかったその他の色（Ａ～Ｄ、Ｇ、Ｊ～Ｌ）に対応する階級（ビン）の大きさが０となっている。なお、図示していないが、検索キー情報取得部１１０は、検索対象の画像を識別するための、カラーパレットＣＰ上で選択した４つの色が画像で占める割合（基準）を示す情報の入力を更に受け付け、その入力に基づいて基準情報を取得する。

図７は、指定色割合情報取得部１２０が、指定色割合情報を生成する流れの具体例を示す図である。指定色割合情報取得部１２０は、処理対象の画像の色ヒストグラム情報Ｈを画像データベース２０から読み出す。また、指定色割合情報取得部１２０は、画像検索用ヒストグラムＨ_Ｓを検索キー情報取得部１１０から取得する。そして、指定色割合情報取得部１２０は、画像検索用ヒストグラムＨ_Ｓと、処理対象の画像の色ヒストグラム情報Ｈが示すヒストグラムとの内積を計算する。この画像検索用ヒストグラムＨ_Ｓとの内積をとることにより、指定された色に対応する部分のみが色ヒストグラム情報Ｈの中から抽出される（図中の符号Ｈ’）。そして、指定色割合情報取得部１２０は、色ヒストグラムＨ全体と内積の計算結果Ｈ’とに基づいて、指定色割合情報を取得することができる。図７の例では、色ヒストグラムＨが４０マス、内積の計算結果Ｈ’が２４マスであるため、指定色割合情報取得部１２０は、指定色の割合が「６０％」であることを示す指定色割合情報を取得することができる。

そして、画像検索部１３０は、指定色割合情報取得部１２０が取得した指定色割合情報と、検索キー情報取得部１１０が取得した基準情報とに基づいて、処理対象の画像が検索対象の画像であるか否かを識別する。ここで、「５０％以上」、「７０％以下」、あるいは、「５０％～７０％」といった基準を示す基準情報が検索キー情報取得部１１０により取得されているとする。この場合、画像検索部１３０は、指定色割合情報取得部１２０が取得した、指定色の割合が「６０％」であることを示す指定色割合情報と、基準情報の基準とに基づいて、「処理対象の画像は検索対象の画像である」と判別できる。一方、「６５％以上」、「５０％以下」、あるいは、「３０～５０％」といった基準を示す基準情報が検索キー情報取得部１１０により取得されていた場合、画像検索部１３０は、「処理対象の画像は検索対象の画像ではない」と判別できる。画像検索部１３０は、画像データベース２０に記憶されている処理対象の画像それぞれについて、同様に判定を繰り返し、「検索対象の画像」として識別された画像のデータを、ユーザ端末３０に出力する。ユーザは、ユーザ端末３０上に表示された画像（指定した条件によって範囲が絞り込まれた画像）の中から、目当ての画像を探すことができる。

＜具体的な用途＞
本実施形態の画像検索システム１は、例えば、監視カメラの映像データから目当ての人物や車両等を探す場合などに活用できる。この場合、監視業務を行う人物は、目撃情報（人物の服装や所持品の色およびその割合、或いは、対象車両の色およびその割合に関する情報）を入力することで、目当ての人物または車両の画像を容易に見つけ出すことが可能となる。また、指定色情報を取得する場合において、検索キー情報取得部１１０は、目撃者が撮影した対象人物や対象車両の画像を活用してもよい。例えば、検索キー情報取得部１１０は、目撃者が撮影した画像に写る人物や車両の色を指定色として示す指定色情報を取得することができる。また、検索キー情報取得部１１０は、目撃者が撮影した画像に写る人物や車両の色に基づいてカラーパレットや色空間を生成し、そのカラーパレットや色空間を有する画面をユーザ端末３０に表示してもよい。

また、本実施形態の画像検索システム１は、ショッピングサイト等で目当ての商品を探す場合などに活用できる。この場合、ショッピングサイトの利用者は、目的の商品の色およびその割合を入力することで、目当ての商品を容易に見つけ出すことが可能となる。

［第２実施形態］
本実施形態は、以下の点で、第１実施形態と異なる。

＜機能構成例＞
図８は、第２実施形態に係る画像検索システム１の機能構成を概念的に示す図である。図８に示されるように、本実施形態の画像検索システム１は、第１実施形態の構成に加えて、色補正手段１４０を有する。色補正手段１４０は、色指定情報に対応する複数の色を、プリセット情報を用いて補正する。プリセット情報は、色指定情報に対応する複数の色を、処理対象の画像が生成された環境に合わせて変換するための情報である。例えば、プリセット情報は、屋外／屋内、光の種類（自然光や蛍光灯など）、時間帯（朝／夕方／夜間）など、様々な環境下における、色の見え方の変化（補正値）を定義している。色補正手段１４０は、例えば、色指定情報によって指定される色（色値）を、プリセット情報が示す補正値を用いて変更する。

＜処理の流れ＞
以下、本実施形態における画像検索システム１により実行される処理の流れを、図を用いて説明する。図９は、第２実施形態の画像検索システム１により実行される処理の流れを例示するフローチャートである。図９のフローチャートは、Ｓ２０２の処理を有している点で、図４のフローチャートと異なっている。以下、このＳ２０２の処理について主に説明する。

色補正手段１４０は、Ｓ１０２の処理で取得された色指定情報の色に対して適用するプリセット情報を特定する（Ｓ２０２）。一例として、色補正手段１４０は、図１０に例示されるような画面をユーザ端末３０に表示させて、画像検索時に適用するプリセット情報の選択入力を受け付けることができる。図１０は、画像検索時に適用するプリセット情報を選択する画面の一例を示す図である。ユーザは、図１０に例示される画面のラジオボタンの選択状態を切り替えることによって、適用するプリセット情報を変更することができる。なお、図１０に例示されるような画面において、プリセット情報を使用しないことを示す選択肢があってもよい。他の一例として、色補正手段１４０は、処理対象の画像の生成条件に応じて、プリセット情報を自動で変更するように構成されていてもよい。例えば、色補正手段１４０は、処理対象の画像に付与されたメタデータを基に、その画像が生成された時刻や位置などを判別し、最適なプリセット情報を選択する。具体的には、色補正手段１４０は、処理対象の画像に付与されたメタデータの位置情報および時刻情報から、その画像が屋外で夜間に生成されたということが判別できた場合、適用するプリセット情報として、「屋外（夜間）」のプリセット情報を選択することができる。

＜作用・効果＞
以上、本実施形態では、処理対象の画像が生成された環境に合わせて、検索条件として指定した色が変更される。これにより、目当ての画像を検索する精度を向上させる効果が見込める。また、本実施形態では、処理対象の画像ではなく、検索条件として指定した色に対して色補正用のプリセット情報を適用している。すなわち、本実施形態では、処理対象の画像の色を１枚ずつ補正する必要がないため、色補正を行う際の演算量を削減する効果が見込める。

［第３実施形態］
本実施形態は、以下の点で、上述の各実施形態と異なる。

＜機能構成例＞
本実施形態の画像検索システム１は、第１実施形態と同様の機能構成（例：図２）を有する。

本実施形態の検索キー情報取得部１１０は、色指定情報および基準情報の組を、複数取得する。本実施形態の検索キー情報取得部１１０の動作の一例を、図１１を用いて説明する。図１１は、第３実施形態における検索キー情報取得部１１０の動作の一例を示す図である。図１１の例において、検索キー情報取得部１１０は、複数の色（Ａ～Ｌ）を有するカラーパレットＣＰをユーザ端末３０に表示させている。また、図１１の例において、ユーザは、カラーパレットＣＰ上で、４つの色（Ｅ、Ｆ、Ｈ、Ｉ）、および、２つの色（Ａ、Ｂ）をそれぞれ選択している。また、図１１の例において、ユーザは、指定された４つの色（Ｅ、Ｆ、Ｈ、Ｉ）について、「５０％以上」という情報を基準情報として設定している。また、図１１の例において、ユーザは、２つの色（Ａ、Ｂ）について、「５％以下」という情報を基準情報として設定している。この場合、検索キー情報取得部１１０は、指定された４つの色（Ｅ、Ｆ、Ｈ、Ｉ）を基に生成した第１の画像検索用ヒストグラムＨ_Ｓ１および「（指定された色の割合が）５０％以上」という情報を、第１の色指定情報および第１の基準情報（第１の組）として取得する。また、検索キー情報取得部１１０は、指定された２つの色（Ａ、Ｂ）を基に生成した第２の画像検索用ヒストグラムＨ_Ｓ２および「（指定された色の割合が）５％以下」という情報を、第２の色指定情報および第２の基準情報（第２の組）として取得する。

また、本実施形態の指定色割合情報取得部１２０は、検索キー情報取得部１１０が取得した複数の組それぞれの色指定情報を用いて、指定色割合情報を組毎に取得する。本実施形態の指定色割合情報取得部１２０の動作の一例を、図１２を用いて説明する。図１２は、第３実施形態における指定色割合情報取得部１２０の動作の一例を示す図である。まず、指定色割合情報取得部１２０は、処理対象の画像の色ヒストグラム情報Ｈを画像データベース２０から読み出す。また、指定色割合情報取得部１２０は、第１の画像検索用ヒストグラムＨ_Ｓ１および第２の画像検索用ヒストグラムＨ_Ｓ２を検索キー情報取得部１１０から取得する。そして、指定色割合情報取得部１２０は、第１の画像検索用ヒストグラムＨ_Ｓ１および第２の画像検索用ヒストグラムＨ_Ｓ２をそれぞれ個別に用いて、処理対象の画像の色ヒストグラム情報Ｈが示すヒストグラムとの内積を計算する。図１２の例の場合、指定色割合情報取得部１２０は、図中の符号Ｈ_１’およびＨ_２’で示す計算結果を取得することができる。図中の符号Ｈ_１’は、第１の画像検索用ヒストグラムＨ_Ｓ１と色ヒストグラム情報Ｈのヒストグラムとの内積の計算結果を示している。また、図中の符号Ｈ_２’は、第２の画像検索用ヒストグラムＨ_Ｓ２と色ヒストグラム情報Ｈのヒストグラムとの内積の計算結果を示している。指定色割合情報取得部１２０は、これらの計算結果を用いて、組毎に指定色割合情報を取得することができる。例えば、指定色割合情報取得部１２０は、第１の画像検索用ヒストグラムＨ_Ｓ１と色ヒストグラム情報Ｈのヒストグラムとの内積の計算結果Ｈ_１’を用いて、指定色の割合が「６０％」であることを示す第１の指定色割合情報を取得することができる。また、指定色割合情報取得部１２０は、第２の画像検索用ヒストグラムＨ_Ｓ２と色ヒストグラム情報Ｈのヒストグラムとの内積の計算結果Ｈ_２’を用いて、指定色の割合が「７．５％」であることを示す第２の指定色割合情報を取得することができる。

また、本実施形態の画像検索部１３０は、組毎の指定色割合情報と、組毎の基準情報とを用いて、検索対象の画像を識別する。例えば、画像検索部１３０は、組毎の指定色割合情報と基準情報との比較結果を、論理和、論理積、論理否定等の論理演算子によって組み合わせて、処理対象の画像が検索対象の画像であるか否かを識別する。いずれの論理演算子を用いるかについては、ユーザ端末３０に表示された画面上でユーザが選択することができる。

図１１および図１２で示した例において、指定色割合情報取得部１２０は、まず、第１の色指定情報を用いて取得された第１の指定色割合情報（指定色の割合が「６０％」であることを示す情報）と、当該第１の色指定情報に対して入力された第１の基準情報（指定色の割合が「５０％以上」であることを示す情報）と比較する。この場合、指定色割合情報取得部１２０は、処理対象の画像について、「第１の組に関する基準を満たす」と判定できる。また、指定色割合情報取得部１２０は、第２の色指定情報を用いて取得された第２の指定色割合情報（指定色の割合が「７．５％」であることを示す情報）と、当該第２の色指定情報に対して入力された第２の基準情報（指定色の割合が「５％以下」であることを示す情報）と比較する。この場合、指定色割合情報取得部１２０は、処理対象の画像について、「第２の組に関する基準を満たさない」と判定できる。ここで、各組の比較結果の論理和によって処理対象の画像が検索対象の画像か否かを判断するように選択されている場合、画像検索部１３０は、処理対象の画像を検索対象の画像と識別する。また、各組の比較結果の論理積によって処理対象の画像が検索対象の画像か否かを判断するように選択されている場合、画像検索部１３０は、処理対象の画像を検索対象の画像ではないと識別する。

＜作用・効果＞
以上、本実施形態では、“処理対象の画像において指定された色が占める割合が基準情報の基準を満たすか否か”が組毎に判定され、組毎の判定結果を論理演算によって組み合わせて検索対象の画像が識別される。これにより、ユーザは、より高度な画像検索を行うことができる。例えば、ある人物が着用している衣服の色の条件と、同じ人物が所持している物品（例えば、カバンなど）の色の条件と、をそれぞれ個別に指定して画像検索を行うことが可能となる。

［第４実施形態］
本実施形態は、以下の点で、上述の各実施形態と異なる。

＜機能構成例＞
本実施形態の画像検索システム１は、第１実施形態と同様の機能構成（例：図２）を有する。

本実施形態の検索キー情報取得部１１０は、予め定義された画像の部分領域毎に、色指定情報および基準情報を取得する。本実施形態の検索キー情報取得部１１０の動作の一例を、図１３を用いて説明する。図１３は、第４実施形態における検索キー情報取得部１１０の動作の一例を示す図である。図１３の例において、検索キー情報取得部１１０は、複数の色（Ａ～Ｌ）を有するカラーパレットＣＰをユーザ端末３０に表示させている。また、図１３の例において、処理対象の画像の領域ａを上下半分に区切るように部分領域（破線および点線で示す領域）が定義されている。そして、ユーザは、これらの部分領域それぞれについて、色指定情報および基準情報を入力する。図１３の例において、ユーザは、カラーパレットＣＰ上で、上側の部分領域および下側の部分領域の指定色として、２つの色（Ａ、Ｂ）および４つの色（Ｅ、Ｆ、Ｈ、Ｉ）をそれぞれ選択している。また、ユーザは、上側の部分領域の指定色（Ａ、Ｂ）について、「５０％以上」という情報を基準情報として設定している。また、ユーザは、下側の部分領域の指定色（Ｅ、Ｆ、Ｈ、Ｉ）について、「５０％以上」という情報を基準情報として設定している。この場合、検索キー情報取得部１１０は、上側の部分領域について指定された２つの色（Ａ、Ｂ）を基に生成した第１の画像検索用ヒストグラムＨ_Ｓ１および「（指定された色の割合が）５０％以上」という情報を、第１の色指定情報および第１の基準情報として取得する。また、検索キー情報取得部１１０は、下側の部分領域について指定された４つの色（Ｅ、Ｆ、Ｈ、Ｉ）を基に生成した第２の画像検索用ヒストグラムＨ_Ｓ２および「（指定された色の割合が）５０％以上」という情報を、第２の色指定情報および第２の基準情報として取得する。

また、本実施形態の指定色割合情報取得部１２０は、検索キー情報取得部１１０が取得した部分領域毎の色指定情報を用いて、指定色割合情報を処理対象の画像の部分領域毎に取得する。本実施形態の指定色割合情報取得部１２０の動作の一例を、図１４を用いて説明する。図１４は、第４実施形態における指定色割合情報取得部１２０の動作の一例を示す図である。まず、指定色割合情報取得部１２０は、処理対象の画像の色ヒストグラム情報Ｈを画像データベース２０から読み出す。また、指定色割合情報取得部１２０は、第１の画像検索用ヒストグラムＨ_Ｓ１および第２の画像検索用ヒストグラムＨ_Ｓ２を検索キー情報取得部１１０から取得する。そして、指定色割合情報取得部１２０は、第１の画像検索用ヒストグラムＨ_Ｓ１および第２の画像検索用ヒストグラムＨ_Ｓ２をそれぞれ個別に用いて、処理対象の画像の色ヒストグラム情報Ｈが示すヒストグラムとの内積を計算する。図１４の例の場合、指定色割合情報取得部１２０は、図中の符号Ｈ_１'およびＨ_２'で示す計算結果を取得することができる。図中の符号Ｈ_１'は、第１の画像検索用ヒストグラムＨ_Ｓ１と色ヒストグラム情報Ｈのヒストグラムとの内積の計算結果を示している。また、図中の符号Ｈ_２'は、第２の画像検索用ヒストグラムＨ_Ｓ２と色ヒストグラム情報Ｈのヒストグラムとの内積の計算結果を示している。指定色割合情報取得部１２０は、これらの計算結果を用いて、部分領域毎に指定色割合情報を取得することができる。例えば、指定色割合情報取得部１２０は、第１の画像検索用ヒストグラムＨ_Ｓ１と色ヒストグラム情報Ｈのヒストグラムとの内積の計算結果Ｈ_１'を用いて、指定色の割合が「７．５％」であることを示す第１の指定色割合情報を取得することができる。また、指定色割合情報取得部１２０は、第２の画像検索用ヒストグラムＨ_Ｓ２と色ヒストグラム情報Ｈのヒストグラムとの内積の計算結果Ｈ_２'を用いて、指定色の割合が「６０％」であることを示す第２の指定色割合情報を取得することができる。

また、本実施形態の画像検索部１３０は、部分領域毎の指定色割合情報と、部分領域毎の基準情報とを用いて、検索対象の画像を識別する。例えば、画像検索部１３０は、部分領域毎の指定色割合情報と基準情報との比較結果を、論理和、論理積、論理否定等の論理演算子によって組み合わせて、処理対象の画像が検索対象の画像であるか否かを識別する。いずれの論理演算子を用いるかについては、ユーザ端末３０に表示された画面上でユーザが選択することができる。

図１３および図１４で示した例において、指定色割合情報取得部１２０は、まず、第１の色指定情報を用いて取得された第１の指定色割合情報（指定色の割合が「７．５％」であることを示す情報）と、当該第１の色指定情報に対して入力された第１の基準情報（指定色の割合が「５０％以上」であることを示す情報）と比較する。この場合、指定色割合情報取得部１２０は、処理対象の画像について、「第１の部分領域に関する基準を満たさない」と判定できる。また、指定色割合情報取得部１２０は、第２の色指定情報を用いて取得された第２の指定色割合情報（指定色の割合が「６０％」であることを示す情報）と、当該第２色指定情報に対して入力された第２の基準情報（指定色の割合が「５０％以上」であることを示す情報）と比較する。この場合、指定色割合情報取得部１２０は、処理対象の画像について、「第２の部分領域に関する基準を満たす」と判定できる。ここで、各部分領域の比較結果の論理和によって処理対象の画像が検索対象の画像か否かを判断するように選択されている場合、画像検索部１３０は、処理対象の画像を検索対象の画像と識別する。また、各組の比較結果の論理積によって処理対象の画像が検索対象の画像か否かを判断するように選択されている場合、画像検索部１３０は、処理対象の画像を検索対象の画像ではないと識別する。

＜作用・効果＞
以上、本実施形態では、"指定された色が占める割合が基準情報の基準を満たすか否か"が処理対象画像の部分領域毎に判定され、部分領域毎の判定結果を論理演算によって組み合わせて検索対象の画像が識別される。これにより、ユーザは、より高度な画像検索を行うことができる。例えば、検索対象の人物について、上半身の衣服の色の条件と、下半身の衣服の色の条件とをそれぞれ個別に指定して画像検索を行うことが可能となる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

また、上述の説明で用いたフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
複数の色を示す色指定情報、および、前記複数の色が画像領域において占める割合の基準を示す基準情報を取得する検索キー情報取得手段と、
前記色指定情報に対応する前記複数の色が処理対象の画像において占める割合を示す指定色割合情報を取得する指定色割合情報取得手段と、
前記指定色割合情報と前記基準情報とに基づいて、前記処理対象の画像が検索対象の画像か否かを識別する画像検索手段と、
を備える画像検索システム。
２．
前記処理対象の画像が有する色の度数分布を示す色ヒストグラム情報を記憶する記憶手段を更に有し、
前記指定色割合情報取得手段は、前記色指定情報と前記色ヒストグラム情報とを用いて、前記指定色割合情報を取得する、
１．に記載の画像検索システム。
３．
前記処理対象の画像は、原画像の中の検索対象オブジェクトの領域を所定の形状に切り抜いた部分画像である、
１．または２．に記載の画像検索システム。
４．
前記色指定情報に対応する前記複数の色を、プリセット情報を用いて補正する色補正手段を更に備える、
１．から３．のいずれか１つに記載の画像検索システム。
５．
前記色補正手段は、前記処理対象の画像の生成条件に応じて、前記プリセット情報を変更する、
４．に記載の画像検索システム。
６．
前記検索キー情報取得手段は、前記色指定情報および前記基準情報の複数の組を取得し、
前記指定色割合情報取得手段は、前記複数の組それぞれの前記色指定情報を用いて、前記指定色割合情報を前記組毎に取得し、
前記画像検索手段は、前記組毎の前記指定色割合情報と前記組毎の前記基準情報とを用いて、前記検索対象の画像を識別する、
１．から５．のいずれか１つに記載の画像検索システム。
７．
前記検索キー情報取得手段は、予め定義された画像の部分領域毎に、前記色指定情報および前記基準情報を取得し、
前記指定色割合情報取得手段は、前記部分領域毎の前記色指定情報を用いて、前記指定色割合情報を前記部分領域毎に取得し、
前記画像検索手段は、前記部分領域毎の前記指定色割合情報と前記部分領域毎の前記基準情報とを用いて、前記検索対象の画像を識別する、
１．から６．のいずれか１つに記載の画像検索システム。
８．
前記検索キー情報取得手段は、ユーザインタフェースとして表示された、カラーパレットまたは色平面における選択入力に基づいて、前記色指定情報を取得する、
１．から７．のいずれか１つに記載の画像検索システム。
９．
コンピュータが、
複数の色を示す色指定情報、および、前記複数の色が画像領域において占める割合の基準を示す基準情報を取得し、
前記色指定情報に対応する前記複数の色が処理対象の画像において占める割合を示す指定色割合情報を取得し、
前記指定色割合情報と前記基準情報とに基づいて、前記処理対象の画像が検索対象の画像か否かを識別する、
ことを含む画像検索方法。
１０．
前記コンピュータが、
前記処理対象の画像が有する色の度数分布を示す色ヒストグラム情報を記憶し、
前記色指定情報と前記色ヒストグラム情報とを用いて、前記指定色割合情報を取得する、
ことを更に含む９．に記載の画像検索方法。
１１．
前記処理対象の画像は、原画像の中の検索対象オブジェクトの領域を所定の形状に切り抜いた部分画像である、
ことを更に含む９．または１０．に記載の画像検索方法。
１２．
前記コンピュータが、
前記色指定情報に対応する前記複数の色を、プリセット情報を用いて補正する、
ことを更に含む９．から１１．のいずれか１つに記載の画像検索方法。
１３．
前記コンピュータが、
前記処理対象の画像の生成条件に応じて、前記プリセット情報を変更する、
ことを更に含む１２．に記載の画像検索方法。
１４．
前記コンピュータが、
前記色指定情報および前記基準情報の複数の組を取得し、
前記複数の組それぞれの前記色指定情報を用いて、前記指定色割合情報を前記組毎に取得し、
前記組毎の前記指定色割合情報と前記組毎の前記基準情報とを用いて、前記検索対象の画像を識別する、
ことを更に含む９．から１３．のいずれか１つに記載の画像検索方法。
１５．
前記コンピュータが、
予め定義された画像の部分領域毎に、前記色指定情報および前記基準情報を取得し、
前記部分領域毎の前記色指定情報を用いて、前記指定色割合情報を前記部分領域毎に取得し、
前記部分領域毎の前記指定色割合情報と前記部分領域毎の前記基準情報とを用いて、前記検索対象の画像を識別する、
ことを更に含む９．から１４．のいずれか１つに記載の画像検索方法。
１６．
前記コンピュータが、
ユーザインタフェースとして表示された、カラーパレットまたは色平面における選択入力に基づいて、前記色指定情報を取得する、
ことを更に含む９．から１５．のいずれか１つに記載の画像検索方法。
１７．
コンピュータに、９．から１６．のいずれか１つに記載の画像検索方法を実行させるプログラム。

この出願は、２０１８年９月５日に出願された日本出願特願２０１８－１６５６４３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

1. 複数の色を示す色指定情報、および、前記複数の色が画像領域において占める割合の基準を示す基準情報を取得する検索キー情報取得手段と、
   前記色指定情報に対応する前記複数の色を、プリセット情報を用いて補正する色補正手段と、
   前記プリセット情報により補正された後の前記色指定情報に対応する前記複数の色が処理対象の画像において占める割合を示す指定色割合情報を取得する指定色割合情報取得手段と、
   前記指定色割合情報と前記基準情報とに基づいて、前記処理対象の画像が検索対象の画像か否かを識別する画像検索手段と、
   を備える画像検索システム。
2. 前記処理対象の画像が有する色の度数分布を示す色ヒストグラム情報を記憶する記憶手段を更に有し、
   前記指定色割合情報取得手段は、前記色指定情報と前記色ヒストグラム情報とを用いて、前記指定色割合情報を取得する、
   請求項１に記載の画像検索システム。
3. 前記処理対象の画像は、原画像の中の検索対象オブジェクトの領域を所定の形状に切り抜いた部分画像である、
   請求項１または２に記載の画像検索システム。
4. 前記色補正手段は、前記処理対象の画像の生成条件に応じて、前記プリセット情報を変更する、
   請求項１から３のいずれか１項に記載の画像検索システム。
5. 前記プリセット情報は、画像が生成される環境別に色補正値を定義する情報である、
   請求項１から４のいずれか１項に記載の画像検索システム。
6. 前記検索キー情報取得手段は、前記色指定情報および前記基準情報の複数の組を取得し、
   前記指定色割合情報取得手段は、前記複数の組それぞれの前記色指定情報を用いて、前記指定色割合情報を前記組毎に取得し、
   前記画像検索手段は、前記組毎の前記指定色割合情報と前記組毎の前記基準情報とを用いて、前記検索対象の画像を識別する、
   請求項１から５のいずれか１項に記載の画像検索システム。
7. 前記検索キー情報取得手段は、予め定義された画像の部分領域毎に、前記色指定情報および前記基準情報を取得し、
   前記指定色割合情報取得手段は、前記部分領域毎の前記色指定情報を用いて、前記指定色割合情報を前記部分領域毎に取得し、
   前記画像検索手段は、前記部分領域毎の前記指定色割合情報と前記部分領域毎の前記基準情報とを用いて、前記検索対象の画像を識別する、
   請求項１から６のいずれか１項に記載の画像検索システム。
8. 前記検索キー情報取得手段は、ユーザインタフェースとして表示された、カラーパレットまたは色平面における選択入力に基づいて、前記色指定情報を取得する、
   請求項１から７のいずれか１項に記載の画像検索システム。
9. コンピュータが、
   複数の色を示す色指定情報、および、前記複数の色が画像領域において占める割合の基準を示す基準情報を取得し、
   前記色指定情報に対応する前記複数の色を、プリセット情報を用いて補正し、
   前記プリセット情報により補正された後の前記色指定情報に対応する前記複数の色が処理対象の画像において占める割合を示す指定色割合情報を取得し、
   前記指定色割合情報と前記基準情報とに基づいて、前記処理対象の画像が検索対象の画像か否かを識別する、
   ことを含む画像検索方法。
10. コンピュータに、請求項９に記載の画像検索方法を実行させるプログラム。

Images