JPWO2013175608A1 - 画像解析装置、画像解析システム、画像解析方法 - Google Patents

Abstract

画像データのなかから検出対象物を高速に検出することができる画像解析技術を提供することを目的とする。本発明に係る画像解析装置は、検出対象物を含むクエリ画像のメタデータを生成し、このメタデータを用いて検索対象とする画像データをあらかじめ絞り込んだ上で、物体検出を実施する（図１参照）。

Description

本発明は、画像データに含まれる特定の物体を検出する技術に関するものである。

個人向け／企業内のＩＴインフラの発展に伴い、大量のマルチメディアデータ（文書、映像・画像、音声、種々のログデータなど）が大規模なストレージに蓄積されるようになった。蓄積された大量のデータから効率的に情報を引き出すために、個々のメディアデータに関しては、様々な情報検索技術が考案され、実用化されてきた。

マルチメディアデータに対する情報検索の例として、画像内に含まれる物体や特定の領域を検出することが考えられる。画像中の物体検出や領域特定は、文書解析における形態素解析（文書を単語に区切り、品詞を判定する手段）に相当し、画像の意味を解析する際には重要な要素技術である。

画像中の物体検出手法としては、非特許文献１の手法が広く知られており、デジタルカメラや監視システムにおける顔領域検出機能として、製品化されている。非特許文献１の手法においては、検出対象の画像のサンプルを大量に集め、機械学習によって、画像の輝度値に基づく識別器を複数生成する。この識別器を連結させて画像の部分領域に対する判別器をつくり、画像中の部分領域をしらみ潰しに探索することにより、物体領域を特定する。

検出対象の物体は、現在のところ人物の顔が最も一般的である。しかし、ストレージに蓄積される幅広いコンテンツを対象とした場合、例えば、車両、動物、建物、図形、種々の物品など、多様な物体を検出対象とすることが望まれている。また、大規模なデータを処理するために、解析処理効率の向上が必要とされている。

解析処理効率の向上に関して、下記特許文献１には、物体の存在確率を利用して、物体領域を検出するための画像処理を実施する領域を限定する手法が開示されている。特許文献１の手法は、焦点距離や解像度など、撮像系の静的な情報を利用して、画像処理を実施する領域を決定するものであり、車載カメラのように撮影環境や撮影機器が限定され、構造化されたデータが管理される環境においては有効であると考えられる。

特開２０１０−００３２５４号

P. Viola and M. Jones, "Robust real-time object detection", IJCV2001, Vol. 57, No. 2, pp. 137-154, 2002.

特許文献１に記載されている技術は、撮影環境がある程度特定され、画像処理の対象となるデータが構造化されていることを前提としている。しかし一般的には、撮影環境や被写体の位置は必ずしも事前に予測できるとは限らない。また、画像処理の対象となるデータがアドホックに生じる環境においては、そのデータは構造化されてないことになる。かかる環境においては、特許文献１に記載されている手法は物体を検出する時間を短縮するために有効ではないと考えられる。

非特許文献１に記載されている技術は、例えば顔検出のように検出対象物があらかじめ定まっている場合には有効であるが、検出対象物をユーザが逐次指定するような用途においては、サンプルの収集や機械学習を都度実施する必要があるので、処理時間の観点で現実的でない。

本発明は、上記のような課題に鑑みてなされたものであり、画像データのなかから検出対象物を高速に検出することができる画像解析技術を提供することを目的とする。

本発明に係る画像解析装置は、検出対象物を含むクエリ画像のメタデータを生成し、このメタデータを用いて検索対象とする画像データをあらかじめ絞り込んだ上で、物体検出を実施する。

本発明に係る画像解析装置によれば、任意の物体を含む画像を大量の画像データの中から高速に抽出することができる。

上記した以外の課題、構成、および効果は、以下の実施形態の説明により明らかになるであろう。

実施形態１に係る画像解析システム１００の構成図である。 画像データベース１０５の構成とデータ例を示す図である。 ユーザが指定したクエリ画像のメタデータを生成し、そのメタデータによって物体検出対象を絞り込む手順を説明するデータフローを示す図である。 画像解析システム１００が、画像中の物体領域を特定する処理を説明するフローチャートである。 メタデータ生成部１０８がクエリ画像のメタデータを生成する手順を説明する図である。 メタデータ生成部１０８がクエリ画像３０１のメタデータを生成する処理手順を説明するフローチャートである。 図４のステップＳ４０７における物体領域の検出方法について説明する図である。 物体領域検出部１１０が物体を検出する処理を説明するフローチャートである。 画像解析システム１００が、画像中の物体領域を特定する処理における各機能部間の処理シーケンスを説明する図である。 画像データベース１０５から指定した物体を含む画像を取得するために使用する操作画面の構成例を示す図である。 書誌情報を拡張する例を説明する図である。 書誌情報を拡張する処理の手順を説明するフローチャートである。 書誌情報の拡張処理によって検出漏れが軽減する様子を説明するための、解析対象を表すベン図である。 画像解析の処理時間とカバレッジの関係を表すチャートである。 クエリ画像に類似する画像を検索する際に用いるテンプレートを拡充することにより、物体検出の精度を上げる手法を説明する図である。 実施形態４に係るコンテンツクラウドシステム１６００の概略図である。

＜実施の形態１：システム構成＞
図１は、本発明の実施形態１に係る画像解析システム１００の構成図である。画像解析システム１００は、大量の画像中から、ユーザが指定した任意の物体を含む画像を探索することを目的とするシステムである。画像解析システム１００は、画像・文書記憶装置１０１、入力装置１０２、表示装置１０３、データ格納装置１０４、画像データベース１０５、画像解析装置１０６を備える。

画像・文書記憶装置１０１は、画像データを保存する記憶媒体であり、コンピュータ外付けのハードディスクドライブ、ＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）やＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークで接続されたストレージシステムを用いて構成することができる。画像解析システム１００が解析対象とする画像データの規模は、例えば数十万件程度の大規模を想定している。

入力装置１０２は、マウス、キーボード、タッチデバイスなど、ユーザ操作を画像解析装置１０６に伝えるための入力インタフェースである。表示装置１０３は、液晶ディスプレイなどの出力インタフェースであり、画像解析装置１０６の画像解析結果の表示、ユーザとの対話的操作などのために用いられる。データ格納装置１０４は、画像解析装置１０６の解析結果を記録するストレージであり、解析結果を上位のアプリケーションで利用するために用いられる。

画像データベース１０５は、画像を蓄積するためのデータベース管理システムである。画像データベース１０５は、解析対象のデータを一時保存するだけでなく、メタデータ生成用の辞書として、解析処理自体にも利用される。詳しくは図２を用いて後述する。

画像解析装置１０６は、ユーザが指定するクエリ画像に含まれる物体を、画像データベース１０５が格納している画像データのなかから検出する装置である。画像解析装置１０６は、画像・文書入力部１０７、メタデータ生成部１０８、解析対象決定部１０９、物体領域検出部１１０、操作情報入力部１１１、データ出力部１１２、を備える。

画像・文書入力部１０７は、画像・文書記憶装置１０１から、画像データベース１０５に格納する画像データとそれに関連する書誌情報を読み出し、これらを対応付けて画像データベース１０５に格納する。また、検出対象である物体を含むクエリ画像を画像記録装置１０１から読み出し、メタデータ生成部１０８と物体領域検出部１１０に渡す。

メタデータ生成部１０８は、画像データベース１０５を辞書として用いた画像認識処理によって、クエリ画像のメタデータを自動生成する。ここでメタデータとは、画像データが持つより抽象度の高いデータであり、例えば、画像を説明する単語、作成時刻、作成場所などの情報である。以下では簡略化のため、「メタデータ＝単語」として説明するが、メタデータ生成部１０８は様々なメタデータを生成することができ。メタデータには信頼度が付与される。生成されたメタデータは、解析対象決定部１０９に送られる。メタデータを生成する手順については図５を用いて後述する。

解析対象決定部１０９は、メタデータ生成部１０８が生成したメタデータを検索キーとして、画像データベース１０５が格納している書誌情報を検索し、検索キーに合致する書誌情報を持つ画像データのリストを取得する。検索キーとして用いるメタデータは、その信頼度に応じて自動的に選択してもよいし、メタデータの候補からユーザが選択してもよい。検索キーとするメタデータをユーザが選択する場合は、ユーザと画像解析装置１０６の間で対話的操作を実施するため、データ出力部１１２を介してメタデータ候補のリストや検索結果の件数などをユーザに提示する。また、操作情報入力部１１１から、検索キーとして用いるメタデータの指定や閾値などの検索パラメータを受け取る。この結果得られた画像リストは、解析対象の候補として物体領域検出部１１０に送られる。

物体領域検出部１１０は、画像解析処理によって、画像中から指定された物体が写っている領域の座標を特定する。検出対象とする物体は固定ではなく、ユーザが都度指定することができる。また、同時に複数の概念の物体（例えば、人の顔、車、猫、星マーク、など）を検出対象とすることができる。解析結果は、物体の矩形領域の座標（例えば、［矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標］）と「物体らしさ」を表す信頼度として、データ出力部１１２に送られる。この時、メタデータ生成部１０８が生成したメタデータを、検出された物体の意味情報として関連付けて出力することもできる。

操作情報入力部１１１は、入力装置１０２からユーザ操作を受け取り、画像解析装置１０６にその信号を伝える。データ出力装置１１２は、画像解析の対象となる画像リスト、画像解析結果などを受け取り、表示装置１０３やデータ格納装置１０４に出力する。

図２は、画像データベース１０５の構成とデータ例を示す図である。ここではテーブル形式の構成例を示すが、データ形式は任意でよい。画像データベース１０５は、画像特徴量と書誌情報を関連付けて保持するデータベースであり、画像ＩＤフィールド１０５１、画像データフィールド１０５２、画像特徴量フィールド１０５３、書誌情報フィールド１０５４を有する。

画像ＩＤフィールド１０５１は、各画像データの識別番号を保持する。画像データフィールド１０５２は、画像データをバイナリ形式で保持するフィールドであり、ユーザが解析結果を確認する際に用いられる。画像特徴量フィールド１０５３は、画像そのものの持つ色や形状などの特徴を数値化した、固定長の数値ベクトルデータを保持する。書誌情報フィールド１０５４は、画像に関連付けられた書誌情報（文章、カテゴリ分類、日時、場所など）を保持する。書誌情報フィールドは、必要に応じて複数のフィールドに分けてもよい。

＜実施の形態１：各部の動作＞
以上、画像解析システム１００の全体構成を説明した。以下では画像解析システム１００の動作原理を概説した上で、各機能部の詳細動作を説明する。

画像解析システム１００は、ユーザが指定したクエリ画像に含まれる物体を含む画像データを、画像認識処理を用いてデータベース１０５から探索するものである。単純には、画像データベース１０５内の全画像に対して物体検出処理を実施すればよい。しかし通常は、物体検出の処理速度は遅いため、大量の画像セットへ全件に対して物体検出処理を実施するのは、実用的でない。

例えば、一枚あたり０．５秒の画像認識処理が必要であると仮定すると、１００万件の画像の解析には約１４０時間必要になる。検出対象の物体が「人の正面顔」に限定されていれば、データベース構築時に１回だけ解析処理を実施してその結果を流用すれば以後の処理時間を短縮できるが、検出対象物が固定ではなく指定された任意の物体を検出する場合においては、ユーザが検出対象物を指定してから解析処理を実施しなければならないため、応答時間が課題になる。

そこで画像解析システム１００は、検出対象物体のメタデータを自動生成し、そのメタデータを用いて物体検出処理の対象とする画像データをあらかじめ絞り込むことにより、処理時間を短縮することを図る。

図３は、画像解析装置１０６が、ユーザが指定したクエリ画像のメタデータを生成し、そのメタデータによって物体検出対象を絞り込む手順を説明するデータフローを示す図である。画像データベース１０５には、図３に示すように、画像データと書誌情報が登録済みの状態であるとする。

クエリ画像３０１は、ユーザが画像・文書入力装置１０７を介して入力するクエリ画像である。ここでは、クエリ画像３０１中にはひとつの物体（星型）のみが存在するものと仮定する。

メタデータ生成部１０８は、クエリ画像３０１のメタデータ３０２を生成する（Ｓ３０１）。メタデータ３０２は、スコア（＝メタデータの信頼度）付きのリストで出力される。メタデータ３０２の生成についての詳細は、図５を用いて後述する。

解析対象決定部１０９は、メタデータ生成部１０８が生成したメタデータを検索キーにして、画像データベース１０５から検索キーに合致する書誌情報を検索し、条件に一致する画像データの集合３０３を取得する（Ｓ３０２）。ここでは、３つの単語「星」「五芒星」「天体」のＯＲ検索を実施する例を示したが、必要に応じてＡＮＤ検索を組み合わせることもできる。検出対象の画像と同様のメタデータを持つ画像中には、その物体が含まれる可能性が高い。

物体領域検出部１１０は、クエリ画像３０１に含まれる物体と似た物体が、画像集合３０３内の各画像のどの領域に存在するかを特定する（Ｓ３０３）。本処理は、画像集合３０３に含まれる画像数に応じて処理時間が増加する。物体検出の詳細については、図７を用いて後述する。

検出結果３０４は、画像集合３０３内の各画像について、例えば、検出した物体の数、物体の位置（検出結果３０４内の点線矩形）、「物体らしさ」の信頼度（検出結果３０４内のパーセンテージ表示）とともに表される。検出された各物体の意味情報として、ステップＳ３０１で生成したメタデータを紐付けて出力してもよい。データ出力部１１２は、検出結果３０４を表示装置１０３上で画面表示し、またはデータ格納装置１０４にデータ出力する。

図３に示すように、画像解析システム１００は、クエリ画像３０１のメタデータによって、検出対象物が存在する可能性の高い画像をあらかじめ絞り込んだ上で物体検出を実施するので、処理時間を短縮することができる。

一方、画像の「見た目」と書誌情報は必ずしも意味的に一致するわけではない。例えば画像３０５のように、書誌情報は検索キーに一致するが、物体の「見た目」は異なる場合や、画像３０６のように画像中には「見た目」の似た物体が含まれていても、書誌情報には条件に一致する単語が含まれない場合もある。前者は無駄な画像解析処理になるため処理時間の増加の原因となり、後者は検出漏れの原因となる。検出漏れを軽減するための方法は、実施形態２で述べる。

図４は、画像解析システム１００が、画像中の物体領域を特定する処理を説明するフローチャートである。以下、図４の各ステップについて説明する。

（図４：ステップＳ４０１）
画像・文書入力部１０７は、受け取った画像データと書誌情報を画像データベース１０５へ登録する。画像データベース１０５は、画像データから画像特徴量を抽出し、書誌情報と関連付けて登録する。画像特徴量を抽出する処理は、画像・文書入力部１０７が実施するように構成してもよい。本ステップは、ステップＳ４０２以降を実施する前にあらかじめ実施しておけばよく、本フローチャートを実施する毎に実施する必要はない。

（図４：ステップＳ４０２〜Ｓ４０３）
画像・文書入力部１０７は、検出対象物を含むクエリ画像を取得する（Ｓ４０２）。メタデータ生成部１０８は、クエリ画像のメタデータを生成する（Ｓ４０３）。詳しくは図５を用いて後述する。

（図４：ステップＳ４０４）
解析対象決定部１０９は、ステップＳ４０３でメタデータ生成部１０８が生成したメタデータの中から、物体検出の対象とする画像データを絞り込むために使用するメタデータを決定する。具体的には、メタデータの信頼度に応じて機械的に判定してもよいし（例えば信頼度の高いほうから順に所定範囲内を自動選択する）、データ出力部１１１を介してメタデータをユーザに提示してユーザ自身に選択させてもよい。

（図４：ステップＳ４０５）
解析対象決定部１０９は、ステップＳ４０４で選択されたメタデータを検索キーとして用いて、画像データベース１０５が格納している書誌情報を検索し、検索キーに合致する画像データの集合を取得する。この画像集合が物体検出処理の対象となる。

（図４：ステップＳ４０６〜ステップＳ４０８）
画像解析装置１０６は、ステップＳ４０５で取得した画像集合に含まれる各画像データに対して、ステップＳ４０７を実施する。ステップＳ４０７において、物体領域検出部１１０は、ステップＳ４０５で取得した画像集合に含まれる画像中から、クエリ画像に含まれる物体と類似した領域を抽出する。物体領域の抽出方法については、図７を用いて後述する。

（図４：ステップＳ４０９）
データ出力部１１２は、物体領域検出部１１０が検出した物体領域の検出結果を出力する。検出結果は処理順に出力してもよいし、検出された物体の数や信頼度を基準としてソーティングしてから出力してもよい。さらには図３の検出結果３０４に示すように、検出された物体の個数、検出信頼度、検出した物体領域を示す矩形、などの補足情報を合わせて出力してもよい。さらには、表示装置１０３を介して画面上で出力してもよいし、検出結果および上記各補足情報を記述したデータを出力してもよい。

（図４：ステップＳ４１０）
検出対象である物体がこれ以上なければ（ユーザの指示がなければ）終了し、クエリ画像内に他の物体があるか、またはユーザが新たにクエリ画像を指定した場合等、別の物体を検出する場合は、ステップＳ４０２に戻って同様の処理を実施する。

図５は、メタデータ生成部１０８がクエリ画像のメタデータを生成する手順を説明する図である。以下、図５に示す各ステップについて説明する。

（図５：ステップＳ５０１）
メタデータ生成部１０８は、クエリ画像３０１を検索キーとして、画像データベース１０５からこれに類似する画像を検索する。類似画像検索は、画像自体の持つ色や形状などの情報を高次元ベクトル情報として抽出し、ベクトル間距離に基づき画像間の類似性を評価することにより、類似する画像を検索する方法である。この結果、「見た目」がクエリ画像３０１と似た画像の集合５０１が得られる。さらに、画像データベース１０５は画像と書誌情報を関連付けて保持しているので、類似画像の集合５０２から、書誌情報の集合５０２が得られる。

（図５：ステップＳ５０２：手順１）
メタデータ生成部１０８は、書誌情報の集合に含まれる特徴的な単語を抽出する。書誌情報として、画像の分類コードなどの整理されたデータが付与されていれば望ましいが、説明文のような文書が付与されている場合でも、その文書中には画像の意味を表現する特徴的な単語が含まれる可能性が高い。そこで本ステップにおいて、メタデータ生成部１０８は、各書誌情報をアトミックなデータ（最小構成単位）に分解し（例：文書から単語単位に分解）、それをメタデータと考える。以上により、クエリ画像３０１のメタデータを生成することができる。

（図５：ステップＳ５０２：手順２）
メタデータ生成部１０８は、手順１で生成したメタデータが書誌情報中で出現する頻度を数える。メタデータ生成部１０８は、その出現頻度を用いて、手順１で生成した各メタデータのスコアを算出する。単純に、出現頻度をメタデータのスコアとして、スコアの高い順にソーティングしてもよいし、出現頻度に重みをつけた評価指標をスコアとして用いてもよい。

（図５：ステップＳ５０２：スコア算出手法の例１）
メタデータのスコアとして、ＴＦ−ＩＤＦ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ−Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）を用いることができる。ＴＦ−ＩＤＦは、メタデータｔの頻度ｔｆ（ｔ）と、逆文書頻度ｉｄｆ（ｔ）をかけ合わせた評価指標である。逆文書頻度ｉｄｆ（ｔ）は、データベースのレコード数をＮ、データベース全体のなかでメタデータｔを含む書誌情報の頻度をｄｆ（ｔ）とすると、下記数１により表される。

（図５：ステップＳ５０２：スコア算出手法の例２）
メタデータのスコアとして、確率的評価指標を用いてもよい。例えば、メタデータｔを評価する場合は、データベース全体からランダムに画像を取得したときに、その書誌情報にメタデータｔが含まれる確率をｑ（ｔ）、類似画像検索結果の画像集合からランダムに画像を取得したときに、その書誌情報にメタデータｔが含まれる確率をｐ（ｔ）とすると、数２から数４に示すｐ（ｔ）とｑ（ｔ）の確率分布の差の尺度ｋｌ（ｔ）を、メタデータのスコアとして用いることができる。

図６は、メタデータ生成部１０８がクエリ画像３０１のメタデータを生成する処理手順を説明するフローチャートである。以下、図６の各ステップについて説明する。

（図６：ステップＳ６０１〜Ｓ６０２）
メタデータ生成部１０８は、クエリ画像３０１の画像特徴量を計算する（Ｓ６０１）。メタデータ生成部１０８は、ステップＳ６０１で抽出した画像特徴量を検索キーとして、類似画像検索を実施する（Ｓ６０２）。各画像の特徴量ベクトル間の距離が小さいほど画像間の類似度が高いものとし、距離値に応じてソーティングした結果を検索結果として出力する。

（図６：ステップＳ６０３〜Ｓ６０７）
メタデータ生成部１０８は、ステップＳ６０２で得られた類似画像それぞれに対して、ステップＳ６０４〜Ｓ６０６を実施する。

（図６：ステップＳ６０４〜Ｓ６０５）
メタデータ生成部１０８は、ステップＳ６０２で得られた類似画像に関連付けられた書誌情報を画像データベース１０５から読みだす（Ｓ６０４）。メタデータ生成部１０８は、ステップＳ６０４で取得した書誌情報をアトミックなデータに分解し、これをメタデータとする（Ｓ６０５）。例えば、書誌情報が文書である場合は形態素解析を実施し、単語単位に分解する。書誌情報を分解する処理は、効率化のため、画像データベース１０５へ文書を登録する際に、あらかじめ実施しておいてもよい。

（図６：ステップＳ６０６）
メタデータ生成部１０８は、ステップＳ６０４で読み出した書誌情報のなかで、ステップＳ６０５で生成したメタデータが出現する頻度をカウントする。メタデータ生成部１０８は、ステップＳ６０３〜Ｓ６０７の全体を通して、メタデータ毎に累積頻度を求める。このとき、画像の類似度をメタデータの頻度に反映させるため、類似度に応じて重み付けをした後、累積頻度に加算するようにしてもよい。

（図６：ステップＳ６０８）
メタデータ生成部１０８は、ステップＳ６０３〜Ｓ６０７で求めたメタデータ毎の累積頻度を用いて、メタデータのスコアを算出する。スコアの算出手法については図５で説明した通りである。

（図６：ステップＳ６０９）
メタデータ生成部１０８は、ステップＳ６０８で算出したスコア順にメタデータをソーティングし、閾値以下のメタデータは除外して、出力する。

図７は、図４のステップＳ４０７における物体領域の検出方法について説明する図である。本手法は、検出したい物体の画像をテンプレートとして、テンプレートに合致する領域を検出することにより、画像内において物体が存在する領域を検出するものである。

まず、検出したい物体の典型的な画像（テンプレート）の画像特徴量を抽出し、あらかじめテンプレートデータベース７０４に保存しておく。ここでいうテンプレート画像は、クエリ画像３０１に相当する。テンプレートデータベース７０４は、例えば複数の物体を検出したい場合は、それら各物体に対応する複数のテンプレート（検出対象物の画像）を保持することができる。テンプレートデータベース７０４が保持するテンプレートは、検出したい物体が変わる毎にリセットされる。

物体領域検出部１１０は、物体を検出する対象である入力画像７０１（画像データベース１０５内の画像）が与えられると、走査窓７０２の位置やサイズを変動させ、物体の候補領域７０３を抽出する。次に、全ての候補領域７０３に対して、テンプレートデータベース７０４内の複数のテンプレートの中から、特徴量ベクトルが候補領域７０３の特徴量ベクトルと最も近いものを探索する。見つかったテンプレートと候補領域７０３それぞれの特徴量ベクトル間距離が所定閾値以下であれば、候補領域７０３にはそのテンプレートの物体が含まれると判定し、その候補領域７０３を検出結果に加える。このとき、最近傍テンプレートと候補領域７０３それぞれの特徴量ベクトル間距離を、検出結果の信頼度として用いることができる。

図８は、物体領域検出部１１０が物体を検出する処理を説明するフローチャートである。以下、図８の各ステップについて説明する。

（図８：ステップＳ８００）
物体領域検出部１１０は、テンプレートの特徴量を計算し、テンプレートデータベースに登録する。物体を検出する対象である入力画像７０１が複数あり、同じテンプレートを用いて検出処理を実施する場合は、本ステップは最初の１回のみ実施すればよい。

（図８：ステップＳ８０１）
物体領域検出部１１０は、入力画像７０１内の候補領域７０３を抽出する。候補領域７０３は、走査窓をステップ毎に移動し、またはサイズ変更することにより、機械的に抽出される。

（図８：ステップＳ８０２〜Ｓ８０６）
物体領域検出部１１０は、全ての候補領域７０３について、ステップＳ８０２〜ステップＳ８０６を実施する。

（図８：ステップＳ８０３）
物体領域検出部１１０は、候補領域７０３の信頼度を算出する。信頼度の算出方法としては、例えば図７で述べたように、テンプレートの特徴量と候補領域７０３の特徴量の間の距離を用いることができる。

（図８：ステップＳ８０４〜Ｓ８０５）
ステップＳ８０３で求めた候補領域７０３の信頼度が所定閾値以下であればステップＳ８０５に移動し、それ以外であればステップＳ８０５をスキップする（Ｓ８０４）。物体領域検出部１１０は、信頼度が所定閾値である候補領域７０３を、検出結果リストに追加する（Ｓ８０５）。

（図８：ステップＳ８０７）
物体領域検出部１１０は、検出結果リストを出力し、本処理フローを終了する。検出結果は、入力画像７０１内の座標情報（例えば、［矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標］）と信頼度の組として出力される。

図９は、画像解析システム１００が、画像中の物体領域を特定する処理における各機能部間の処理シーケンスを説明する図である。以下、図９の各ステップについて説明する。

（図９：ステップＳ９０１〜Ｓ９０２）
ユーザは入力装置１０２を介して、画像データベース１０５に格納する画像とそれに関連付けられた文書を入力する（Ｓ９０１）。画像と文章の集合は、画像解析装置１０６を中継して画像データベース１０５に送られる。画像データベース１０５は、画像解析装置１０６から受け取った画像から特徴量を抽出し、文書から得られる書誌情報と関連付けて登録する（Ｓ９０２）。ステップＳ９０１〜Ｓ９０２は、図４のステップＳ４０１に相当する。

（図９：ステップＳ９０３〜Ｓ９０６）
ユーザは入力装置１０２を介して、検出したい物体の画像（クエリ画像）を入力する（Ｓ９０３）。画像解析装置１０６は、クエリ画像を検索キーとして、画像データベース１０５に対して類似画像検索を要求する（Ｓ９０４）。画像データベース１０５は、クエリ画像から画像特徴量を抽出し、これを用いてクエリ画像に類似する画像を検索し、類似画像とその書誌情報を画像解析装置１０６に返す（Ｓ９０５）。画像解析装置１０６は、画像データベース１０５から受け取った書誌情報を用いてクエリ画像のメタデータを生成し、そのスコアを計算する（Ｓ９０６）。

（図９：ステップＳ９０７〜Ｓ９０８）
画像解析装置１０６は、ステップＳ９０６で生成したメタデータとそのスコアを、表示装置１０３またはデータ格納装置１０４を介してユーザに提示する（Ｓ９０７）。ユーザは、メタデータ自体とそのスコアを参考に、検索対象とする画像を絞り込むために使用するメタデータを選択する（Ｓ９０８）。ステップＳ９０８を省略し、例えばスコアが高いほうから順にメタデータを選択するなどして、画像解析装置１０６が自動的にメタデータを選択することもできる。

（図９：ステップＳ９０９〜Ｓ９１０）
画像解析装置１０６は、ステップＳ９０８でユーザが選択したメタデータを検索キーとして、書誌情報が検索キーに合致する画像を検索するように画像データベース１０５へ要求する（Ｓ９０９）。画像データベース１０５は、検索クエリに該当する書誌情報を検索し、それに関連付けられた画像を画像解析装置１０６に返す（Ｓ９１０）。

（図９：ステップＳ９１１）
画像解析装置１０６は、ステップＳ９１０の結果得られた各画像に対して、クエリ画像に含まれる物体を検出する処理を実施し、クエリ画像に類似した領域を特定する。検出結果は、画像中における物体の矩形領域の座標（例えば、［矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標］）と「物体らしさ」を表す信頼度で表される。検出結果は、データ出力部１１２を介して出力される。

図１０は、画像データベース１０５から指定した物体を含む画像を取得するために使用する操作画面の構成例を示す図である。本画面は、表示装置１０３上で提供することができる。ユーザは、入力装置１０２を用いて、画面に表示されたカーソル１００６を操作することにより、操作情報入力部１１１に操作情報を送る。

図１０の操作画面は、クエリ画像入力領域１００１、類似画像検索ボタン１００２、メタデータ生成ボタン１００３、類似画像表示領域１００４、メタデータ表示領域１００７、検出対象件数表示領域１００８、予想処理時間表示領域１００９、検出開始／中断ボタン１０１０、検出結果表示領域１０１１を有する。

ユーザは、まず、画像・文書蓄積装置１０１に保存されたクエリ画像をクエリ画像入力領域１００１に入力する。入力方法は、例えば、ファイルシステムのファイルパスを指定するダイアログを用いてもよいし、ドラッグ＆ドロップによる直感的な入力操作にしてもよい。

ユーザが類似画像検索ボタン１００２をクリックすると、画像解析装置１０６はクエリ画像に類似する画像を画像データベース１０５から取得し、類似画像表示領域１００４に表示する。画像解析装置１０６は、類似画像表示領域１００４にされている類似画像の書誌情報を用いて、クエリ画像のメタデータを生成する。類似画像を全て用いてメタデータを生成してもよいし、ユーザが類似画像を確認した上でいずれの類似画像を使用するかを指定してもよい。ユーザは、例えばチェックボックス１００５を用いて類似画像を指定する。図１０に示す例では、右端の類似画像のチェックを外し、メタデータを生成する際に同画像を使用しないように指定している。

メタデータ生成ボタン１００３をクリックすると、メタデータ生成部１０８は、選択された類似画像に付随する書誌情報を用いてメタデータを生成し、メタデータ表示領域１００７に表示する。メタデータ表示領域１００７は、各メタデータが書誌情報内に含まれる画像の件数を併せて表示する。書誌情報の検索速度が十分に速ければ、各メタデータ単体で書誌情報を検索した場合の該当画像数を表示してもよい。

ユーザは、メタデータ自体とスコア、該当画像数などを考慮して、物体検出の対象となる画像を絞り込むために用いるメタデータを選択する。ユーザは例えば、チェックボックス１０１２を用いてメタデータを選択する。画像解析装置１０６は、チェックボックス１０１２がクリックされるたびに書誌情報を検索し、選択されているメタデータを書誌情報内に含む画像の件数を検出対象件数表示領域１００８に表示する。また、同件数の画像に対して物体検出を実施した場合に予想される処理時間を、予想処理時間表示領域１００９に表示する。処理時間は、検出対象とする画像の件数に基づき概算することができる。これにより、ユーザはメタデータを効果的に選択することができる。

検出開始／中断ボタン１０１０をクリックすると、解析対象決定部１０９は、以上の操作で選択されたメタデータを用いて物体検出の対象となる画像集合を取得し、物体領域検出部１１０は、その画像集合に対して物体検出を実施する。物体領域検出部１１０が実施する検出処理は、画像毎に独立であるため、処理の終わった画像から順に検出結果表示領域１０１１に表示したり、検出開始／中断ボタン１０１０をクリックする毎に処理を開始／中断したりすることができる。

＜実施の形態１：まとめ＞
以上のように、本実施形態１に係る画像解析システム１００は、クエリ画像のメタデータを書誌情報として含む画像データのみを対象として物体検出を実施する。これにより、大量の画像中から物体検出の対象とするものを効果的に絞り込み、ユーザが指定した物体を含む画像を高速に探すことができる。

本実施形態１に係る画像解析システム１００は、例えば、図形商標の検索や審査において、新規に登録予定の図形が、登録済みの図形商標中で使用されていないかを判定する際に用いることができる。この場合、メタデータを生成するために必要な画像の書誌情報としては、画像の分類コードや説明文を利用することができる。

本実施形態１に係る画像解析システム１００は、オークションサイトやショッピングサイトに適用することもできる。これにより、ユーザが指定した柄・マークを含む商品を高速に探すことができる。この場合、画像の書誌情報としては、商品のタイトルや出品者のコメントを利用することができる。

本実施形態１に係る画像解析システム１００は、映像コンテンツに適用することができる。これにより、著名人やランドマークが映っているシーンと、そのフレーム画像中での位置を調べることができる。この場合、画像の書誌情報としては、クローズドキャプションやテキスト化した音声などを利用することができる。

＜実施の形態２＞
実施形態１で説明した画像解析システム１００においては、解析対象決定部１０９が書誌情報検索によって物体検出の対象とする画像を絞り込む。そのため、実際にはユーザが指定した物体を含んでいるにもかかわらず、書誌情報が不十分な画像は、検出処理の対象にならず、解析結果として現れなくなる。以下では、書誌情報を拡張することにより、検出処理対象の漏れを軽減する方法について述べる。その他の構成は実施形態１と概ね同様であるため、以下では差異点を中心に説明する。

図１１は、書誌情報を拡張する例を説明する図である。比較のため、書誌情報を拡張しない場合の検索概念図を図１１（ａ）に示し、本実施形態２において書誌情報を拡張する場合の検索概念図を図１１（ｂ）に示した。

図１１（ａ）に示すように、実施形態１で説明した画像解析システム１００は、クエリ画像３０１に含まれる物体を含む画像を探すため、「星」というメタデータを条件として書誌情報を検索する。この結果、画像１１０１のように書誌情報に「星」が含まれていれば物体検出処理の対象になるが、画像１１０２のように書誌情報に「星」を含まない画像は検出対象にはならない。しかし、画像１１０２には実際に、クエリ画像３０１に類似した領域が含まれているため、画像１１０２は検出漏れとなってしまう。

そこで本実施形態２では、図１１（ｂ）に示すように、画像データベース１０５が格納している画像についてもメタデータを生成する。メタデータを生成する手法は、クエリ画像３０１のメタデータを生成する際に用いる手法と同じでよい。新たに生成したメタデータは、追加の書誌情報として画像データベース１０５に登録しておく。画像解析装置１０６は、物体検出の対象となる画像を絞り込む際に、追加分の書誌情報も検索対象とする。これにより、画像１１０３に示すように、本来は書誌情報として「星」を含まない画像も検索対象とすることができる。

一般に、単一物体が映っている画像に比べて、複数の物体が映っている画像は、物体のレイアウト変動による「見た目」のバリエーションが多いため、クエリ画像に類似する画像として発見される可能性は低くなる。その反面、もしクエリ画像との間の類似度が高く複数物体が映っている画像が見つかれば、その類似画像の書誌情報を転用しても情報量の劣化は少ないと考えられる。

図１２は、書誌情報を拡張する処理の手順を説明するフローチャートである。本フローチャートは、画像データベース１０５に登録されている全画像に対して、メタデータ生成部１０８が実施する処理であり、ステップＳ１２０１からステップＳ１２０４の繰り返し処理である。本フローチャートは、例えばシステム負荷が小さい時間帯に実施してもよいし、画像データベース１０５に最初に画像を登録した直後に実施してもよい。以下、図１２の各ステップについて説明する。

（図１２：ステップＳ１２０２）
メタデータ生成部１０８は、画像データベース１０５が保持している既存の書誌情報を用いて、画像データベース１０５内の画像のメタデータを生成する。メタデータを生成する方法は図６で示した手順と同様であるが、例えば類似度の閾値を図６よりも厳しくしたり、物体のレイアウトが変動しても変化しない画像特徴量を用いたりしてもよい。

（図１２：ステップＳ１２０３）
メタデータ生成部１０８は、ステップＳ１２０２で生成したメタデータを、追加の書誌情報として画像データベース１０５に登録する。

図１３は、書誌情報の拡張処理によって検出漏れが軽減する様子を説明するための、解析対象を表すベン図である。図１３（ａ）は既存の書誌情報のみを用いた場合のベン図であり、図１３（ｂ）は拡張された書誌情報を用いた場合のベン図である。

図１３（ａ）において、集合１３０１は、画像データベース１０５に登録された全画像の集合を表す。画像解析システム１００を用いずに、ユーザが指定した物体を探す場合は、集合１３０１が、画像解析の処理対象となる。

集合１３０２は、ユーザが指定した「星型図形」の領域を含む画像集合であり、理想的には、画像解析システム１００がこの集合を出力できればよい。

集合１３０３は、画像解析システム１００が、自動生成した「星」というメタデータをクエリとして書誌情報検索を実施した結果、得られた画像集合である。画像解析システム１００は、この集合を物体検出の処理対象とする。

集合１３０４は、「星型図形」を含む画像でありながら、書誌情報に「星」を含まないため、検出処理の対象にならず、検出漏れとなる画像集合である。

集合１３０５は、検出処理対象となっており、かつ、「星型図形」を含む画像であるため、検出可能な画像集合である。ただし、実際に検出できるかどうかは物体検出器自体の認識性能に依存する。物体検出器の性能を改善する方法については実施形態３の図１５を用いて説明する。

集合１３０６は、書誌情報に「星」を含む画像だが、実際にはユーザの指定した「星型図形」と類似した領域を含まないため、本来は検出処理が不要な画像集合である。

図１３（ｂ）に示すように、書誌情報を拡張した場合、書誌情報に「星」を含む集合が大きくなる。この時、類似画像検索の結果を元に集合を拡張しているため、拡張された領域には「星型図形」が含まれる割合が高い。この結果、物体検出時間は増加するが、検出漏れを減らすことができる。

図１４は、画像解析の処理時間とカバレッジの関係を表すチャートである。横軸は処理時間、縦軸はカバレッジを表す。カバレッジとは、図１３の集合１３０２の何割を処理したかを表す、パーセンテージである。横軸は、検索対象とすべき全ての画像、すなわち図１３の集合１３０２を解析対象とした場合の処理時間を１００とした。

図１４において、集合１３０２のうち集合１３０５が占める割合が６０％、集合１３０２のうち集合１３０４が占める割合が４０％であると仮定する。書誌情報を拡張することにより、集合１３０２のうち集合１３０５が占める割合が８０％、集合１３０２のうち集合１３０４が占める割合が２０％になるものと仮定する。また、集合１３０５に対して物体検出を実施する際の処理時間は、全画像集合に対して物体検出を実施する際の処理時間の１０分の１であると仮定する。

直線１４０１は、全画像集合（集合１３０１）を解析対象としたときのカバレッジの推移を表す。画像データベース１０５からランダムに画像を取り出して処理すると、カバレッジは線形に増加していく。

折れ線１４０２は、実施形態１で説明した手法により、メタデータを用いて解析対象を絞り込んだ時のカバレッジの推移である。点１４０４までは検索対象として絞り込んだ画像に対する検出処理を示し、点１４０４以降は残りの画像に対しても検出処理を適用した場合を示す。点１４０４において、直線１４０１の１／１０の処理時間で、６０％のカバレッジを達成していることがわかる。

折れ線１４０３は、実施形態２で説明した手法により、拡張した書誌情報を用いて解析対象を絞り込んだ時のカバレッジの推移である。点１４０５までは検索対象として絞り込んだ画像に対する検出処理を示し、点１４０５以降は残りの画像に対しても検出処理を適用した場合を示す。検出処理対象が増えた分、点１４０５に至るまでの処理時間は点１４０４に比べて増加するが、カバレッジは高くなる。

図１４に示すように、処理時間とカバレッジはトレードオフの関係にあるため、用途に応じて、書誌情報を拡張するかどうかを決める必要がある。図形商標を審査する場合は、類似画像が一つでも見つかればよいため、処理対象を十分に絞り込んでから検出処理を実行したほうが、応答性の高いシステムになる。カバレッジを高くしたい場合は、最初は元の書誌情報だけを用いて処理し、必要に応じて追加の書誌情報を用いてもよい。

＜実施の形態２：まとめ＞
以上のように、本実施形態２に係る画像解析システム１００は、画像データベース１０５が格納している画像のメタデータを生成し、これを新たな書誌情報として画像データベース１０５に追加した上で、実施形態１と同様の処理を実施する。これにより、既存の書誌情報のみを用いた場合では検出漏れとなる画像も処理対象とすることができる。

＜実施の形態３＞
本発明の実施形態３では、画像解析システム１００の処理における中間データを利用することにより、物体検出の精度を上げる方法を説明する。本手法は、物体検出の手法として、図７で説明したテンプレートを複数用いるものである。その他の構成は実施形態１〜２と同様であるため、以下ではクエリ画像のメタデータを生成する際に複数のテンプレートを用いて類似画像を検索する点を中心に説明する。

図１５は、クエリ画像に類似する画像を検索する際に用いるテンプレートを拡充することにより、物体検出の精度を上げる手法を説明する図である。以下図１５を用いて、本実施形態３におけるテンプレートの拡充について説明する。

図７で説明した物体検出手法においては、画像の部分領域とテンプレートと類似度を調べることで物体領域を特定する。そのため、テンプレートとしてクエリ画像３０１のみを用いる場合、画像１５０５のように極端に見た目の違う星型は検出することができない。また、同じ「星」という概念であっても、画像１５０６のような「太陽図形」、画像１５０７のような「惑星図形」を検出することはできない。

そこで本実施形態３に係る画像解析装置１０６は、処理中に生成される中間データを追加テンプレートとして用いる。具体的には、クエリ画像３０１のメタデータを生成する際にクエリ画像３０１と類似する画像として得られる画像群１５０１を、物体検出処理におけるテンプレートとして用いる。すなわち、ユーザが指定した物体のみならず、これに類似する物体も物体検出の対象とする。そのため本実施形態３では、メタデータ生成のために実施する類似画像検索によって得られた類似画像を用いて、検出対象とする物体のテンプレートを拡充することを図る。

画像解析装置１０６は、図６で説明した手法にしたがって、クエリ画像３０１に類似する画像を検索する（Ｓ６０１〜Ｓ６０２）。このとき得られる画像群１５０１の見た目はクエリ画像３０１とは完全には一致しないが、ユーザが指定した物体に近いものであるため、後に物体検出を実施する際のテンプレートとして適切であると考えられる。そこで、これらの類似画像をテンプレートデータベース１５０４に登録する。テンプレートデータベース１５０４は、物体検出を実施する際に用いるテンプレートを一時的に保持するデータベースであり、クエリ画像３０１が変わる毎にリセットされる。

画像解析装置１０６は、図６で説明した手法にしたがって、クエリ画像３０１および画像群１５０１のメタデータを生成する。これにより、例えば「星」というメタデータが生成されたものと仮定する。

画像解析装置１０６は、メタデータ「星」に合致する書誌情報を検索する。その結果、「星」という概念に該当する画像１５０３を含む画像群１５０５〜１５０７が得られる。書誌情報検索の結果は、複数物体を含む画像であったり、図１３で説明したようにノイズが多く含まれたりするが、例えば図１０のような操作画面を用いて、ユーザの対話操作によりテンプレートを選ぶこともできる。例えば書誌情報検索によって得られた画像を操作画面上でいったん表示し、ユーザがそのなかから物体検出処理においてテンプレートとして用いる画像を選択するように構成することができる。

画像解析装置１０６は、画像群１５０５〜１５０７に対して、テンプレートデータベース１５０４に格納されている複数のテンプレートを用いて、物体検出を実施する。例えばクエリ画像３０１に加えて画像群１５０１をテンプレートとし、さらにはユーザが操作画面上で画像１５０３をテンプレートとして用いる旨を指定した場合はこれもテンプレートとして用いる。これにより、クエリ画像３０１とは必ずしも見た目が類似していない星型領域（例えば画像１５０３のような太陽型や土星型）を検出することができる。

＜実施の形態３：まとめ＞
以上のように、本実施形態３に係る画像解析装置１０６は、クエリ画像３０１のメタデータを生成する際に得られる類似画像や、書誌情報を検索する際に得られる画像を、物体検出のための拡張テンプレートとして用いる。これにより、概念が共通でも「見た目」の異なる物体を検出することができる。

＜実施の形態４＞
本発明の実施形態４では、画像解析システム１００をコンテンツクラウドシステムへ組み込んだ構成例について説明する。以下ではまず、コンテンツクラウドシステムの概要を説明し、その後、画像解析システム１００を解析モジュールとしてコンテンツクラウドシステムへ組み込む方法について説明する。画像解析システム１００の構成は実施形態１〜３と同様である。

図１６は、本実施形態４に係るコンテンツクラウドシステム１６００の概略図である。コンテンツクラウドシステム１６００は、Ｅｘｔｒａｃｔ Ｔｒａｎｓｆｏｒｍ Ｌｏａｄ（ＥＴＬ）モジュール１６０３、コンテンツストレージ１６０４、検索エンジン１６０５、メタデータサーバ１６０６、マルチメディアサーバ１６０７を有する。コンテンツクラウドシステムは１つ以上のＣＰＵ、メモリ、記憶装置を備えた一般的な計算機上で動作し、システム自体は様々なモジュールで構成されている。また、それぞれのモジュールが独立した計算機で実行されることもあり、その場合、各ストレージとモジュール間はネットワーク等で接続されおり、それらを介してデータ通信を行う分散処理で実現される。

アプリケーションプログラム１６０８は、ネットワーク等を経由してコンテンツクラウドシステム１６００に対してリクエストを送り、コンテンツクラウドシステム１６００はリクエストに応じた情報をアプリケーション１６０８に送信する。

コンテンツクラウドシステム１６００は、入力として映像データ、画像データ、文書データ、音声データなどの任意の形式のデータ１６０１を受け取る。データ１６０１は、例えば、図形商標とその広報文書、ウェブサイトの画像とＨＴＭＬ文書、クローズドキャプションまたは音声付き映像データなどであり、構造化されたデータでもよいし非構造化データでもよい。コンテンツクラウドシステム１６００へ入力されるデータはストレージ１６０２に一時的に蓄えられる。

ＥＴＬ１６０３は、ストレージ１６０２を監視しており、ストレージ１６０２へデータ１６０１が格納されると、そのデータに合わせた情報抽出処理モジュール１６０３１を動作させ、抽出された情報（メタデータ）をコンテンツストレージ１６０４にアーカイブ化して保存する。

情報抽出処理モジュール１６０３１は、例えば、テキストのインデックスモジュール、画像認識モジュールなどで構成されている。メタデータの例としては、時刻、Ｎ−ｇｒａｍインデックス、画像認識結果（物体名、画像中の領域座標）、画像特徴量とその関連語、音声認識結果、などが該当する。情報抽出モジュール１６０３１として、何らかの情報（メタデータ）抽出を行うプログラムすべてを用いることができ、公知の技術を採用することができるので、ここでは情報抽出処理モジュール１６０３１の説明を省略する。必要ならば、メタデータはデータ圧縮アルゴリズムによって、データサイズを圧縮してもよい。また、ＥＴＬ１６０３が情報を抽出したのち、データのファイル名、データ登録年月日、元データの種類、メタデータテキスト情報などをＲｅｌａｔｉｏｎａｌ Ｄａｔａ Ｂａｓｅ（ＲＤＢ）へ登録してもよい。

コンテンツストレージ１６０４は、ＥＴＬ１６０３が抽出した情報およびストレージ１６０２に一時的に蓄えられている処理前のデータ１６０１を保存する。

検索エンジン１６０５は、アプリケーションプログラム１６０８からのリクエストがあると、例えばテキスト検索であれば、ＥＴＬ１６０３が作成したインデックスを元にテキスト検索を実施し、検索結果をアプリケーションプログラム１６０８に送信する。検索エンジン１６０５のアルゴリズムに関しては、公知の技術を適用することができる。検索エンジン１６０５はテキストだけでなく、画像、音声などのデータを検索するモジュールを搭載することもできる。

メタデータサーバ１６０６は、ＲＤＢに蓄えられたメタデータを管理する。例えば、ＥＴＬ１６０３が抽出した、データのファイル名、データ登録年月日、元データの種類、メタデータテキスト情報、などがＲＤＢに登録されていると仮定する。アプリケーション１６０８からリクエストの要求があると、メタデータサーバ１６０６はそのリクエストに従って、ＲＤＢ内の情報をアプリケーション１６０８に送信する。

マルチメディアサーバ１６０７は、ＥＴＬ１６０３が抽出したメタデータ同士の情報を互いに関連付け、グラフ形式で構造化してメタ情報を保存する。関連図付けの一例としては、ストレージ１６０４に蓄えられた「リンゴ」という音声認識結果に対して、元の音声ファイル、画像データ、関連語などの対応関係をネットワーク形式で表現することができる。マルチメディアサーバ１６０７は、アプリケーション１６０８からのリクエストがあると、それに応じたメタ情報をアプリケーション１６０８に送信する。例えば、「リンゴ」というリクエストがあると、構築されたグラフ構造に基づき、リンゴを含む画像、平均相場、アーティストの曲名、などのネットワークグラフ上で関連付けられたメタ情報を提供する。

コンテンツクラウドシステム１６００において、画像解析システム１００は、ＥＴＬ１６０３における情報抽出処理モジュール１６０３１として機能する。図１における画像・文書記憶装置１０１、データ格納装置１０４は、図１６においては、それぞれストレージ１６０２、コンテンツストレージ１０４に対応する。また、画像解析装置１０６は情報抽出処理モジュール１６０３１に相当する。ＥＴＬ１６０３に複数の情報抽出処理モジュール１６０３１が組み込まれる場合は、１台の計算機のリソースをシェアしてもよいし、モジュール毎に独立した計算機を用いてもよい。図１の画像データベース１０５は、ＥＴＬ１６０３が情報抽出する際に必要な辞書データ１６０３２に相当する。

＜実施の形態４：まとめ＞
以上のように、本発明に係る画像解析システム１００は、コンテンツクラウドシステム１６００の構成要素として適用することができる。コンテンツクラウドシステム１６００は、各メディアデータに共通して利用可能なメタデータを生成することにより、メディア間にまたがって情報を統合することができる。これにより、付加価値がより高い情報をユーザへ提供することが期待される。

本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。

上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

１００：画像解析システム、１０１：画像・文書入力装置、１０２：入力装置、１０３：表示装置、１０４：データ格納装置、１０５：画像データベース、１０６：画像解析装置、１０７：画像・文書入力部、１０８：メタデータ生成部、１０９：解析対象決定部、１１０：物体領域検出部、１１１：操作情報入力部、１１２：データ出力部、１６００：コンテンツクラウドシステム、１６０２：ストレージ、１６０３：ＥＴＬモジュール、１６０４：コンテンツストレージ、１６０５：検索エンジン、１６０６：メタデータサーバ、１６０７：マルチメディアサーバ、１６０８：アプリケーションプログラム。

Claims (15)

1. 検出対象とする物体の画像を含むクエリ画像データを受け取る画像入力部と、
   画像データとその書誌情報を対応付けて保持する画像データベースを用いて前記クエリ画像データのメタデータを生成するメタデータ生成部と、
   前記画像データベースが保持している前記画像データのうち前記書誌情報が前記メタデータと合致するものを１以上抽出する解析対象決定部と、
   前記解析対象決定部が抽出した１以上の前記画像データのうち前記物体の画像を含む領域を検出する物体領域検出部と、
   前記物体領域検出部が検出した結果を出力する出力部と、
   を備えることを特徴とする画像解析装置。
2. 前記メタデータ生成部は、
   前記画像データベースが保持している前記画像データのうち前記クエリ画像データと類似するものを検索し、その結果得られた前記画像データの前記書誌情報を用いて前記メタデータを生成する
   ことを特徴とする請求項１記載の画像解析装置。
3. 前記メタデータ生成部は、
   前記検索の結果得られた前記画像データの前記書誌情報のなかに前記メタデータが出現する頻度を用いて前記メタデータのスコアを算出し、
   前記解析対象決定部は、
   前記スコアを用いて、前記書誌情報と合致するものを抽出する際に検索キーとする前記メタデータを決定する
   ことを特徴とする請求項２記載の画像解析装置。
4. 前記解析対象決定部は、
   前記スコアが高いほうから順に所定範囲以内の前記メタデータを検索キーとして、前記メタデータと合致する前記書誌情報に対応付けられた前記画像データを抽出する
   ことを特徴とする請求項３記載の画像解析装置。
5. 前記解析対象決定部は、
   前記メタデータのうちいずれを用いて前記書誌情報と合致するものを抽出するかを指定するメタデータ指定を受け取り、その指定された前記メタデータと合致する前記書誌情報に対応付けられた前記画像データを抽出する
   ことを特徴とする請求項３記載の画像解析装置。
6. 前記画像解析装置は、
   前記物体領域検出部が前記物体の画像を含む領域を検出する対象とする前記画像データの件数およびその検出処理時間を表示する表示部を備え、
   前記解析対象決定部は、
   前記メタデータ指定を受け取る毎に、前記件数と前記検出処理時間を再計算して前記表示部上にその再計算の結果を反映する
   ことを特徴とする請求項５記載の画像解析装置。
7. 前記メタデータ生成部は、
   前記検索の結果得られた前記画像データのうち、前記クエリ画像データと合わせて前記メタデータを生成するために用いるものを指定する類似画像指定を受け取り、
   前記画像データベースが保持している前記画像データのうち、前記クエリ画像データと類似するものおよび前記類似画像指定により指定された前記画像データと類似するものを検索し、その結果得られた前記画像データの前記書誌情報を用いて前記メタデータを生成する
   ことを特徴とする請求項２記載の画像解析装置。
8. 前記物体領域検出部は、
   前記画像データの部分領域の特徴量ベクトルと、前記クエリ画像データの特徴量ベクトルとの間のベクトル間距離を算出し、
   前記ベクトル間距離が所定範囲内にあるか否かにより、前記クエリ画像データ内に含まれる前記物体が前記部分領域内に含まれているか否かを判定する
   ことを特徴とする請求項１記載の画像解析装置。
9. 前記出力部は、
   前記物体領域検出部が前記画像データ内で検出した前記物体の個数を、前記物体領域検出部が検出した結果とともに出力する
   ことを特徴とする請求項１記載の画像解析装置。
10. 前記出力部は、
    前記物体領域検出部が前記画像データ内で検出した前記物体の検出信頼度を、前記物体領域検出部が検出した結果とともに出力する
    ことを特徴とする請求項１記載の画像解析装置。
11. 前記メタデータ生成部は、
    前記画像データベースが保持している前記画像データのメタデータを、前記画像データベースが保持している他の前記画像データを用いて生成し、生成したメタデータを前記書誌情報として追加し、
    前記解析対象決定部は、
    前記メタデータが追加された前記書誌情報を用いて、前記画像データベースが保持している前記画像データのうち前記書誌情報が前記メタデータと合致するものを１以上抽出する
    ことを特徴とする請求項１記載の画像解析装置。
12. 前記物体領域検出部は、
    前記解析対象決定部が抽出した１以上の前記画像データのうち、
    前記物体の画像を含む領域と、前記メタデータ生成部が前記検索を実施した結果得られた前記画像データに含まれる物体の画像を含む領域と、を検出する
    ことを特徴とする請求項１記載の画像解析装置。
13. 前記物体領域検出部は、
    前記メタデータ生成部が前記検索を実施した結果得られた前記画像データのうち、前記クエリ画像データに含まれる前記物体と合わせて検出すべき物体を含むものを指定する検出対象指定を受け取り、
    前記解析対象決定部が抽出した１以上の前記画像データのうち、
    前記物体の画像を含む領域と、前記検出対象指定により指定された前記画像データに含まれる物体の画像を含む領域と、を検出する
    ことを特徴とする請求項１２記載の画像解析装置。
14. 請求項１記載の画像解析装置と、
    画像データとその書誌情報を対応付けて保持する画像データベースと、
    を有し、
    前記メタデータ生成部は、前記画像データベースを用いて前記クエリ画像データのメタデータを生成する
    ことを特徴とする画像解析システム。
15. 検出対象とする物体の画像を含むクエリ画像データを受け取る画像入力ステップ、
    画像データとその書誌情報を対応付けて保持する画像データベースを用いて前記クエリ画像データのメタデータを生成するメタデータ生成ステップ、
    前記画像データベースが保持している前記画像データのうち前記書誌情報が前記メタデータと合致するものを１以上抽出する解析対象決定ステップ、
    前記解析対象決定ステップで抽出した１以上の前記画像データのうち前記物体の画像を含む領域を検出する物体領域検出ステップ、
    前記物体領域検出ステップで検出した結果を出力する出力ステップ、
    を有することを特徴とする画像解析方法。

Images