JP5857124B2 - 画像解析装置、画像解析システム、画像解析方法 - Google Patents

画像解析装置、画像解析システム、画像解析方法 Download PDF

Info

Publication number
JP5857124B2
JP5857124B2 JP2014516586A JP2014516586A JP5857124B2 JP 5857124 B2 JP5857124 B2 JP 5857124B2 JP 2014516586 A JP2014516586 A JP 2014516586A JP 2014516586 A JP2014516586 A JP 2014516586A JP 5857124 B2 JP5857124 B2 JP 5857124B2
Authority
JP
Japan
Prior art keywords
image
metadata
image data
bibliographic information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014516586A
Other languages
English (en)
Other versions
JPWO2013175608A1 (ja
Inventor
裕樹 渡邉
裕樹 渡邉
廣池 敦
敦 廣池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2013175608A1 publication Critical patent/JPWO2013175608A1/ja
Application granted granted Critical
Publication of JP5857124B2 publication Critical patent/JP5857124B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像データに含まれる特定の物体を検出する技術に関するものである。
個人向け/企業内のITインフラの発展に伴い、大量のマルチメディアデータ(文書、映像・画像、音声、種々のログデータなど)が大規模なストレージに蓄積されるようになった。蓄積された大量のデータから効率的に情報を引き出すために、個々のメディアデータに関しては、様々な情報検索技術が考案され、実用化されてきた。
マルチメディアデータに対する情報検索の例として、画像内に含まれる物体や特定の領域を検出することが考えられる。画像中の物体検出や領域特定は、文書解析における形態素解析(文書を単語に区切り、品詞を判定する手段)に相当し、画像の意味を解析する際には重要な要素技術である。
画像中の物体検出手法としては、非特許文献1の手法が広く知られており、デジタルカメラや監視システムにおける顔領域検出機能として、製品化されている。非特許文献1の手法においては、検出対象の画像のサンプルを大量に集め、機械学習によって、画像の輝度値に基づく識別器を複数生成する。この識別器を連結させて画像の部分領域に対する判別器をつくり、画像中の部分領域をしらみ潰しに探索することにより、物体領域を特定する。
検出対象の物体は、現在のところ人物の顔が最も一般的である。しかし、ストレージに蓄積される幅広いコンテンツを対象とした場合、例えば、車両、動物、建物、図形、種々の物品など、多様な物体を検出対象とすることが望まれている。また、大規模なデータを処理するために、解析処理効率の向上が必要とされている。
解析処理効率の向上に関して、下記特許文献1には、物体の存在確率を利用して、物体領域を検出するための画像処理を実施する領域を限定する手法が開示されている。特許文献1の手法は、焦点距離や解像度など、撮像系の静的な情報を利用して、画像処理を実施する領域を決定するものであり、車載カメラのように撮影環境や撮影機器が限定され、構造化されたデータが管理される環境においては有効であると考えられる。
特開2010−003254号
P. Viola and M. Jones, "Robust real-time object detection", IJCV2001, Vol. 57, No. 2, pp. 137-154, 2002.
特許文献1に記載されている技術は、撮影環境がある程度特定され、画像処理の対象となるデータが構造化されていることを前提としている。しかし一般的には、撮影環境や被写体の位置は必ずしも事前に予測できるとは限らない。また、画像処理の対象となるデータがアドホックに生じる環境においては、そのデータは構造化されてないことになる。かかる環境においては、特許文献1に記載されている手法は物体を検出する時間を短縮するために有効ではないと考えられる。
非特許文献1に記載されている技術は、例えば顔検出のように検出対象物があらかじめ定まっている場合には有効であるが、検出対象物をユーザが逐次指定するような用途においては、サンプルの収集や機械学習を都度実施する必要があるので、処理時間の観点で現実的でない。
本発明は、上記のような課題に鑑みてなされたものであり、画像データのなかから検出対象物を高速に検出することができる画像解析技術を提供することを目的とする。
本発明に係る画像解析装置は、検出対象物を含むクエリ画像のメタデータを生成し、このメタデータを用いて検索対象とする画像データをあらかじめ絞り込んだ上で、物体検出を実施する。
本発明に係る画像解析装置によれば、任意の物体を含む画像を大量の画像データの中から高速に抽出することができる。
上記した以外の課題、構成、および効果は、以下の実施形態の説明により明らかになるであろう。
実施形態1に係る画像解析システム100の構成図である。 画像データベース105の構成とデータ例を示す図である。 ユーザが指定したクエリ画像のメタデータを生成し、そのメタデータによって物体検出対象を絞り込む手順を説明するデータフローを示す図である。 画像解析システム100が、画像中の物体領域を特定する処理を説明するフローチャートである。 メタデータ生成部108がクエリ画像のメタデータを生成する手順を説明する図である。 メタデータ生成部108がクエリ画像301のメタデータを生成する処理手順を説明するフローチャートである。 図4のステップS407における物体領域の検出方法について説明する図である。 物体領域検出部110が物体を検出する処理を説明するフローチャートである。 画像解析システム100が、画像中の物体領域を特定する処理における各機能部間の処理シーケンスを説明する図である。 画像データベース105から指定した物体を含む画像を取得するために使用する操作画面の構成例を示す図である。 書誌情報を拡張する例を説明する図である。 書誌情報を拡張する処理の手順を説明するフローチャートである。 書誌情報の拡張処理によって検出漏れが軽減する様子を説明するための、解析対象を表すベン図である。 画像解析の処理時間とカバレッジの関係を表すチャートである。 クエリ画像に類似する画像を検索する際に用いるテンプレートを拡充することにより、物体検出の精度を上げる手法を説明する図である。 実施形態4に係るコンテンツクラウドシステム1600の概略図である。
<実施の形態1:システム構成>
図1は、本発明の実施形態1に係る画像解析システム100の構成図である。画像解析システム100は、大量の画像中から、ユーザが指定した任意の物体を含む画像を探索することを目的とするシステムである。画像解析システム100は、画像・文書記憶装置101、入力装置102、表示装置103、データ格納装置104、画像データベース105、画像解析装置106を備える。
画像・文書記憶装置101は、画像データを保存する記憶媒体であり、コンピュータ外付けのハードディスクドライブ、NAS(Network Attached Storage)やSAN(Storage Area Network)などのネットワークで接続されたストレージシステムを用いて構成することができる。画像解析システム100が解析対象とする画像データの規模は、例えば数十万件程度の大規模を想定している。
入力装置102は、マウス、キーボード、タッチデバイスなど、ユーザ操作を画像解析装置106に伝えるための入力インタフェースである。表示装置103は、液晶ディスプレイなどの出力インタフェースであり、画像解析装置106の画像解析結果の表示、ユーザとの対話的操作などのために用いられる。データ格納装置104は、画像解析装置106の解析結果を記録するストレージであり、解析結果を上位のアプリケーションで利用するために用いられる。
画像データベース105は、画像を蓄積するためのデータベース管理システムである。画像データベース105は、解析対象のデータを一時保存するだけでなく、メタデータ生成用の辞書として、解析処理自体にも利用される。詳しくは図2を用いて後述する。
画像解析装置106は、ユーザが指定するクエリ画像に含まれる物体を、画像データベース105が格納している画像データのなかから検出する装置である。画像解析装置106は、画像・文書入力部107、メタデータ生成部108、解析対象決定部109、物体領域検出部110、操作情報入力部111、データ出力部112、を備える。
画像・文書入力部107は、画像・文書記憶装置101から、画像データベース105に格納する画像データとそれに関連する書誌情報を読み出し、これらを対応付けて画像データベース105に格納する。また、検出対象である物体を含むクエリ画像を画像記録装置101から読み出し、メタデータ生成部108と物体領域検出部110に渡す。
メタデータ生成部108は、画像データベース105を辞書として用いた画像認識処理によって、クエリ画像のメタデータを自動生成する。ここでメタデータとは、画像データが持つより抽象度の高いデータであり、例えば、画像を説明する単語、作成時刻、作成場所などの情報である。以下では簡略化のため、「メタデータ=単語」として説明するが、メタデータ生成部108は様々なメタデータを生成することができ。メタデータには信頼度が付与される。生成されたメタデータは、解析対象決定部109に送られる。メタデータを生成する手順については図5を用いて後述する。
解析対象決定部109は、メタデータ生成部108が生成したメタデータを検索キーとして、画像データベース105が格納している書誌情報を検索し、検索キーに合致する書誌情報を持つ画像データのリストを取得する。検索キーとして用いるメタデータは、その信頼度に応じて自動的に選択してもよいし、メタデータの候補からユーザが選択してもよい。検索キーとするメタデータをユーザが選択する場合は、ユーザと画像解析装置106の間で対話的操作を実施するため、データ出力部112を介してメタデータ候補のリストや検索結果の件数などをユーザに提示する。また、操作情報入力部111から、検索キーとして用いるメタデータの指定や閾値などの検索パラメータを受け取る。この結果得られた画像リストは、解析対象の候補として物体領域検出部110に送られる。
物体領域検出部110は、画像解析処理によって、画像中から指定された物体が写っている領域の座標を特定する。検出対象とする物体は固定ではなく、ユーザが都度指定することができる。また、同時に複数の概念の物体(例えば、人の顔、車、猫、星マーク、など)を検出対象とすることができる。解析結果は、物体の矩形領域の座標(例えば、[矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標])と「物体らしさ」を表す信頼度として、データ出力部112に送られる。この時、メタデータ生成部108が生成したメタデータを、検出された物体の意味情報として関連付けて出力することもできる。
操作情報入力部111は、入力装置102からユーザ操作を受け取り、画像解析装置106にその信号を伝える。データ出力装置112は、画像解析の対象となる画像リスト、画像解析結果などを受け取り、表示装置103やデータ格納装置104に出力する。
図2は、画像データベース105の構成とデータ例を示す図である。ここではテーブル形式の構成例を示すが、データ形式は任意でよい。画像データベース105は、画像特徴量と書誌情報を関連付けて保持するデータベースであり、画像IDフィールド1051、画像データフィールド1052、画像特徴量フィールド1053、書誌情報フィールド1054を有する。
画像IDフィールド1051は、各画像データの識別番号を保持する。画像データフィールド1052は、画像データをバイナリ形式で保持するフィールドであり、ユーザが解析結果を確認する際に用いられる。画像特徴量フィールド1053は、画像そのものの持つ色や形状などの特徴を数値化した、固定長の数値ベクトルデータを保持する。書誌情報フィールド1054は、画像に関連付けられた書誌情報(文章、カテゴリ分類、日時、場所など)を保持する。書誌情報フィールドは、必要に応じて複数のフィールドに分けてもよい。
<実施の形態1:各部の動作>
以上、画像解析システム100の全体構成を説明した。以下では画像解析システム100の動作原理を概説した上で、各機能部の詳細動作を説明する。
画像解析システム100は、ユーザが指定したクエリ画像に含まれる物体を含む画像データを、画像認識処理を用いてデータベース105から探索するものである。単純には、画像データベース105内の全画像に対して物体検出処理を実施すればよい。しかし通常は、物体検出の処理速度は遅いため、大量の画像セットへ全件に対して物体検出処理を実施するのは、実用的でない。
例えば、一枚あたり0.5秒の画像認識処理が必要であると仮定すると、100万件の画像の解析には約140時間必要になる。検出対象の物体が「人の正面顔」に限定されていれば、データベース構築時に1回だけ解析処理を実施してその結果を流用すれば以後の処理時間を短縮できるが、検出対象物が固定ではなく指定された任意の物体を検出する場合においては、ユーザが検出対象物を指定してから解析処理を実施しなければならないため、応答時間が課題になる。
そこで画像解析システム100は、検出対象物体のメタデータを自動生成し、そのメタデータを用いて物体検出処理の対象とする画像データをあらかじめ絞り込むことにより、処理時間を短縮することを図る。
図3は、画像解析装置106が、ユーザが指定したクエリ画像のメタデータを生成し、そのメタデータによって物体検出対象を絞り込む手順を説明するデータフローを示す図である。画像データベース105には、図3に示すように、画像データと書誌情報が登録済みの状態であるとする。
クエリ画像301は、ユーザが画像・文書入力装置107を介して入力するクエリ画像である。ここでは、クエリ画像301中にはひとつの物体(星型)のみが存在するものと仮定する。
メタデータ生成部108は、クエリ画像301のメタデータ302を生成する(S301)。メタデータ302は、スコア(=メタデータの信頼度)付きのリストで出力される。メタデータ302の生成についての詳細は、図5を用いて後述する。
解析対象決定部109は、メタデータ生成部108が生成したメタデータを検索キーにして、画像データベース105から検索キーに合致する書誌情報を検索し、条件に一致する画像データの集合303を取得する(S302)。ここでは、3つの単語「星」「五芒星」「天体」のOR検索を実施する例を示したが、必要に応じてAND検索を組み合わせることもできる。検出対象の画像と同様のメタデータを持つ画像中には、その物体が含まれる可能性が高い。
物体領域検出部110は、クエリ画像301に含まれる物体と似た物体が、画像集合303内の各画像のどの領域に存在するかを特定する(S303)。本処理は、画像集合303に含まれる画像数に応じて処理時間が増加する。物体検出の詳細については、図7を用いて後述する。
検出結果304は、画像集合303内の各画像について、例えば、検出した物体の数、物体の位置(検出結果304内の点線矩形)、「物体らしさ」の信頼度(検出結果304内のパーセンテージ表示)とともに表される。検出された各物体の意味情報として、ステップS301で生成したメタデータを紐付けて出力してもよい。データ出力部112は、検出結果304を表示装置103上で画面表示し、またはデータ格納装置104にデータ出力する。
図3に示すように、画像解析システム100は、クエリ画像301のメタデータによって、検出対象物が存在する可能性の高い画像をあらかじめ絞り込んだ上で物体検出を実施するので、処理時間を短縮することができる。
一方、画像の「見た目」と書誌情報は必ずしも意味的に一致するわけではない。例えば画像305のように、書誌情報は検索キーに一致するが、物体の「見た目」は異なる場合や、画像306のように画像中には「見た目」の似た物体が含まれていても、書誌情報には条件に一致する単語が含まれない場合もある。前者は無駄な画像解析処理になるため処理時間の増加の原因となり、後者は検出漏れの原因となる。検出漏れを軽減するための方法は、実施形態2で述べる。
図4は、画像解析システム100が、画像中の物体領域を特定する処理を説明するフローチャートである。以下、図4の各ステップについて説明する。
(図4:ステップS401)
画像・文書入力部107は、受け取った画像データと書誌情報を画像データベース105へ登録する。画像データベース105は、画像データから画像特徴量を抽出し、書誌情報と関連付けて登録する。画像特徴量を抽出する処理は、画像・文書入力部107が実施するように構成してもよい。本ステップは、ステップS402以降を実施する前にあらかじめ実施しておけばよく、本フローチャートを実施する毎に実施する必要はない。
(図4:ステップS402〜S403)
画像・文書入力部107は、検出対象物を含むクエリ画像を取得する(S402)。メタデータ生成部108は、クエリ画像のメタデータを生成する(S403)。詳しくは図5を用いて後述する。
(図4:ステップS404)
解析対象決定部109は、ステップS403でメタデータ生成部108が生成したメタデータの中から、物体検出の対象とする画像データを絞り込むために使用するメタデータを決定する。具体的には、メタデータの信頼度に応じて機械的に判定してもよいし(例えば信頼度の高いほうから順に所定範囲内を自動選択する)、データ出力部111を介してメタデータをユーザに提示してユーザ自身に選択させてもよい。
(図4:ステップS405)
解析対象決定部109は、ステップS404で選択されたメタデータを検索キーとして用いて、画像データベース105が格納している書誌情報を検索し、検索キーに合致する画像データの集合を取得する。この画像集合が物体検出処理の対象となる。
(図4:ステップS406〜ステップS408)
画像解析装置106は、ステップS405で取得した画像集合に含まれる各画像データに対して、ステップS407を実施する。ステップS407において、物体領域検出部110は、ステップS405で取得した画像集合に含まれる画像中から、クエリ画像に含まれる物体と類似した領域を抽出する。物体領域の抽出方法については、図7を用いて後述する。
(図4:ステップS409)
データ出力部112は、物体領域検出部110が検出した物体領域の検出結果を出力する。検出結果は処理順に出力してもよいし、検出された物体の数や信頼度を基準としてソーティングしてから出力してもよい。さらには図3の検出結果304に示すように、検出された物体の個数、検出信頼度、検出した物体領域を示す矩形、などの補足情報を合わせて出力してもよい。さらには、表示装置103を介して画面上で出力してもよいし、検出結果および上記各補足情報を記述したデータを出力してもよい。
(図4:ステップS410)
検出対象である物体がこれ以上なければ(ユーザの指示がなければ)終了し、クエリ画像内に他の物体があるか、またはユーザが新たにクエリ画像を指定した場合等、別の物体を検出する場合は、ステップS402に戻って同様の処理を実施する。
図5は、メタデータ生成部108がクエリ画像のメタデータを生成する手順を説明する図である。以下、図5に示す各ステップについて説明する。
(図5:ステップS501)
メタデータ生成部108は、クエリ画像301を検索キーとして、画像データベース105からこれに類似する画像を検索する。類似画像検索は、画像自体の持つ色や形状などの情報を高次元ベクトル情報として抽出し、ベクトル間距離に基づき画像間の類似性を評価することにより、類似する画像を検索する方法である。この結果、「見た目」がクエリ画像301と似た画像の集合501が得られる。さらに、画像データベース105は画像と書誌情報を関連付けて保持しているので、類似画像の集合502から、書誌情報の集合502が得られる。
(図5:ステップS502:手順1)
メタデータ生成部108は、書誌情報の集合に含まれる特徴的な単語を抽出する。書誌情報として、画像の分類コードなどの整理されたデータが付与されていれば望ましいが、説明文のような文書が付与されている場合でも、その文書中には画像の意味を表現する特徴的な単語が含まれる可能性が高い。そこで本ステップにおいて、メタデータ生成部108は、各書誌情報をアトミックなデータ(最小構成単位)に分解し(例:文書から単語単位に分解)、それをメタデータと考える。以上により、クエリ画像301のメタデータを生成することができる。
(図5:ステップS502:手順2)
メタデータ生成部108は、手順1で生成したメタデータが書誌情報中で出現する頻度を数える。メタデータ生成部108は、その出現頻度を用いて、手順1で生成した各メタデータのスコアを算出する。単純に、出現頻度をメタデータのスコアとして、スコアの高い順にソーティングしてもよいし、出現頻度に重みをつけた評価指標をスコアとして用いてもよい。
(図5:ステップS502:スコア算出手法の例1)
メタデータのスコアとして、TF−IDF(Term Frequency−Inverse Document Frequency)を用いることができる。TF−IDFは、メタデータtの頻度tf(t)と、逆文書頻度idf(t)をかけ合わせた評価指標である。逆文書頻度idf(t)は、データベースのレコード数をN、データベース全体のなかでメタデータtを含む書誌情報の頻度をdf(t)とすると、下記数1により表される。
Figure 0005857124
(図5:ステップS502:スコア算出手法の例2)
メタデータのスコアとして、確率的評価指標を用いてもよい。例えば、メタデータtを評価する場合は、データベース全体からランダムに画像を取得したときに、その書誌情報にメタデータtが含まれる確率をq(t)、類似画像検索結果の画像集合からランダムに画像を取得したときに、その書誌情報にメタデータtが含まれる確率をp(t)とすると、数2から数4に示すp(t)とq(t)の確率分布の差の尺度kl(t)を、メタデータのスコアとして用いることができる。
Figure 0005857124
図6は、メタデータ生成部108がクエリ画像301のメタデータを生成する処理手順を説明するフローチャートである。以下、図6の各ステップについて説明する。
(図6:ステップS601〜S602)
メタデータ生成部108は、クエリ画像301の画像特徴量を計算する(S601)。メタデータ生成部108は、ステップS601で抽出した画像特徴量を検索キーとして、類似画像検索を実施する(S602)。各画像の特徴量ベクトル間の距離が小さいほど画像間の類似度が高いものとし、距離値に応じてソーティングした結果を検索結果として出力する。
(図6:ステップS603〜S607)
メタデータ生成部108は、ステップS602で得られた類似画像それぞれに対して、ステップS604〜S606を実施する。
(図6:ステップS604〜S605)
メタデータ生成部108は、ステップS602で得られた類似画像に関連付けられた書誌情報を画像データベース105から読みだす(S604)。メタデータ生成部108は、ステップS604で取得した書誌情報をアトミックなデータに分解し、これをメタデータとする(S605)。例えば、書誌情報が文書である場合は形態素解析を実施し、単語単位に分解する。書誌情報を分解する処理は、効率化のため、画像データベース105へ文書を登録する際に、あらかじめ実施しておいてもよい。
(図6:ステップS606)
メタデータ生成部108は、ステップS604で読み出した書誌情報のなかで、ステップS605で生成したメタデータが出現する頻度をカウントする。メタデータ生成部108は、ステップS603〜S607の全体を通して、メタデータ毎に累積頻度を求める。このとき、画像の類似度をメタデータの頻度に反映させるため、類似度に応じて重み付けをした後、累積頻度に加算するようにしてもよい。
(図6:ステップS608)
メタデータ生成部108は、ステップS603〜S607で求めたメタデータ毎の累積頻度を用いて、メタデータのスコアを算出する。スコアの算出手法については図5で説明した通りである。
(図6:ステップS609)
メタデータ生成部108は、ステップS608で算出したスコア順にメタデータをソーティングし、閾値以下のメタデータは除外して、出力する。
図7は、図4のステップS407における物体領域の検出方法について説明する図である。本手法は、検出したい物体の画像をテンプレートとして、テンプレートに合致する領域を検出することにより、画像内において物体が存在する領域を検出するものである。
まず、検出したい物体の典型的な画像(テンプレート)の画像特徴量を抽出し、あらかじめテンプレートデータベース704に保存しておく。ここでいうテンプレート画像は、クエリ画像301に相当する。テンプレートデータベース704は、例えば複数の物体を検出したい場合は、それら各物体に対応する複数のテンプレート(検出対象物の画像)を保持することができる。テンプレートデータベース704が保持するテンプレートは、検出したい物体が変わる毎にリセットされる。
物体領域検出部110は、物体を検出する対象である入力画像701(画像データベース105内の画像)が与えられると、走査窓702の位置やサイズを変動させ、物体の候補領域703を抽出する。次に、全ての候補領域703に対して、テンプレートデータベース704内の複数のテンプレートの中から、特徴量ベクトルが候補領域703の特徴量ベクトルと最も近いものを探索する。見つかったテンプレートと候補領域703それぞれの特徴量ベクトル間距離が所定閾値以下であれば、候補領域703にはそのテンプレートの物体が含まれると判定し、その候補領域703を検出結果に加える。このとき、最近傍テンプレートと候補領域703それぞれの特徴量ベクトル間距離を、検出結果の信頼度として用いることができる。
図8は、物体領域検出部110が物体を検出する処理を説明するフローチャートである。以下、図8の各ステップについて説明する。
(図8:ステップS800)
物体領域検出部110は、テンプレートの特徴量を計算し、テンプレートデータベースに登録する。物体を検出する対象である入力画像701が複数あり、同じテンプレートを用いて検出処理を実施する場合は、本ステップは最初の1回のみ実施すればよい。
(図8:ステップS801)
物体領域検出部110は、入力画像701内の候補領域703を抽出する。候補領域703は、走査窓をステップ毎に移動し、またはサイズ変更することにより、機械的に抽出される。
(図8:ステップS802〜S806)
物体領域検出部110は、全ての候補領域703について、ステップS802〜ステップS806を実施する。
(図8:ステップS803)
物体領域検出部110は、候補領域703の信頼度を算出する。信頼度の算出方法としては、例えば図7で述べたように、テンプレートの特徴量と候補領域703の特徴量の間の距離を用いることができる。
(図8:ステップS804〜S805)
ステップS803で求めた候補領域703の信頼度が所定閾値以下であればステップS805に移動し、それ以外であればステップS805をスキップする(S804)。物体領域検出部110は、信頼度が所定閾値である候補領域703を、検出結果リストに追加する(S805)。
(図8:ステップS807)
物体領域検出部110は、検出結果リストを出力し、本処理フローを終了する。検出結果は、入力画像701内の座標情報(例えば、[矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標])と信頼度の組として出力される。
図9は、画像解析システム100が、画像中の物体領域を特定する処理における各機能部間の処理シーケンスを説明する図である。以下、図9の各ステップについて説明する。
(図9:ステップS901〜S902)
ユーザは入力装置102を介して、画像データベース105に格納する画像とそれに関連付けられた文書を入力する(S901)。画像と文章の集合は、画像解析装置106を中継して画像データベース105に送られる。画像データベース105は、画像解析装置106から受け取った画像から特徴量を抽出し、文書から得られる書誌情報と関連付けて登録する(S902)。ステップS901〜S902は、図4のステップS401に相当する。
(図9:ステップS903〜S906)
ユーザは入力装置102を介して、検出したい物体の画像(クエリ画像)を入力する(S903)。画像解析装置106は、クエリ画像を検索キーとして、画像データベース105に対して類似画像検索を要求する(S904)。画像データベース105は、クエリ画像から画像特徴量を抽出し、これを用いてクエリ画像に類似する画像を検索し、類似画像とその書誌情報を画像解析装置106に返す(S905)。画像解析装置106は、画像データベース105から受け取った書誌情報を用いてクエリ画像のメタデータを生成し、そのスコアを計算する(S906)。
(図9:ステップS907〜S908)
画像解析装置106は、ステップS906で生成したメタデータとそのスコアを、表示装置103またはデータ格納装置104を介してユーザに提示する(S907)。ユーザは、メタデータ自体とそのスコアを参考に、検索対象とする画像を絞り込むために使用するメタデータを選択する(S908)。ステップS908を省略し、例えばスコアが高いほうから順にメタデータを選択するなどして、画像解析装置106が自動的にメタデータを選択することもできる。
(図9:ステップS909〜S910)
画像解析装置106は、ステップS908でユーザが選択したメタデータを検索キーとして、書誌情報が検索キーに合致する画像を検索するように画像データベース105へ要求する(S909)。画像データベース105は、検索クエリに該当する書誌情報を検索し、それに関連付けられた画像を画像解析装置106に返す(S910)。
(図9:ステップS911)
画像解析装置106は、ステップS910の結果得られた各画像に対して、クエリ画像に含まれる物体を検出する処理を実施し、クエリ画像に類似した領域を特定する。検出結果は、画像中における物体の矩形領域の座標(例えば、[矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標])と「物体らしさ」を表す信頼度で表される。検出結果は、データ出力部112を介して出力される。
図10は、画像データベース105から指定した物体を含む画像を取得するために使用する操作画面の構成例を示す図である。本画面は、表示装置103上で提供することができる。ユーザは、入力装置102を用いて、画面に表示されたカーソル1006を操作することにより、操作情報入力部111に操作情報を送る。
図10の操作画面は、クエリ画像入力領域1001、類似画像検索ボタン1002、メタデータ生成ボタン1003、類似画像表示領域1004、メタデータ表示領域1007、検出対象件数表示領域1008、予想処理時間表示領域1009、検出開始/中断ボタン1010、検出結果表示領域1011を有する。
ユーザは、まず、画像・文書蓄積装置101に保存されたクエリ画像をクエリ画像入力領域1001に入力する。入力方法は、例えば、ファイルシステムのファイルパスを指定するダイアログを用いてもよいし、ドラッグ&ドロップによる直感的な入力操作にしてもよい。
ユーザが類似画像検索ボタン1002をクリックすると、画像解析装置106はクエリ画像に類似する画像を画像データベース105から取得し、類似画像表示領域1004に表示する。画像解析装置106は、類似画像表示領域1004にされている類似画像の書誌情報を用いて、クエリ画像のメタデータを生成する。類似画像を全て用いてメタデータを生成してもよいし、ユーザが類似画像を確認した上でいずれの類似画像を使用するかを指定してもよい。ユーザは、例えばチェックボックス1005を用いて類似画像を指定する。図10に示す例では、右端の類似画像のチェックを外し、メタデータを生成する際に同画像を使用しないように指定している。
メタデータ生成ボタン1003をクリックすると、メタデータ生成部108は、選択された類似画像に付随する書誌情報を用いてメタデータを生成し、メタデータ表示領域1007に表示する。メタデータ表示領域1007は、各メタデータが書誌情報内に含まれる画像の件数を併せて表示する。書誌情報の検索速度が十分に速ければ、各メタデータ単体で書誌情報を検索した場合の該当画像数を表示してもよい。
ユーザは、メタデータ自体とスコア、該当画像数などを考慮して、物体検出の対象となる画像を絞り込むために用いるメタデータを選択する。ユーザは例えば、チェックボックス1012を用いてメタデータを選択する。画像解析装置106は、チェックボックス1012がクリックされるたびに書誌情報を検索し、選択されているメタデータを書誌情報内に含む画像の件数を検出対象件数表示領域1008に表示する。また、同件数の画像に対して物体検出を実施した場合に予想される処理時間を、予想処理時間表示領域1009に表示する。処理時間は、検出対象とする画像の件数に基づき概算することができる。これにより、ユーザはメタデータを効果的に選択することができる。
検出開始/中断ボタン1010をクリックすると、解析対象決定部109は、以上の操作で選択されたメタデータを用いて物体検出の対象となる画像集合を取得し、物体領域検出部110は、その画像集合に対して物体検出を実施する。物体領域検出部110が実施する検出処理は、画像毎に独立であるため、処理の終わった画像から順に検出結果表示領域1011に表示したり、検出開始/中断ボタン1010をクリックする毎に処理を開始/中断したりすることができる。
<実施の形態1:まとめ>
以上のように、本実施形態1に係る画像解析システム100は、クエリ画像のメタデータを書誌情報として含む画像データのみを対象として物体検出を実施する。これにより、大量の画像中から物体検出の対象とするものを効果的に絞り込み、ユーザが指定した物体を含む画像を高速に探すことができる。
本実施形態1に係る画像解析システム100は、例えば、図形商標の検索や審査において、新規に登録予定の図形が、登録済みの図形商標中で使用されていないかを判定する際に用いることができる。この場合、メタデータを生成するために必要な画像の書誌情報としては、画像の分類コードや説明文を利用することができる。
本実施形態1に係る画像解析システム100は、オークションサイトやショッピングサイトに適用することもできる。これにより、ユーザが指定した柄・マークを含む商品を高速に探すことができる。この場合、画像の書誌情報としては、商品のタイトルや出品者のコメントを利用することができる。
本実施形態1に係る画像解析システム100は、映像コンテンツに適用することができる。これにより、著名人やランドマークが映っているシーンと、そのフレーム画像中での位置を調べることができる。この場合、画像の書誌情報としては、クローズドキャプションやテキスト化した音声などを利用することができる。
<実施の形態2>
実施形態1で説明した画像解析システム100においては、解析対象決定部109が書誌情報検索によって物体検出の対象とする画像を絞り込む。そのため、実際にはユーザが指定した物体を含んでいるにもかかわらず、書誌情報が不十分な画像は、検出処理の対象にならず、解析結果として現れなくなる。以下では、書誌情報を拡張することにより、検出処理対象の漏れを軽減する方法について述べる。その他の構成は実施形態1と概ね同様であるため、以下では差異点を中心に説明する。
図11は、書誌情報を拡張する例を説明する図である。比較のため、書誌情報を拡張しない場合の検索概念図を図11(a)に示し、本実施形態2において書誌情報を拡張する場合の検索概念図を図11(b)に示した。
図11(a)に示すように、実施形態1で説明した画像解析システム100は、クエリ画像301に含まれる物体を含む画像を探すため、「星」というメタデータを条件として書誌情報を検索する。この結果、画像1101のように書誌情報に「星」が含まれていれば物体検出処理の対象になるが、画像1102のように書誌情報に「星」を含まない画像は検出対象にはならない。しかし、画像1102には実際に、クエリ画像301に類似した領域が含まれているため、画像1102は検出漏れとなってしまう。
そこで本実施形態2では、図11(b)に示すように、画像データベース105が格納している画像についてもメタデータを生成する。メタデータを生成する手法は、クエリ画像301のメタデータを生成する際に用いる手法と同じでよい。新たに生成したメタデータは、追加の書誌情報として画像データベース105に登録しておく。画像解析装置106は、物体検出の対象となる画像を絞り込む際に、追加分の書誌情報も検索対象とする。これにより、画像1103に示すように、本来は書誌情報として「星」を含まない画像も検索対象とすることができる。
一般に、単一物体が映っている画像に比べて、複数の物体が映っている画像は、物体のレイアウト変動による「見た目」のバリエーションが多いため、クエリ画像に類似する画像として発見される可能性は低くなる。その反面、もしクエリ画像との間の類似度が高く複数物体が映っている画像が見つかれば、その類似画像の書誌情報を転用しても情報量の劣化は少ないと考えられる。
図12は、書誌情報を拡張する処理の手順を説明するフローチャートである。本フローチャートは、画像データベース105に登録されている全画像に対して、メタデータ生成部108が実施する処理であり、ステップS1201からステップS1204の繰り返し処理である。本フローチャートは、例えばシステム負荷が小さい時間帯に実施してもよいし、画像データベース105に最初に画像を登録した直後に実施してもよい。以下、図12の各ステップについて説明する。
(図12:ステップS1202)
メタデータ生成部108は、画像データベース105が保持している既存の書誌情報を用いて、画像データベース105内の画像のメタデータを生成する。メタデータを生成する方法は図6で示した手順と同様であるが、例えば類似度の閾値を図6よりも厳しくしたり、物体のレイアウトが変動しても変化しない画像特徴量を用いたりしてもよい。
(図12:ステップS1203)
メタデータ生成部108は、ステップS1202で生成したメタデータを、追加の書誌情報として画像データベース105に登録する。
図13は、書誌情報の拡張処理によって検出漏れが軽減する様子を説明するための、解析対象を表すベン図である。図13(a)は既存の書誌情報のみを用いた場合のベン図であり、図13(b)は拡張された書誌情報を用いた場合のベン図である。
図13(a)において、集合1301は、画像データベース105に登録された全画像の集合を表す。画像解析システム100を用いずに、ユーザが指定した物体を探す場合は、集合1301が、画像解析の処理対象となる。
集合1302は、ユーザが指定した「星型図形」の領域を含む画像集合であり、理想的には、画像解析システム100がこの集合を出力できればよい。
集合1303は、画像解析システム100が、自動生成した「星」というメタデータをクエリとして書誌情報検索を実施した結果、得られた画像集合である。画像解析システム100は、この集合を物体検出の処理対象とする。
集合1304は、「星型図形」を含む画像でありながら、書誌情報に「星」を含まないため、検出処理の対象にならず、検出漏れとなる画像集合である。
集合1305は、検出処理対象となっており、かつ、「星型図形」を含む画像であるため、検出可能な画像集合である。ただし、実際に検出できるかどうかは物体検出器自体の認識性能に依存する。物体検出器の性能を改善する方法については実施形態3の図15を用いて説明する。
集合1306は、書誌情報に「星」を含む画像だが、実際にはユーザの指定した「星型図形」と類似した領域を含まないため、本来は検出処理が不要な画像集合である。
図13(b)に示すように、書誌情報を拡張した場合、書誌情報に「星」を含む集合が大きくなる。この時、類似画像検索の結果を元に集合を拡張しているため、拡張された領域には「星型図形」が含まれる割合が高い。この結果、物体検出時間は増加するが、検出漏れを減らすことができる。
図14は、画像解析の処理時間とカバレッジの関係を表すチャートである。横軸は処理時間、縦軸はカバレッジを表す。カバレッジとは、図13の集合1302の何割を処理したかを表す、パーセンテージである。横軸は、検索対象とすべき全ての画像、すなわち図13の集合1302を解析対象とした場合の処理時間を100とした。
図14において、集合1302のうち集合1305が占める割合が60%、集合1302のうち集合1304が占める割合が40%であると仮定する。書誌情報を拡張することにより、集合1302のうち集合1305が占める割合が80%、集合1302のうち集合1304が占める割合が20%になるものと仮定する。また、集合1305に対して物体検出を実施する際の処理時間は、全画像集合に対して物体検出を実施する際の処理時間の10分の1であると仮定する。
直線1401は、全画像集合(集合1301)を解析対象としたときのカバレッジの推移を表す。画像データベース105からランダムに画像を取り出して処理すると、カバレッジは線形に増加していく。
折れ線1402は、実施形態1で説明した手法により、メタデータを用いて解析対象を絞り込んだ時のカバレッジの推移である。点1404までは検索対象として絞り込んだ画像に対する検出処理を示し、点1404以降は残りの画像に対しても検出処理を適用した場合を示す。点1404において、直線1401の1/10の処理時間で、60%のカバレッジを達成していることがわかる。
折れ線1403は、実施形態2で説明した手法により、拡張した書誌情報を用いて解析対象を絞り込んだ時のカバレッジの推移である。点1405までは検索対象として絞り込んだ画像に対する検出処理を示し、点1405以降は残りの画像に対しても検出処理を適用した場合を示す。検出処理対象が増えた分、点1405に至るまでの処理時間は点1404に比べて増加するが、カバレッジは高くなる。
図14に示すように、処理時間とカバレッジはトレードオフの関係にあるため、用途に応じて、書誌情報を拡張するかどうかを決める必要がある。図形商標を審査する場合は、類似画像が一つでも見つかればよいため、処理対象を十分に絞り込んでから検出処理を実行したほうが、応答性の高いシステムになる。カバレッジを高くしたい場合は、最初は元の書誌情報だけを用いて処理し、必要に応じて追加の書誌情報を用いてもよい。
<実施の形態2:まとめ>
以上のように、本実施形態2に係る画像解析システム100は、画像データベース105が格納している画像のメタデータを生成し、これを新たな書誌情報として画像データベース105に追加した上で、実施形態1と同様の処理を実施する。これにより、既存の書誌情報のみを用いた場合では検出漏れとなる画像も処理対象とすることができる。
<実施の形態3>
本発明の実施形態3では、画像解析システム100の処理における中間データを利用することにより、物体検出の精度を上げる方法を説明する。本手法は、物体検出の手法として、図7で説明したテンプレートを複数用いるものである。その他の構成は実施形態1〜2と同様であるため、以下ではクエリ画像のメタデータを生成する際に複数のテンプレートを用いて類似画像を検索する点を中心に説明する。
図15は、クエリ画像に類似する画像を検索する際に用いるテンプレートを拡充することにより、物体検出の精度を上げる手法を説明する図である。以下図15を用いて、本実施形態3におけるテンプレートの拡充について説明する。
図7で説明した物体検出手法においては、画像の部分領域とテンプレートと類似度を調べることで物体領域を特定する。そのため、テンプレートとしてクエリ画像301のみを用いる場合、画像1505のように極端に見た目の違う星型は検出することができない。また、同じ「星」という概念であっても、画像1506のような「太陽図形」、画像1507のような「惑星図形」を検出することはできない。
そこで本実施形態3に係る画像解析装置106は、処理中に生成される中間データを追加テンプレートとして用いる。具体的には、クエリ画像301のメタデータを生成する際にクエリ画像301と類似する画像として得られる画像群1501を、物体検出処理におけるテンプレートとして用いる。すなわち、ユーザが指定した物体のみならず、これに類似する物体も物体検出の対象とする。そのため本実施形態3では、メタデータ生成のために実施する類似画像検索によって得られた類似画像を用いて、検出対象とする物体のテンプレートを拡充することを図る。
画像解析装置106は、図6で説明した手法にしたがって、クエリ画像301に類似する画像を検索する(S601〜S602)。このとき得られる画像群1501の見た目はクエリ画像301とは完全には一致しないが、ユーザが指定した物体に近いものであるため、後に物体検出を実施する際のテンプレートとして適切であると考えられる。そこで、これらの類似画像をテンプレートデータベース1504に登録する。テンプレートデータベース1504は、物体検出を実施する際に用いるテンプレートを一時的に保持するデータベースであり、クエリ画像301が変わる毎にリセットされる。
画像解析装置106は、図6で説明した手法にしたがって、クエリ画像301および画像群1501のメタデータを生成する。これにより、例えば「星」というメタデータが生成されたものと仮定する。
画像解析装置106は、メタデータ「星」に合致する書誌情報を検索する。その結果、「星」という概念に該当する画像1503を含む画像群1505〜1507が得られる。書誌情報検索の結果は、複数物体を含む画像であったり、図13で説明したようにノイズが多く含まれたりするが、例えば図10のような操作画面を用いて、ユーザの対話操作によりテンプレートを選ぶこともできる。例えば書誌情報検索によって得られた画像を操作画面上でいったん表示し、ユーザがそのなかから物体検出処理においてテンプレートとして用いる画像を選択するように構成することができる。
画像解析装置106は、画像群1505〜1507に対して、テンプレートデータベース1504に格納されている複数のテンプレートを用いて、物体検出を実施する。例えばクエリ画像301に加えて画像群1501をテンプレートとし、さらにはユーザが操作画面上で画像1503をテンプレートとして用いる旨を指定した場合はこれもテンプレートとして用いる。これにより、クエリ画像301とは必ずしも見た目が類似していない星型領域(例えば画像1503のような太陽型や土星型)を検出することができる。
<実施の形態3:まとめ>
以上のように、本実施形態3に係る画像解析装置106は、クエリ画像301のメタデータを生成する際に得られる類似画像や、書誌情報を検索する際に得られる画像を、物体検出のための拡張テンプレートとして用いる。これにより、概念が共通でも「見た目」の異なる物体を検出することができる。
<実施の形態4>
本発明の実施形態4では、画像解析システム100をコンテンツクラウドシステムへ組み込んだ構成例について説明する。以下ではまず、コンテンツクラウドシステムの概要を説明し、その後、画像解析システム100を解析モジュールとしてコンテンツクラウドシステムへ組み込む方法について説明する。画像解析システム100の構成は実施形態1〜3と同様である。
図16は、本実施形態4に係るコンテンツクラウドシステム1600の概略図である。コンテンツクラウドシステム1600は、Extract Transform Load(ETL)モジュール1603、コンテンツストレージ1604、検索エンジン1605、メタデータサーバ1606、マルチメディアサーバ1607を有する。コンテンツクラウドシステムは1つ以上のCPU、メモリ、記憶装置を備えた一般的な計算機上で動作し、システム自体は様々なモジュールで構成されている。また、それぞれのモジュールが独立した計算機で実行されることもあり、その場合、各ストレージとモジュール間はネットワーク等で接続されおり、それらを介してデータ通信を行う分散処理で実現される。
アプリケーションプログラム1608は、ネットワーク等を経由してコンテンツクラウドシステム1600に対してリクエストを送り、コンテンツクラウドシステム1600はリクエストに応じた情報をアプリケーション1608に送信する。
コンテンツクラウドシステム1600は、入力として映像データ、画像データ、文書データ、音声データなどの任意の形式のデータ1601を受け取る。データ1601は、例えば、図形商標とその広報文書、ウェブサイトの画像とHTML文書、クローズドキャプションまたは音声付き映像データなどであり、構造化されたデータでもよいし非構造化データでもよい。コンテンツクラウドシステム1600へ入力されるデータはストレージ1602に一時的に蓄えられる。
ETL1603は、ストレージ1602を監視しており、ストレージ1602へデータ1601が格納されると、そのデータに合わせた情報抽出処理モジュール16031を動作させ、抽出された情報(メタデータ)をコンテンツストレージ1604にアーカイブ化して保存する。
情報抽出処理モジュール16031は、例えば、テキストのインデックスモジュール、画像認識モジュールなどで構成されている。メタデータの例としては、時刻、N−gramインデックス、画像認識結果(物体名、画像中の領域座標)、画像特徴量とその関連語、音声認識結果、などが該当する。情報抽出モジュール16031として、何らかの情報(メタデータ)抽出を行うプログラムすべてを用いることができ、公知の技術を採用することができるので、ここでは情報抽出処理モジュール16031の説明を省略する。必要ならば、メタデータはデータ圧縮アルゴリズムによって、データサイズを圧縮してもよい。また、ETL1603が情報を抽出したのち、データのファイル名、データ登録年月日、元データの種類、メタデータテキスト情報などをRelational Data Base(RDB)へ登録してもよい。
コンテンツストレージ1604は、ETL1603が抽出した情報およびストレージ1602に一時的に蓄えられている処理前のデータ1601を保存する。
検索エンジン1605は、アプリケーションプログラム1608からのリクエストがあると、例えばテキスト検索であれば、ETL1603が作成したインデックスを元にテキスト検索を実施し、検索結果をアプリケーションプログラム1608に送信する。検索エンジン1605のアルゴリズムに関しては、公知の技術を適用することができる。検索エンジン1605はテキストだけでなく、画像、音声などのデータを検索するモジュールを搭載することもできる。
メタデータサーバ1606は、RDBに蓄えられたメタデータを管理する。例えば、ETL1603が抽出した、データのファイル名、データ登録年月日、元データの種類、メタデータテキスト情報、などがRDBに登録されていると仮定する。アプリケーション1608からリクエストの要求があると、メタデータサーバ1606はそのリクエストに従って、RDB内の情報をアプリケーション1608に送信する。
マルチメディアサーバ1607は、ETL1603が抽出したメタデータ同士の情報を互いに関連付け、グラフ形式で構造化してメタ情報を保存する。関連図付けの一例としては、ストレージ1604に蓄えられた「リンゴ」という音声認識結果に対して、元の音声ファイル、画像データ、関連語などの対応関係をネットワーク形式で表現することができる。マルチメディアサーバ1607は、アプリケーション1608からのリクエストがあると、それに応じたメタ情報をアプリケーション1608に送信する。例えば、「リンゴ」というリクエストがあると、構築されたグラフ構造に基づき、リンゴを含む画像、平均相場、アーティストの曲名、などのネットワークグラフ上で関連付けられたメタ情報を提供する。
コンテンツクラウドシステム1600において、画像解析システム100は、ETL1603における情報抽出処理モジュール16031として機能する。図1における画像・文書記憶装置101、データ格納装置104は、図16においては、それぞれストレージ1602、コンテンツストレージ104に対応する。また、画像解析装置106は情報抽出処理モジュール16031に相当する。ETL1603に複数の情報抽出処理モジュール16031が組み込まれる場合は、1台の計算機のリソースをシェアしてもよいし、モジュール毎に独立した計算機を用いてもよい。図1の画像データベース105は、ETL1603が情報抽出する際に必要な辞書データ16032に相当する。
<実施の形態4:まとめ>
以上のように、本発明に係る画像解析システム100は、コンテンツクラウドシステム1600の構成要素として適用することができる。コンテンツクラウドシステム1600は、各メディアデータに共通して利用可能なメタデータを生成することにより、メディア間にまたがって情報を統合することができる。これにより、付加価値がより高い情報をユーザへ提供することが期待される。
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。
上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記録装置、ICカード、SDカード、DVD等の記録媒体に格納することができる。
100:画像解析システム、101:画像・文書入力装置、102:入力装置、103:表示装置、104:データ格納装置、105:画像データベース、106:画像解析装置、107:画像・文書入力部、108:メタデータ生成部、109:解析対象決定部、110:物体領域検出部、111:操作情報入力部、112:データ出力部、1600:コンテンツクラウドシステム、1602:ストレージ、1603:ETLモジュール、1604:コンテンツストレージ、1605:検索エンジン、1606:メタデータサーバ、1607:マルチメディアサーバ、1608:アプリケーションプログラム。

Claims (15)

  1. 検出対象とする物体の画像を含むクエリ画像データを受け取る画像入力部と、
    画像データとその書誌情報を対応付けて保持する画像データベースを用いて前記クエリ画像データのメタデータを生成するメタデータ生成部と、
    前記画像データベースが保持している前記画像データのうち前記書誌情報が前記メタデータと合致するものを1以上抽出する解析対象決定部と、
    前記解析対象決定部が抽出した1以上の前記画像データのうち前記物体の画像を含む領域を検出する物体領域検出部と、
    前記物体領域検出部が検出した結果を出力する出力部と、
    を備えることを特徴とする画像解析装置。
  2. 前記メタデータ生成部は、
    前記画像データベースが保持している前記画像データのうち前記クエリ画像データと類似するものを検索し、その結果得られた前記画像データの前記書誌情報を用いて前記メタデータを生成する
    ことを特徴とする請求項1記載の画像解析装置。
  3. 前記メタデータ生成部は、
    前記検索の結果得られた前記画像データの前記書誌情報のなかに前記メタデータが出現する頻度を用いて前記メタデータのスコアを算出し、
    前記解析対象決定部は、
    前記スコアを用いて、前記書誌情報と合致するものを抽出する際に検索キーとする前記メタデータを決定する
    ことを特徴とする請求項2記載の画像解析装置。
  4. 前記解析対象決定部は、
    前記スコアが高いほうから順に所定範囲以内の前記メタデータを検索キーとして、前記メタデータと合致する前記書誌情報に対応付けられた前記画像データを抽出する
    ことを特徴とする請求項3記載の画像解析装置。
  5. 前記解析対象決定部は、
    前記メタデータのうちいずれを用いて前記書誌情報と合致するものを抽出するかを指定するメタデータ指定を受け取り、その指定された前記メタデータと合致する前記書誌情報に対応付けられた前記画像データを抽出する
    ことを特徴とする請求項3記載の画像解析装置。
  6. 前記画像解析装置は、
    前記物体領域検出部が前記物体の画像を含む領域を検出する対象とする前記画像データの件数およびその検出処理時間を表示する表示部を備え、
    前記解析対象決定部は、
    前記メタデータ指定を受け取る毎に、前記件数と前記検出処理時間を再計算して前記表示部上にその再計算の結果を反映する
    ことを特徴とする請求項5記載の画像解析装置。
  7. 前記メタデータ生成部は、
    前記検索の結果得られた前記画像データのうち、前記クエリ画像データと合わせて前記メタデータを生成するために用いるものを指定する類似画像指定を受け取り、
    前記画像データベースが保持している前記画像データのうち、前記クエリ画像データと類似するものおよび前記類似画像指定により指定された前記画像データと類似するものを検索し、その結果得られた前記画像データの前記書誌情報を用いて前記メタデータを生成する
    ことを特徴とする請求項2記載の画像解析装置。
  8. 前記物体領域検出部は、
    前記画像データの部分領域の特徴量ベクトルと、前記クエリ画像データの特徴量ベクトルとの間のベクトル間距離を算出し、
    前記ベクトル間距離が所定範囲内にあるか否かにより、前記クエリ画像データ内に含まれる前記物体が前記部分領域内に含まれているか否かを判定する
    ことを特徴とする請求項1記載の画像解析装置。
  9. 前記出力部は、
    前記物体領域検出部が前記画像データ内で検出した前記物体の個数を、前記物体領域検出部が検出した結果とともに出力する
    ことを特徴とする請求項1記載の画像解析装置。
  10. 前記出力部は、
    前記物体領域検出部が前記画像データ内で検出した前記物体の検出信頼度を、前記物体領域検出部が検出した結果とともに出力する
    ことを特徴とする請求項1記載の画像解析装置。
  11. 前記メタデータ生成部は、
    前記画像データベースが保持している前記画像データのメタデータを、前記画像データベースが保持している他の前記画像データを用いて生成し、生成したメタデータを前記書誌情報として追加し、
    前記解析対象決定部は、
    前記メタデータが追加された前記書誌情報を用いて、前記画像データベースが保持している前記画像データのうち前記書誌情報が前記メタデータと合致するものを1以上抽出する
    ことを特徴とする請求項1記載の画像解析装置。
  12. 前記物体領域検出部は、
    前記解析対象決定部が抽出した1以上の前記画像データのうち、
    前記物体の画像を含む領域と、前記メタデータ生成部が前記検索を実施した結果得られた前記画像データに含まれる物体の画像を含む領域と、を検出する
    ことを特徴とする請求項記載の画像解析装置。
  13. 前記物体領域検出部は、
    前記メタデータ生成部が前記検索を実施した結果得られた前記画像データのうち、前記クエリ画像データに含まれる前記物体と合わせて検出すべき物体を含むものを指定する検出対象指定を受け取り、
    前記解析対象決定部が抽出した1以上の前記画像データのうち、
    前記物体の画像を含む領域と、前記検出対象指定により指定された前記画像データに含まれる物体の画像を含む領域と、を検出する
    ことを特徴とする請求項12記載の画像解析装置。
  14. 請求項1記載の画像解析装置と、
    画像データとその書誌情報を対応付けて保持する画像データベースと、
    を有し、
    前記メタデータ生成部は、前記画像データベースを用いて前記クエリ画像データのメタデータを生成する
    ことを特徴とする画像解析システム。
  15. 検出対象とする物体の画像を含むクエリ画像データを受け取る画像入力ステップ、
    画像データとその書誌情報を対応付けて保持する画像データベースを用いて前記クエリ画像データのメタデータを生成するメタデータ生成ステップ、
    前記画像データベースが保持している前記画像データのうち前記書誌情報が前記メタデータと合致するものを1以上抽出する解析対象決定ステップ、
    前記解析対象決定ステップで抽出した1以上の前記画像データのうち前記物体の画像を含む領域を検出する物体領域検出ステップ、
    前記物体領域検出ステップで検出した結果を出力する出力ステップ、
    を有することを特徴とする画像解析方法。
JP2014516586A 2012-05-24 2012-05-24 画像解析装置、画像解析システム、画像解析方法 Active JP5857124B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/063322 WO2013175608A1 (ja) 2012-05-24 2012-05-24 画像解析装置、画像解析システム、画像解析方法

Publications (2)

Publication Number Publication Date
JPWO2013175608A1 JPWO2013175608A1 (ja) 2016-01-12
JP5857124B2 true JP5857124B2 (ja) 2016-02-10

Family

ID=49623339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014516586A Active JP5857124B2 (ja) 2012-05-24 2012-05-24 画像解析装置、画像解析システム、画像解析方法

Country Status (5)

Country Link
US (1) US9665798B2 (ja)
JP (1) JP5857124B2 (ja)
CN (1) CN104321802B (ja)
SG (1) SG11201407749TA (ja)
WO (1) WO2013175608A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574003B2 (en) 2020-02-19 2023-02-07 Alibaba Group Holding Limited Image search method, apparatus, and device

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725671B2 (en) 2005-11-28 2010-05-25 Comm Vault Systems, Inc. System and method for providing redundant access to metadata over a network
US20200257596A1 (en) 2005-12-19 2020-08-13 Commvault Systems, Inc. Systems and methods of unified reconstruction in storage systems
US8892523B2 (en) 2012-06-08 2014-11-18 Commvault Systems, Inc. Auto summarization of content
JP2014127011A (ja) * 2012-12-26 2014-07-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム
KR102155133B1 (ko) * 2013-07-12 2020-09-11 삼성전자주식회사 이미지 표시 방법 및 장치
DE102014113817A1 (de) * 2013-10-15 2015-04-16 Electronics And Telecommunications Research Institute Vorrichtung und Verfahren zur Erkennung eines Objekts in Einem Bild
WO2015122162A1 (ja) * 2014-02-14 2015-08-20 日本電気株式会社 映像検索装置
CN106164847A (zh) * 2014-03-31 2016-11-23 柯法克斯公司 针对分布式体系架构的可扩展商业过程智能和预测性分析
JP6352753B2 (ja) * 2014-09-29 2018-07-04 株式会社東芝 グラフ表示装置、方法、及びプログラム
EP3213002A4 (en) * 2014-10-28 2018-05-09 Wwtemplar LLC Managing building information and resolving building issues
JP6463095B2 (ja) * 2014-11-25 2019-01-30 キヤノン株式会社 画像検索装置及び方法
CN107004025B (zh) * 2015-03-13 2020-07-14 株式会社日立制作所 图像检索装置及检索图像的方法
JP2017004252A (ja) * 2015-06-10 2017-01-05 株式会社ウイル・コーポレーション 画像情報処理システム
JP6587435B2 (ja) * 2015-06-29 2019-10-09 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP6533713B2 (ja) * 2015-07-31 2019-06-19 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN106028160A (zh) * 2016-06-03 2016-10-12 腾讯科技(深圳)有限公司 一种图像数据处理方法及其设备
US10540516B2 (en) 2016-10-13 2020-01-21 Commvault Systems, Inc. Data protection within an unsecured storage environment
US11120074B2 (en) * 2016-12-06 2021-09-14 International Business Machines Corporation Streamlining citations and references
JP6767342B2 (ja) * 2017-11-15 2020-10-14 ヤフー株式会社 検索装置、検索方法および検索プログラム
JP7208713B2 (ja) * 2018-02-13 2023-01-19 キヤノン株式会社 画像解析装置および画像解析方法
US20190251204A1 (en) 2018-02-14 2019-08-15 Commvault Systems, Inc. Targeted search of backup data using calendar event data
US10642886B2 (en) * 2018-02-14 2020-05-05 Commvault Systems, Inc. Targeted search of backup data using facial recognition
JP7119794B2 (ja) * 2018-09-05 2022-08-17 トヨタ自動車株式会社 ログデータの生成方法、プログラム、及びデータ構造
US11176403B1 (en) * 2018-09-06 2021-11-16 Amazon Technologies, Inc. Filtering detected objects from an object recognition index according to extracted features
WO2020071216A1 (ja) * 2018-10-03 2020-04-09 国立大学法人北海道大学 画像検索装置、画像検索方法及び画像検索用プログラム
US10553085B1 (en) 2019-01-25 2020-02-04 Lghorizon, Llc Home emergency guidance and advisement system
US11043095B1 (en) 2020-06-16 2021-06-22 Lghorizon, Llc Predictive building emergency guidance and advisement system
KR102449855B1 (ko) * 2020-12-07 2022-10-04 서울과학기술대학교 산학협력단 Vl 알고리즘을 이용한 실내 측위 장치 및 방법
US11583770B2 (en) 2021-03-01 2023-02-21 Lghorizon, Llc Systems and methods for machine learning-based emergency egress and advisement
US11893769B2 (en) * 2021-06-04 2024-02-06 Vade Usa, Incorporated Data collection for object detectors
US11626002B2 (en) 2021-07-15 2023-04-11 Lghorizon, Llc Building security and emergency detection and advisement system

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175829B1 (en) * 1998-04-22 2001-01-16 Nec Usa, Inc. Method and apparatus for facilitating query reformulation
US7299496B2 (en) * 2001-08-14 2007-11-20 Illinois Institute Of Technology Detection of misuse of authorized access in an information retrieval system
US8495211B2 (en) * 2002-09-26 2013-07-23 Hewlett-Packard Development Company, L.P. Network service system and mechanism for searching service registries
JP2004362314A (ja) 2003-06-05 2004-12-24 Ntt Data Corp 検索情報登録装置、情報検索装置、検索情報登録方法
JP2005275847A (ja) * 2004-03-25 2005-10-06 Fuji Photo Film Co Ltd 画像保管方法および画像保管装置
US7657100B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
US7945099B2 (en) * 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
JP2007058605A (ja) * 2005-08-24 2007-03-08 Ricoh Co Ltd 文書管理システム
JP4429241B2 (ja) * 2005-09-05 2010-03-10 キヤノン株式会社 画像処理装置及び方法
NO20054720L (no) * 2005-10-13 2007-04-16 Fast Search & Transfer Asa Informasjonstilgang med bruksdrevet metadatatilbakekobling
JP2009514075A (ja) * 2005-10-28 2009-04-02 テレコム・イタリア・エッセ・ピー・アー 選択されたコンテンツアイテムをユーザーに提供する方法
CN100507917C (zh) * 2006-02-24 2009-07-01 佳能株式会社 图像处理设备、图像处理方法以及服务器及其控制方法
US8024343B2 (en) * 2006-04-07 2011-09-20 Eastman Kodak Company Identifying unique objects in multiple image collections
US20070244925A1 (en) * 2006-04-12 2007-10-18 Jean-Francois Albouze Intelligent image searching
US10042927B2 (en) * 2006-04-24 2018-08-07 Yeildbot Inc. Interest keyword identification
JP4175390B2 (ja) * 2006-06-09 2008-11-05 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP5059545B2 (ja) * 2007-10-23 2012-10-24 株式会社リコー 画像処理装置及び画像処理方法
US8069173B2 (en) * 2007-11-12 2011-11-29 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same, information processing method, and computer program
JP4921335B2 (ja) * 2007-12-10 2012-04-25 キヤノン株式会社 ドキュメント処理装置及び検索方法
JP2009252185A (ja) * 2008-04-10 2009-10-29 Ricoh Co Ltd 情報検索装置、情報検索方法、制御プログラム及び記録媒体
JP4615038B2 (ja) 2008-06-23 2011-01-19 日立オートモティブシステムズ株式会社 画像処理装置
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
KR101718891B1 (ko) * 2010-01-26 2017-03-23 삼성전자주식회사 영상 검색 방법 및 장치
US8320644B2 (en) * 2010-06-15 2012-11-27 Apple Inc. Object detection metadata
US9361523B1 (en) * 2010-07-21 2016-06-07 Hrl Laboratories, Llc Video content-based retrieval
EP2418588A1 (en) * 2010-08-10 2012-02-15 Technische Universität München Visual localization method
US20120045132A1 (en) * 2010-08-23 2012-02-23 Sony Corporation Method and apparatus for localizing an object within an image
JP5134664B2 (ja) * 2010-09-14 2013-01-30 株式会社東芝 アノテーション装置
KR101192439B1 (ko) * 2010-11-22 2012-10-17 고려대학교 산학협력단 디지털 콘텐츠 검색 장치 및 방법
JP5048852B2 (ja) * 2011-02-25 2012-10-17 楽天株式会社 検索装置、検索方法、検索プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体
US20120254790A1 (en) * 2011-03-31 2012-10-04 Xerox Corporation Direct, feature-based and multi-touch dynamic search and manipulation of image sets
US8839303B2 (en) * 2011-05-13 2014-09-16 Google Inc. System and method for enhancing user search results by determining a television program currently being displayed in proximity to an electronic device
JP5830784B2 (ja) * 2011-06-23 2015-12-09 サイバーアイ・エンタテインメント株式会社 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム
US8577131B1 (en) * 2011-07-12 2013-11-05 Google Inc. Systems and methods for visual object matching
US8625887B2 (en) * 2011-07-13 2014-01-07 Google Inc. Systems and methods for matching visual object components
WO2013036181A1 (en) * 2011-09-08 2013-03-14 Telefonaktiebolaget L M Ericsson (Publ) Assigning tags to media files
US8751422B2 (en) * 2011-10-11 2014-06-10 International Business Machines Corporation Using a heuristically-generated policy to dynamically select string analysis algorithms for client queries
US9256680B2 (en) * 2012-02-02 2016-02-09 Microsoft Technology Licensing, Llc Biasing search results toward topics of interest using embedded relevance links
JP5820320B2 (ja) * 2012-03-27 2015-11-24 株式会社東芝 情報処理端末及び方法、並びに、情報管理装置及び方法
US10685234B2 (en) * 2012-03-31 2020-06-16 Xerox Corporation Automatic and semi-automatic metadata generation via inheritance in homogeneous and heterogeneous environments
US9195717B2 (en) * 2012-06-26 2015-11-24 Google Inc. Image result provisioning based on document classification
KR20140098959A (ko) * 2013-01-31 2014-08-11 한국전자통신연구원 증거 영상 생성 장치 및 방법
SG11201601328PA (en) * 2013-09-11 2016-03-30 See Out Pty Ltd Image searching method and apparatus
GB2545548A (en) * 2014-03-29 2017-06-21 Camelot Uk Bidco Ltd Improved method, system and software for searching, identifying, retrieving and presenting electronic documents
US20160203238A1 (en) * 2015-01-09 2016-07-14 Facebook, Inc. Suggested Keywords for Searching News-Related Content on Online Social Networks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574003B2 (en) 2020-02-19 2023-02-07 Alibaba Group Holding Limited Image search method, apparatus, and device

Also Published As

Publication number Publication date
US20150286896A1 (en) 2015-10-08
SG11201407749TA (en) 2014-12-30
CN104321802B (zh) 2017-04-26
US9665798B2 (en) 2017-05-30
WO2013175608A1 (ja) 2013-11-28
JPWO2013175608A1 (ja) 2016-01-12
CN104321802A (zh) 2015-01-28

Similar Documents

Publication Publication Date Title
JP5857124B2 (ja) 画像解析装置、画像解析システム、画像解析方法
JP6005837B2 (ja) 画像解析装置、画像解析システム、画像解析方法
KR101856120B1 (ko) 이미지로부터 상가 발견
JP6759844B2 (ja) 画像を施設に対して関連付けるシステム、方法、プログラム及び装置
KR102422977B1 (ko) 자연어 이미지 검색 기법
US11157550B2 (en) Image search based on feature values
US10592571B1 (en) Query modification based on non-textual resource context
US10282374B2 (en) System and method for feature recognition and document searching based on feature recognition
KR101565759B1 (ko) 토픽 템플릿과 연관어에 기반한 관련토픽 및 경쟁토픽 탐지 시스템, 탐지 방법 및 탐지 장치
US20150186531A1 (en) Recommended News Edition on a Map Using Geo Entities
CN113806588B (zh) 搜索视频的方法和装置
JP2020135891A (ja) 検索提案を提供する方法、装置、機器及び媒体
CN114329069A (zh) 视觉搜索查询的智能系统和方法
KR20160066216A (ko) 사용자 검색어 연관 이슈패턴 검출 방법, 이를 수행하는 이슈패턴 검출 서버 및 이를 저장하는 기록매체
CN110737824A (zh) 内容查询方法和装置
WO2022245469A1 (en) Rule-based machine learning classifier creation and tracking platform for feedback text analysis
JP5484113B2 (ja) 文書画像関連情報提供装置、及び文書画像関連情報取得システム
CN107239209B (zh) 一种拍照搜索方法、装置、终端及存储介质
JPH11250106A (ja) 内容基盤の映像情報を利用した登録商標の自動検索方法
KR101850853B1 (ko) 빅데이터를 이용한 검색 방법 및 장치
CN112883218A (zh) 一种图文联合表征的搜索方法、系统、服务器和存储介质
Vinciarelli et al. Application of information retrieval technologies to presentation slides
JP7416091B2 (ja) 映像検索システム、映像検索方法、及びコンピュータプログラム
JP2018072873A (ja) 情報処理装置、情報処理方法、およびプログラム
JP3985826B2 (ja) 画像検索方法及びその装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151214

R151 Written notification of patent or utility model registration

Ref document number: 5857124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250