WO2015015634A1 - 辞書生成システム、辞書生成方法、および辞書生成プログラム - Google Patents
辞書生成システム、辞書生成方法、および辞書生成プログラム Download PDFInfo
- Publication number
- WO2015015634A1 WO2015015634A1 PCT/JP2013/070985 JP2013070985W WO2015015634A1 WO 2015015634 A1 WO2015015634 A1 WO 2015015634A1 JP 2013070985 W JP2013070985 W JP 2013070985W WO 2015015634 A1 WO2015015634 A1 WO 2015015634A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- dictionary
- area
- region
- generation system
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
辞書生成システム300は、第1の画像内の第1の領域群の中から選ばれた選択領域と前記第1の領域群の中から選ばれた前記選択領域以外の第1の領域との間における特徴量空間内の第1の距離と、前記選択領域と第2の画像内の第2の領域群の中から選ばれた第2の領域との間における特徴量空間内の第2の距離と、を取得し、取得された前記第1の距離と前記第2の距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定し、辞書パターンにすべきと判定された場合、前記選択領域を辞書パターン群が記憶される辞書に登録することを特徴とする。
Description
本発明は、辞書を生成する辞書生成システム、辞書生成方法、および辞書生成プログラムに関する。
従来、少量多種の物体に適用可能な類似画像検索に基づくオブジェクト検出手法がある。本手法は、入力画像の部分領域に対して、検出対象の事例を登録したデータベースから最近傍事例を検索し、特徴量空間での距離によってオブジェクトであるか否かを判別する。
渡邉裕樹,永吉洋登,廣池敦,"類似画像検索に基づく事例ベース一般オブジェクト検出",信学技報,vol.111,no.353 (PRMU2011-124--PRMU2011-146),pp.101-106,2011.
上述した従来技術では、検出したい対象物が含まれる領域を辞書パターンとして登録する必要がある。検出精度を向上させるためには、適切な辞書パターンを多数登録する必要があるが、実運用上、その作業コストがかかるという問題がある。
本発明は、信頼性の高い辞書パターンを自動登録することにより辞書を自動生成することを目的とする。
本願において開示される発明の一側面となる辞書生成システム、辞書生成方法、および辞書生成プログラムは、第1の画像内の第1の領域群の中から選ばれた選択領域と前記第1の領域群の中から選ばれた前記選択領域以外の第1の領域との間における特徴量空間内の第1の距離と、前記選択領域と第2の画像内の第2の領域群の中から選ばれた第2の領域との間における特徴量空間内の第2の距離と、を取得し、取得された前記第1の距離と前記第2の距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定し、辞書パターンにすべきと判定された場合、前記選択領域を辞書パターン群が記憶される辞書に登録することを特徴とする。
本発明の代表的な実施の形態によれば、信頼性の高い辞書パターンを自動登録することにより辞書を自動生成することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
図1は、本発明にかかる辞書生成システムにおける辞書生成例を示す説明図である。辞書生成システムとは、辞書を生成するシステムである。システムとは、装置単体でもよく、LAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどのネットワークに接続された装置群でもよい。辞書とは、オブジェクトや壁紙などのパターンを含む画像のうちオブジェクトを記憶した情報である。辞書生成システムは、オブジェクトを辞書パターンとして辞書に登録することにより、辞書生成の自動化を図る。
辞書生成には、2種類の画像群である第1の画像集合101と第2の画像集合102とが用いられる。第1の画像集合101は、オブジェクトの検出対象となる画像集合であり、第2の画像集合102は、第1の画像集合101からオブジェクトの非検出対象を除外するための画像集合である。第1の画像集合101の各画像から得られる領域群がオブジェクト候補となる。第2の画像集合102の各画像から得られる領域群がオブジェクト候補との比較対象となる。
辞書生成システムは、第1の画像集合101の画像110から得られる領域群(オブジェクト候補群)の領域(オブジェクト候補)どうしを、それらの画像特徴量を用いて近しいか否かを判定する。領域群111内の矩形はオブジェクト候補を示す。たとえば、第1の画像集合101のある画像110から得られるオブジェクト候補A,B間の特徴量空間内の距離を第1の距離とする。辞書生成システムは、第1の距離によりオブジェクト候補A,Bの類似性を評価することができる。
また、辞書生成システムは、第1の画像集合101の画像110から得られるオブジェクト候補と、第2の画像集合102の画像120から得られる領域群122内の比較対象となる領域とを、それらの画像特徴量を用いて近しいか否かを判定する。たとえば、オブジェクト候補Aと、第2の画像集合102の画像120から得られる比較対象となる領域Cとの特徴量空間内の距離を、第2の距離とする。辞書生成システムは、第2の距離によりオブジェクト候補A,Cの類似性を評価することができる。
そして、辞書生成システムは、第1の距離と第2の距離との比を用いることにより、オブジェクト候補Aが、オブジェクト候補Bに類似する領域なのか、比較対象となる領域Cに類似する候補なのかを判定する。辞書生成システムは、この判定結果によりオブジェクト候補の絞り込みをおこない、絞り込み結果130を得る。辞書生成システムは、絞り込み結果130に対して、後述する摂動処理を実施することによって新たな領域候補を生成し、生成された領域候補に対しても、領域群122を用いて再度第1の距離と第2の距離を求める。元の領域候補に新たな領域候補を加えたものに対して、再度、上述した判定処理を実行する。このような処理を収束するまで繰り返すことによって、辞書に登録すべきオブジェクト候補の信頼性の向上を図ることができる。
上述した辞書生成システムにおいて、第1の画像集合101と第2の画像集合102の組み合わせは4通り存在する。すなわち、(1)第1の画像集合101がタグありの画像集合で第2の画像集合102がタグなしの画像集合、(2)第1の画像集合101がタグなしの画像集合で第2の画像集合102もタグなしの画像集合、(3)第1の画像集合101がタグなしの画像集合で第2の画像集合102がタグありの画像集合、(4)第1の画像集合101がタグありの画像集合で第2の画像集合102もタグありの画像集合の4通りである。
タグとは、テキストなどの画像に付与された情報である。たとえば、「車」、「夏休みの旅行」などの任意の文字列や当該画像の取得時期を示すタイムスタンプ、当該画像の取得位置を示す位置情報である。すなわち、タグは、付与された画像についての何らかの属性を示す情報となる。タグがある画像集合は、たとえば、あるタグを検索キーとして検索された画像集合である。したがって、タグがある画像集合は、同一または類似する共通のタグを有する画像集合である。
上記(1)の場合、辞書生成システムは、第2の画像集合102内の比較対象となる領域群122に含まれる壁紙などのパターンを第1の画像集合101のオブジェクト候補から除外することにより、第1の画像集合101内のオブジェクト候補の絞り込みをおこなう。これにより、辞書登録の信頼性の向上を図ることができる。
上記(2)の場合、第1の画像集合101と第2の画像集合102は、ともにタグがない画像集合である。タグがない画像集合とは、タグが付与されていない画像群であるが、タグが付与されていても辞書生成システムにおいてタグがないものとして扱うこととしてもよい。上記(2)の場合、第1の画像集合101と第2の画像集合102は、ともにタグがないため、第2の画像集合102として第1の画像集合101を用いればよい。また、第1の画像集合101と第2の画像集合102を統合すればよい。上記(2)の場合、辞書生成システムは、第1の画像集合101内の同一画像中に類似したオブジェクト候補どうしを除外する。これにより、画像内での単純な繰り返しパターンを排除することができ、画像間で類似したオブジェクト候補を抽出することができる。
上記(3)の場合、たとえば、第2の画像集合102の各画像に、壁紙や背景などの繰り返しパターン示すタグが付与されているとする。この場合、辞書生成システムは、タグが付与されていない第1の画像集合101のオブジェクト候補の中から、繰り返しパターンと部分一致する候補を排除し、人物、物品等のオブジェクトに対応する領域をオブジェクト候補として絞り込むことができる。
上記(4)の場合、たとえば、第1の画像集合101の各画像には、特定のタグXが付与されており、第2の画像集合102の各画像には、排除したい領域を特徴づけるタグYが付与されているものとする。第1の画像集合101の各画像にはタグYが付与されていてもよい。この場合、辞書生成システムは、タグXが付与された画像に含まれるオブジェクト候補から、タグYが付与された画像に含まれるオブジェクト候補を排除することができ、オブジェクト候補の絞り込み精度の向上を図ることができる。
なお、上述の辞書生成では、第2の画像集合102を用いたが、第2の画像集合102を用いないこととしてもよい。この場合は、第1の画像集合101内の領域であるオブジェクト候補と第2の画像集合102内の領域との間の類似性を評価しないこととなるが、その分、辞書生成の高速化を図ることができる。
図2は、辞書生成システムにおける辞書生成の具体例を示す説明図である。図2は、上述した(1)の組み合わせの場合の辞書生成例を示す。第1の画像集合101には「車」のタグが付与される。オブジェクト候補には、車の画像を含む領域と、車の画像を含まない領域が存在する。第2の画像集合102は、タグが付与されていない画像集合である。比較対象となる各種画像を含む領域が第2の画像集合102から抽出される。辞書生成システムは、上述した判定処理により、オブジェクト候補と比較対象の領域との間で類似すると評価された領域を、オブジェクト候補から除外する(図2中、右端の太線矩形)。これにより、辞書登録の信頼性の向上を図ることができる。
<ハードウェア構成例>
図3は、辞書生成システムのハードウェア構成例を示すブロック図である。辞書生成システム300は、プロセッサ301と、記憶デバイス302と、入力デバイス303と、出力デバイス304と、通信インターフェース(通信IF305)と、を有する。プロセッサ301、記憶デバイス302、入力デバイス303、出力デバイス304、および通信IF305は、バスにより接続される。プロセッサ301は、辞書生成システム300を制御する。記憶デバイス302は、プロセッサ301の作業エリアとなる。また、記憶デバイス302は、各種プログラムやデータを記憶する。記憶デバイス302としては、たとえば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリがある。
図3は、辞書生成システムのハードウェア構成例を示すブロック図である。辞書生成システム300は、プロセッサ301と、記憶デバイス302と、入力デバイス303と、出力デバイス304と、通信インターフェース(通信IF305)と、を有する。プロセッサ301、記憶デバイス302、入力デバイス303、出力デバイス304、および通信IF305は、バスにより接続される。プロセッサ301は、辞書生成システム300を制御する。記憶デバイス302は、プロセッサ301の作業エリアとなる。また、記憶デバイス302は、各種プログラムやデータを記憶する。記憶デバイス302としては、たとえば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリがある。
入力デバイス303は、データを入力する。入力デバイス303としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス304は、データを出力する。出力デバイス304としては、たとえば、ディスプレイ、プリンタがある。通信IF305は、ネットワークと接続され、データを送受信する。以下、本発明にかかる実施例について説明する。
(実施例1)
実施例1では、上述した(1)第1の画像集合101がタグありの画像集合で第2の画像集合102がタグなしの画像集合の場合を例に挙げて説明する。
実施例1では、上述した(1)第1の画像集合101がタグありの画像集合で第2の画像集合102がタグなしの画像集合の場合を例に挙げて説明する。
<機能的構成例>
図4は、実施例1にかかる辞書生成システム300の機能的構成例を示すブロック図である。図4において、辞書生成システム300は、辞書400と、生成部401と、取得部402と、決定部403と、摂動処理部404と、判定部405と、表示部406と、登録部407と、を有する。辞書400は、辞書パターン群を記憶する。辞書400は、具体的には、たとえば、図3に示した記憶デバイス302によりその機能を実現する。生成部401~登録部407は、具体的には、たとえば、図3に示した記憶デバイス302に記憶されたプログラムをプロセッサ301が実行することによりその機能を実現する。
図4は、実施例1にかかる辞書生成システム300の機能的構成例を示すブロック図である。図4において、辞書生成システム300は、辞書400と、生成部401と、取得部402と、決定部403と、摂動処理部404と、判定部405と、表示部406と、登録部407と、を有する。辞書400は、辞書パターン群を記憶する。辞書400は、具体的には、たとえば、図3に示した記憶デバイス302によりその機能を実現する。生成部401~登録部407は、具体的には、たとえば、図3に示した記憶デバイス302に記憶されたプログラムをプロセッサ301が実行することによりその機能を実現する。
生成部401は、生成対象である第1の画像および第2の画像の中から領域を生成する。第1の画像とは、たとえば、上述した第1の画像集合101内の画像110である。第2の画像とは、たとえば、上述した第2の画像集合102内の画像120である。具体的には、たとえば、生成部401は、生成対象の画像について、多重解像度処理を実行して、複数段階の多重解像度画像を生成する。そして、生成部401は、多重解像度画像の各々について、量子化された複数種類のアスペクト比の走査窓を用いてグリッド状走査を実行する。これにより、生成部401は、第1の画像や第2の画像から領域を生成する。なお、生成部401による具体的な生成例については、図5で説明する。
取得部402は、第1の画像内の第1の領域群の中から選ばれた選択領域と第1の領域群の中から選ばれた選択領域以外の第1の領域との間における特徴量空間内の第1の距離を取得する。第1の領域群とは、第1の画像集合101の各画像110から切り出される領域群111であり、具体的には、たとえば、第1の画像集合101の各画像110に対しグリッド状走査を実行することにより得られる領域群である。
選択領域とは、第1の領域群の中から選ばれた領域であり、辞書400への辞書パターンとしての登録対象となる領域である。選択領域は、上述したオブジェクト候補Aに相当する。第1の領域とは、第1の領域群のうち選択領域とは異なる領域であり、たとえば、オブジェクト候補Bに相当する。選択領域と第1の領域とは第1の画像集合101内の領域である。
また、同様に、取得部402は、選択領域と第2の画像内の第2の領域群の中から選ばれた第2の領域との間における特徴量空間内の第2の距離を取得する。第2の領域群とは、第2の画像集合102の各画像から切り出される領域群122であり、具体的には、たとえば、第2の画像集合102の各画像に対しグリッド状走査を実行することにより得られる領域群である。したがって、第2の領域群内の領域は、上述した領域Cに相当する。
取得部402は、複数存在する第1の領域中の選択領域と、着目する画像に含まれる第1の領域との間の第1の距離群のうち、最小となる第1の最小距離を取得する。同様に、取得部402は、選択領域と、着目する画像に含まれる第2の領域との間の第2の距離群のうち、最小となる第2の最小距離を取得する。
また、画像は複数存在するため、第1の最小距離は選択領域ごとに多数存在する。取得部402は、第1の最小距離を画像について平均化することにより、各選択領域に対して、第1の平均最小距離を取得する。同様に、取得部402は、第2の最小距離を画像について平均化することにより、各選択領域に対して、第2の平均最小距離を取得する。
決定部403は、第1の平均最小距離と前記第2の平均最小距離との比に基づいて、複数の選択領域の中から摂動処理の対象となる特定の選択領域を決定する。具体的には、たとえば、決定部は、各選択領域における第1の平均最小距離と前記第2の平均最小距離との比を昇順にソートする。そして、決定部403は、たとえば、上位M(Mは1以上の整数)番目までの比に該当する選択領域を、摂動処理の対象となる特定の選択領域に決定する。これにより、辞書パターンとして登録するのにふさわしい選択領域の絞り込みをおこなうことができる。
摂動処理部404は、第1の距離と第2の距離との比に基づいて、選択領域を摂動させる摂動処理を実行することにより新たな領域を生成する。具体的には、たとえば、摂動処理部404は、決定部403によって決定された特定の選択領域について、摂動処理を実行する。摂動処理とは、選択領域の位置をずらして新たな領域を生成する処理である。摂動処理部404は、たとえば、図1に示した絞り込み結果130となるオブジェクト候補、すなわち選択領域について、摂動処理を実行する。
判定部405は、第1の距離と第2の距離との比に基づいて、選択領域を辞書パターンにすべきか否かを判定する。第1の距離と第2の距離との比とは、第1の距離を第2の距離で除算した値である。当該比の値が小さいほど選択領域は、辞書パターンとしてふさわしい領域となる。
たとえば、第1の距離が小さければ、第1の画像集合101内で選択領域と第1の領域とは類似する。ただし、両領域が目的とする辞書パターンに該当するか否かは、第2の距離により決まる。たとえば、第2の画像集合102が第1の画像集合101とは関連性のない画像集合である場合、第2の距離が小さいということは、選択領域は第2の領域とも類似すると評価される。したがって、第2の距離が小さければ、選択領域についての距離の比が大きくなるため、辞書パターンとしてふさわしくないことになる。
また、摂動処理が実行された場合、判定部405は、摂動処理部404による処理結果に基づいて、選択領域を辞書パターンにすべきか否かを判定する。選択領域は離散的なデジタル画像であるから、摂動処理を繰り返し実行することにより、微少変動によって新たな領域が生成されることはなくなる。したがって、摂動処理において、新たな領域が生成されることがなくなれば、判定部405は、収束したと判定し、残存する選択領域を辞書パターンとして登録すべきと判定することができる。
表示部406は、判定部405によって辞書パターンにすべきと判定された選択領域を、辞書400への登録可否を指定可能に表示する。具体的には、例えば、表示部406は、辞書パターンにすべきと判定された選択領域を出力デバイス304の表示画面に表示する。これにより、ユーザが入力デバイス303を用いて登録可否を指定することができる。
登録部407は、判定部405によって辞書パターンにすべきと判定された場合、選択領域を辞書400に登録する。登録部407は、選択領域に属性情報が付与されている場合には、選択領域を属性情報と関連付けて辞書400に登録する。属性情報とは、上述したタグである。これにより、属性情報を用いて辞書400を検索する場合、所望のオブジェクトである辞書パターンを抽出することができる。また、登録部407は、表示部406において、ユーザが入力デバイス303を用いて登録すべきと指定された選択領域について登録することとしてもよい。
<領域生成例>
図5は、第1の画像集合101および第2の画像集合102からの領域生成例を示す説明図である。辞書生成システム300は、量子化された複数種類のアスペクト比の走査窓を生成する。図5の例では、5種類のアスペクト比の走査窓w1~w5が生成される。
図5は、第1の画像集合101および第2の画像集合102からの領域生成例を示す説明図である。辞書生成システム300は、量子化された複数種類のアスペクト比の走査窓を生成する。図5の例では、5種類のアスペクト比の走査窓w1~w5が生成される。
また、辞書生成システム300は、各画像110,120について多重解像度処理を実行する。辞書生成システム300は、多重解像度処理により、たとえば、画像110,120の解像度を1/2ずつ縮小した多重解像度画像群を生成する。図5の例では、ある画像110について4段階の多重解像度画像110,110a,110b,110cが生成される。
辞書生成システム300は、アスペクト比の量子化で得られた走査窓を、多重解像度処理で得られた多重解像度画像上でグリッド状走査を実行する。図5の例では、辞書生成システム300は、5種類の走査窓wを用いて4段階の多重解像度画像群をグリッド状走査する。これにより、画像110から領域が抽出される。抽出される領域は、適用される走査窓のアスペクト比、適用される多重解像度画像の解像度、グリッド状走査による走査窓の走査位置により規定される。
<摂動処理による領域生成例>
図6~図8は、摂動処理による領域生成例を示す説明図である。摂動処理とは、図1に示した絞り込み結果130となるオブジェクト候補について、位置をずらした領域を生成する処理である。図6~図8において、点線矩形が絞り込み結果130内のあるオブジェクト候補となる領域であり、白塗りの実線矩形が摂動処理による変動後の領域である。図6は、絞り込み結果130内のあるオブジェクト候補を、当該オブジェクト候補を含む画像110上で上下左右に変動させた領域を示す。
図6~図8は、摂動処理による領域生成例を示す説明図である。摂動処理とは、図1に示した絞り込み結果130となるオブジェクト候補について、位置をずらした領域を生成する処理である。図6~図8において、点線矩形が絞り込み結果130内のあるオブジェクト候補となる領域であり、白塗りの実線矩形が摂動処理による変動後の領域である。図6は、絞り込み結果130内のあるオブジェクト候補を、当該オブジェクト候補を含む画像110上で上下左右に変動させた領域を示す。
図7は、絞り込み結果130内のあるオブジェクト候補を、当該オブジェクト候補を含む画像110上で右斜め上、右斜め下、左斜め上、左斜め下に変動させた領域を示す。図8は、絞り込み結果130内のあるオブジェクト候補を、当該オブジェクト候補を含む画像110上で拡大縮小により変動させた領域を示す。
摂動処理による変動量の一例について説明する。グリッド状走査の横方向ステップ幅をgx、縦方向ステップ幅をgy、摂動処理の繰り返し回数をqとする。q回目の摂動処理における横方向の変動量dx、縦方向の変動量dy、拡大率dzは以下の通りである。なお、縮小率は、1/dzとなる。
dx=gx/2q・・・(1)
dy=gy/2q・・・(2)
dz=2^(1/2q)・・・(3)
dy=gy/2q・・・(2)
dz=2^(1/2q)・・・(3)
上述した式(1)~(3)による変動量、拡大率および縮小率によれば、摂動処理の繰り返し回数qが増加するほど、増加前に比べて変動量および拡大率が小さくなり、縮小率が大きくなる。すなわち、摂動処理による領域のぶれが抑制され、元となる領域に収束されやすくなる。なお、式(1)~(3)は一例であり、摂動処理の繰り返し回数qの増加にしたがい、増加前に比べて変動量および拡大率が小さくなり、縮小率が大きくなる式であれば、他の式でもよい。また、摂動処理の繰り返し回数qにかかわらず固定の変動量でもよい。この場合は、式(1)~(3)の計算が不要となるため、摂動処理による領域生成の高速化を図ることができる。
<辞書生成処理>
図9は、辞書生成システム300による辞書生成処理手順例を示すフローチャートである。辞書生成システム300は、図4に示した生成部401による生成処理(ステップS901)、取得部402による取得処理(ステップS902)、決定部403による決定処理(ステップS903)、摂動処理部404による摂動処理(ステップS904)の順に実行する。
図9は、辞書生成システム300による辞書生成処理手順例を示すフローチャートである。辞書生成システム300は、図4に示した生成部401による生成処理(ステップS901)、取得部402による取得処理(ステップS902)、決定部403による決定処理(ステップS903)、摂動処理部404による摂動処理(ステップS904)の順に実行する。
このあと、辞書生成システム300は、判定部による収束判定処理を実行する(ステップS904)。収束判定処理(ステップS904)では、対象となる画像は離散的なデジタル画像であるから、繰り返し実行することにより、微少変動によって新たな領域が生成されることはなくなる。したがって、摂動処理(ステップS904)において、新たな領域候補が生成されることがなくなれば、辞書生成システム300は、収束したと判定し(ステップS905:Yes)、表示処理(ステップS906)に移行する。
また、計算の効率化のために繰り返し回数の上限を設定し、当該上限に達した場合に収束したと判定することとしてもよい。なお、収束していないと判定された場合(ステップS905:No)、取得処理(ステップS902)に移行する。すなわち、収束するまで、ステップS902~S904を繰り返すことになる。一方、収束した場合(ステップS905:Yes)、表示部による表示処理(ステップS906)および登録部による登録処理(ステップS907)を実行する。これにより、一連の処理を終了する。
<生成処理>
図10は、図9に示した生成処理(ステップS901)の詳細な処理手順例を示すフローチャートである。ここでは、第1の画像集合101を例に挙げて説明するが、第2の画像集合102にも適用される。
図10は、図9に示した生成処理(ステップS901)の詳細な処理手順例を示すフローチャートである。ここでは、第1の画像集合101を例に挙げて説明するが、第2の画像集合102にも適用される。
辞書生成システム300は、第1の画像集合101の中に未選択画像があるか否かを判断する(ステップS1001)。未選択画像がある場合(ステップS1001:Yes)、辞書生成システム300は、未選択画像を1つ選択する(ステップS1002)。つぎに、辞書生成システム300は、選択画像について領域群生成処理を実行する(ステップS1003)。領域群生成処理(ステップS1003)の詳細については図11で説明するが、領域群生成処理(ステップS1003)により、選択画像から複数の領域が抽出される。
このあと、辞書生成システム300は、選択画像から抽出された領域群の中に、未選択領域があるか否かを判断する(ステップS1004)。未選択領域がある場合(ステップS1004:Yes)、辞書生成システム300は、未選択領域を1つ選択し(ステップS1005)、選択領域の画像特徴量を抽出する(ステップS1006)。画像特徴量の抽出方法については、上述した非特許文献1において詳細な説明が記載されている。抽出された画像特徴量に用いることによって、同一画像集合内の領域どうしの類似性および異なる画像集合間の領域どうしの類似性を評価することができる。
画像特徴量の抽出(ステップS1006)のあと、ステップS1004に戻る。ステップS1004において、未選択領域がない場合(ステップS1004:No)、ステップS1001に戻る。ステップS1001において、未選択画像がない場合(ステップS1001:No)、生成処理を終了し(ステップS901)、図9の取得処理(ステップS902)に移行する。
<領域群生成処理>
図11は、図10に示した領域群生成処理(ステップS1003)の詳細な処理手順例を示すフローチャートである。まず、辞書生成システム300は、図5に示したように、量子化されたアスペクト比ごとに、ステップS1002で選択された選択画像について多重解像度処理を実行する(ステップS1101)。つぎに、辞書生成システム300は、未選択のアスペクト比があるか否かを判断する(ステップS1102)。未選択のアスペクト比がある場合(ステップS1102:Yes)、辞書生成システム300は、未選択のアスペクト比を選択し(ステップS1103)、未選択の多重解像度画像があるか否かを判断する(ステップS1104)。
図11は、図10に示した領域群生成処理(ステップS1003)の詳細な処理手順例を示すフローチャートである。まず、辞書生成システム300は、図5に示したように、量子化されたアスペクト比ごとに、ステップS1002で選択された選択画像について多重解像度処理を実行する(ステップS1101)。つぎに、辞書生成システム300は、未選択のアスペクト比があるか否かを判断する(ステップS1102)。未選択のアスペクト比がある場合(ステップS1102:Yes)、辞書生成システム300は、未選択のアスペクト比を選択し(ステップS1103)、未選択の多重解像度画像があるか否かを判断する(ステップS1104)。
未選択多重解像度がある場合(ステップS1104:Yes)、辞書生成システム300は、未選択の多重解像度画像を選択する(ステップS1105)。そして、辞書生成システム300は、選択アスペクト比の走査窓で選択多重解像度画像をグリッド状走査することにより、走査窓と同一の形状、大きさの領域群を生成する(ステップS1106)。このあと、ステップS1104に戻り、辞書生成システム300は、未選択多重解像度画像があるか否かを判断する(ステップS1104)。未選択多重解像度画像がない場合(ステップS1104:No)、ステップS1102に戻り、辞書生成システム300は、未選択アスペクト比があるか否かを判断する(ステップS1102)。未選択アスペクト比がない場合(ステップS1102:No)、一連の処理を終了し、図10のステップS1004に移行する。
<取得処理>
図12は、図9に示した取得処理(ステップS902)の詳細な処理手順例を示すフローチャートである。取得処理(ステップS901)は、領域間の画像特徴量に基づく最小距離を取得し、これらを平均化して平均最小距離を取得する処理である。辞書生成システム300は、まず、第1の平均最小距離取得処理を実行する(ステップS1201)。第1の平均最小距離取得処理(ステップS1201)は、第1の画像集合101内の画像から抽出された領域間についての最小距離を取得し、これらを平均化して第1の平均最小距離を取得する処理である。第1の平均最小距離取得処理(ステップS1201)の詳細については、図14で説明する。
図12は、図9に示した取得処理(ステップS902)の詳細な処理手順例を示すフローチャートである。取得処理(ステップS901)は、領域間の画像特徴量に基づく最小距離を取得し、これらを平均化して平均最小距離を取得する処理である。辞書生成システム300は、まず、第1の平均最小距離取得処理を実行する(ステップS1201)。第1の平均最小距離取得処理(ステップS1201)は、第1の画像集合101内の画像から抽出された領域間についての最小距離を取得し、これらを平均化して第1の平均最小距離を取得する処理である。第1の平均最小距離取得処理(ステップS1201)の詳細については、図14で説明する。
つぎに、辞書生成システム300は、第2の平均最小距離取得処理を実行する(ステップS1202)。第2の平均最小距離取得処理(ステップS1202)は、第1の画像集合101内の画像から抽出された領域と第2の画像集合102内の画像から抽出された領域との間についての最小距離を取得し、これらを平均化して第2の平均最小距離を取得する処理である。第2の平均最小距離取得処理(ステップS1202)の詳細については、図16で説明する。これにより、平均最小距離取得処理(ステップS1201)が終了すると、決定処理(ステップS903)に移行する。
図13は、図12に示した第1の平均最小距離取得処理(ステップS1201)の詳細な処理手順例を示すフローチャートである。辞書生成システム300は、まず、変数を初期化する(ステップS1301)。ここでは、第1の画像集合101内の画像群のインデックスiをi=1とする。第1の画像集合101内のインデックスiの画像を画像Aiとする。iは1≦i≦Naをとる整数である。Naは、第1の画像集合101内の画像数である。
また、画像Aiから抽出された領域群のインデックスをjとする。画像Aiから抽出されたj番目の領域をaijとする。jは1≦j≦naiをとる整数である。naiは、画像Ai内の領域数である。
つぎに、辞書生成システム300は、i>Naであるか否かを判断する(ステップS1302)。すなわち、辞書生成システム300は、第1の画像集合101内の画像をすべて処理したか否かを判断する。i>Naでない場合(ステップS1302:No)、j=1とし(ステップS1303)、辞書生成システム300は、j>naiであるか否かを判断する(ステップS1304)。すなわち、辞書生成システム300は、画像Ai内の領域aijをすべて処理したか否かを判断する。
j>naiでない場合(ステップS1304:No)、辞書生成システム300は、領域aijからその画像特徴量である第1特徴量を抽出する(ステップS1305)。このあと、辞書生成システム300は、第1の平均最小距離算出処理を実行する(ステップS1306)。第1の平均最小距離算出処理(ステップS1306)は、第1の画像集合101内の画像Aiとは異なる画像Ak内の領域aklからその画像特徴量である第2特徴量を抽出し、領域aijと領域aklとの最小距離の平均値である第1の平均最小距離を算出する処理である。インデックスkは、1≦k≦Naをとる整数であり、k≠iである。また、インデックスlは、1≦l≦nakをとる整数である。nakは、画像Ak内の領域数である。第1の平均最小距離算出処理(ステップS1306)の詳細については、図15で説明する。
このあと、辞書生成システム300は、インデックスjをインクリメントし(ステップS1307)、ステップS1304に戻る。ステップS1303において、j>naiである場合(ステップS1304:Yes)、辞書生成システム300は、iをインクリメントし(ステップS1308)、ステップS1302に戻る。ステップS1302において、i>Naである場合(ステップS1302:Yes)、図12の第2の平均最小距離取得処理(ステップS1202)に移行する。これにより、第1の平均最小距離取得処理(ステップS1201)が終了する。
図14は、図13に示した第1の平均最小距離算出処理(ステップS1306)の詳細な処理手順例を示すフローチャートである。辞書生成システム300は、まず、変数を初期化する(ステップS1401)。ここでは、k=1、l=1にする。また、辞書生成システム300は、変数sをs=0に設定する。変数sは、ある領域aijに対する各領域aklとの最小距離の累積値となる。
つぎに、辞書生成システム300は、k=iであるか否かを判断する(ステップS1402)。すなわち、辞書生成システム300は、k=iとなる領域aklを処理対象から除外するためである。
k=iである場合(ステップS1402:Yes)、kをインクリメントして(ステップS1403)、ステップS1404に移行する。一方、k≠iの場合(ステップS1402:No)、ステップS1404に移行する。
つぎに、辞書生成システム300は、k>Naであるか否かを判断する(ステップS1404)。すなわち、辞書生成システム300は、第1の画像集合101内の画像をすべて処理したか否かを判断する。k>Naでない場合(ステップS1404:No)、辞書生成システム300は、最小距離累積処理を実行する(ステップS1405)。最小距離累積処理(ステップS1405)は、ある領域aijに対する各領域aklとの最小距離を累積する処理である。最小距離累積処理(ステップS1405)では、ある領域aijに対する各領域aklとの最小距離の累積値(変数s)が求まる。最小距離累積処理(ステップS1405)の詳細については、図15で説明する。
このあと、辞書生成システム300は、kをインクリメントし(ステップS1406)、ステップS1402に移行する。また、ステップS1404において、k>Naである場合(ステップS1404:Yes)、辞書生成システム300は、第1の平均最小距離を算出し(ステップS1407)、図13のステップS1307に移行する。第1の平均最小距離Dijは、下記式(4)により算出される。これにより、第1の平均最小距離算出処理(ステップS1306)が終了する。
Dij=s/(Na-1)・・・(4)
図15は、図14に示した最小距離累積処理(ステップS1405)の詳細な処理手順例を示すフローチャートである。辞書生成システム300は、t=dmax、l=1とする(ステップS1501)。tは領域間の距離計算に用いる変数であり、dmaxは、当該距離の最大値である。つぎに、辞書生成システム300は、l>nakであるか否かを判断する(ステップS1502)。nakは、画像Ak内の領域数である。すなわち、辞書生成システム300は、第1の画像集合101内の画像Aiとは異なる画像Ak内の領域aklを、すべて処理したか否かを判断する。
l>nakでない場合(ステップS1502:No)、辞書生成システム300は、領域aklからその画像特徴量である第2特徴量を抽出する(ステップS1503)。そして、辞書生成システム300は、領域aijと領域aklとの距離dを算出する(ステップS1601)。距離dの算出には、領域aijの第1特徴量と領域aklの第2特徴量とが用いられる。下記式(5)は、距離dの算出例を示す式である。
式(5)中、vrは、領域aijの第1特徴量を示すベクトルにおけるr番目の成分であり、urは、領域aklの第2特徴量を示すベクトルにおけるr番目の成分である。Rは成分数である。そして、辞書生成システム300は、算出した距離dがd<tであるか否かを判断する(ステップS1505)。ここで、tは、ステップS1508において変数sに加算される値であり、tの初期値は、特徴量空間上での距離評価の範囲、すなわち、距離の最大値dmaxである。
d<tである場合(ステップS1505:Yes)、辞書生成システム300は、t=dに設定して(ステップS1506)、ステップS1507に移行する。一方、d<tでない場合(ステップS1505:No)、ステップS1507に移行する。すなわち、tの初期値はt=dmaxであるが、d<tになる都度、tの値が小さくなる。
ステップS1507において、辞書生成システム300は、lをインクリメントし(ステップS1507)、ステップS1502に戻る。ステップS1502において、l>nakである場合(ステップS1502:Yes)、辞書生成システム300は、変数sを更新して(ステップS1508)、ステップS1406に移行する。したがって、ステップS1508では、領域aklについてl=1からl=nakまで試行した場合の距離dの最小値、すなわち、最小距離が、tとして変数sに加算されることになる。
図16は、図12に示した第2の平均最小距離取得処理(ステップS1202)の詳細な処理手順例を示すフローチャートである。辞書生成システム300は、まず、変数を初期化する(ステップS1601)。ここでは、i=1とする。
つぎに、辞書生成システム300は、i>Naであるか否かを判断する(ステップS1602)。すなわち、辞書生成システム300は、第1の画像集合101内の画像をすべて処理したか否かを判断する。i>Naでない場合(ステップS1602:No)、j=1とし(ステップS1603)、辞書生成システム300は、j>naiであるか否かを判断する(ステップS1604)。すなわち、辞書生成システム300は、画像Ai内の領域aijをすべて処理したか否かを判断する。
j>naiでない場合(ステップS1604:No)、辞書生成システム300は、領域aijからその画像特徴量である第1特徴量を抽出する(ステップS1605)。このあと、辞書生成システム300は、第2の平均最小距離算出処理を実行する(ステップS1606)。第2の平均最小距離算出処理(ステップS1606)は、第2の画像集合102内の画像Bk内の領域bklからその画像特徴量である第2特徴量を抽出し、領域aijと領域aklとの最小距離の平均値である第2の平均最小距離を算出する処理である。第2の平均最小距離算出処理(ステップS1606)の詳細については、図17で説明する。
このあと、辞書生成システム300は、インデックスjをインクリメントし(ステップS1607)、ステップS1604に戻る。ステップS1604において、j>naiである場合(ステップS1604:Yes)、辞書生成システム300は、iをインクリメントし(ステップS1608)、ステップS1602に戻る。ステップS1602において、i>Naである場合(ステップS1602:Yes)、図9の決定処理(ステップS903)に移行する。これにより、第2の平均最小距離取得処理(ステップS1202)が終了する。
図17は、図16に示した第2の平均最小距離算出処理(ステップS1606)の詳細な処理手順例を示すフローチャートである。辞書生成システム300は、まず、変数を初期化する(ステップS1701)。ここでは、k=1、l=1にする。また、変数sをs=0に設定する。変数sは、ある領域aijに対する各領域bklとの距離の最小値の累積値となる。計算の詳細については、図18で説明する。インデックスkは、1≦k≦Nbをとる整数である。Nbは、第2の画像集合102内の画像数である。インデックスlは、1≦j≦nbkをとる整数である。nbkは、画像Bk内の領域数である。
つぎに、辞書生成システム300は、k>Nbであるか否かを判断する(ステップS1702)。すなわち、辞書生成システム300は、第2の画像集合102内の画像をすべて処理したか否かを判断する。k>Nbでない場合(ステップS1702:No)、辞書生成システム300は、最小距離累積処理を実行する(ステップS1703)。最小距離累積処理(ステップS1703)は、S1405と同様、ある領域aijに対する各領域bklとの最小距離を累積する処理である。最小距離累積処理(ステップS1703)では、ある領域aijに対する各領域bklとの最小距離の累積値(変数s)が求まる。最小距離累積処理(ステップS1703)の詳細については、図18で説明する。
このあと、辞書生成システム300は、kをインクリメントし(ステップS1704)、ステップS1702に移行する。また、ステップS1702において、k>Nbである場合(ステップS1702:Yes)、辞書生成システム300は、第2の平均最小距離を算出し(ステップS1705)、図16のステップS1607に移行する。第2の平均最小距離Eijは、下記式(6)により算出される。これにより、第2の平均最小距離算出処理(ステップS1606)が終了する。
Eij=s/Nb・・・(6)
図18は、図17に示した最小距離累積処理(ステップS1703)の詳細な処理手順例を示すフローチャートである。辞書生成システム300は、t=dmax、l=1とする(ステップS1801)。tは領域間の距離計算に用いる変数であり、dmaxは、当該距離の最大値である。つぎに、辞書生成システム300は、l>nbkであるか否かを判断する(ステップS1802)。nbkは、画像Bk内の領域数である。すなわち、辞書生成システム300は、第1の画像集合101内の画像Aiとは異なる画像Bk内の領域bklを、すべて処理したか否かを判断する。
l>nbkでない場合(ステップS1802:No)、辞書生成システム300は、領域bklからその画像特徴量である第3特徴量を抽出する(ステップS1803)。このあと、辞書生成システム300は、領域aijと領域bklとの距離eを算出する(ステップS1804)。距離eの算出には、領域aijの第1特徴量と領域bklの第3特徴量とが用いられる。下記式(7)は、距離eの算出例を示す式である。
式(7)中、vrは、領域aijの第1特徴量を示すベクトルにおけるr番目の成分であり、urは、領域bklの第3特徴量を示すベクトルにおけるr番目の成分である。Rは成分数である。そして、辞書生成システム300は、算出した距離eがe<tであるか否かを判断する(ステップS1805)。ここで、tは、ステップS1808において変数sに加算される値であり、tの初期値は、特徴量空間上での距離評価の範囲、すなわち、距離の最大値dmaxである。
e<tである場合(ステップS1805:Yes)、辞書生成システム300は、t=eに設定して(ステップS1806)、ステップS1807に移行する。一方、e<tでない場合(ステップS1805:No)、ステップS1807に移行する。すなわち、tの初期値はt=dmaxであるが、e<tになる都度、tの値が小さくなる。
ステップS1807では、辞書生成システム300は、lをインクリメントし(ステップS1807)、ステップS1802に戻る。ステップS1802において、l>nbkである場合(ステップS1802:Yes)、辞書生成システム300は、変数sを更新して(ステップS1808)、ステップS1704に移行する。したがって、ステップS1808では、領域bklについてl=1からl=nbkまで試行した場合の距離eの最小値がtとして変数sに加算されることになる。
<決定処理>
図19は、図9に示した決定処理(ステップS903)の詳細な処理手順例を示すフローチャートである。決定処理(ステップS903)では、辞書生成システム300は、収束判定処理(ステップS904)の判定対象となる領域を決定する。辞書生成システム300は、まず、変数を初期化する(ステップS1901)。ここでは、i=1とする。つぎに、辞書生成システム300は、i>Naであるか否かを判断する(ステップS1902)。すなわち、辞書生成システム300は、第1の画像集合101内の画像をすべて処理したか否かを判断する。i>Naでない場合(ステップS1902:No)、j=1とし(ステップS1903)、辞書生成システム300は、j>naiであるか否かを判断する(ステップS1904)。すなわち、辞書生成システム300は、画像Ai内の領域aijをすべて処理したか否かを判断する。
図19は、図9に示した決定処理(ステップS903)の詳細な処理手順例を示すフローチャートである。決定処理(ステップS903)では、辞書生成システム300は、収束判定処理(ステップS904)の判定対象となる領域を決定する。辞書生成システム300は、まず、変数を初期化する(ステップS1901)。ここでは、i=1とする。つぎに、辞書生成システム300は、i>Naであるか否かを判断する(ステップS1902)。すなわち、辞書生成システム300は、第1の画像集合101内の画像をすべて処理したか否かを判断する。i>Naでない場合(ステップS1902:No)、j=1とし(ステップS1903)、辞書生成システム300は、j>naiであるか否かを判断する(ステップS1904)。すなわち、辞書生成システム300は、画像Ai内の領域aijをすべて処理したか否かを判断する。
j>naiでない場合(ステップS1904:No)、辞書生成システム300は、第1の平均最小距離Dijを第2の平均最小距離Eijで除算することにより、正規化された平均最小距離Fijを算出する(ステップS1905)。正規化された平均最小距離Fijは、領域aijを辞書400に登録すべきか否かの指標となる数値である。正規化された平均最小距離Fijの値が小さいほど、辞書400への登録が適切であることを示す。
正規化された平均最小距離Fijの算出のあと、辞書生成システム300は、jをインクリメントして(ステップS1906)、ステップS1903に戻る。ステップS2003において、j>naiである場合(ステップS1904:Yes)、iをインクリメントして(ステップS1907)、ステップS1902に戻る。そして、辞書生成システム300は、ステップS1902において、i>Naである場合(ステップS1902:Yes)、正規化された平均最小距離Fijをその値の昇順にソートする(ステップS1908)。
そして、辞書生成システム300は、正規化された平均最小距離Fijの値が上位M番目までの領域aijを取得する。これにより、領域aijが上位M個に絞り込まれる。したがって、辞書生成システム300は、取得したM個の領域aijについて、インデックス(i、j、nai)を更新する(ステップS1909)。たとえば、M=10とし、上位10番目までの領域aijが、{a12,a24,a15,a26,a61,a31,a47,a63,a48,a69}とする。
この場合、{a11,a12}の内容が、{a12,a15}の内容に更新される。{a21,a22}の内容が、{a24,a26}の内容に更新される。{a31}はそのままである。{a41,a42}の内容が、{a47,a48}の内容に更新される。{a61,a62,a63}の内容が、{a61,a63,a69}の内容に更新される。また、画像Ai内の領域数naiは、na1=2、na2=2、na3=1、na4=2、na6=3、それ以外は、nai=0に更新される。これにより、決定処理を終了し(ステップS903)、収束判定処理(ステップS904)に移行する。収束判定処理(ステップS904)では、M個の領域aijごとに、収束判定が実行される。
<摂動処理>
図20は、図9に示した摂動処理(ステップS905)の詳細な処理手順例を示すフローチャートである。辞書生成システム300は、まず、摂動処理の繰り返し回数q(初期値はq=0)をインクリメントし(ステップS2001)、横方向の変動量dx、縦方向の変動量dy、拡大率dz、縮小率1/dzを算出する(ステップS2002)。つぎに、辞書生成システム300は、未選択領域aijがあるか否かを判断する(ステップS2003)。未選択領域がある場合(ステップS2003:Yes)、辞書生成システム300は、未選択領域aijを選択し(ステップS2004)、横方向の変動量dx、縦方向の変動量dy、拡大率dz、縮小率1/dzを用いて、選択領域aijに基づく新たな領域を生成して(ステップS2005)、ステップS2003に戻る。
図20は、図9に示した摂動処理(ステップS905)の詳細な処理手順例を示すフローチャートである。辞書生成システム300は、まず、摂動処理の繰り返し回数q(初期値はq=0)をインクリメントし(ステップS2001)、横方向の変動量dx、縦方向の変動量dy、拡大率dz、縮小率1/dzを算出する(ステップS2002)。つぎに、辞書生成システム300は、未選択領域aijがあるか否かを判断する(ステップS2003)。未選択領域がある場合(ステップS2003:Yes)、辞書生成システム300は、未選択領域aijを選択し(ステップS2004)、横方向の変動量dx、縦方向の変動量dy、拡大率dz、縮小率1/dzを用いて、選択領域aijに基づく新たな領域を生成して(ステップS2005)、ステップS2003に戻る。
ステップS2003において、未選択候補がない場合(ステップS2003:No)、辞書生成システム300は、ステップS2005で領域が追加されたため、各画像に含まれる領域数naiを更新する(ステップS2006)。たとえば、上記の正規化の例で、上位M個に絞り込まれた後、追加分の領域が含まれるように、辞書生成システム300は、各画像中の領域候補を格納する配列の内容aij、および、領域候補の数naiを更新する。これにより、摂動処理(ステップS904)を終了し、収束判定処理(ステップS905)に移行する。
このように、実施例1によれば、第2の画像集合102内の比較対象となる領域群に含まれる壁紙などのパターンを第1の画像集合101のオブジェクト候補から除外することにより、第1の画像集合101内のオブジェクト候補の絞り込みをおこなうことができる。これにより、辞書登録の信頼性の向上を図ることができる。また、第2の画像集合102中の要素に、本来ならば、着目する属性付与されるべき画像、すなわち、第1の画像集合101に含まれるべき画像が混入いていても良い。第2の画像集合102の要素数が十分であれば、平均最小値が算出される過程において、このような属性付与の不備に伴う効果は、十分に削減することが可能である。
(実施例2)
つぎに、実施例2について説明する。実施例2では、上述した(2)第1の画像集合101がタグなしの画像集合で第2の画像集合102もタグなしの画像集合の場合の例である。この場合、実施例1における図9~図20のフローチャートにおいて、第2の画像集合102を第1の画像集合101に置き換えればよい。また、実施例2の場合、図17および図18に示した第2の平均最小距離算出処理(ステップS1605)が実施例1と異なり、図21に置き換わる。実施例2では、実施例1のEijに相当するものとして、着目領域を含む画像の他の領域との最小距離を採用する。以下、実施例2にかかる第2の最小距離算出処理(ステップS1605)について説明する。
つぎに、実施例2について説明する。実施例2では、上述した(2)第1の画像集合101がタグなしの画像集合で第2の画像集合102もタグなしの画像集合の場合の例である。この場合、実施例1における図9~図20のフローチャートにおいて、第2の画像集合102を第1の画像集合101に置き換えればよい。また、実施例2の場合、図17および図18に示した第2の平均最小距離算出処理(ステップS1605)が実施例1と異なり、図21に置き換わる。実施例2では、実施例1のEijに相当するものとして、着目領域を含む画像の他の領域との最小距離を採用する。以下、実施例2にかかる第2の最小距離算出処理(ステップS1605)について説明する。
図21は、実施例2にかかる最小距離算出処理(ステップS1605)の詳細な処理手順例を示すフローチャートである。辞書生成システム300は、図16のステップS1604の領域aijの画像特徴量である第1特徴量を抽出したあと、まず、変数を初期化する(ステップS2101)。ここでは、k=1にする。つぎに、辞書生成システム300は、k=jであるか否かを判断する(ステップS2102)。すなわち、辞書生成システム300は、k=jとなる領域aikを処理対象から除外するためである。
k=jである場合(ステップS2102:Yes)、kをインクリメントして(ステップS2103)、ステップS2104に移行する。一方、k≠jの場合(ステップS2102:No)、ステップS2104に移行する。
つぎに、辞書生成システム300は、k>naiであるか否かを判断する(ステップS2104)。すなわち、辞書生成システム300は、画像内のすべての領域を処理したか否かを判断する。k>naiでない場合(ステップS2104:No)、辞書生成システム300は、t=dmaxとする(ステップS2105)。tは領域間の距離計算に用いる変数であり、dmaxは、当該距離の最大値である。つぎに、辞書生成システム300は、領域aikからその画像特徴量である第3特徴量を抽出する(ステップS2106)。そして、辞書生成システム300は、領域aijと領域aikとの距離eを算出する(ステップS2107)。距離eの算出には、上記式(7)が用いられる。
e<tである場合(ステップS2108:Yes)、辞書生成システム300は、t=eに設定して(ステップS2109)、ステップS2110に移行する。一方、e<tでない場合(ステップS2108:No)、ステップS2110に移行する。すなわち、tの初期値はt=dmaxであるが、e<tになる都度、tの値が小さくなる。
ステップS2110では、辞書生成システム300は、kをインクリメントし(ステップS2110)、ステップS2102に移行する。また、ステップS2104において、k>Naである場合(ステップS2104:Yes)、第2の最小距離Eijをtに決定し(ステップS2111)、図16のステップS1606に移行する。したがって、領域aikについてk=1からk=naiまで試行した場合の距離eの最小値tが、領域aijに対する最小距離Eijに決定されることになる。これにより、最小距離算出処理(ステップS1706)が終了して、図16のステップS1606に移行する。
実施例2によれば、辞書生成システム300は、第1の画像集合101内の同一画像中に類似したオブジェクト候補どうしを除外する。これにより、画像内での単純な繰り返しパターンを排除することができ、画像間で類似したオブジェクト候補を抽出することができる。
(実施例3)
つぎに、実施例3について説明する。実施例3では、上述した(3)第1の画像集合101がタグなしの画像集合で第2の画像集合102がタグありの画像集合の例である。実施例3では、第1の画像集合101がタグなしであり、第2の画像集合102がタグありである点を除き、処理内容は、実施例1における図9~図20のフローチャートと同一である。このように、実施例3によれば、例えば、第2の画像集合を指定するタグとして、背景等の単純な繰り返しパターンと対応するタグを用いることによって、タグが付与されていない第1の画像集合101のオブジェクト候補の中から、繰り返しパターンと部分一致する候補を排除し、人物、物品等のオブジェクトに対応する領域をオブジェクト候補として絞り込むことができる。
つぎに、実施例3について説明する。実施例3では、上述した(3)第1の画像集合101がタグなしの画像集合で第2の画像集合102がタグありの画像集合の例である。実施例3では、第1の画像集合101がタグなしであり、第2の画像集合102がタグありである点を除き、処理内容は、実施例1における図9~図20のフローチャートと同一である。このように、実施例3によれば、例えば、第2の画像集合を指定するタグとして、背景等の単純な繰り返しパターンと対応するタグを用いることによって、タグが付与されていない第1の画像集合101のオブジェクト候補の中から、繰り返しパターンと部分一致する候補を排除し、人物、物品等のオブジェクトに対応する領域をオブジェクト候補として絞り込むことができる。
(実施例4)
つぎに、実施例4について説明する。実施例4では、上述した(4)第1の画像集合101がタグありの画像集合で第2の画像集合102もタグありの画像集合の例である。実施例4では、第1の画像集合101に付与されるタグXと、第2の画像集合102に付与されるタグYとは、異なるタグである。実施例4は、第1の画像集合101および第2の画像集合102にタグが付与される点を除き、処理内容は、実施例1における図9~図20のフローチャートと同一である。このように、タグXが付与された画像に含まれるオブジェクト候補から、タグYが付与された画像に含まれるオブジェクト候補を排除することができ、オブジェクト候補の絞り込み精度の向上を図ることができる。
つぎに、実施例4について説明する。実施例4では、上述した(4)第1の画像集合101がタグありの画像集合で第2の画像集合102もタグありの画像集合の例である。実施例4では、第1の画像集合101に付与されるタグXと、第2の画像集合102に付与されるタグYとは、異なるタグである。実施例4は、第1の画像集合101および第2の画像集合102にタグが付与される点を除き、処理内容は、実施例1における図9~図20のフローチャートと同一である。このように、タグXが付与された画像に含まれるオブジェクト候補から、タグYが付与された画像に含まれるオブジェクト候補を排除することができ、オブジェクト候補の絞り込み精度の向上を図ることができる。
(実施例5)
次に、実施例5について説明する。実施例5は、実施例1~4にかかる辞書生成システム300を、コンテンツクラウドシステムへ組み込んだ例である。
次に、実施例5について説明する。実施例5は、実施例1~4にかかる辞書生成システム300を、コンテンツクラウドシステムへ組み込んだ例である。
図22は、実施例5にかかるコンテンツクラウドシステムのシステム構成例を示すブロック図である。コンテンツクラウドシステム2200は、Extract Transform Load(ETL)モジュール2203、コンテンツストレージ2204、検索エンジン2205、メタデータサーバ2206、マルチメディアサーバ2207を有する。コンテンツクラウドシステム2200は1つ以上のプロセッサ301および記憶デバイス302を備えた計算機(たとえば、図3を参照)上で動作し、様々なモジュールで構成される。また、それぞれのモジュールが独立した計算機で実行されることもあり、その場合、各ストレージとモジュール間はネットワーク等で接続されおり、それらを介してデータ通信を行う分散処理で実現される。
アプリケーションプログラム2208は、ネットワーク等を経由してコンテンツクラウドシステム2200に対してリクエストを送り、コンテンツクラウドシステム2200はリクエストに応じた情報をアプリケーションプログラム2208に送信する。
コンテンツクラウドシステム2200は、入力として映像データ、画像データ、文書データ、音声データなどの任意の形式のデータ2201を受け取る。データ2201は、例えば、図形商標とその広報文書、ウェブサイトの画像とHTML文書、クローズドキャプションまたは音声付き映像データなどであり、構造化されたデータでもよいし非構造化データでもよい。コンテンツクラウドシステム2200へ入力されるデータはストレージ2202に一時的に蓄えられる。
ETLモジュール2203は、ストレージ2202を監視しており、ストレージ2202へデータ2201が格納されると、ファイルシステムから得られる情報(メタデータ)をコンテンツストレージ2204にアーカイブ化して保存する。
コンテンツストレージ2204は、ETLモジュール2203が抽出した情報およびストレージ2202に一時的に蓄えられている処理前のデータ2201を保存する。
検索エンジン2205は、アプリケーションプログラム2208からのリクエストがあると、例えばテキスト検索であれば、ETLモジュール2203が作成したインデックスを元にテキスト検索を実施し、検索結果をアプリケーションプログラム2208に送信する。検索エンジン2205のアルゴリズムに関しては、公知の技術を適用することができる。検索エンジン2205はテキストだけでなく、画像、音声などのデータを検索するモジュールを搭載することもできる。
メタデータサーバ2206は、RDB(Relational DataBase)に蓄えられたメタデータを管理する。例えば、ETLモジュール2203が抽出した、データのファイル名、データ登録年月日、元データの種類、メタデータテキスト情報、などがRDBに登録されていると仮定する。アプリケーションプログラム2208からリクエストの要求があると、メタデータサーバ2206はそのリクエストに従って、RDB内の情報をアプリケーションプログラム2208に送信する。
マルチメディアサーバ2207は、コンテンツストレージ2204にアーカイブ化されたデータに対して、そのデータに合わせた情報抽出処理モジュール2209を動作させ、データの内容に関するメタデータを抽出する。
情報抽出処理モジュール2209は、例えば、テキストのインデックスモジュール、画像認識モジュールなどで構成されている。メタデータの例としては、時刻、N-gramインデックス、画像認識結果(物体名、画像中の領域座標)、画像特徴量とその関連語、音声認識結果、などが該当する。情報抽出処理モジュール2209として、何らかの情報(メタデータ)抽出を行うプログラムすべてを用いることができ、公知の技術を採用することができるので、ここでは情報抽出処理モジュール2209の説明を省略する。
各メディアデータから抽出されたメタデータは、互いに関連付けられ、グラフ形式で構造化されたグラフDB2311に蓄積される。関連図付けの一例としては、コンテンツストレージ2204に蓄えられた「リンゴ」という音声認識結果に対して、元の音声ファイル、画像データ、関連語などの対応関係をネットワーク形式で表現することができる。マルチメディアサーバ2207は、アプリケーションプログラム2208からのリクエストがあると、それに応じたメタ情報をアプリケーションプログラム2208に送信する。例えば、「リンゴ」というリクエストがあると、構築されたグラフ構造に基づき、リンゴを含む画像、平均相場、アーティストの曲名、などのネットワークグラフ上で関連付けられたメタ情報を提供する。
情報抽出処理モジュール2209は、画像からの物体検出処理を実行する。辞書400には、実施例1~4に示した辞書生成システム300により生成された物体検出用の辞書パターンが登録される。辞書400中の各辞書パターンには、各辞書パターンの画像特徴量とともに、各辞書パターンがいかなる事物であるかを示すメタデータが定義される。
情報抽出処理モジュール2209は、辞書400との照合によって、与えられた画像から所望の物体を検出すると、検出位置、領域の大きさなどの検出に関する情報や照合された辞書パターンのメタデータをグラフDB2310に登録する。なお、マルチメディアサーバ2207に複数の情報抽出処理モジュール2209が組み込まれる場合は、1台の計算機のリソースをシェアしてもよいし、モジュール毎に独立した計算機を用いてもよい。
このように、実施例1~4に示した辞書生成システム300により生成された物体検出用の辞書パターンを用いることにより、コンテンツクラウドシステム2200は、各メディアデータに共通して利用可能なメタデータを生成することができる。したがって、メディア間にまたがって情報を統合することができ、付加価値がより高い情報をユーザへ提供することができる。
(実施例6)
つぎに、実施例6について説明する。実施例6は、実施例1~実施例5における辞書生成システム300を運用方式例である。
つぎに、実施例6について説明する。実施例6は、実施例1~実施例5における辞書生成システム300を運用方式例である。
図23は、辞書生成システム300の運用方式例を示すブロック図である。辞書生成システム300は、ネットワーク2300を介して、画像管理サーバ2310、単語管理サーバ2320、辞書生成サービス2330、比較用パターン管理サーバ2340、辞書パターン管理サーバ2350、および、端末装置2360が相互に結合されたシステムである。
画像管理サーバ2310は、画像データを管理する。単語管理サーバ2320は、画像データに付与された言語情報を管理する。辞書生成サービス2330は、辞書パターンの生成を行う。辞書生成サービス2330は、図4に示した生成部401~判定部405を有するコンピュータである。
比較用パターン管理サーバ2340は、辞書パターン生成時に第1の画像集合101から得られる領域の比較対象となる第2の画像集合102から得られた領域の画像特徴量を管理する。辞書パターン管理サーバ2350は、辞書パターンを管理する。辞書パターン管理サーバ2350は、図4に示した登録部407を有するコンピュータである。端末装置2360は、サーバに対する各種要求の発行、生成された辞書パターンの確認等を行う。端末装置2360は、図4に示した表示部406を有するコンピュータである。
図24は、画像管理サーバ2310が管理する情報の一覧を示す説明図である。項目2401の「image」は、バイト列で表現された画像データである。なお、画像データ自体は、別途、ファイルサーバ等で管理されている場合も多い。この場合は、項目2401に相当する情報として、画像ファイルが存在するURL等の画像を取得するために必要となる情報が格納される。項目2402の「keyword」は、画像データと関連する単語の集合である。各単語は、文字列として管理されていても良い。実施例6では、メモリ消費の節約、および、データ処理の効率化のため、各単語は、単語管理サーバ2420によって管理され、項目2402には、単語管理サーバ2420上での各単語の管理番号を示す整数値の列が格納される。以降、項目2402を「単語」と称す。
一方、項目2403の「used_keyword」は、当該画像が辞書パターン生成サービス2430によって利用された場合、その際に属性として用いられた単語の単語IDである。単語IDは、同一の画像を重複して辞書生成に用いることを避けるために用意された情報である。このように、画像管理サーバ2310は、項目2401~項目2403により規定された画像データを管理することになる。
図25は、比較用パターン管理サーバ2340が管理する情報を示す説明図である。項目2501の「image」は、整数値で表現された、元となる画像の画像管理サーバ2310上での管理番号である。項目2502の「rect」は、比較用パターンの矩形領域を表現する2点の座標値で、4次元の整数配列である。項目2503の「feature」は、項目2502の「rect」で規定される比較用パターンの矩形領域の画像特徴量である。このように、比較用パターン管理サーバ2340は、項目2501~項目2503により規定された比較用パターンを管理することになる。
図26は、辞書パターン管理サーバ2350が管理する情報の一覧を示す説明図である。項目2601の「image」は、元となる画像の画像管理サーバ2410上での管理番号である。項目2602の「rect」は、辞書パターンの矩形領域を表現する2点の座標値である。項目2603の「feature」は、辞書パターンの矩形領域の画像特徴量である。項目2604の「keyword」は、辞書生成を行った際、属性として用いた単語IDのリストである。このように、辞書パターン管理サーバ2350は、項目2601~項目2604により規定された辞書パターンを管理することになる。
次に、実施例6における辞書生成の処理について説明する。画像管理サーバ2310が管理する画像は、例えば、WebクローラによってWeb上から収集したものを用いることができる。画像に付与される単語2402は、運用者によって付与されたものでも良いが、Webクローラによって収集された場合は、元画像が含まれるHTML文書中の画像引用箇所の前後に存在するテキスト、あるいは、HTML文書のタイトルから自動的に抽出することも可能である。
辞書生成サービスは、辞書生成の事前処理として、画像管理サーバ2310が管理する画像中から、適切な個数の画像をサンプリングし、第2の画像集合102から比較用パターンである領域群を生成する。生成された領域群は比較用パターン管理サーバ2340に登録される。
図27は、辞書生成に用いられる画面の一例を示す説明図である。画面2710は、辞書生成システム300の利用者が、端末装置2460から、辞書生成サービス2330に対して、辞書生成の要求を出す際に、利用者に対して提示される画面である。先ず、利用者は、端末装置2360上で稼働するアプリケーションプログラムの画面2710上の入力フィールド2711に、属性として用いる単語を列挙し、辞書生成サービス2330に送信する。
辞書生成サービス2330は、画像管理サーバ2310に対して、指定された単語列上の単語を、単語2402のリストに含む画像の管理番号を取得し、それらの画像を一覧表示するための情報を構成して端末装置2360上のアプリケーションプログラムに送付する。これによって、利用者に提示する画面は、画面2710から画面2720に遷移し、該当する画像の一覧2721が表示される。一覧2721の画像が、辞書生成のための元画像となるが、利用者は、辞書生成に使用するのが適切ではないと判断した画像を、本画面上で指定することもできる。
一般には、元画像の候補は大量に存在する。利用者は、必要であれば、ページ切り替えボタン2722を押すことによって、全件をチェックすることもできる。ただし、実施例6は、自動的に適切な辞書パターンを取得するものであるから、このような利用者によるチェックが実施されなくても運用上の問題は生じない。
なお、画像の件数が多いと辞書パターンの生成に長時間を要する。従って、元画像の候補として該当する画像全てを用いるのではなく、その中の一定件数を用いる方が、運用上便利である。画像管理サーバ2310の項目2403で示した単語IDのリスト(以下、単語IDリスト2403)によって、ある画像が、辞書生成に用いられたか否かが判定できる。これによって、過去に辞書パターンとして用いられていない画像を選別して、元画像として用いることもできる。
画面2720上の開始ボタン2723を押すことによって、辞書生成サービス2330に、利用者が確認した画像を元画像とする辞書パターン生成の要求が送信される。辞書生成サービス2330は、利用者によって確認された画像の集合を、第1の画像集合101として用いることによって、辞書生成処理を実行する。一方、第2の画像集合102は、比較用パターン管理サーバ2340上で管理されるが、この際には、項目2501で示した画像の管理番号を参照することによって、利用者が指定した単語列が単語IDリスト2403の単語2502に含まれる画像を除外する。
辞書生成サービス2330は、比較用パターン管理サーバ2340に登録された画像中の条件を満たす画像が所望の件数に達しない場合は、画像管理サーバ2310に問い合わせる。そして、辞書生成サービスは、第2の画像集合102内の画像、すなわち、指定された単語列が単語IDリスト2403の単語2402に含まれない画像を取得し、それらの画像から比較用の領域候補を生成する。生成された矩形領域は、比較対象である領域群として比較用パターン管理サーバ2340に追加登録される。
辞書生成サービス2330は、辞書生成処理を終了すると、その結果を辞書パターン管理サーバ2350に登録する。同時に、指定された単語列のID列を項目2604の単語IDリストに格納する。また、画像管理サーバ2310の単語IDリスト2403も更新する。利用者は、登録された辞書パターンを、端末装置2360上で確認することが出来る。
図28は、確認画面の表示例を示す説明図である。確認画面2800上の表示領域2801に、生成された辞書パターンが一覧表示される。アイコン2802のように、辞書パターンとして適切ではないものが含まれていた場合は、利用者は、本画面でその辞書パターンを指定することによって、辞書パターン管理サーバ2350の登録データから削除することができる。さらに、利用者が望めば、その辞書パターンとして適切ではないデータを、比較用パターン管理サーバ2340に登録することもできる。比較用パターン管理サーバ2340に登録されたパターンと類似したパターンは、その後の辞書パターンでの生成では、除外される可能性が高くなる。
以上に説明したように、本実施例によれば、信頼性の高い辞書パターンを自動登録することにより辞書を自動生成することができる。
以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。
Claims (15)
- 第1の画像内の第1の領域群の中から選ばれた選択領域と前記第1の領域群の中から選ばれた前記選択領域以外の第1の領域との間における特徴量空間内の第1の距離と、前記選択領域と第2の画像内の第2の領域群の中から選ばれた第2の領域との間における特徴量空間内の第2の距離と、を取得する取得部と、
前記取得部によって取得された前記第1の距離と前記第2の距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定する判定部と、
前記判定部によって辞書パターンにすべきと判定された場合、前記選択領域を辞書パターン群が記憶される辞書に登録する登録部と、
を有することを特徴とする辞書生成システム。 - 前記第1の画像を含む第1の画像集合の各々の画像には、共通の属性情報が付与されており、前記第2の画像を含む第2の画像集合の各々の画像には、前記属性情報が付与されておらず、前記第1の領域群は、前記第1の画像集合内の各画像から得られた領域群であり、前記第2の領域群は、前記第2の画像集合内の各画像から得られた領域群であることを特徴とする請求項1に記載の辞書生成システム。
- 前記第1の画像を含む第1の画像集合の各々の画像と前記第2の画像を含む第2の画像集合の各々の画像とのいずれにも属性情報が付与されておらず、前記第1の領域群は、前記第1の画像集合内の各画像から得られた領域群であり、前記第2の領域群は、前記第2の画像集合内の各画像から得られた領域群であることを特徴とする請求項1に記載の辞書生成システム。
- 前記第1の画像を含む第1の画像集合の各々の画像には、属性情報が付与されておらず、前記第2の画像を含む第2の画像集合の各々の画像には、共通の属性情報が付与されており、前記第1の領域群は、前記第1の画像集合内の各画像から得られた領域群であり、前記第2の領域群は、前記第2の画像集合内の各画像から得られた領域群であることを特徴とする請求項1に記載の辞書生成システム。
- 前記第1の画像を含む第1の画像集合の各々の画像には、共通の第1の属性情報が付与されており、前記第2の画像を含む第2の画像集合の各々の画像には、共通の第2の属性情報が付与されており、前記第1の領域群は、前記第1の画像集合内の各画像から得られた領域群であり、前記第2の領域群は、前記第2の画像集合内の各画像から得られた領域群であることを特徴とする請求項1に記載の辞書生成システム。
- 前記取得部は、前記選択領域と複数の前記第1の領域の各々との間における複数の前記第1の距離の中から最小となる第1の最小距離を取得するとともに、前記選択領域と複数の前記第2の領域の各々との間における複数の前記第2の距離の中から最小となる第2の最小距離を取得し、
前記判定部は、前記第1の最小距離と前記第2の最小距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定することを特徴とする請求項1に記載の辞書生成システム。 - 前記取得部は、前記第1の最小距離を前記選択領域ごとに取得して平均化した第1の平均最小距離を取得するとともに、前記第2の最小距離を前記選択領域ごとに取得して平均化した第2の平均最小距離を取得し、
前記判定部は、前記第1の平均最小距離と前記第2の平均最小距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定することを特徴とする請求項6に記載の辞書生成システム。 - 前記第1の距離と前記第2の距離との比に基づいて、前記選択領域を摂動させる摂動処理を実行することにより新たな領域を生成する摂動処理部を有し、
前記判定部は、前記摂動処理部による処理結果に基づいて、前記選択領域を辞書パターンにすべきか否かを判定することを特徴とする請求項1に記載の辞書生成システム。 - 前記摂動処理部は、前記摂動処理の実行回数の増加にしたがって前記選択領域を摂動させる摂動量を減少させることにより、前記摂動処理を実行することを特徴とする請求項8に記載の辞書生成システム。
- 前記第1の平均最小距離と前記第2の平均最小距離との比に基づいて、複数の前記選択領域の中から前記摂動処理の対象となる特定の選択領域を決定する決定部を有し、
前記摂動処理部は、前記決定部によって決定された特定の選択領域について、前記摂動処理を実行することにより新たな領域を生成することを特徴とする請求項8に記載の辞書生成システム。 - 前記登録部は、前記判定部によって辞書パターンにすべきと判定された前記選択領域を、前記属性情報と関連付けて前記辞書に登録することを特徴とする請求項2に記載の辞書生成システム。
- 前記登録部は、前記判定部によって辞書パターンにすべきと判定された前記選択領域を、前記第1の属性情報と関連付けて前記辞書に登録することを特徴とする請求項4に記載の辞書生成システム。
- 前記判定部によって辞書パターンにすべきと判定された前記選択領域を、前記辞書への登録可否を指定可能に表示する表示部を有し、
前記登録部は、前記表示部に表示された前記選択領域の前記辞書への登録が指定された前記選択領域を前記辞書に登録することを特徴とする請求項1に記載の辞書生成システム。 - プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリと、を備える辞書生成システムが実行する辞書生成方法であって、
前記プロセッサが、
第1の画像内の第1の領域群の中から選ばれた選択領域と前記第1の領域群の中から選ばれた前記選択領域以外の第1の領域との間における特徴量空間内の第1の距離と、前記選択領域と第2の画像内の第2の領域群の中から選ばれた第2の領域との間における特徴量空間内の第2の距離と、を取得する取得手順と、
前記取得手順によって取得された前記第1の距離と前記第2の距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定する判定手順と、
前記判定手順によって辞書パターンにすべきと判定された場合、前記選択領域を辞書パターン群が記憶される辞書に登録する登録手順と、
を実行することを特徴とする辞書生成方法。 - プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリと、を備える辞書生成システムに、
第1の画像内の第1の領域群の中から選ばれた選択領域と前記第1の領域群の中から選ばれた前記選択領域以外の第1の領域との間における特徴量空間内の第1の距離と、前記選択領域と第2の画像内の第2の領域群の中から選ばれた第2の領域との間における特徴量空間内の第2の距離と、を取得する取得手順と、
前記取得手順によって取得された前記第1の距離と前記第2の距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定する判定手順と、
前記判定手順によって辞書パターンにすべきと判定された場合、前記選択領域を辞書パターン群が記憶される辞書に登録する登録手順と、
を実行させることを特徴とする辞書生成プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015529303A JP6034970B2 (ja) | 2013-08-02 | 2013-08-02 | 辞書生成システム、辞書生成方法、および辞書生成プログラム |
PCT/JP2013/070985 WO2015015634A1 (ja) | 2013-08-02 | 2013-08-02 | 辞書生成システム、辞書生成方法、および辞書生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/070985 WO2015015634A1 (ja) | 2013-08-02 | 2013-08-02 | 辞書生成システム、辞書生成方法、および辞書生成プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015015634A1 true WO2015015634A1 (ja) | 2015-02-05 |
Family
ID=52431206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/070985 WO2015015634A1 (ja) | 2013-08-02 | 2013-08-02 | 辞書生成システム、辞書生成方法、および辞書生成プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6034970B2 (ja) |
WO (1) | WO2015015634A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017126162A (ja) * | 2016-01-13 | 2017-07-20 | 日本電信電話株式会社 | 物体領域選択方法、装置、及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008197903A (ja) * | 2007-02-13 | 2008-08-28 | Toshiba Corp | 人物認識装置、人物認識方法および人退場管理システム |
JP2012238121A (ja) * | 2011-05-10 | 2012-12-06 | Canon Inc | 画像認識装置、画像認識装置の制御方法、およびプログラム |
-
2013
- 2013-08-02 WO PCT/JP2013/070985 patent/WO2015015634A1/ja active Application Filing
- 2013-08-02 JP JP2015529303A patent/JP6034970B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008197903A (ja) * | 2007-02-13 | 2008-08-28 | Toshiba Corp | 人物認識装置、人物認識方法および人退場管理システム |
JP2012238121A (ja) * | 2011-05-10 | 2012-12-06 | Canon Inc | 画像認識装置、画像認識装置の制御方法、およびプログラム |
Non-Patent Citations (4)
Title |
---|
AKIRA SUETOMI ET AL.: "Kensaku Seido o Kojo shita 'Gazo Kensaku Solution' Saishinban o Hanbai", IMAGE LAB, vol. 24, no. 4, 10 April 2013 (2013-04-10), pages 1 - 7 * |
ATSUSHI HIROIKE ET AL.: "Takuwaeru Sagasu- Daikibo ni Chikuseki sareta Gazo Oyobi Onsei o Taisho to suru Joho Kensaku", HITACHI HYORON, vol. 95, no. 2, 1 February 2013 (2013-02-01), pages 36 - 41 * |
KEN NAGASAKI ET AL.: "A Coupon Classification Method Based on Adaptive Image Vector Matching", IEICE TECHNICAL REPORT, vol. 105, no. 612, 16 February 2006 (2006-02-16), pages 19 - 24 * |
YUKI WATANABE ET AL.: "Example-based Generic Object Detection Using Similar-Image Search", IEICE TECHNICAL REPORT, vol. 111, no. 353, 8 December 2011 (2011-12-08), pages 101 - 106 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017126162A (ja) * | 2016-01-13 | 2017-07-20 | 日本電信電話株式会社 | 物体領域選択方法、装置、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6034970B2 (ja) | 2016-11-30 |
JPWO2015015634A1 (ja) | 2017-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105027162B (zh) | 图像解析装置、图像解析系统、图像解析方法 | |
KR101354755B1 (ko) | 검색에 의한 주석달기를 위한 컴퓨터 판독가능 저장 매체, 컴퓨터 구현 방법, 및 컴퓨팅 장치 | |
US9020947B2 (en) | Web knowledge extraction for search task simplification | |
CN102368262A (zh) | 一种提供与查询序列相对应的搜索建议的方法与设备 | |
JP2012527028A (ja) | 検索方法、装置およびシステム | |
US9977818B2 (en) | Local extrema based data sampling system | |
CN110069698A (zh) | 信息推送方法和装置 | |
CN111339213A (zh) | 基于知识图谱的可视化展示方法、电子设备及介质 | |
JP6173848B2 (ja) | 文書分類装置 | |
CN102063468B (zh) | 一种用于确定查询序列的查询类别的设备及其方法 | |
JP2011034399A (ja) | Webページの関連性抽出方法、装置、及びプログラム | |
US20180165362A1 (en) | Generating suggestions for extending documents | |
US20120239657A1 (en) | Category classification processing device and method | |
WO2017201905A1 (zh) | 资料分发方法、装置和存储介质 | |
JP6034970B2 (ja) | 辞書生成システム、辞書生成方法、および辞書生成プログラム | |
JP5973309B2 (ja) | 配信装置及びコンピュータプログラム | |
CN116541578A (zh) | 资产数字化多维度管理方法及系统 | |
Yadav et al. | An exhaustive study on data mining techniques in mining of multimedia database | |
CN109388665B (zh) | 作者关系在线挖掘方法及系统 | |
JP6676699B2 (ja) | 予約語及び属性言語間の関連度を用いた情報提供方法及び装置 | |
JPWO2017168601A1 (ja) | 類似画像検索方法およびシステム | |
Narwal et al. | Entropy based content filtering for mobile web page adaptation | |
KR20150057497A (ko) | 온라인 텍스트 문서의 계층적 트리 기반 주제탐색 방법 및 시스템 | |
KR20130059792A (ko) | 컨텐츠 검색 방법, 컨텐츠 검색 서버, 및 컨텐츠 검색을 위한 프로그램이 기록된 기록매체 | |
Popa et al. | Detecting and describing historical periods in a large corpora |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13890359 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2015529303 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13890359 Country of ref document: EP Kind code of ref document: A1 |