JP5268787B2 - 情報処理装置及びその制御方法、プログラム - Google Patents

情報処理装置及びその制御方法、プログラム Download PDF

Info

Publication number
JP5268787B2
JP5268787B2 JP2009135356A JP2009135356A JP5268787B2 JP 5268787 B2 JP5268787 B2 JP 5268787B2 JP 2009135356 A JP2009135356 A JP 2009135356A JP 2009135356 A JP2009135356 A JP 2009135356A JP 5268787 B2 JP5268787 B2 JP 5268787B2
Authority
JP
Japan
Prior art keywords
metadata
inference
value
information processing
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009135356A
Other languages
English (en)
Other versions
JP2010282431A5 (ja
JP2010282431A (ja
Inventor
日出来 空門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009135356A priority Critical patent/JP5268787B2/ja
Priority to US12/766,575 priority patent/US8290957B2/en
Priority to CN2010101944430A priority patent/CN101908057B/zh
Publication of JP2010282431A publication Critical patent/JP2010282431A/ja
Publication of JP2010282431A5 publication Critical patent/JP2010282431A5/ja
Priority to US13/612,500 priority patent/US8620920B2/en
Application granted granted Critical
Publication of JP5268787B2 publication Critical patent/JP5268787B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32117Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate transmission or protocol signal prior to or subsequent to the image data transmission, e.g. in digital identification signal [DIS], in non standard setup [NSS] or in non standard field [NSF]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253Position information, e.g. geographical position at time of capture, GPS data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は情報処理装置及びその制御方法、プログラムに関し、特に、対象データにメタデータを付与するための技術に関する。
デジタルカメラやデジタルビデオカメラの普及に伴い、利用者の管理する静止画像や動画像の量は飛躍的に増加した。このような画像データを管理するにあたり、撮影時のイベントの名称や撮影場所の名称などの画像を説明する情報、いわゆるメタデータが利用されている。例えば、ユーザから入力された探したい画像データのイベントの名称などに基づいて、目的の画像データを探し出すこと等が行われている。
従来、こうしたメタデータを付与するために、外部ソースから得られた情報を用いて、画像に関連する情報を推論する構成が知られている(特許文献1)。この構成では、撮影時の状況を表すメタデータである撮影日時や撮影位置を用いて、外部リソースから利用可能な情報を特定する。外部リソースが、全国天気サービスなどのように組織的に管理された情報である場合、精度よくメタデータが定まることになる。
特開2005−149511号公報
しかしながら、予め撮影場所の名称などが付与された画像データを集めて外部リソースとして利用する場合、必ずしも精度よくメタデータが定まるとは限らない。例えば、撮影場所の名称などには階層性が存在する。そのため、同じ撮影場所においても異なるメタデータの値を持つ可能性がある。また、推論対象データに対する事例データの分布状況に関わらず一般的なメタデータ推論手法を一律に用いるだけでは、最適なメタデータを精度よく決定することができない。したがって、撮影時の状況を表すメタデータが類似しているものを特定するだけでは不十分である。
そこで本発明は、メタデータを推論するために予め用意されているデータの性質に関わらず、適切なメタデータを精度よく決定可能にする技術を提供することを目的とする。
本発明によれば、対象データにメタデータを付与する情報処理装置であって、
前記対象データに予め付与されている付与済みメタデータの値を取得する第1取得手段と、
前記対象データに対して新たに付与するメタデータの値を推論するための、互いに対応づけられた複数種類の推論用メタデータの値からそれぞれ構成される複数のセットを取得する第2取得手段と、
前記付与済みメタデータと同じ種類の前記推論用メタデータに対応する、他の種類の前記推論用メタデータの値の分布状況を分析する分析手段と、
前記分布状況に基づいて、前記対象データに新たに付与するメタデータを推論するために用いる推論手法を決定する決定手段と、
前記決定した推論手法を用いて、前記付与済みメタデータの値と前記複数の推論用メタデータの値のセットとに基づいて、前記対象データに新たに付与するメタデータの値を推論する推論手段と、
前記推論したメタデータの値を前記対象データに付与する付与手段と、
を備え
前記分析手段は、
前記同じ種類の前記推論用メタデータを、前記付与済みメタデータの値からのベクトル間距離が小さいものから順にk個選択し、
前記k個の同じ種類の推論用メタデータに対応する前記他の種類の前記推論用メタデータの値が、一定以上の割合で同一の値をとるか否かを前記分布状況として分析する
ことを特徴とする情報処理装置が提供される。
本発明によれば、メタデータを推論するために予め用意されているデータの性質に関わらず、適切なメタデータを精度よく決定可能にする技術を提供することができる。
コンピュータ装置のハードウェア構成例を示す図。 画像データの構成例を示す図。 メタデータ付与装置を構成するモジュール例を示す図。 事例データと推論対象データの分布状況の一例を示す概念図。 階層構造を示す情報を保持するテーブル例を示す図。 メタデータ付与装置の処理例の流れを示すフローチャート。 推論ルールテーブルの一例を示す図。 推論処理の一例の流れを示すフローチャート。 処理選択テーブルの一例を示す図。 状況分析処理の一例の流れを示すフローチャート。 単純推論処理の一例の流れを示すフローチャート。 重複推論処理の一例の流れを示すフローチャート。 階層推論処理の一例の流れを示すフローチャート。 追加特徴メタデータを加えた推論ルールテーブルの一例を示す図。 階層構造構築装置を構成するモジュール例を示す図。 階層構造構築装置の処理の一例の流れを示すフローチャート。 事例データをクラスタリングした結果の一例を示した概念図。 クラスタテーブルの一例を示す図。 階層構造テーブルの一例を示す図。
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。
<<実施形態1>>
(ハードウェア構成)
本実施形態のサーバ装置やクライアント装置を構成するコンピュータ装置のハードウェア構成について、図1のブロック図を参照して説明する。サーバ装置やクライアント装置はそれぞれ単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにLocal Area Network(LAN)などのネットワークで接続されている。コンピュータ装置は、パーソナルコンピュータ(PC)やワークステーション(WS)等の情報処理装置によって実現することができる。
図1において、101はコンピュータ装置100全体を制御するCentral Processing Unit(CPU)である。102は変更を必要としないプログラムやパラメータを格納するRead Only Memory(ROM)である。103は外部装置などから供給されるプログラムやデータを一時記憶するRandom Access Memory(RAM)である。
104はデータを記憶する外部記憶装置である。例えば、コンピュータ装置100に固定して設置されたハードディスクやメモリカードが含まれる。あるいは、外部記憶装置104には、例えば、コンピュータ装置100から着脱可能なフレキシブルディスク(FD)やCompact Disk(CD)等の光ディスク、磁気や光カード、ICカード、メモリカードなどの記録媒体が含まれてもよい。
105はユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力デバイス109とのインターフェイスである。106はコンピュータ装置100の保持するデータや供給されたデータを表示するためのモニタ110とのインターフェイスである。107はインターネットなどのネットワーク回線111や、デジタルカメラ112やデジタルビデオカメラ113などの撮影機器などに接続するための通信インターフェイスである。108は101〜107の各ユニットを通信可能に接続するシステムバスである。後述する各動作は、ROM102等のコンピュータ読み取り可能な記憶媒体に格納されたプログラムをCPU101が実行することにより実行される。
(画像データの構成)
本実施形態における画像データの構成について図2を用いて説明する。図2において、画像データ200は、デジタルカメラによって生成される静止画像、あるいは、デジタルビデオカメラによって生成される動画像である。画像データ200には、メタデータ201と画像本体データ207が含まれる。
メタデータ201は、画像データ200を説明するためのデータである。本実施形態においては、メタデータ201は、撮影日時202、撮影位置203、撮影者情報204、地名205、イベント名206によって構成され、それぞれメタデータ名と値を有している。
撮影日時202は、デジタルカメラによって撮影された日時あるいはデジタルビデオカメラの撮影開始日時を示し、撮影機器によって付与されることが考えられる。撮影位置203は、GPS(Global Positioning System)などにより、撮影した位置情報が付与される。撮影者情報204は、撮影を行った人物に関する情報であり、撮影機器の所有者の名前などを撮影機器の設定から付与してもよい。
地名205、イベント名206は、撮影時の場所の名称と行事の名称である。これは人手によって付与されたり、あるいは本実施形態のメタデータ付与装置によって付与されることになる。なお、これらメタデータは全て付与されているとは限らず、撮影日時202と撮影位置203しか付与されていないことなどもありえる。
なお、メタデータ201はExif形式やXML形式あるいはXMP(Extensible Metadata Platform)形式などによって記述される。また、図2においては、地名205やイベント名206は一つの値しか付与されていないが、複数の値が付与されていてもかまわない。あるいは、階層的に値が付与されていてもかまわない。例えば、「東京⇒東京タワー」といったように付与されていてもかまわない。なお、ここで記号⇒は階層関係を表している。
画像本体データ207は画像データ200の本体で、静止画像や動画像のピクセルデータである。なお、メタデータ201は画像データ200に埋め込まずに、画像本体データ207と関連付けて別々に保管してもよい。
(メタデータ付与装置の構成)
本実施形態におけるメタデータ付与装置の構成について図3を用いて説明する。図3はメタデータ付与装置の機能構成を例示するブロック図である。事例管理部301は、メタデータが予め付与された画像データを管理する。あるいは、画像本体データ207は保持せず、メタデータ201のみを管理するようにしてもよい。また、メタデータの情報に相当する情報を管理してもよい。例えば、ユーザが登録したある緯度経度の点の地名を管理してもよい。事例管理部301で管理する複数種類のメタデータを以下、事例データと呼ぶ。事例データは、後述するように、メタデータの付与対象に付与するメタデータ値を決定するために用いられる。なお、メタデータに複数の値や階層的な値を持っていた場合、それらを分けて別個の事例データ(メタデータ)として管理してもよい。本実施形態では、事例データを事例管理部301から読み出して取得する(第2取得)。
本実施形態では、事例管理部301で管理している事例データを含む画像データは外部記憶装置104に記憶されている。ただし、ネットワーク上のコンピュータ装置、あるいはデジタルカメラやデジタルビデオカメラなどに記憶され、通信インターフェイス107を通じて取得してもよい。また、画像データの保存場所はこれらに限定されない。
付与対象取得部302は、メタデータを付与する対象となる画像データ(以下、推論対象データと呼ぶ)を取得する。推論対象データには、取り得るメタデータのうち一部が事前に付与されている。後述するように、推論対象データに予め付与されているメタデータと事例データとを用いて推論が行われ、推論対象データに付与するメタデータ(以下、推論対象メタデータと呼ぶ)が決定される。
推論対象データ(画像データ)の取得は、入力デバイス109より指定された画像データを外部記憶装置104より取得する。あるいは、ネットワーク上のコンピュータ装置、あるいはデジタルカメラなどの撮影機器などより、通信インターフェイス107を通じて取得してもよい。または、撮影機器が通信インターフェイス107に接続されたことを感知し、自動的に取得してもかまわない。または、本実施形態のメタデータ付与装置をサーバ装置として構成した場合、クライアント装置より通信インターフェイス107を通して取得してもよい。また、付与対象取得部302は、画像本体データ207は取得せずに、画像データに対応するメタデータ201のみを推論対象データとして取得してもよい(第1取得)。
推論により取得し、推論対象データに付与するメタデータ(推論対象メタデータ)は、取得した画像データに既に付与されているメタデータと、予め設定されている事例データとに基づいて推論により判定して取得される。ただし、入力デバイス109より指定されてもよいし、外部記憶装置104に記録された所定の設定ファイルなどから読み出してもよい。もしくは、予め保持しておいてもよい。または、本メタデータ付与装置をサーバ装置として構成した場合、クライアント装置からの要求によって指定されてもよい。なお、画像データ及びメタデータの取得手法はここに例示したものに限定されない。
ここで、本実施形態で利用する推論手法の基本的な考え方と、本明細書で使用する用語について概説し、その後、図3の説明に戻る。本実施形態では、事例管理部301で管理されている事例データを用いて、付与対象取得部302が取得した推論対象データに対して付与すべき推論対象メタデータを推論する。ここでは識別手法としてk−最近傍識別器を主に用いる。そこで、k−最近傍識別器について説明する。
k−最近傍識別器とは、特徴ベクトルとラベルを組として持つ訓練データから、ラベルを持たないテストデータのラベルを決定するための手法の一種である。具体的には、与えられた訓練データから、テストデータの特徴ベクトルと類似した特徴ベクトルを持つものk個選び出し、選び出された訓練データが持つラベルのうち最も多数のラベルをテストデータのラベルとする。特徴ベクトルの類似性は、例えば、ベクトル間のユークリッド距離を用いて判定することができる。
なお、本実施形態における識別手法はk−最近傍識別器に限定されるものではない。例えば、SVM(Support Vector Machine)などの識別手法を用いてもよい。また、予め学習が必要な識別手法の場合は、事例管理部301の画像データ(事例データ)を用いて予め学習しておくことになる。
こうした、識別手法をメタデータの推論に適用するには、k−最近傍識別器での訓練データ、テストデータ、ラベル、特徴ベクトルを本実施形態で使用するデータに対応づける必要がある。訓練データは事例データの集合(以下、推論用事例データセットと呼ぶ)に、テストデータは推論対象データ、ラベルは推論対象メタデータに対応させることができる。特徴ベクトルは、推論対象メタデータの特性に合わせて、構成する必要がある。例えば、「地名」を推論する場合、撮影位置を特徴ベクトルとすれば推論できると考えられる。このように特徴ベクトルとして使用するメタデータを、以下、特徴メタデータと呼ぶ。
図3の説明に戻る。状況分析部303は、推論対象データに付与すべき推論対象メタデータを導き出すにあたって、どのような「状況」であるかを分析する。本実施形態では状況として、「階層」「未登録」「混在」「確定」の4つが存在する。以下、順にそれぞれ説明する。
メタデータには階層性を有するものがある。「地名」がその一つである。例えば、「日本」の下に「東京」という地名が存在する。このような階層性がある場合、k−最近傍識別器を単純に適用しただけでは、解決できない。なぜなら、同じ場所においても異なる値のメタデータが存在している可能性があるためである。例えば、海外からの来訪者が観光したときに撮影した画像データに地名として「日本」を付与する場合がある。一方で、日本人が東京を観光したときに撮影した画像データに地名として「東京」を付与する場合がある。このように、同じ撮影位置においても、いずれの階層で捉えるかによって付与する地名のメタデータは異なる場合があり得る。こうした場合は、階層性を考慮した推論を行う必要がある。
次に、「未登録」「混在」「確定」を説明するにあたり、推論対象メタデータが「地名」であり、特徴メタデータが「撮影位置」である場合を例に、図4を用いて説明する。図4はデータの撮影位置の緯度経度を縦軸と横軸にとって、事例データ及び推論対象データをプロットしてその分布状況を可視化した例を示す図である。
図4中の大文字のアルファベットAとBは、事例データであり、地名がAとBであることを示している。ここで、アルファベット(A,B)はラベルに対応し、撮影位置(横軸、縦軸の座標)が特徴ベクトルとしての特徴メタデータに対応する。図4中の小文字のアルファベットα,β,γは付与対象取得部302で取得された画像データ(推論対象データ)であり、α,β,γの図4における位置は撮影位置に対応している。推論対象データαの周辺4個を見てみると、近くにAのみが存在していることがわかる。この状況では、k−最近傍識別器によってAに確定的に値が決まる。そのため、この状況を「確定」と判定する。
一方、推論対象データβの周辺4個を見てみると、近くにAとBが混在している。この状況をAとBが混在しているため「混在」と判定する。また、推論対象データγの周辺4個を見てみると、遠くに事例が存在している事がわかる。この場合、推論対象データγに付与すべき値をまだ事例データとして獲得していないと考えられる。このような状況を「未登録」と判定する。なお、これら分布状況の詳細な判定手法は、フローチャート(図10)を用いて後述する。
選択的推論部304は、状況分析部303より得た「状況」に基づいて、単純推論部305、重複推論部306、階層推論部307のいずれかを選択して推論処理を行わせる。そして、これらの推論部305〜307のいずれかから推論結果(「推論不可能」の結果も含む)を取得する。例えば、状況が「混在」のみである場合は、重複推論部306を選択するといったことを行う。詳細な処理の内容は、フローチャート(図8)を用いて後述する。
単純推論部305は、推論対象データ(テストデータ)の特徴メタデータ(特徴ベクトル)と、事例データ(訓練データ)の特徴メタデータに対して、k−最近傍識別器を単純に適用して結果を得る。詳細な処理内容は、フローチャート(図11)を用いて後述する。
単純推論部305は、「混在」の状況においては必ずしも適切なメタデータを選択できるとは限らない。「混在」が起こる状況として、地名を導き出す場合を例に説明する。例えば、公園や展示会場などにおいてイベントが行われる際に、特設会場が設けられることが多い。具体的には、モーターショーが行われていた会場において、別の日にはヨットの展示会が行われるなどといったことがある。こうした場合、地名に会場内のブースの名称を用いる場合、日によって同じ撮影位置においても、撮影場所の名称としてユーザが付与する地名も異なってくる。この場合、撮影位置のみで識別するのではなく、撮影日時なども考慮して識別すべきである。重複推論部306は、こうした「混在」の状況において、新たに考慮すべきメタデータを判断し、推論を行う。
重複推論部306は、推論対象メタデータを導き出すにあたり、新たに考慮すべきメタデータを発見し、特徴メタデータにこの新たに考慮すべきメタデータを追加して推論を行う。例えば、地名が推論対象メタデータであった場合、先に述べた展示会場の例においては、新たに考慮すべきメタデータとして撮影時刻を発見する。そして、撮影位置と撮影時刻を特徴メタデータとして、地名を推論することになる。詳細な処理内容は、フローチャート(図12)を用いて後述する。
階層推論部307は、推論対象メタデータの階層性を考慮した推論を行う。本実施形態では、メタデータ付与装置は推論対象メタデータごとに階層構造を保持しておき、推論対象メタデータを上位から決定していく。図5は、メタデータ付与装置が保持するメタデータの階層構造を示すテーブルの一例を示す図である。図5では、親メタデータと子メタデータの組によって、値間の階層構造を示している。そして、最上位フラグがONの場合、親メタデータはさらなる親メタデータを持たないことを示している。これを用いて、最上位のメタデータを決定し、その子のメタデータをさらに決定していく。詳細な処理内容は、フローチャート(図13)を用いて後述する。
付与対象書出し部308は、選択的推論部304によって導かれたメタデータを、推論対象データとした画像データのメタデータに埋め込み出力する。出力先は、例えば、外部記憶装置104や、通信インターフェイスによって接続された撮影機器あるいはクライアント装置などである。なお、付与対象取得部302にて、メタデータのみを取得している場合は、該メタデータに関連付けられた画像データのメタデータを書き換えてもよい。なお、画像データおよびメタデータの出力手法はこれらに限定されるものではない。
(メタデータ付与処理)
次に、本実施形態におけるメタデータ付与装置の処理についてフローチャート(図6)を用いて説明する。S601では、付与対象取得部302により、画像データ(メタデータが付与されている)を取得する。この画像データを推論対象データとする。
S602では、付与対象取得部302によって、画像データに付与されているメタデータの種類に基づいて推論可能なメタデータの種類を特定し、推論により導き出すメタデータ(推論対象メタデータ)のリストとしてまとめる。推論対象メタデータ(の種類)の特定は、推論対象メタデータを推論するために必須の特徴メタデータ(以下、必須特徴メタデータと呼ぶ)を推論対象メタデータに対応付けて予め保持しておき、この対応関係に基づいて行ってもよい。
具体的には、図7に示すような推論ルールテーブルによって保持しておく。図7は、推論対象メタデータ701と、当該推論対象メタデータを推論するために必要な推論対象データの特徴メタデータ(必須特徴メタデータ702)との対応関係を示す推論ルールテーブルの一例の図である。例えば、イベント名を推論するためには、推論対象データに撮影日時と撮影位置が予め付与されている必要がある。
したがって、図7の推論ルールテーブルを用いると、例えば推論対象データに「撮影位置」のみが付与されている場合は、「地名」が推論可能なため、S602では「地名」がリストにまとめられる。なお、上記手法によって推論可能なメタデータとして挙がっても、既に画像データに値が付与されているメタデータはリストから取り除いてもよい。
S603では、S602で作成したリストに未処理の推論対象メタデータが存在するかを調べて判定する。後述のS604、S605の処理が行なわれた推論対象メタデータは初期のリストから削除されるので、リストが空である場合には未処理の推論対象メタデータがないと判定される。あるいは、リストに処理済フラグを設け、処理済みフラグがOFFである推論対象メタデータが残っているかで判定してもよい。未処理の推論対象メタデータがある場合(S603でYES)には、S604に移る。未処理の推論対象メタデータがない場合(S603でNO)には、S606に移る。
S604では、未処理の推論対象メタデータ(の種類)をリストから一つ選択し、推論に使用する推論対象データの特徴メタデータと推論用事例データセットの初期化を行う。例えば、推論に使用する特徴メタデータを、推論ルールテーブル(図7)で推論対象メタデータに対応付けられた必須特徴メタデータとする。そして、推論用事例データセットとして事例管理部301のうち、特徴メタデータと推論対象メタデータを持つ事例データとする。
S605では、推論対象メタデータを推論により導く推論処理を行う。具体的な処理の内容は、フローチャート(図8)を用いて後述する。そして、S603に戻る。このようにして、推論対象メタデータの各々についてS604、S605の処理を実行する。全ての推論対象メタデータについて処理を終了した場合(S603でNO)はS606へ進む。
S606では、付与対象書出し部308によって、S605で推論によって得られたメタデータを画像データに付与する。ただし、推論対象メタデータに対して、推論不可能と結果が得られたメタデータは画像データに付与しない。なお、フローチャート(図6)は、付与対象取得部302が一つの画像データを取得して処理を行う場合を示しているが、複数の画像データを取得して処理を行ってもよい。複数の画像データを取得した場合はS602〜S606を各画像データに対して適用する。
(推論処理)
S604の推論処理を、フローチャート(図8)を用いて説明する。図8は推論処理の詳細な手順を示すフローチャートである。推論対象メタデータの値を決定するにあたって、推論対象メタデータがもつ特徴や、識別に使う事例データセット(推論用事例データセット)によって、どのような推論をすべきかは変わってくる。そこで、推論対象メタデータを導き出す状況、すなわち、推論対象データの特徴メタデータと、事例データに含まれる特徴メタデータとの関係がいかなるものかを判定する。本実施形態では、「階層」「未登録」「混在」「確定」の4つの状態を想定している。S801では、こうした状況をリストアップし、状況リストを作成する。詳細な処理内容はフローチャート(図10)を用いて後述する。
S802〜S805では、S801で得た状況に対応する推論処理を処理選択テーブルから選び実行する。処理選択テーブルとは、図9に示すようなテーブルである。処理選択テーブルは、「ID」901、「優先度」902、「状況」903、「処理」904、「無効化フラグ」905を1組とする処理選択ルールによって構成される。このテーブルを用いて、状況ごとに適切な処理選択ルールを選択し、「処理」904に関連付けられた推論処理を実行する。具体的な選択手法はS802〜S805に沿って説明する。また、「処理」904の具体的な内容は別途後述する。
S802では、状況903がS801で得た状況と一致しかつ、無効化フラグ905がOFFである処理選択ルールをリストアップする。リストアップは、例えば、ID901をRAM103等の記憶装置に保持して行うことができる。例えば、処理選択テーブルが図9に示す状態であり、S801で得た状況リストが「階層」と「未登録」であった場合、ID1,2がリストアップされることになる。
S803では、S802で得たリストから優先度が最も高い処理選択ルールを選び出す。このとき選び出した処理選択ルールの無効化フラグをONにする。なお、本実施形態では、優先度902の値が大きいほど優先度が高いことを意味する。例えば、リストにID1,2がリストアップされていた場合、この中で最も優先度が高い優先度5のID1が選ばれることになる。そして、ID1の無効化フラグがONにされる。
S804では、S803で選び出された処理選択ルールに関連付けられている推論処理を実行して結果を取得する。例えば、S803でID1が選び出されていた場合、推論不可能という結果を得る。仮にS803でID2が選び出されていた場合、階層推論処理を実行し結果を得る。推論処理の詳細は後述する。
S805では、S803で選択された処理選択ルールの無効化フラグをOFFにする。そして、推論処理を終了し、図6のS603に戻る。なお、S802〜S805の処理は、選択的推論部304により実行される。
(状況リスト作成処理)
次に、フローチャート(図10)を用いて、図8のS801で実行する状況リスト作成処理について説明する。まず、S1001では、空の状況リストを用意する。例えば、各状況に対応する値を格納するための可変長配列を用意する。
S1002では、推論対象メタデータに階層性があるかを判定する。例えば、前述の推論ルールテーブル(図7)に階層性の有無を示す情報(階層情報)も保持しておき、それを参照して判定することができる。そして、階層性があると判定された場合(S1002でYES)、S1003に移る。階層性がないと判断された場合(S1002でNO)、S1004に移る。
S1003では、状況リストに「階層」を追加する。そして、S1004へ進む。S1004では、推論用事例データセットの特徴ベクトルから、推論対象データの特徴ベクトルの近傍にあるものから順に予め定められた個数(k個)を事例データとして集める。そして、集めた事例データのうち、推論対象データの特徴ベクトルから最も遠い事例データまでの距離をL(距離の最大値L)とする。なお、特徴メタデータ間の距離は、特徴ベクトルとしての特徴メタデータ間のユークリッド距離とすることができる。例えば、特徴メタデータに「撮影位置」を用いる場合、両データの撮影位置の緯度経度を用いて距離を計算することになる。
S1005では、S1004で求めたLが予め定められた閾値以上かを判定する。Lが閾値以上であることは、推論対象データに付与すべき推論対象メタデータの値が、推論用事例データセットに存在しないことに対応する。そして、Lが閾値以上の場合(S1005でYES)、S1006に移る。Lが閾値より小さい場合(S1005でNO)、S1007に移る。
S1006では、状況リストに「未登録」を追加する。そして、状況リスト作成処理を終了して図8のS802へ進む。一方、S1007では、S1004で求めたk個の事例データの推論対象メタデータの値がほぼ同じであるかを判定する。例えば、ある一つの値が全体の9割以上を占めているか否か(占めている場合は「ほぼ同じ」)などによって判定する。これによって、推論対象データに付与すべき推論対象メタデータの値を確定できるかを判定している。そして、k個の事例データの推論対象メタデータの値がほぼ同じと判定された場合(S1007でYES)、S1008に移る。そうでない場合(S1007でNO)、S1009に移る。
S1008では、状況リストに「確定」を追加する。そして、状況リスト作成処理を終了して図8のS802へ進む。一方、S1009では、状況リストに「混在」を追加する。そして、状況リスト作成処理を終了して図8のS802へ進む。
以上の、S1001〜S1009の処理は、状況分析部303により実行される。なお、S1004〜S1008は、上記手法に限られるものではない。例えば、識別器として、識別結果を返すのみではなく、識別すべき結果が訓練データに存在しないことを返すことや。確信度ともに識別結果を返すことを想定する。このとき、この識別器による結果をS1005やS1007の判定処理に利用してもよい。
このように、Lが閾値以上か否かを分布状況として分析し、異なる値を状況リストにセットして、使用する推論手法を決定することによって、推論が現実的に困難な場合に精度の低い推論を行うことを効果的に防止することができる。また、本実施形態では、同じ種類の推論用メタデータを、付与済みメタデータの値からのベクトル間距離が小さいものから順にk個選択し、これに対応する他の種類の推論用メタデータの値が、一定以上の割合で同一値をとるか否かを分析する。そして、後述するように、この分析結果に基づいて推論手法を決定する。このため、メタデータ値を確定的に推論できる場合とそうでない場合とで最適な推論手法を選択し、適切なメタデータ値を精度よく推論することができる。
(単純推論処理)
次に、単純推論部305、重複推論部306、階層推論部307の処理について、フローチャート(図11、図12、図13)を用いて説明する。まず、本実施形態における、単純推論部305の処理について、フローチャート(図11)を用いて説明する。この処理は、処理選択テーブル図9のID4の処理である単純推論処理に相当する。
S1101では、推論用事例データセットに事例データが存在するかを判定する。例えば、推論用事例データセットに閾値以上の個数の事例データが存在するか否かを判定する。存在すると判定された場合(S1101でYES)、S1103に移る。存在しないと判定された場合(S1101でNO)、S1102に移る。
S1102では、推論結果を「推論不可能」として単純推論処理を終了する。一方、S1103では、推論対象データと事例データの特徴メタデータを用いて距離を計算し、推論対象データの特徴メタデータから近いものから順にk個の事例データをリストアップする。次に、S1104では、S1103でリストアップした事例データにおいて、最も多い推論対象メタデータの値を推論結果とする。そして、単純推論処理を終了する。
(重複推論処理)
次に、本実施形態における重複推論部306の処理についてフローチャート(図12)を用いて説明する。この処理は、処理選択テーブル図9のID3の処理である重複推論処理に相当する。
まず、S1201では追加特徴メタデータリストを作成する。追加特徴メタデータとは、より適切な推論を行うために、最低限必要な必須特徴メタデータに加えて補助的に使用される特徴メタデータであり、追加特徴メタデータリストとは追加特徴メタデータをリストアップしたものである。本実施形態では、前述の推論ルールテーブルに、推論対象メタデータに対応付けて候補となる追加特徴メタデータを保持しておき、この推論ルールテーブルを参照して追加特徴メタデータリストを作成する。図14は推論対象メタデータに追加特徴メタデータが対応づけられている推論ルールテーブルの一例を示す図である。例えば、図14のように推論ルールテーブルが構成されている場合において、推論対象メタデータ(1401)が「地名」である場合、追加特徴メタデータ(1402)のリストには「撮影日時」「撮影者情報」がリストアップされる。あるいは、組合せも考慮して「撮影日時」「撮影者情報」「撮影日時,撮影者情報」をリストアップする。最後の「撮影日時,撮影者情報」は両方を追加特徴メタデータとすることを示している。なお、追加特徴メタデータリストの作成はこれに限られず、例えば、推論対象データに元々付与されており、かつ特徴メタデータとして利用していないメタデータを全て列挙して行ってもよい。
S1202では、S1201で得た追加特徴メタデータリストに未処理の追加特徴メタデータが存在するか否かを判定する。初期のリストから、以降のステップの処理が行われたものを削除するので、リストが空である場合には未処理の追加特徴メタデータがないと判定される。あるいは、リストに処理済フラグを設け、処理済フラグがOFFである追加特徴メタデータの有無により判定してもよい。未処理の追加特徴メタデータが存在する場合(S1202でYES)には、S1203に移る。存在しない場合(S1202でNO)には、S1207に移る。
S1203では、追加特徴メタデータリストの未処理の追加特徴メタデータを一つ選び、推論に使用する特徴メタデータに加える。そして、推論用事例データセットを更新された特徴メタデータを持つもののみに絞り込む。
S1204では、状況分析処理により状況リストを作成する。この処理は前述のフローチャート(図10)の処理(状況リスト作成処理)と同様である。なお、撮影者情報が特徴メタデータに加えられた場合は、S1004で推論対象メタデータと事例データの距離は、両データの撮影者間の人間関係が「本人」「家族」「友人」「知人」と離れるに従って距離を大きくなるよう値をとることが考えられる。
S1205では、状況リストに「確定」が含まれているかを判定する。これによって、S1203で追加した追加特徴メタデータを考慮したことにより、推論が確定されたか否かを判定できる。状況リストに確定が含まれている場合(S1205でYES)、S1207に移る。含まれない場合(S1205でNO)、S1206に移る。
S1206では、特徴メタデータと推論用事例データセットをもとにもどす。例えば、処理開始時に予め特徴メタデータと推論用事例データセットの情報を保持しておき、これで上書きする。そしてS1202へ戻る。
S1207では、追加特徴メタデータを加えた特徴メタデータを用いて、単純推論処理により結果を得る。単純推論処理の処理内容は前述のフローチャート(図11)のとおりである。
S1208では、特徴メタデータと推論用事例データセットをもとにもどす。例えば、処理開始時に予め特徴メタデータと推論用事例データセットの情報を保持しておき、これで上書きする。そして、重複推論処理を終了する。
(階層推論処理)
次に、本実施形態における階層推論部307の処理についてフローチャート(図13)を用いて説明する。この処理は、処理選択テーブル図9のID2の処理である階層推論処理に相当する。
S1301では、推論を行うために使用する特徴メタデータの中で、最上位の階層を有するものをリストアップする。本実施形態では、階層構造はテーブル形式で予め保持しておくため(図5)、このテーブルを参照して最上位フラグがONの親メタデータをリストアップする。
S1302では、S1301あるいはS1305で作成したリストが空かを判定する。リストが空であることは処理が終了したことを意味する。空である場合(S1302でYES)、S1306に移る。空でない場合(S1302でNO)、S1303に移る。
S1303では、S1301あるいはS1305で作成したリストに含まれる階層に属する事例データのみに推論用事例データセットを絞り込む。例えば、推論対象メタデータが「地名」であるとき、最上位階層のメタデータのリストに「日本」「アメリカ」とある場合を考える。このとき、現在の推論用事例データセットからさらに「地名」に「日本」もしくは「アメリカ」とある事例データのみに絞り込まれたものが、新たな推論用事例データセットとなる。
S1304では、S1303で得た推論用事例データセットを用いて、推論処理を行う。この推論処理は前述のフローチャート(図8)の処理に相当する。この推論処理を行うときは、処理選択テーブル(図9)のID2の無効化フラグはONとなっている。そのため、階層推論処理は選ばれない。加えて、「階層」の「混在」などの状況が、S1303で得た推論用事例データセットに含まれていたとしても、フローチャート(図8)によって適切な推論処理が選ばれ(S803)、結果を得ることができる(S804)。
S1305では、S1304で得た結果を保持する。そして、次の階層をリストアップする。その後、S1302に戻る。具体的には、図5からこの結果と同じ値を親メタデータに持つ、子メタデータをリストアップする。例えば、結果が「日本」であった場合、子メタデータとして「東京」「京都」がリストアップされることになる。
S1306では、S1305で保持していた結果を本階層推論処理の結果とする。ただし、何も保持していない場合「推論不可能」を結果とする。そして、階層推論処理を終了する。
上記のように本実施形態では、対象データに付与済みのメタデータと同じ種類の推論用メタデータに対応する、他の種類の推論用メタデータの値の分布状況に基づいて、新たに付与するメタデータを推論するための推論手法を決定し、推論する。このため、分布状況に応じて最適な推論手法を用いて新たに付与するメタデータを決定するため、メタデータを推論するために予め用意されているデータの性質に関わらず、適切なメタデータを精度よく決定することが可能である。
また、本実施形態では、付与済みメタデータの種類と、当該付与済みメタデータの値からその値を推論可能なメタデータの種類と、の対応関係を示す対応情報(推論ルールテーブル)を予め記憶しておく。そして、この対応情報を参照して、対象データの付与済みメタデータの種類に対応するメタデータの種類を、対象データに新たに付与するメタデータの種類として特定する。このため、メタデータを推論するために予め用意されているデータから、推論に必要なデータを簡単な処理により特定することができる。
なお、本実施形態では、メタデータの推論の際の状況として4つの場合を想定した。そして、各状況に応じてメタデータの推論手法を選択するメタデータ付与装置について述べた。しかし、本実施形態に係る構成が対象とする状況はこれらにのみ限定されるわけではない。例えば、メタデータが複数の値を持つべき状況である「多値」などが存在する。具体的には、地名には別称が存在し、エベレストをチョモランマと表現することがある。こうした場合、上記推論処理によって解決はできないため、複数の値を付与できる推論手法が必要である。例えば、処理選択テーブルに優先度「3.5」で状況が「混在」の場合に次の処理に関連付けておく。該処理は、あらかじめ複数の同じ値を対応付けたテーブルを保持しておき、同じ値とみなすべきメタデータを一つの値に置換した推論用事例データセットを用意する。そして、フローチャート(図8)の推論処理を呼び出し、結果を得たら前に置換した内容をテーブルに従って複数のメタデータ値に置換することが考えられる。そのため、状況の特定手法およびその選択手法は想定する状況に合わせて構成されるため、これらも本実施形態に述べるものに限定されるわけではない。また、ここで述べる各状況に合わせた推論手法もこれらに限定されるわけではない。
<<実施形態2>>
実施形態1では、階層推論処理の際に利用する階層構造が与えられている場合について説明した。本実施形態では、階層構造を事例データの分布状況から自動的に構築する構成(階層構造構築装置)について説明する。本実施形態の構成によれば、4つの状況「階層」「未登録」「混在」「確定」が、事例データの分布状況のみに基づいて分かるようになる。
本実施形態では、階層性を判定する対象の対象メタデータと同じ種類の特徴メタデータに対応する、他の種類の特徴メタデータの値の分布状況を、他の種類の特徴メタデータの値の分布をクラスタによりクラスタリングして分析する。そして、このクラスタの包含関係により対象メタデータの階層性を判定する。このため、簡易な処理でメタデータの階層性を自動的に判定することができる。
前述のように、メタデータの階層性は「地名」などのメタデータに現れる。例えば、モーターショーなどでは「展示会場」の下に「乗用車ゾーン」や「二輪車ソーン」が存在する。こうした階層性がある場合、地名に「展示会場」あるいは「乗用車ゾーン」を持った事例データを、撮影位置に基づいてプロットする。すると、「展示会場」が「乗用車ゾーン」を包含するよう事例データが分布する事が多い。本実施形態では、こうした性質を利用して、事例データから階層構造を獲得する。
(階層構造構築装置の構成)
図15は本実施形態における階層構造構築装置の構成を示す図である。図15において、事例管理部301は、実施形態1で説明した図3の事例管理部301と同じである。
階層メタデータ決定部1501では、事例データから階層構造を構築する対象となるメタデータ(以降、階層メタデータと呼ぶ)と、その構造を発見するために用いるメタデータ(以降、特徴メタデータと呼ぶ)を決定する。階層メタデータと特徴メタデータは、入力デバイス109より指定されてもよいし、外部記憶装置104に記録された所定の設定ファイルなどから読み出してもよい。ただし、階層メタデータと特徴メタデータの決定手法はこれらに限定されるものではない。
次に、事例データ分割部1502では、事例管理部301で管理されている事例データにおいて、階層メタデータの値が同じでも異なる意味のものを別々に扱うための処理を行う。これは、次の目的で行う。例えば、モーターショーの例において、乗用車ゾーンや二輪車ゾーンの下に、さらに各社出展会社のブースがある場合を想定する。このとき、ある2つの事例データの地名がともに「A社ブース」であったとしても、片方が「乗用車ゾーン」、もう一方が「二輪車ゾーン」のA社ブースであることもありえる。そこで、階層メタデータの値が同じでも異なる意味のものを別々に扱うための処理を行う。これによって、同じ意味を持つ事例データ集合が得られる。詳細な処理内容は、フローチャート(図16)を用いて後述する。
包含関係決定部1503では、事例データ分割部1502で得た事例データ集合同士の包含関係を得る。階層構造構築部1504では、包含関係決定部1503で得た包含関係から、階層構造を構築する。これらの機能要素の詳細な処理内容についても、フローチャート(図16)を用いて後述する。
(階層構造構築処理)
本実施形態における階層構造構築装置の処理についてフローチャート(図16)を用いて説明する。まず、S1601では、階層メタデータ決定部1501によって、階層構造の構築対象となる階層メタデータと、階層構造を決定するために使用する特徴メタデータを決める。
S1602では、階層メタデータの値のリストを作成する。具体的には、事例管理部301で管理されている事例データの階層メタデータの値を全て列挙し、そこから重複をなくしたものをリストとして得る。
S1603では、S1602で得たリストに未処理の値が存在するかを調べる。初期のリストから、以降のS1604〜S1606の処理が行なわれた値を削除するので、リストが空である場合には未処理がないと判定される。あるいは、リストに処理済フラグを設け、処理済みフラグがOFF(未処理を意味する)である値が残っているかで判定してもよい。未処理の値がある場合(S1603でYES)には、S1604に移る。未処理の値がない場合(S1603でNO)には、S1607に移る。
S1604では、S1602で得たリストから値を一つ選択する。そして、事例管理部301の事例データ(階層メタデータ)から、この選択した値を持つ事例データを特定する。
S1605では、S1604で特定した事例データ集合に対してクラスタリングを適用する。クラスタリングは次の目的で行う。事例データは同じメタデータ値であっても、異なる種類の事例データであることがある。例えば、モーターショーの例において、乗用車ゾーンや二輪車ゾーンの下に、さらに各社出展会社のブースがある場合を想定する。このとき、ある2つの事例データの地名がともに「A社ブース」であったとしても、片方が「乗用車ゾーン」、もう一方が「二輪車ゾーン」のA社ブースであることもありえる。この場合、それぞれのA社ブースは異なるものを指す。こうした、上位階層が異なる事例データを分離するためにクラスタリングを行う。クラスタリングは特徴メタデータに基づく類似度を用いて、階層的クラスタリングを用いて結果を得ることができる。あるいは、事例データのk近傍の事例データを連結し得られる連結成分を一つのクラスタとしてもよい。本実施形態に係るクラスタリング手法は、これらに限定されるものではない。また、クラスタリングの結果は必ずしも事例データを分割する必要はなく、全てが一つのクラスタとなることがあってもよい。
S1606では、S1605で得たクラスタリングの結果を保持する。具体的には、「メタデータ値」と「クラスタID」を対応付けて保持する。さらに、「クラスタID」と「事例データID」を対応付けて保持する。メタデータ値とはS1604で選択した値である。「クラスタID」はS1605で得たクラスタを識別するために付与した識別子である。事例データIDは事例管理部301で管理されている事例データに対応付けるための識別子である。クラスタとクラスタIDとの対応関係を示すテーブルをクラスタテーブルと呼ぶ。事例データと事例データIDとの対応関係を示すテーブルをクラスタ構成テーブルと呼ぶ。これらテーブルは、以降の処理に用いられるとともに、後述する階層推論処理においても用いられる。なお、S1602〜S1606の処理は、事例データ分割部1502によって実行される。
S1603〜S1606をリストが空になるまで繰り返した場合の処理例について説明する。例えば、与えられた特徴メタデータのもとで事例データが図17のように分布したとする。図17の大文字アルファベットは事例データを表しており、階層メタデータの値としてこれらのアルファベットをとりうるとする。図17中の破線の矩形1701〜1705はS1605で得られたクラスタを概念的に示している。図17より、同じ事例データBであっても、1702と1705の別々のクラスタが得られていることがわかる。これらクラスタとメタデータ値を対応付けて、クラスタテーブルは図18のように求まる。
S1607では、包含関係決定部1503によって、S1605で得たクラスタ同士の包含関係を決定する。具体的には、クラスタを囲う領域(図17の例では矩形領域)の包含関係から求めることができる。例えば、クラスタAがBを包含する関係を「A⊃B」のように表現する。このとき、ある特徴メタデータのもとで事例データが図17に示すよう分布している場合、クラスタを囲う矩形領域は1701〜1705のように求まる。そして、これらの包含関係として「1701⊃1702」「1701⊃1703」「1702⊃1703」「1704⊃1705」が求まることになる。なお、包含関係の決定の際に、クラスタAがBをある程度覆っていれば包含していると判定してもよい。具体的には、Bの矩形領域の面積をR(B)とし、AとBの重なる領域をR(A∧B)とするとR(A∧B)/R(B)が一定値(例えば、0.95)を超えた場合包含していると判定してよい。ただし、包含関係の決定手法はこれに限られるものではない。
S1608では、階層構造構築部1504によって、S1607で得た包含関係から階層構造を構築(決定)する。具体的には、前述の図5に示すような階層構造を保持するテーブル(以下、階層構造テーブルと呼ぶ)を作成する。ただし、本実施形態ではメタデータ値ではなくクラスタIDを用いるため、項目は「最上位フラグ」「親クラスタID」「子クラスタID」となる。まず、S1607で得た包含関係より「親クラスタID」「子クラスタID」を埋める。ただし、包含関係は階層構造上の親子関係ではなく先祖子孫関係を表している。そこで、これを親子関係のみに絞り込む。例えば、図17より得た包含関係からは「1701⊃1702」「1702⊃1703」「1704⊃1705」が得られ、これをテーブルに保持する。次に、子クラスタとして現れない親クラスタを持つ「最上位フラグ」をONにする。それ以外は全てOFFとする。上記処理によって得られる階層構造テーブルは図19のようになる。なお、S1607で包含関係が得られなかった場合は、階層構造テーブルは作成しない。
実施形態1のメタデータ付与装置とあわせて使う場合、メタデータ付与装置の処理が行われる前に予め階層構造を構築しておく。例えば、フローチャート(図6)のS604の直後に、階層メタデータを推論対象メタデータとして上記処理を行って階層構造を構築してもよい。あるいは、S601の前に、予め推論ルールテーブルに記述されている全ての推論対象メタデータの階層構造を上記処理によって構築しておいてもよい。ただし、階層構造の構築のタイミングはこれらに限定されない。
(階層推論処理)
次に、実施形態1で述べた階層推論処理において、本実施形態で構築した階層構造を用いた場合について述べる。この処理内容は、図13のフローチャートに示すものとほぼ同じになる。ただ、階層を特定するために、メタデータ値ではなくクラスタIDを用いる点が異なる。以下、図13を参照して本実施形態における階層推論処理を説明する。
S1301では、最上位の階層をリストアップする。例えば、階層構造テーブルがあらかじめ図19のように得られている場合、最上位フラグがONのクラスタIDをリストアップする。
S1302では、S1301あるいはS1305で作成したリストが空かを判定する。空である場合(S1302でYES)、S1306に移る。空でない場合(S1302でNO)、S1303に移る。
S1303では、S1301あるいはS1305で作成したリストに含まれる階層に属する事例データのみに推論用事例データセットを絞り込む。さらに、推論対象メタデータはクラスタIDに置き換えたものを新たな推論用事例データセットとする。例えば、リストに「1701」「1704」とある場合を想定する。このとき、現在の推論用事例データセットからさらにクラスタ「1701」もしくは「1702」に属す事例データのみに絞り込む。具体的には、クラスタ構成テーブルを参照して、「1701」もしくは「1702」にあるクラスタIDに対応付けられた事例データのみを残す。そして、推論対象メタデータをクラスタIDに置き換えて、新たな推論用事例データセットを得る。
S1304では、S1303で得た推論用事例データセットを用いて、推論処理を行う。この推論処理は前述の図8のフローチャートを参照して説明した処理に相当する。推論処理の後、S1305へ進む。
S1305では、S1304で得た結果を保持する。そして、次の階層をリストアップする。その後、S1302に戻る。具体的には、階層構造テーブル図19からこの結果のクラスタIDを親クラスタIDに持つ、子IDをリストアップする。例えば、結果が「1701」であった場合、「1702」がリストアップされることになる。なお、次の階層が見つからない場合は、リストは空になる。
一方、S1306では、処理の結果を構成する。具体的にはS1305で保持した結果は、クラスタIDであるためこれを対応するメタデータ値に置き換える。具体的には、保持している結果が「1701⇒1702⇒1703」であった場合、クラスタテーブル(図18)を参照して「A⇒B⇒C」を得る。なお、S1305で何も保持していない場合「推論不可能」を結果とする。なお、S1301〜S1306の処理は、実施形態1における階層推論部307によって行われることになる。
<<実施形態3>>
実施形態1では、付与対象取得部302で得られた画像データ及び画像データに関連付けられたメタデータを推論対象データとしていた。本実施形態では、これら画像データのグループや画像に関連付けられたメタデータのグループを推論対象メタデータとする。
グループの作成に際しては、付与対象取得部302において、例えば、外部記憶装置104でフォルダ管理された画像データあるいはメタデータのみを取得した場合、フォルダごとにグループ化することができる。そして、このグループのメタデータとして、グループの構成要素のメタデータの平均値や最頻値などの代表値を取ることができる。ただし、グループの作成手法およびメタデータの値の取り方はこれに限定されるものではない。
また、グループに対するメタデータが推論によって得られた場合、付与対象書出し部308では、グループの構成要素の全てにこのメタデータを反映させるよう書き込む。
上記構成によれば、予めメタデータが付与された画像データ集合を用いる場合において、状況に合わせた推論手法を決定することができ、それによりメタデータを精度よく求められるようになる。

Claims (8)

  1. 対象データにメタデータを付与する情報処理装置であって、
    前記対象データに予め付与されている付与済みメタデータの値を取得する第1取得手段と、
    前記対象データに対して新たに付与するメタデータの値を推論するための、互いに対応づけられた複数種類の推論用メタデータの値からそれぞれ構成される複数のセットを取得する第2取得手段と、
    前記付与済みメタデータと同じ種類の前記推論用メタデータに対応する、他の種類の前記推論用メタデータの値の分布状況を分析する分析手段と、
    前記分布状況に基づいて、前記対象データに新たに付与するメタデータを推論するために用いる推論手法を決定する決定手段と、
    前記決定した推論手法を用いて、前記付与済みメタデータの値と前記複数の推論用メタデータの値のセットとに基づいて、前記対象データに新たに付与するメタデータの値を推論する推論手段と、
    前記推論したメタデータの値を前記対象データに付与する付与手段と、
    を備え
    前記分析手段は、
    前記同じ種類の前記推論用メタデータを、前記付与済みメタデータの値からのベクトル間距離が小さいものから順にk個選択し、
    前記k個の同じ種類の推論用メタデータに対応する前記他の種類の前記推論用メタデータの値が、一定以上の割合で同一の値をとるか否かを前記分布状況として分析する
    ことを特徴とする情報処理装置。
  2. 付与済みメタデータの種類と、当該付与済みメタデータの値からその値を推論可能なメタデータの種類と、の対応関係を示す対応情報を記憶する記憶手段と、
    前記対応情報を参照して、前記対象データの付与済みメタデータの種類に対応するメタデータの種類を、該対象データに新たに付与するメタデータの種類として特定する特定手段と、
    をさらに備え、
    前記分析手段は、前記特定手段により特定された種類の前記推論用メタデータについて、その値の分布状況を分析し、
    前記推論手段は、前記特定手段により特定された種類の前記推論用メタデータの値を、前記新たに付与するメタデータの値として推論する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 対象データにメタデータを付与する情報処理装置であって、
    前記対象データに予め付与されている付与済みメタデータの値を取得する第1取得手段と、
    前記対象データに対して新たに付与するメタデータの値を推論するための、互いに対応づけられた複数種類の推論用メタデータの値からそれぞれ構成される複数のセットを取得する第2取得手段と、
    前記付与済みメタデータと同じ種類の前記推論用メタデータに対応する、他の種類の前記推論用メタデータの値の分布状況を分析する分析手段と、
    前記分布状況に基づいて、前記対象データに新たに付与するメタデータを推論するために用いる推論手法を決定する決定手段と、
    前記決定した推論手法を用いて、前記付与済みメタデータの値と前記複数の推論用メタデータの値のセットとに基づいて、前記対象データに新たに付与するメタデータの値を推論する推論手段と、
    前記推論したメタデータの値を前記対象データに付与する付与手段と、
    複数のメタデータ間の階層性を示す階層情報を保持する保持手段と、を備え、
    前記分析手段は、前記階層情報を参照して、前記他の種類の前記推論用メタデータに階層性があるか否かを前記分布状況として分析する
    ことを特徴とする情報処理装置。
  4. メタデータの階層性を判定する情報処理装置であって、
    階層性を判定する対象の対象メタデータの値を取得する第1取得手段と、
    前記対象メタデータの階層性を推論するための、互いに対応づけられた複数種類の特徴メタデータの値からそれぞれ構成される複数のセットを取得する第2取得手段と、
    前記対象メタデータと同じ種類の前記特徴メタデータに対応する、他の種類の前記特徴メタデータの値の分布状況を分析する分析手段と、
    前記分布状況に基づいて、前記対象メタデータの階層性を判定する判定手段と、
    を備え、
    前記分析手段は、他の種類の前記特徴メタデータの値の分布をクラスタによりクラスタリングし、
    前記判定手段は、前記クラスタの包含関係により前記階層性を判定する
    ことを特徴とする情報処理装置。
  5. 対象データにメタデータを付与する情報処理装置の制御方法であって、
    前記情報処理装置の第1の取得手段が、前記対象データに予め付与されている付与済みメタデータの値を取得する第1取得工程と、
    前記情報処理装置の第2の取得手段が、前記対象データに対して新たに付与するメタデータの値を推論するための、互いに対応づけられた複数種類の推論用メタデータの値からそれぞれ構成される複数のセットを取得する第2取得工程と、
    前記情報処理装置の分析手段が、前記付与済みメタデータと同じ種類の前記推論用メタデータに対応する、他の種類の前記推論用メタデータの値の分布状況を分析する分析工程と、
    前記情報処理装置の決定手段が、前記分布状況に基づいて、前記対象データに新たに付与するメタデータを推論するために用いる推論手法を決定する決定工程と、
    前記情報処理装置の推論手段が、前記決定した推論手法を用いて、前記付与済みメタデータの値と前記複数の推論用メタデータの値のセットとに基づいて、前記対象データに新たに付与するメタデータの値を推論する推論工程と、
    前記情報処理装置の付与手段が、前記推論したメタデータの値を前記対象データに付与する付与工程と、
    を備え
    前記分析工程では、
    前記同じ種類の前記推論用メタデータを、前記付与済みメタデータの値からのベクトル間距離が小さいものから順にk個選択し、
    前記k個の同じ種類の推論用メタデータに対応する前記他の種類の前記推論用メタデータの値が、一定以上の割合で同一の値をとるか否かを前記分布状況として分析する
    ことを特徴とする情報処理装置の制御方法。
  6. 対象データにメタデータを付与する情報処理装置の制御方法であって、
    前記情報処理装置の第1の取得手段が、前記対象データに予め付与されている付与済みメタデータの値を取得する第1取得工程と、
    前記情報処理装置の第2の取得手段が、前記対象データに対して新たに付与するメタデータの値を推論するための、互いに対応づけられた複数種類の推論用メタデータの値からそれぞれ構成される複数のセットを取得する第2取得工程と、
    前記情報処理装置の分析手段が、前記付与済みメタデータと同じ種類の前記推論用メタデータに対応する、他の種類の前記推論用メタデータの値の分布状況を分析する分析工程と、
    前記情報処理装置の決定手段が、前記分布状況に基づいて、前記対象データに新たに付与するメタデータを推論するために用いる推論手法を決定する決定工程と、
    前記情報処理装置の推論手段が、前記決定した推論手法を用いて、前記付与済みメタデータの値と前記複数の推論用メタデータの値のセットとに基づいて、前記対象データに新たに付与するメタデータの値を推論する推論工程と、
    前記情報処理装置の付与手段が、前記推論したメタデータの値を前記対象データに付与する付与工程と、
    を備え、
    前記分析工程では、複数のメタデータ間の階層性を示す階層情報を参照して、前記他の種類の前記推論用メタデータに階層性があるか否かを前記分布状況として分析する
    ことを特徴とする情報処理装置の制御方法。
  7. メタデータの階層性を判定する情報処理装置の制御方法であって、
    前記情報処理装置の第1の取得手段が、階層性を判定する対象の対象メタデータの値を取得する第1取得工程と、
    前記情報処理装置の第2の取得手段が、前記対象メタデータの階層性を推論するための、互いに対応づけられた複数種類の特徴メタデータの値からそれぞれ構成される複数のセットを取得する第2取得工程と、
    前記情報処理装置の分析手段が、前記対象メタデータと同じ種類の前記特徴メタデータに対応する、他の種類の前記特徴メタデータの値の分布状況を分析する分析工程と、
    前記情報処理装置の判定手段が、前記分布状況に基づいて、前記対象メタデータの階層性を判定する判定工程と、
    を備え、
    前記分析工程では、他の種類の前記特徴メタデータの値の分布をクラスタによりクラスタリングし、
    前記判定工程では、前記クラスタの包含関係により前記階層性を判定する
    ことを特徴とする情報処理装置の制御方法。
  8. コンピュータを請求項1乃至のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2009135356A 2009-06-04 2009-06-04 情報処理装置及びその制御方法、プログラム Active JP5268787B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009135356A JP5268787B2 (ja) 2009-06-04 2009-06-04 情報処理装置及びその制御方法、プログラム
US12/766,575 US8290957B2 (en) 2009-06-04 2010-04-23 Information processing apparatus, information processing method and program therefor
CN2010101944430A CN101908057B (zh) 2009-06-04 2010-06-01 信息处理装置与信息处理方法
US13/612,500 US8620920B2 (en) 2009-06-04 2012-09-12 Information processing apparatus, information processing method and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009135356A JP5268787B2 (ja) 2009-06-04 2009-06-04 情報処理装置及びその制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2010282431A JP2010282431A (ja) 2010-12-16
JP2010282431A5 JP2010282431A5 (ja) 2012-06-28
JP5268787B2 true JP5268787B2 (ja) 2013-08-21

Family

ID=43263518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009135356A Active JP5268787B2 (ja) 2009-06-04 2009-06-04 情報処理装置及びその制御方法、プログラム

Country Status (3)

Country Link
US (2) US8290957B2 (ja)
JP (1) JP5268787B2 (ja)
CN (1) CN101908057B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042766A1 (ja) * 2011-09-22 2013-03-28 オリンパス株式会社 画像処理装置、画像処理システム、及び画像読出し装置
JP6116168B2 (ja) 2012-09-14 2017-04-19 キヤノン株式会社 情報処理装置およびその方法
US9087138B2 (en) 2013-01-15 2015-07-21 Xiaofan Zhou Method for representing and storing hierarchical data in a columnar format
CN105138278B (zh) * 2015-07-27 2018-05-25 云南电力调度控制中心 一种智能变电站网络报文的裸盘存储方法
JP7196502B2 (ja) * 2018-09-26 2022-12-27 株式会社リコー 情報処理装置、情報処理システム、ファイル一覧表示方法及びプログラム
JP7267703B2 (ja) * 2018-09-27 2023-05-02 キヤノン株式会社 画像データ格納装置、画像データ格納方法、及び、プログラム
JPWO2021020299A1 (ja) * 2019-07-30 2021-02-04
CN111400359B (zh) * 2020-03-17 2023-11-10 创新奇智(北京)科技有限公司 面向股票趋势预测的相似k线检索方法及检索系统

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5553289A (en) * 1991-12-26 1996-09-03 International Business Machines Corporation System for automatically assigning attributes to objects of multimedia distribution when the objects being within a predetermined relationship
JP2891616B2 (ja) * 1993-09-24 1999-05-17 富士通株式会社 仮ラベル割付処理方式と実ラベル割付処理方式
JP2002529858A (ja) * 1998-11-06 2002-09-10 ザ トゥルスティーズ オブ コロンビア ユニバーシティ イン ザ シティ オブニュー ヨーク 相互使用可能なマルチメディアコンテンツ記述のためのシステムおよび方法
US6941321B2 (en) * 1999-01-26 2005-09-06 Xerox Corporation System and method for identifying similarities among objects in a collection
US6353823B1 (en) * 1999-03-08 2002-03-05 Intel Corporation Method and system for using associative metadata
US6496806B1 (en) * 1999-12-16 2002-12-17 Samsys Technologies Inc. Method and system for tracking clustered items
US6791530B2 (en) * 2000-08-29 2004-09-14 Mitsubishi Electric Research Laboratories, Inc. Circular graphical user interfaces
US6804684B2 (en) * 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
US6990498B2 (en) * 2001-06-15 2006-01-24 Sony Corporation Dynamic graphical index of website content
US7068309B2 (en) * 2001-10-09 2006-06-27 Microsoft Corp. Image exchange with image annotation
US6917360B2 (en) * 2002-06-21 2005-07-12 Schlumberger Technology Corporation System and method for adaptively labeling multi-dimensional images
US7149755B2 (en) * 2002-07-29 2006-12-12 Hewlett-Packard Development Company, Lp. Presenting a collection of media objects
US7234106B2 (en) * 2002-09-10 2007-06-19 Simske Steven J System for and method of generating image annotation information
US7409405B1 (en) * 2002-12-06 2008-08-05 Adobe Systems Incorporated File dispatcher for multiple application targets
US6997388B2 (en) * 2003-02-19 2006-02-14 Inksure Rf Inc. Radio frequency data carrier and method and system for reading data stored in the data carrier
US7296223B2 (en) * 2003-06-27 2007-11-13 Xerox Corporation System and method for structured document authoring
US7313574B2 (en) * 2003-10-02 2007-12-25 Nokia Corporation Method for clustering and querying media items
US20050104976A1 (en) * 2003-11-17 2005-05-19 Kevin Currans System and method for applying inference information to digital camera metadata to identify digital picture content
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
US20050234896A1 (en) 2004-04-16 2005-10-20 Nobuyuki Shima Image retrieving apparatus, image retrieving method and image retrieving program
JP2006004157A (ja) * 2004-06-17 2006-01-05 Olympus Corp 画像検索プログラム、画像検索方法、画像検索装置及び記録媒体
KR100921845B1 (ko) * 2004-05-26 2009-10-13 노키아 코포레이션 미디어 아이템들의 관리를 위한 방법, 시스템, 컴퓨터프로그램 및 디바이스
JP2006005682A (ja) * 2004-06-17 2006-01-05 Toshiba Corp 動画像のメタデータのデータ構造及びその再生方法
JP2006050275A (ja) * 2004-08-04 2006-02-16 Toshiba Corp メタデータの構造及びその再生方法
JP2006202211A (ja) * 2005-01-24 2006-08-03 Fujitsu Ltd 画像描画装置および画像描画方法
JP2007013939A (ja) * 2005-05-30 2007-01-18 Matsushita Electric Ind Co Ltd メタデータ付与装置及びメタデータ付与方法
JP4507991B2 (ja) * 2005-06-09 2010-07-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2007052581A (ja) * 2005-08-17 2007-03-01 Sony Corp メタデータ生成装置、メタデータ生成システム、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP2007102290A (ja) * 2005-09-30 2007-04-19 Seiko Epson Corp 画像データ管理装置、画像データ管理方法および画像データ管理プログラム
US7281664B1 (en) * 2005-10-05 2007-10-16 Leapfrog Enterprises, Inc. Method and system for hierarchical management of a plurality of regions of an encoded surface used by a pen computer
KR100673014B1 (ko) * 2005-10-28 2007-01-24 삼성전자주식회사 포토 마스크의 제조 방법
US7663671B2 (en) * 2005-11-22 2010-02-16 Eastman Kodak Company Location based image classification with map segmentation
US7339523B2 (en) * 2005-12-05 2008-03-04 Honeywell International Inc. Navigation system using radio frequency tags
US8341112B2 (en) * 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
KR20080026003A (ko) * 2006-09-19 2008-03-24 삼성전자주식회사 물리적인 상대 위치에 기반한 사진상의 ⅰd 태깅 장치 및방법
US7698336B2 (en) * 2006-10-26 2010-04-13 Microsoft Corporation Associating geographic-related information with objects
JP2008165700A (ja) * 2007-01-05 2008-07-17 Seiko Epson Corp 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム
US20080201302A1 (en) * 2007-02-16 2008-08-21 Microsoft Corporation Using promotion algorithms to support spatial searches
US8189880B2 (en) * 2007-05-29 2012-05-29 Microsoft Corporation Interactive photo annotation based on face clustering
JP2008305311A (ja) * 2007-06-11 2008-12-18 Sony Corp 表示装置および方法、プログラム、並びに記録媒体。
US8069173B2 (en) * 2007-11-12 2011-11-29 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same, information processing method, and computer program
JP2009140361A (ja) * 2007-12-07 2009-06-25 Canon Inc データ管理装置及びデータ処理方法
US8150098B2 (en) * 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
US8676001B2 (en) * 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
US8086048B2 (en) * 2008-05-23 2011-12-27 Yahoo! Inc. System to compile landmark image search results
WO2009154861A2 (en) * 2008-06-06 2009-12-23 Google Inc. Annotating images
US20100029326A1 (en) * 2008-07-30 2010-02-04 Jonathan Bergstrom Wireless data capture and sharing system, such as image capture and sharing of digital camera images via a wireless cellular network and related tagging of images
US8411953B2 (en) * 2008-09-30 2013-04-02 International Business Machines Corporation Tagging images by determining a set of similar pre-tagged images and extracting prominent tags from that set
US20100171763A1 (en) * 2009-01-05 2010-07-08 Apple Inc. Organizing Digital Images Based on Locations of Capture
US8275733B2 (en) * 2009-03-11 2012-09-25 Hewlett-Packard Development Company, L.P. Creating an album
US8483715B2 (en) * 2009-03-26 2013-07-09 Yahoo! Inc. Computer based location identification using images
US20110013810A1 (en) * 2009-07-17 2011-01-20 Engstroem Jimmy System and method for automatic tagging of a digital image
US8626699B2 (en) * 2009-09-16 2014-01-07 Microsoft Corporation Construction of photo trip patterns based on geographical information

Also Published As

Publication number Publication date
US20130038720A1 (en) 2013-02-14
CN101908057B (zh) 2013-06-12
US8290957B2 (en) 2012-10-16
US8620920B2 (en) 2013-12-31
US20100312765A1 (en) 2010-12-09
CN101908057A (zh) 2010-12-08
JP2010282431A (ja) 2010-12-16

Similar Documents

Publication Publication Date Title
JP5268787B2 (ja) 情報処理装置及びその制御方法、プログラム
JP4902270B2 (ja) デジタル画像のコレクションの組み立て方法
US8402054B2 (en) Systems and methods for prioritizing content based on user profile relevance
US9323855B2 (en) Processing media items in location-based groups
JP5615191B2 (ja) 画像管理装置、画像管理装置の制御方法、及びプログラム
CN110521213B (zh) 故事影像制作方法及系统
US11430211B1 (en) Method for creating and displaying social media content associated with real-world objects or phenomena using augmented reality
JP2012104949A (ja) 情報処理装置、情報処理装置の制御方法、プログラム
JP5178392B2 (ja) 情報処理装置及び情報処理装置の制御方法
US11347739B2 (en) Performing a chained search function
CN104519218A (zh) 图像处理设备和图像处理方法
KR101850501B1 (ko) 역사 컨텐츠 제공 시스템
US20110202582A1 (en) Method and apparatus for managing tag of multimedia content
US10972656B2 (en) Cognitively coaching a subject of a photograph
US20230121238A1 (en) Dynamic virtual network access
US20170192855A1 (en) Method for selecting a content comprising audiovisual data and corresponding electronic device, system, computer readable program product and computer readable storage medium
WO2020070655A1 (en) System and method for creating personalized story
CN114153214B (zh) 一种mr/ar/vr留言和创作场景控制方法、移动终端与可读存储介质
WO2019082606A1 (ja) コンテンツ管理機器、コンテンツ管理システム、および、制御方法
KR102569165B1 (ko) 사용자 트렌드에 기초한 사진 인화 서비스 제공 방법 및 장치
US20230316428A1 (en) System and method for tailoring user experiences
US20220044132A1 (en) Displaying contextual information of media
JP2011154643A (ja) メタデータ付与方法、メタデータ付与装置及びプログラム
JP2023140747A (ja) 情報処理装置、情報処理方法、プログラム、及び記録媒体
JP2019186868A (ja) 画像圧縮方法、画像復号方法、画像圧縮プログラム、画像復号プログラム、画像圧縮装置、および画像復号装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130507

R151 Written notification of patent or utility model registration

Ref document number: 5268787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151