JP6396353B2 - Determination apparatus and determination method - Google Patents

Determination apparatus and determination method Download PDF

Info

Publication number
JP6396353B2
JP6396353B2 JP2016054544A JP2016054544A JP6396353B2 JP 6396353 B2 JP6396353 B2 JP 6396353B2 JP 2016054544 A JP2016054544 A JP 2016054544A JP 2016054544 A JP2016054544 A JP 2016054544A JP 6396353 B2 JP6396353 B2 JP 6396353B2
Authority
JP
Japan
Prior art keywords
images
image
determination
partial
relevance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016054544A
Other languages
Japanese (ja)
Other versions
JP2017167987A (en
Inventor
崇史 宮崎
崇史 宮崎
隼人 小林
隼人 小林
佑輔 渡邊
佑輔 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2016054544A priority Critical patent/JP6396353B2/en
Publication of JP2017167987A publication Critical patent/JP2017167987A/en
Application granted granted Critical
Publication of JP6396353B2 publication Critical patent/JP6396353B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、判定装置、および判定方法に関する。   The present invention relates to a determination device and a determination method.

従来、入力された情報の解析結果に基づいて、入力された情報と関連する情報を検索もしくは生成し、検索もしくは生成した情報を応答として出力する技術が知られている。このような技術の一例として、生成したい画像の構成要素となる部分画像（下書き画像）の入力を受付けると、下書き画像のうち特徴を有する部分に類似する部分画像を検索して合成し、下書き画像データに対応した画像を生成して出力する技術が知られている。   2. Description of the Related Art Conventionally, a technique for searching or generating information related to input information based on an analysis result of input information and outputting the searched or generated information as a response is known. As an example of such a technique, when an input of a partial image (draft image) that is a component of an image to be generated is received, a partial image similar to a characteristic portion of the draft image is searched and synthesized, and the draft image A technique for generating and outputting an image corresponding to data is known.

特開２００４−３１８１８７号公報JP 2004-318187 A

「生体分子の分子動力学シミュレーション(1)方法」、古明地勇人、上林正巳、長嶋雲兵、J. Chem. Software, Vol. 6, No. 1, p. 1−36 (2000)、インターネット＜http://www.sccj.net/CSSJ/jcs/v6n1/a1/document.pdf＞（２０１６年２月２９日検索）“Molecular Dynamics Simulation of Biomolecules (1) Method”, Hayato Komeiji, Masami Uebayashi, Unbei Nagashima, J. Chem. Software, Vol. 6, No. 1, p. 1-36 (2000), Internet < http://www.sccj.net/CSSJ/jcs/v6n1/a1/document.pdf> (searched on February 29, 2016)

しかしながら、従来技術では、下書き画像の各部分に類似する部分画像を個別に検索しているに過ぎないため、合成結果の精度が必ずしも良くない場合がある。   However, in the prior art, only partial images similar to each portion of the draft image are individually searched, and thus the accuracy of the synthesis result may not always be good.

本願は、上記に鑑みてなされたものであって、部分画像の検索精度を向上させることを目的とする。   The present application has been made in view of the above, and an object thereof is to improve the search accuracy of partial images.

本願に係る判定装置は、関連性の判定対象となる３つの画像であって、所定の画像のうちそれぞれ異なる部分を構成する画像を特徴量の距離空間上に対応付ける対応部と、前記３つの画像が有する関連性を、前記距離空間上に対応付けられた前記３つの画像により定義づけられる角度として判定する判定部とを有することを特徴とする。   The determination apparatus according to the present application includes three images that are objects of determination of relevance, each of which corresponds to a different part of a predetermined image on a metric distance space, and the three images. And a determination unit that determines an association defined by the three images associated with each other in the metric space.

実施形態の一態様によれば、部分画像の検索精度を向上させることができる。   According to one aspect of the embodiment, the search accuracy of partial images can be improved.

図１は、実施形態に係る判定処理の一例を示す図である。FIG. 1 is a diagram illustrating an example of a determination process according to the embodiment. 図２は、実施形態に係る判定装置が有する機能構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of a functional configuration included in the determination apparatus according to the embodiment. 図３は、実施形態に係る画像データベースに登録される情報の一例を示す図である。FIG. 3 is a diagram illustrating an example of information registered in the image database according to the embodiment. 図４は、実施形態に係る判定装置が実行する処理の流れの一例を説明する図である。FIG. 4 is a diagram illustrating an example of a flow of processing executed by the determination apparatus according to the embodiment. 図５は、ハードウェア構成の一例を示す図である。FIG. 5 is a diagram illustrating an example of a hardware configuration.

以下に、本願に係る判定装置、判定装置、および判定方法を実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る判定装置、および判定方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。   Hereinafter, a mode for carrying out a determination device, a determination device, and a determination method according to the present application (hereinafter referred to as “embodiment”) will be described in detail with reference to the drawings. Note that the determination device and the determination method according to the present application are not limited to the embodiment. In the following embodiments, the same portions are denoted by the same reference numerals, and redundant description is omitted.

〔１．判定装置〕
まず、図１を用いて、実施形態に係る判定処理の一例について説明する。図１は、実施形態に係る判定処理の一例を示す図である。図１では、所定の学習データを用いて、画像が有する意味の関連性（以下、「画像間の関連性」と記載する場合がある。）を判定する判定処理の一例について説明する。また、以下の説明では、判定処理の結果に基づいて、画像間の関連性を学習するとともに、学習結果に基づいて、入力された画像と類似する画像を出力する処理の一例について説明する。 [1. Judgment device]
First, an example of the determination process according to the embodiment will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of a determination process according to the embodiment. In FIG. 1, an example of a determination process for determining the relevance of meanings possessed by images (hereinafter sometimes referred to as “relevance between images”) using predetermined learning data will be described. In the following description, an example of processing for learning an association between images based on the result of the determination processing and outputting an image similar to the input image based on the learning result will be described.

判定装置１０は、画像間の関連性を判定し、判定結果に基づく学習処理や判定処理を実行する装置である。例えば、判定装置１０は、サーバ装置やクラウドシステム等により実現される。このような判定装置１０は、画像間の関連性を判定する判定処理、判定処理の結果に基づいて画像間の関連性を学習する学習処理、及び判定結果に基づいて入力された画像と類似する画像等を出力する出力処理を実行する。   The determination device 10 is a device that determines the relevance between images and executes learning processing and determination processing based on the determination result. For example, the determination device 10 is realized by a server device, a cloud system, or the like. Such a determination apparatus 10 is similar to a determination process for determining relevance between images, a learning process for learning relevance between images based on the result of the determination process, and an image input based on the determination result. Output processing for outputting an image or the like is executed.

〔１−１．判定処理および学習処理〕
ここで、顔認識等の画像認識技術においては、入力された画像に撮像された顔が、予め登録されたどの人物の顔であるかを判定するため、入力された画像と予め登録された画像との関連性を判定する技術が用いられる。このような技術の手法の一つとして、ニューラルネットワークやディープラーニング等、判定対象となる画像の特徴を示す複数次元の数値、すなわち特徴量同士を距離で比較する距離空間に変換し、変換後の特徴量空間の配置を距離空間上（すなわち、特徴量空間上。以下同じ。）にマッピングすることで、画像間の関連性を判定する技術が知られている。 [1-1. (Judgment processing and learning processing)
Here, in an image recognition technique such as face recognition, in order to determine which person's face registered in advance in the input image is the face registered in the input image, the input image and the pre-registered image are determined. A technique for determining the relationship between the As one of the techniques of such a technique, a neural network, deep learning, etc., convert a multi-dimensional numerical value indicating the feature of the image to be judged, that is, a metric space that compares feature quantities by distance, A technique is known in which the relationship between images is determined by mapping the arrangement of the feature amount space on a metric space (that is, on the feature amount space; the same applies hereinafter).

例えば、このような特徴量の距離空間を用いた従来技術では、学習データとなる複数の画像を距離空間上にマッピングし、画像同士の類似性に基づいて、距離空間上における各画像間のコサイン距離（内積、又はコサイン類似度とも呼ばれる。）を調整することで、各画像間の関連性を学習する。そして、従来技術では、最終的に得られた各画像間のコサイン距離等に基づいて、各画像が類似する画像であるか否か判定する。すなわち、従来技術では、各画像間のコサイン距離に基づいて、画像間の関連性を判定する。   For example, in the conventional technique using a metric space of such feature amount, a plurality of images as learning data are mapped on the metric space, and cosines between the images on the metric space are based on the similarity between the images. The relationship between the images is learned by adjusting the distance (also called inner product or cosine similarity). In the prior art, it is determined whether or not the images are similar based on the cosine distance between the images finally obtained. That is, in the related art, the relevance between images is determined based on the cosine distance between the images.

しかしながら、画像間のコサイン距離に基づいて、各画像が類似する画像であるか否かを判定した場合、２つの画像間の類似度を判定することができるものの、３つの画像が有する関連性に基づいた判定を行うことができない。すなわち、従来技術においては、２つの画像間の関連性を判定しているに過ぎず、３つ以上の画像間の関連性を精度良く判定することができなかった。例えば、従来技術では、画像＃１、画像＃２、および画像＃３が有する関連性を判定する際に、画像＃１と画像＃２との関連性や、画像＃２と画像＃３との関連性を判定しているに過ぎず、画像＃１を中心とした画像＃２および画像＃３の関係等、３つの画像が全体として有する関連性を判定することができない。この結果、従来技術では、３つ以上の画像が有する関連性を距離空間上に反映させることができず、学習精度を向上させることができない。   However, if it is determined whether or not each image is a similar image based on the cosine distance between the images, the similarity between the two images can be determined, but the relevance of the three images It is not possible to make a determination based on this. That is, in the prior art, the relationship between two images is merely determined, and the relationship between three or more images cannot be accurately determined. For example, in the related art, when determining the relevance of the image # 1, the image # 2, and the image # 3, the relevance between the image # 1 and the image # 2, and the relationship between the image # 2 and the image # 3 The relevance is merely determined, and the relevance of the three images as a whole cannot be determined, such as the relationship between the image # 2 and the image # 3 centering on the image # 1. As a result, in the related art, the relevance of three or more images cannot be reflected on the metric space, and the learning accuracy cannot be improved.

例えば、顔認証等の技術では、顔の画像を目、鼻、唇、耳等、人の顔を構成する部分を撮像した部分画像に分割して学習するとともに、認証対象となる顔の画像から部分画像を生成し、生成した部分画像ごとに類似する部分画像を検索し、類似した部分画像を多く含む画像を認証対象の顔の画像として判定する。しかしながら、このような手法では、部分画像同士の類似性を判断しているに過ぎないため、全体として異なる人物の画像を認証対象の画像と判定してしまう恐れがある。例えば、従来技術では、利用者＃１の目や鼻と利用者＃２の目や鼻とが類似している場合、各利用者の目や鼻の位置関係が若干異なるとしても、利用者＃１と利用者＃２とを同一人物であると判定してしまう恐れがある。   For example, in a technique such as face authentication, a face image is divided into a partial image obtained by capturing a part of a human face, such as eyes, nose, lips, and ears, and is learned from the face image to be authenticated. A partial image is generated, a similar partial image is searched for each generated partial image, and an image including many similar partial images is determined as a face image to be authenticated. However, in such a method, since the similarity between the partial images is merely determined, there is a possibility that an image of a person who is different as a whole is determined as an image to be authenticated. For example, in the conventional technology, when the eyes and nose of the user # 1 and the eyes and nose of the user # 2 are similar, even if the positional relationship between the eyes and nose of each user is slightly different, the user # 1 1 and user # 2 may be determined to be the same person.

そこで、判定装置１０は、以下の判定処理を実行する。まず、判定装置１０は、学習データとして、複数の画像Ｃ１０を取得し、取得した各画像Ｃ１０から、複数の部分画像Ｃ２０を抽出する（ステップＳ１）。例えば、判定装置１０は、人の顔等を撮像した複数の画像Ｃ１０を学習データとして取得すると、取得した各画像Ｃ１０から、目、鼻、口等の各部分が撮像された範囲を部分画像Ｃ２０として抽出する。   Therefore, the determination apparatus 10 executes the following determination process. First, the determination apparatus 10 acquires a plurality of images C10 as learning data, and extracts a plurality of partial images C20 from each acquired image C10 (step S1). For example, when the determination apparatus 10 acquires, as learning data, a plurality of images C10 obtained by imaging a human face or the like, a range in which each part such as eyes, nose, and mouth is captured from each acquired image C10 is a partial image C20. Extract as

そして、判定装置１０は、部分画像Ｃ２０間の関連性を、距離空間上の距離および角度に落とし込んで判定する（ステップＳ２）。ここで、部分画像Ｃ２０間の関連性とは、部分画像Ｃ２０同士の類似性のみならず、各部分画像Ｃ２０が同一の画像Ｃ１０から抽出された部分画像Ｃ２０であるか否か、各部分画像Ｃ２０が同一の画像Ｃ１０内において近い位置の画像であるか等の指標である。そして、判定装置１０は、２画像間のコサイン距離、３画像間の角度、および４画像間の二面角をパラメータとすることで、部分画像間の関連性を学習したモデルを生成する学習処理を実行する。すなわち、判定装置１０は、ステップＳ２に示した判定処理による判定結果に基づいて、部分画像間の関連性を判定するための学習器の学習を行う。   Then, the determination device 10 determines the relevance between the partial images C20 by dropping into the distance and angle in the metric space (step S2). Here, the relevance between the partial images C20 is not only the similarity between the partial images C20 but also whether each partial image C20 is a partial image C20 extracted from the same image C10, whether each partial image C20. Is an index indicating whether the images are close to each other in the same image C10. The determination apparatus 10 uses the cosine distance between the two images, the angle between the three images, and the dihedral angle between the four images as parameters, and learning processing for generating a model that learns the relationship between the partial images Execute. That is, the determination apparatus 10 performs learning by a learning device for determining the relevance between partial images based on the determination result obtained by the determination process shown in step S2.

例えば、判定装置１０は、２つの部分画像（以下「２画像」と記載する。）の間の共起性、すなわち、類似度をコサイン距離として判定する（ステップＳ３）。具体的な例を挙げると、判定装置１０は、部分画像＃１と部分画像＃２とを距離空間上の配置に変換する。そして、判定装置１０は、部分画像＃１と部分画像＃２とが有する各画素の色彩や配置等が類似する場合には、コサイン距離の値が大きくなるように、部分画像＃１の距離空間上の配置と部分画像＃２の距離空間上の配置とを調整する。例えば、判定装置１０は、部分画像＃１と部分画像＃２とが、鼻や目などの同じ部位の画像である場合や、画像として類似する場合には、コサイン距離の値が大きくなるように、距離空間上の配置を調整する。すなわち、判定装置１０は、距離空間上のコサイン距離をパラメータとして、２画像間の関連性を学習する。   For example, the determination apparatus 10 determines the co-occurrence between two partial images (hereinafter referred to as “two images”), that is, the similarity as a cosine distance (step S3). As a specific example, the determination apparatus 10 converts the partial image # 1 and the partial image # 2 into an arrangement in the metric space. Then, when the color and arrangement of the pixels included in the partial image # 1 and the partial image # 2 are similar, the determination device 10 determines the distance space of the partial image # 1 so that the value of the cosine distance is increased. The upper arrangement and the arrangement of the partial image # 2 in the metric space are adjusted. For example, the determination device 10 increases the value of the cosine distance when the partial image # 1 and the partial image # 2 are images of the same part such as the nose or eyes, or when they are similar as images. , Adjust the placement in the metric space. That is, the determination apparatus 10 learns the relationship between two images using the cosine distance in the metric space as a parameter.

また、判定装置１０は、３つの部分画像（以下「３画像」と記載する。）の間の関連性を、距離空間において、３画像の中から選択された１つの部分画像（以下、「基準画像」と記載する。）を中心とする角度として判定する（ステップＳ４）。具体的には、判定装置１０は、距離空間上にマッピングされた３画像によって定義づけられる角度として、３画像が有する関連性を判定する。例えば、判定装置１０は、３画像のうちいずれか１つの画像を基準画像として選択する。また、判定装置１０は、距離空間上において、基準画像を中心（頂点）とする他の２つの部分画像間の角度を算出する。例えば、判定装置１０は、部分画像＃１、部分画像＃２、部分画像＃３の関連性を判定する場合、距離空間上において部分画像＃１を頂点とし、部分画像＃２と部分画像＃３との間の角度θを、部分画像＃１〜＃３の関連性を示す情報として判定する。そして、判定装置１０は、部分画像＃１〜＃３の元となる画像Ｃ１０内において、部分画像＃１〜＃３を抽出した位置の近さ等に応じて、算出した角度θを調整する。例えば、判定装置１０は、部分画像＃１〜＃３が、同じ画像Ｃ１０から抽出された部分画像Ｃ２０である場合や、同じ画像Ｃ１０中において、近い位置から抽出された部分画像Ｃ２０である場合には、角度θの値が小さくなるように、各部分画像＃１〜＃３の距離空間上の配置を調整する。すなわち、判定装置１０は、距離空間上で３画像により生じる角度θをパラメータとして、３画像間の関連性を学習する。   Further, the determination apparatus 10 determines the relationship between the three partial images (hereinafter referred to as “3 images”) as one partial image selected from the three images (hereinafter referred to as “reference”) in the metric space. It is determined as an angle centered on "image" (step S4). Specifically, the determination apparatus 10 determines the relevance of the three images as an angle defined by the three images mapped on the metric space. For example, the determination apparatus 10 selects any one of the three images as the reference image. Further, the determination device 10 calculates an angle between the other two partial images with the reference image as the center (vertex) in the metric space. For example, when determining the relevance between the partial image # 1, the partial image # 2, and the partial image # 3, the determination apparatus 10 uses the partial image # 1 as a vertex in the distance space, and the partial image # 2 and the partial image # 3. Is determined as information indicating the relevance of the partial images # 1 to # 3. Then, the determination apparatus 10 adjusts the calculated angle θ according to the proximity of the position where the partial images # 1 to # 3 are extracted in the image C10 that is the source of the partial images # 1 to # 3. For example, when the partial images # 1 to # 3 are partial images C20 extracted from the same image C10, or when the partial images # 1 to # 3 are partial images C20 extracted from close positions in the same image C10. Adjusts the arrangement of the partial images # 1 to # 3 in the metric space so that the value of the angle θ is small. That is, the determination apparatus 10 learns the relationship between the three images using the angle θ generated by the three images in the metric space as a parameter.

また、判定装置１０は、４つの部分画像（以下、「４画像」と記載する。）の間の関連性を、距離空間において、基準となる２つの部分画像を交線とする二面角として判定する（ステップＳ５）。具体的には、判定装置１０は、距離空間上にマッピングされた４画像によって定義づけられる二面角として、４画像間の関連性を判定する。例えば、判定装置１０は、４画像のうちいずれか２つを基準画像として選択する。そして、判定装置１０は、選択した２つの基準画像を含む線を交線とする２つの面であって、基準画像以外の画像のうちそれぞれ異なる画像を含む面が有する角度φを算出する。例えば、判定装置１０は、部分画像＃１〜＃４の関連性を判定する場合、部分画像＃１および部分画像＃２を基準画像として選択する。なお、判定装置１０は、任意の部分画像を基準画像として選択してよい。そして、判定装置１０は、基準画像である部分画像＃１および部分画像＃２に加え、部分画像＃３を含む距離空間上の平面と、基準画像である部分画像＃１および部分画像＃２に加え、部分画像＃４を含む距離空間上の平面との間の角度φを部分画像＃１〜＃４の関連性を示す情報として判定する。そして、判定装置１０は、画像Ｃ１０内において、各４画像を抽出した位置の近さ等に応じて、算出した角度φを調整する。例えば、判定装置１０は、部分画像＃１〜＃４が、同じ画像Ｃ１０から抽出された部分画像Ｃ２０である場合や、同じ画像Ｃ１０中において、近い位置から抽出された部分画像Ｃ２０である場合には、二面角φの値が小さくなるように、各部分画像＃１〜＃４の距離空間上の配置を調整する。すなわち、判定装置１０は、距離空間上で４画像により生じる角度φをパラメータとして、４画像間の関連性を学習する。   In addition, the determination apparatus 10 uses the relationship between the four partial images (hereinafter referred to as “four images”) as a dihedral angle that intersects two reference partial images in the metric space. Determine (step S5). Specifically, the determination apparatus 10 determines the relevance between the four images as dihedral angles defined by the four images mapped on the metric space. For example, the determination apparatus 10 selects any two of the four images as the reference image. Then, the determination apparatus 10 calculates an angle φ that is included in two planes that intersect the line including the two selected reference images and that includes different images among the images other than the reference image. For example, when determining the relevance of the partial images # 1 to # 4, the determination device 10 selects the partial image # 1 and the partial image # 2 as reference images. Note that the determination apparatus 10 may select an arbitrary partial image as the reference image. Then, in addition to the partial image # 1 and the partial image # 2 that are the reference images, the determination device 10 applies a plane in the metric space including the partial image # 3 and the partial images # 1 and the partial images # 2 that are the reference images. In addition, the angle φ with the plane in the metric space including the partial image # 4 is determined as information indicating the relevance of the partial images # 1 to # 4. Then, the determination device 10 adjusts the calculated angle φ in accordance with the proximity of the position where each of the four images is extracted in the image C10. For example, when the partial images # 1 to # 4 are partial images C20 extracted from the same image C10, or when the partial images # 1 to # 4 are partial images C20 extracted from a close position in the same image C10. Adjusts the arrangement of the partial images # 1 to # 4 in the metric space so that the value of the dihedral angle φ is small. That is, the determination apparatus 10 learns the relationship between the four images using the angle φ generated by the four images in the metric space as a parameter.

このように、判定装置１０は、学習データである画像Ｃ１０から抽出される各画像から、２画像の組、３画像の組、及び４画像の組を生成し、生成した各組について、２画像間のコサイン距離、３画像間の角度、および４画像間の二面角をパラメータとして算出する。そして、判定装置１０は、算出した各パラメータを、２画像間の関連性、３画像間の関連性、および４画像間の関連性として、学習データに基づいて調整することで、各部分画像Ｃ２０の間の関連性を学習した学習器を生成する（ステップＳ６）。   As described above, the determination apparatus 10 generates a set of two images, a set of three images, and a set of four images from each image extracted from the image C10 that is learning data. The cosine distance between the three images, the angle between the three images, and the dihedral angle between the four images are calculated as parameters. Then, the determination device 10 adjusts the calculated parameters as the relevance between the two images as the relevance between the three images, the relevance between the four images, and the relevance between the four images, thereby adjusting each partial image C20. A learning device that learns the relationship between the two is generated (step S6).

なお、判定装置１０は、部分画像間の関連性を学習した学習器として、任意の態様の学習器を生成してよい。例えば、判定装置１０は、複数の中間層を有するニューラルネットワーク等を用いて（いわゆるディープラーニングと呼ばれる技術を用いて）、各画像間の関連性を学習してもよい。   Note that the determination apparatus 10 may generate a learning device in any form as a learning device that has learned the relevance between partial images. For example, the determination apparatus 10 may learn the relationship between the images using a neural network having a plurality of intermediate layers (using a technique called so-called deep learning).

なお、例えば、判定装置１０は、４画像間の二面角をパラメータとして学習するとともに、４画像に含まれる３画像間の角度をパラメータとして学習してもよい。また、判定装置１０は、重複する画像について角度や二面角を判定してもよい。例えば、判定装置１０は、部分画像＃１を頂点とした部分画像＃２と部分画像＃３との間の角度と部分画像＃２と頂点とした部分画像＃１と部分画像＃３の間の角度とを両方ともにパラメータにしてもよい。また、例えば、判定装置１０は、部分画像＃１〜＃３を含む平面と、部分画像＃２〜＃４を含む平面との間の角度を算出するとともに、部分画像＃１、部分画像＃２、部分画像＃４を含む平面と、部分画像＃１、部分画像＃３、部分画像＃４を含む編面との角度を算出し、両角度をパラメータにしてもよい。すなわち、判定装置１０は、上述した処理を適宜組み合わせた学習を行ってもよい。   For example, the determination apparatus 10 may learn using the dihedral angle between the four images as a parameter and may learn using the angle between the three images included in the four images as a parameter. Moreover, the determination apparatus 10 may determine an angle and a dihedral angle for overlapping images. For example, the determination apparatus 10 determines the angle between the partial image # 2 and the partial image # 3 with the partial image # 1 as a vertex, and between the partial image # 1 and the partial image # 3 with the partial image # 2 and the vertex. Both angles may be parameters. Further, for example, the determination apparatus 10 calculates an angle between a plane including the partial images # 1 to # 3 and a plane including the partial images # 2 to # 4, and the partial image # 1 and the partial image # 2. The angle between the plane including the partial image # 4 and the knitting surface including the partial image # 1, the partial image # 3, and the partial image # 4 may be calculated, and both angles may be used as parameters. That is, the determination apparatus 10 may perform learning by appropriately combining the processes described above.

〔１−２．出力処理〕
次に、判定装置１０が判定結果に基づいて実行する出力処理について説明する。まず、判定装置１０は、利用者Ｕ０１が使用する端末装置１００から、判定対象データを受付ける（ステップＳ７）。例えば、判定装置１０は、判定対象データとして画像Ｃ４０を受付ける。このような場合、判定装置１０は、学習済みの２画像間のコサイン距離、３画像間の角度、４画像間の二面角をパラメータとして、判定対象データである画像Ｃ４０と類似する画像を判定する。より具体的には、判定装置１０は、画像Ｃ４０から複数の部分画像を抽出し、画像Ｃ４０から抽出した各部分画像と、学習した部分画像Ｃ２０との間の類似性を距離空間上で判定する。例えば、判定装置１０は、２画像間のコサイン距離、３画像間の角度、４画像間の二面角をパラメータとして、各画像をマッピングした距離空間を用いて、画像Ｃ４０から抽出した各部分画像と類似する部分画像Ｃ２０を判定する（ステップＳ８）。そして、判定装置１０は、検索の結果得られた部分画像Ｃ２０の抽出元となる画像Ｃ１０を検索結果として出力する（ステップＳ９）。例えば、判定装置１０は、判定の結果得られた部分画像Ｃ２０が画像Ｃ１０から抽出された部分画像Ｃ２０である場合には、画像Ｃ１０を検索結果として出力する。 [1-2. Output processing)
Next, output processing executed by the determination apparatus 10 based on the determination result will be described. First, the determination device 10 receives determination target data from the terminal device 100 used by the user U01 (step S7). For example, the determination apparatus 10 receives the image C40 as determination target data. In such a case, the determination apparatus 10 determines an image similar to the image C40 that is the determination target data using the cosine distance between the two learned images, the angle between the three images, and the dihedral angle between the four images as parameters. To do. More specifically, the determination apparatus 10 extracts a plurality of partial images from the image C40, and determines similarity between each partial image extracted from the image C40 and the learned partial image C20 in the metric space. . For example, the determination device 10 uses the cosine distance between two images, the angle between the three images, the angle between the four images, and the dihedral angle between the four images as parameters, and each partial image extracted from the image C40 using the distance space that maps each image. Is determined (step S8). Then, the determination apparatus 10 outputs the image C10 that is the extraction source of the partial image C20 obtained as a result of the search as a search result (step S9). For example, when the partial image C20 obtained as a result of the determination is the partial image C20 extracted from the image C10, the determination device 10 outputs the image C10 as a search result.

より具体的な例を挙げると、判定装置１０は、学習データとして、人の顔が撮像された画像Ｃ１０を受付けると、画像Ｃ１０から鼻、目、唇等の部分画像を抽出し、距離空間上で関連性を学習する。一方、判定装置１０は、判定対象データとして、人の顔ｚが撮像された画像Ｃ４０を受付けると、画像Ｃ４０から鼻、目、唇等の部分画像を抽出し、距離空間上に落とし込むことで、画像Ｃ４０から抽出した部分画像群と類似する関連性を有する部分画像群を検索する。そして、判定装置１０は、検索結果得られる部分画像群が、同一の画像Ｃ１０から抽出された画像である場合には、画像Ｃ１０に撮像された人物が、画像Ｃ４０に撮像された人物であるとして、画像Ｃ１０や、画像Ｃ１０に移る人物の情報等を検索結果として出力する。   As a more specific example, when the determination apparatus 10 receives an image C10 obtained by capturing a human face as learning data, the determination apparatus 10 extracts partial images such as nose, eyes, and lips from the image C10, To learn relevance. On the other hand, when the determination device 10 receives the image C40 in which the human face z is captured as the determination target data, the determination device 10 extracts partial images such as nose, eyes, and lips from the image C40, and drops them into the distance space. A partial image group having a relevance similar to the partial image group extracted from the image C40 is searched. Then, when the partial image group obtained as a search result is an image extracted from the same image C10, the determination apparatus 10 determines that the person captured in the image C10 is the person captured in the image C40. The image C10, information on the person who moves to the image C10, and the like are output as search results.

なお、判定装置１０は、判定結果に基づく処理であれば、任意の処理を出力処理として実行してもよい。例えば、判定装置１０は、検索の結果得られた部分画像Ｃ２０を合成した画像を検索結果として出力してもよい。また、判定装置１０は、端末装置１００から判定対象データとして３つの部分画像を受付けた場合には、距離空間上において、判定対象データとして受付けた３つの部分画像により定義づけられる角度θを算出する。そして、判定装置１０は、算出した角度の値に基づいて、判定対象データとして受付けた３つの部分画像が関連性を有するか否か、どのような関連性を有するか等を示す情報を判定結果として出力してもよい。同様に、判定装置１０は、端末装置１００から判定対象データとして４つの部分画像を受付けた場合には、距離空間上において、判定対象データとして受付けた４つの部分画像により定義づけられる二面角φを算出する。そして、判定装置１０は、算出した角度φの値に基づいて、判定対象データとして受付けた４つの部分画像が関連性を有するか否か、どのような関連性を有するか等を示す情報を判定結果として出力してもよい。   Note that the determination device 10 may execute any process as an output process as long as the process is based on the determination result. For example, the determination apparatus 10 may output an image obtained by combining the partial images C20 obtained as a result of the search as a search result. Further, when the determination device 10 receives three partial images as determination target data from the terminal device 100, the determination device 10 calculates an angle θ defined by the three partial images received as determination target data in the metric space. . Then, the determination device 10 determines, based on the calculated angle value, information indicating whether or not the three partial images received as determination target data have relevance, what relevance, and the like. May be output as Similarly, when the determination apparatus 10 receives four partial images as determination target data from the terminal device 100, the dihedral angle φ defined by the four partial images received as determination target data in the metric space. Is calculated. Then, the determination apparatus 10 determines information indicating whether or not the four partial images received as the determination target data have relevance, what relevance, and the like based on the calculated value of the angle φ. You may output as a result.

〔２．判定装置の構成〕
次に、上述した実施形態にかかる判定装置１０の構成について説明する。図２は、実施形態に係る判定装置が有する機能構成の一例を示す図である。図２に示すように、判定装置１０は、通信部２０、記憶部３０、および制御部４０を有する。通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００や、データサーバ５０の間で情報の送受信を行う。なお、データサーバ５０は、人物の顔写真等といった学習データとなる画像を管理する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。 [2. (Configuration of judgment device)
Next, the configuration of the determination apparatus 10 according to the above-described embodiment will be described. FIG. 2 is a diagram illustrating an example of a functional configuration included in the determination apparatus according to the embodiment. As illustrated in FIG. 2, the determination device 10 includes a communication unit 20, a storage unit 30, and a control unit 40. The communication unit 20 is realized by, for example, a NIC (Network Interface Card). The communication unit 20 is connected to the network N in a wired or wireless manner, and transmits and receives information between the terminal device 100 and the data server 50. Note that the data server 50 is an information processing apparatus that manages an image serving as learning data, such as a human face photo, and is realized by a server apparatus, a cloud system, or the like.

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、学習データデータベース３１、画像データベース３２、およびモデルデータベース３３（以下「各データベース３１〜３３」と総称する場合がある。）を有する。   The storage unit 30 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 30 includes a learning data database 31, an image database 32, and a model database 33 (hereinafter may be collectively referred to as “each database 31 to 33”).

学習データデータベース３１には、学習データとして用いられる学習データが登録される。例えば、学習データデータベース３１には、データサーバ５０から学習データとして取得された複数の画像Ｃ１０や、各画像Ｃ１０から抽出された複数の部分画像Ｃ２０等を含むデータが登録されている。   In the learning data database 31, learning data used as learning data is registered. For example, data including a plurality of images C10 acquired as learning data from the data server 50, a plurality of partial images C20 extracted from each image C10, and the like are registered in the learning data database 31.

画像データベース３２には、学習データデータベース３１に登録された学習データのうち、部分画像Ｃ２０を組み合わせた２画像の組、３画像の組、および４画像の組が登録されている。例えば、図３は、実施形態に係る画像データベースに登録される情報の一例を示す図である。例えば、図３に示す例では、画像データベース３２には、「組種別」、「画像＃１」〜「画像＃４」といった項目を有する情報が登録されている。   Among the learning data registered in the learning data database 31, a set of 2 images, a set of 3 images, and a set of 4 images are registered in the image database 32. For example, FIG. 3 is a diagram illustrating an example of information registered in the image database according to the embodiment. For example, in the example illustrated in FIG. 3, information having items such as “group type” and “image # 1” to “image # 4” is registered in the image database 32.

ここで、「組種別」とは、対応付けられた部分画像の数を示す情報である。例えば、画像データベース３２には、組種別「２画像」に対し、２つの異なる部分画像を対応付けた情報が対応付けて登録され、組種別「３画像」に対し、３つの異なる部分画像を対応付けた情報が対応付けて登録されている。また、画像データベース３２には、組種別「４画像」に対し、４つの異なる部分画像を対応付けた情報が対応付けて登録されている。なお、図３に示す例では、学習データから抽出された画像として、「部分画像＃１」等といった抽象的な値を記載したが、実施形態は、これに限定されるものではない。すなわち、画像データベース３２には、学習データに含まれる画像Ｃ１０から抽出された任意の部分画像Ｃ２０が登録されているものとする。   Here, the “set type” is information indicating the number of associated partial images. For example, in the image database 32, information that associates two different partial images with the group type “2 images” is registered in association with each other, and three different partial images are associated with the group type “3 images”. The attached information is registered in association with each other. In the image database 32, information in which four different partial images are associated with each other for the group type “4 images” is registered. In the example shown in FIG. 3, an abstract value such as “partial image # 1” is described as an image extracted from the learning data, but the embodiment is not limited to this. That is, it is assumed that an arbitrary partial image C20 extracted from the image C10 included in the learning data is registered in the image database 32.

図２に戻り、説明を続ける。モデルデータベース３３には、判定処理の結果である判定結果に基づいて学習されたモデルのデータが登録される。例えば、モデルデータベース３３には、部分画像Ｃ２０の間の関係に基づいて、各部分画像Ｃ２０を距離空間上にマッピングしたモデル等が登録される。なお、モデルデータベース３３には、所謂ディープラーニング等に用いられる複数の中間層を有するニューラルネットワークのデータが登録されていてもよい。   Returning to FIG. 2, the description will be continued. In the model database 33, model data learned based on the determination result, which is the result of the determination process, is registered. For example, a model or the like in which each partial image C20 is mapped on the metric space is registered in the model database 33 based on the relationship between the partial images C20. In the model database 33, data of a neural network having a plurality of intermediate layers used for so-called deep learning or the like may be registered.

制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、判定装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。   The control unit 40 is a controller. For example, various programs stored in a storage device inside the determination apparatus 10 are stored in a RAM or the like by a processor such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). This is realized by being executed as a work area. The control unit 40 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

図２に示すように、制御部４０は、取得部４１、解析部４２、対応部４３、判定部４４、学習部４５、および提供部４６を有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部４０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。   As shown in FIG. 2, the control unit 40 includes an acquisition unit 41, an analysis unit 42, a correspondence unit 43, a determination unit 44, a learning unit 45, and a provision unit 46, and functions and functions of information processing described below. Realize or execute. Note that the internal configuration of the control unit 40 is not limited to the configuration illustrated in FIG. 2, and may be another configuration as long as information processing described later is performed.

取得部４１は、学習データである画像Ｃ１０を取得する。例えば、取得部４１は、データサーバ５０等から学習データとして複数の画像Ｃ１０を取得する。そして、取得部４１は、取得した画像Ｃ１０を学習データデータベース３１に登録する。なお、取得部４１は、データサーバ５０以外にも、例えば、ウェブ上に存在する任意の画像Ｃ１０を学習データとして収集し、収集した画像Ｃ１０を学習データデータベース３１に登録してもよい。また、取得部４１は、利用者Ｕ０１が使用する端末装置１００等から、学習用の画像Ｃ１０を取得し、取得した画像Ｃ１０を学習データデータベース３１に登録してもよい。   The acquisition unit 41 acquires an image C10 that is learning data. For example, the acquisition unit 41 acquires a plurality of images C10 as learning data from the data server 50 or the like. Then, the acquisition unit 41 registers the acquired image C10 in the learning data database 31. In addition to the data server 50, the acquisition unit 41 may collect, for example, any image C10 existing on the web as learning data, and register the collected image C10 in the learning data database 31. The acquisition unit 41 may acquire the learning image C10 from the terminal device 100 or the like used by the user U01 and register the acquired image C10 in the learning data database 31.

解析部４２は、学習データデータベース３１に登録された画像Ｃ１０の解析を行い、判定対象となる部分画像Ｃ２０を抽出する。例えば、解析部４２は、学習データデータベース３１から画像Ｃ１０を読み出すと、任意の画像認識手段を用いて、画像Ｃ１０内に撮像された撮像対象の各部分が撮像された領域を特定する。例えば、解析部４２は、撮像対象が人物である場合は、撮像された顔、目、鼻、口、耳、手、足、体等、任意の粒度で、撮像対象の各部分が撮像された領域を特定する。そして、解析部４２は、画像Ｃ１０のうち、特定した各領域に含まれる部分を部分画像Ｃ２０として抽出する。   The analysis unit 42 analyzes the image C10 registered in the learning data database 31 and extracts a partial image C20 that is a determination target. For example, when the analysis unit 42 reads the image C10 from the learning data database 31, the analysis unit 42 specifies an area where each part of the imaging target imaged in the image C10 is captured using an arbitrary image recognition unit. For example, when the imaging target is a person, the analysis unit 42 images each part of the imaging target with an arbitrary granularity, such as a captured face, eyes, nose, mouth, ears, hands, feet, and body. Identify the area. And the analysis part 42 extracts the part contained in each specified area | region among the images C10 as the partial image C20.

また、解析部４２は、抽出した部分画像Ｃ２０から２つの部分画像Ｃ２０の組である２画像と、３つの部分画像Ｃ２０の組である３画像と、４つの部分画像Ｃ２０の組である４画像とを生成する。例えば、解析部４２は、抽出した画像を総当たり的に組み合わせることで、２画像、３画像および４画像を生成し、生成した２画像、３画像および４画像を画像データベース３２に登録する。   The analysis unit 42 also includes two images that are a set of two partial images C20 from the extracted partial image C20, three images that are a set of three partial images C20, and four images that are a set of four partial images C20. And generate For example, the analysis unit 42 generates two images, three images, and four images by combining all the extracted images, and registers the generated two images, three images, and four images in the image database 32.

対応部４３は、関連性の判定対象となる２画像、３画像および４画像を距離空間上に対応付ける。また、判定部４４は、画像間の関連性を、距離空間上におけるコサイン距離、３画像により定義づけられる角度、および４画像により定義づけられる二面角として判定する。そして、学習部４５は、判定部４４による判定結果に基づいて、複数の部分画像Ｃ２０が有する関連性を学習するモデルを生成し、生成したモデルをモデルデータベース３３に登録する。   The correspondence unit 43 associates the two images, the three images, and the four images that are the determination targets of the relevance on the metric space. Further, the determination unit 44 determines the relationship between images as a cosine distance in the metric space, an angle defined by three images, and a dihedral angle defined by four images. Then, the learning unit 45 generates a model that learns the relevance of the plurality of partial images C20 based on the determination result by the determination unit 44, and registers the generated model in the model database 33.

例えば、対応部４３は、画像データベース３２に登録された各部分画像Ｃ２０を距離空間上の配置に変換する。続いて、判定部４４は、画像データベース３２に登録された各２画像について、以下の処理を実行する。まず、判定部４４は、判定対象となる２画像の距離空間上におけるコサイン距離を、２画像が有する関連性のパラメータとして算出する。また、判定部４４は、判定対象となる２画像の各画素の色彩や、撮像対象の輪郭の形状等、画像間の類似性を、２画像が有する関連性の指標として取得する。そして、学習部４５は、判定部４４が算出したコサイン距離を、２画像が有する関連性のパラメータとし、判定部４４が取得した指標に従って、判定対象となる２画像の距離空間上の配置を調整する。例えば、学習部４５は、判定対象となる２画像が類似する場合は、コサイン距離の値がより大きくなるように、２画像の距離空間上の配置を調整する。   For example, the corresponding unit 43 converts each partial image C20 registered in the image database 32 into an arrangement in the metric space. Subsequently, the determination unit 44 executes the following process for each of the two images registered in the image database 32. First, the determination unit 44 calculates a cosine distance in the metric space of two images to be determined as a relevance parameter of the two images. Further, the determination unit 44 acquires similarity between images such as the color of each pixel of the two images to be determined and the shape of the contour of the imaging target as an index of relevance of the two images. Then, the learning unit 45 uses the cosine distance calculated by the determination unit 44 as a relevance parameter of the two images, and adjusts the arrangement of the two images to be determined in the distance space according to the index acquired by the determination unit 44 To do. For example, when the two images to be determined are similar, the learning unit 45 adjusts the arrangement of the two images in the distance space so that the value of the cosine distance becomes larger.

すなわち、判定部４４は、２画像間の関連性を、距離空間上におけるコサイン距離として判定する。そして、学習部４５は、判定結果に基づいて、判定対象となる２画像間の距離空間上の配置を学習する。このような調整を画像データベース３２に登録された各２画像について実行することで、判定装置１０は、各２画像間の関連性をコサイン距離に落とし込んだ、各画像の距離空間上の配置を取得することができる。なお、このようなコサイン距離を用いた学習手法については、距離空間上の配置を用いた画像検索技術等、公知の技術を適用可能であるものとする。   That is, the determination unit 44 determines the relationship between the two images as a cosine distance in the metric space. Then, the learning unit 45 learns the arrangement in the distance space between the two images to be determined based on the determination result. By executing such adjustment for each of the two images registered in the image database 32, the determination apparatus 10 obtains the arrangement of each image in the distance space in which the relationship between the two images is reduced to the cosine distance. can do. Note that a known technique such as an image search technique using an arrangement in a metric space can be applied to such a learning technique using a cosine distance.

また、判定部４４は、３画像間の関連性および４画像間の関連性を距離空間上の角度や二面角に落とし込むことで、より精度の高い部分画像間の関連性を含む距離空間上の配置を取得する。例えば、判定部４４は、判定対象となる３画像により定義づけられる距離空間上の角度を、３画像が有する関連性のパラメータとして算出する。より具体的には、判定部４４は、判定対象となる３画像のうちいずれか１つの部分画像を基準画像として選択し、基準画像を頂点とした、他の２つの部分画像間の距離空間上における角度を算出する。また、判定部４４は、判定対象となる３画像が同じ画像Ｃ１０に含まれるか否か、同じ画像Ｃ１０内において３画像が含まれる位置の近さや配置関係、各３画像が被写体の同じ部位を撮像した画像であるか否か等を、３画像が有する関連性の指標として取得する。そして、学習部４５は、３画像が有する関連性のパラメータとして判定部４４が算出した角度をパラメータとし、判定部４４が学習データから取得した指標に従って、判定対象となる３画像の距離空間上の配置を調整する。例えば、学習部４５は、判定対象となる３画像が同一の画像Ｃ１０から抽出された部分画像Ｃ２０であったり、画像Ｃ１０内において近い位置から抽出された部分画像Ｃ２０であるならば、角度θの値がより小さくなるように、３画像の距離空間上の配置を調整する。   In addition, the determination unit 44 reduces the relevance between the three images and the relevance between the four images to an angle or dihedral angle on the metric space, thereby including a more accurate relationship between the partial images on the metric space. Get the placement of. For example, the determination unit 44 calculates an angle in the metric space defined by the three images to be determined as a relevance parameter of the three images. More specifically, the determination unit 44 selects any one of the three images to be determined as a reference image as a reference image, and uses the reference image as a vertex in the distance space between the other two partial images. The angle at is calculated. In addition, the determination unit 44 determines whether the three images to be determined are included in the same image C10, the proximity of the positions where the three images are included in the same image C10, the arrangement relationship, and the three images each indicating the same part of the subject. Whether or not the image is a captured image is acquired as an index of relevance of the three images. Then, the learning unit 45 uses the angle calculated by the determination unit 44 as a parameter of the relevance of the three images as a parameter, and in the distance space of the three images to be determined according to the index acquired from the learning data by the determination unit 44 Adjust the placement. For example, the learning unit 45 determines the angle θ if the three images to be determined are the partial image C20 extracted from the same image C10 or the partial image C20 extracted from a close position in the image C10. The arrangement of the three images in the metric space is adjusted so that the value becomes smaller.

また、例えば、判定部４４は、判定対象となる４画像により定義づけられる距離空間上の二面角の角度を、４画像が有する関連性のパラメータとして算出する。より具体的には、判定部４４は、判定対象となる４画像のうちいずれか２つの部分画像を基準画像として選択する。そして、判定部４４は、距離空間上において、基準画像として選択した２つの画像を含む線を交線とする２つの面であって、判定対象となる４画像のうち基準画像以外の部分画像を含む２つの面が有する角度を算出する。例えば、判定部４４は、４画像に含まれる部分画像＃１〜＃４のうち、基準画像として部分画像＃１、部分画像＃２を選択した場合には、部分画像＃１〜＃３を含む距離空間上の面と、部分画像＃１、部分画像＃２、および部分画像＃４を含む距離空間上の面との間の角度、すなわち、二面角の角度φを算出する。   For example, the determination unit 44 calculates the dihedral angle on the metric space defined by the four images to be determined as the relevance parameter of the four images. More specifically, the determination unit 44 selects any two partial images from among the four images to be determined as reference images. Then, the determination unit 44 is a two-plane crossing line including the two images selected as the reference image in the metric space, and the partial images other than the reference image among the four images to be determined The angle of the two surfaces that are included is calculated. For example, the determination unit 44 includes the partial images # 1 to # 3 when the partial image # 1 and the partial image # 2 are selected as the reference images among the partial images # 1 to # 4 included in the four images. The angle between the surface in the metric space and the surface in the metric space including the partial image # 1, the partial image # 2, and the partial image # 4, that is, the dihedral angle φ is calculated.

また、判定部４４は、３画像と同様に、４画像が同じ画像Ｃ１０から抽出された部分画像でＣ２０であるか否か、同じ画像Ｃ１０内において４画像が含まれる位置の近さや配置関係、４画像が被写体の同じ部位を撮像した画像であるか否か等を４画像が有する関連性の指標として取得する。そして、学習部４５は、４画像が有する関連性のパラメータとして算出した二面角の角度φをパラメータとし、判定部４４が取得した指標に従って、判定対象となる４画像の距離空間上の配置を調整する。例えば、学習部４５は、判定対象となる４画像が同一の画像Ｃ１０から抽出された部分画像Ｃ２０であったり、画像Ｃ１０内において近い位置から抽出された部分画像Ｃ２０であるならば、二面角の角度の値がより小さくなるように、４画像の距離空間上の配置を調整する。   Also, the determination unit 44 determines whether or not the four images are C20 in the partial image extracted from the same image C10, whether the four images are included in the same image C10, or the positional relationship, Whether or not the four images are images of the same part of the subject is acquired as an index of relevance of the four images. Then, the learning unit 45 uses the dihedral angle φ calculated as the relevance parameter of the four images as a parameter, and arranges the arrangement of the four images to be determined in the distance space according to the index acquired by the determination unit 44. adjust. For example, if the four images to be determined are the partial images C20 extracted from the same image C10 or the partial images C20 extracted from a close position in the image C10, the learning unit 45 has a dihedral angle. The arrangement of the four images in the metric space is adjusted so that the angle value becomes smaller.

なお、上述した説明では、２画像間の関連性、３画像間の関連性、および４画像間の関連性をそれぞれ独立に学習するように記載したが、実施形態は、これに限定されるものではない。すなわち、学習部４５は、コサイン距離を２画像間の関連性を示すパラメータとし、距離空間上の角度を３画像間の関連性を示すパラメータとし、距離空間上の二面角の角度を４画像間の関連性を示すパラメータとし、各パラメータの値に学習データから取得された指標が反映されるように、各画像の距離空間上の配置を調整すればよい。   In the above description, the relationship between the two images is described so as to learn independently the relationship between the three images, and the relationship between the four images. However, the embodiment is limited to this. is not. That is, the learning unit 45 sets the cosine distance as a parameter indicating the relationship between two images, sets the angle in the metric space as a parameter indicating the relationship between the three images, and sets the angle of the dihedral angle in the metric space as four images. It is only necessary to adjust the arrangement of each image in the metric space so that the index obtained from the learning data is reflected in the value of each parameter.

なお、判定部４４は、判定対象とした４画像に含まれる３つの部分画像Ｃ２０が有する関連性を、距離空間上におけるその３つの部分画像Ｃ２０により定義づけられる角度として判定してもよい。すなわち、判定部４４は、抽出した部分画像Ｃ２０から総当たり的に抽出された２画像、３画像、および４画像のそれぞれの関連性を、コサイン距離、角度、および二面角の角度として判定してもよい。   Note that the determination unit 44 may determine the relevance of the three partial images C20 included in the four images to be determined as an angle defined by the three partial images C20 in the metric space. That is, the determination unit 44 determines the relevance of each of the two images, the three images, and the four images that are omnidirectionally extracted from the extracted partial image C20 as a cosine distance, an angle, and a dihedral angle. May be.

このように、判定部４４は、３画像間の関連性を、距離空間上において３つの画像により定義づけられる角度として判定する。また、判定部４４は、４画像間の関連性を、距離空間上において４つの画像により定義づけられる二面角の角度として判定する。このように、判定装置１０は、２画像間の関連性のみならず、３画像間および４画像間の関連性をパラメータとして有するので、画像間の関連性をより精度良く反映させた距離空間を得ることができる。   Thus, the determination unit 44 determines the relationship between the three images as an angle defined by the three images in the metric space. The determination unit 44 determines the relationship between the four images as a dihedral angle defined by the four images in the metric space. Thus, since the determination apparatus 10 has not only the relationship between two images but also the relationship between three images and four images as parameters, a distance space that reflects the relationship between images more accurately can be obtained. Can be obtained.

提供部４６は、判定結果を用いて学習された距離空間を用いて、利用者Ｕ０１に対する各種のサービスを提供する。例えば、提供部４６は、判定対象データを端末装置１００から受付けると、モデルデータベース３３に登録されたモデル、すなわち、学習部４５によって学習されたモデルを読出し、読み出したモデルを用いて、判定対象データに基づき、利用者Ｕ０１に対して提供する情報を生成する。例えば、提供部４６は、モデルデータベース３３に登録されたモデルを用いて、判定対象データとして受付けた画像Ｃ４０から部分画像を抽出し、抽出した各部分画像の距離空間上の配置と類似する距離空間上の配置を距離空間上から選択する。そして、提供部４６は、選択した距離空間上の配置の元となる部分画像Ｃ２０を選択し、選択した部分画像Ｃ２０を含む画像を検索結果として利用者Ｕ０１に提供する。すなわち、提供部４６は、２画像間のコサイン距離、３画像間の角度、および４画像間の二面角をパラメータとして、判定対象データとして受付けた画像と類似する画像を選択する。そして、提供部４６は、選択した画像を利用者Ｕ０１に対して提供する。   The providing unit 46 provides various services to the user U01 using the metric space learned using the determination result. For example, when receiving the determination target data from the terminal device 100, the providing unit 46 reads the model registered in the model database 33, that is, the model learned by the learning unit 45, and uses the read model to determine the determination target data. Based on the above, information to be provided to the user U01 is generated. For example, the providing unit 46 extracts a partial image from the image C40 received as determination target data using a model registered in the model database 33, and a metric space similar to the arrangement of the extracted partial images in the metric space. Select the top placement from the metric space. Then, the providing unit 46 selects the partial image C20 that is the source of the arrangement in the selected metric space, and provides an image including the selected partial image C20 to the user U01 as a search result. That is, the providing unit 46 selects an image similar to the image received as the determination target data using the cosine distance between the two images, the angle between the three images, and the dihedral angle between the four images as parameters. Then, the providing unit 46 provides the selected image to the user U01.

〔３．算出手法の一例〕
次に、数式を用いて、判定装置１０が、各種パラメータとして用いる情報を算出する処理の一例について説明する。なお、以下に示す例では、３画像間および４画像間の関連性を、分子動力学のシミュレーション手法を応用した数式を用いて実現する例について記載したが、実施形態は、これに限定されるものではない。 [3. Example of calculation method)
Next, an example of processing in which the determination apparatus 10 calculates information used as various parameters using mathematical expressions will be described. In addition, although the example shown below demonstrated the example which implement | achieves the relationship between 3 images and 4 images using the numerical formula which applied the simulation method of molecular dynamics, embodiment is limited to this It is not a thing.

まず、２画像のコサイン類似度を算出する処理の一例について説明する。例えば、距離空間上にマッピングした部分画像＃１をｑ、部分画像＃２をｄとした場合、部分画像＃１と部分画像＃２とのコサイン類似度は、以下の式（１）で示すことができる。なお、距離空間上においては、ｑおよびｄは、多次元量（すなわち、ベクトル）である。式（１）では、ベクトルとなるｑおよびｄを、上付き矢印を付したｑおよびｄで表した。   First, an example of processing for calculating the cosine similarity of two images will be described. For example, when the partial image # 1 mapped on the metric space is q and the partial image # 2 is d, the cosine similarity between the partial image # 1 and the partial image # 2 is expressed by the following equation (1). Can do. In the metric space, q and d are multidimensional quantities (that is, vectors). In Equation (1), q and d that are vectors are represented by q and d with a superscript arrow.

Figure 0006396353
Figure 0006396353

ここで、部分画像＃１と部分画像＃２とが類似する画像であるならば、距離空間上における部分画像＃１と部分画像＃２とのコサイン類似度の値は増加することが考えられる。そこで、判定装置１０は、式（１）で示されるコサイン類似度の値をパラメータとして、部分画像間の関連性を距離空間上の配置上に落とし込む。例えば、判定装置１０は、部分画像＃１と部分画像＃２との間のコサイン類似度と、部分画像＃１と部分画像＃３との間のコサイン類似度とを算出する。そして、判定装置１０は、部分画像＃１と部分画像＃２との類似性が、部分画像＃１と部分画像＃３との類似性よりも高いと判定される場合には、部分画像＃１と部分画像＃２との間のコサイン類似度の値が、部分画像＃１と部分画像＃３との間のコサイン類似度の値よりも大きくなるように、各部分画像＃１〜＃３の距離空間上の配置を調整する。   Here, if the partial image # 1 and the partial image # 2 are similar images, it is conceivable that the value of the cosine similarity between the partial image # 1 and the partial image # 2 in the metric space increases. Therefore, the determination apparatus 10 drops the relevance between the partial images on the arrangement in the metric space using the value of the cosine similarity expressed by the equation (1) as a parameter. For example, the determination apparatus 10 calculates the cosine similarity between the partial image # 1 and the partial image # 2 and the cosine similarity between the partial image # 1 and the partial image # 3. Then, when the determination device 10 determines that the similarity between the partial image # 1 and the partial image # 2 is higher than the similarity between the partial image # 1 and the partial image # 3, the partial image # 1. Of the partial images # 1 to # 3 so that the value of the cosine similarity between the partial image # 2 and the partial image # 2 is larger than the value of the cosine similarity between the partial image # 1 and the partial image # 3. Adjust the arrangement in the metric space.

次に、３画像間の角度を算出する処理の一例について説明する。例えば、部分画像＃１の距離空間上の配置を「ｉ」、部分画像＃２の距離空間上の配置を「ｊ」、部分画像＃３の距離空間上の配置を「ｋ」とし、部分画像＃２を中心として部分画像＃１および部分画像＃３との間の角度を「θｉｊｋ」とする。このような場合、「θｉｊｋ」の余弦である「ｃｏｓθｉｊｋ」は、以下の式（２）で示すことができる。ここで、式（２）の右辺の分母に示す太字の「ｒｉｊ」は、「ｉ」から「ｊ」までのベクトルを示し、太字の「ｒkｊ」は、「ｋ」から「ｊ」までのベクトルを示す。また、式（２）の右辺の分子に示す「ｒｉｊ」は、「ｉ」から「ｊ」までの２つのベクトル間の距離を示し、「ｒｊｋ」は、「ｊ」から「ｋ」までの２つのベクトル間の距離を示す。 Next, an example of processing for calculating an angle between three images will be described. For example, the arrangement of the partial image # 1 in the metric space is “i”, the arrangement of the partial image # 2 in the metric space is “j”, and the arrangement of the partial image # 3 in the metric space is “k”. An angle between the partial image # 1 and the partial image # 3 with respect to # 2 is “θ ijk ”. In such a case, a cosine of "theta ijk" "cos [theta] ijk" can be expressed by the following equation (2). Here, bold “r ij ” shown in the denominator on the right side of Expression (2) indicates a vector from “i” to “j”, and bold “r kj ” is from “k” to “j”. Indicates the vector. In addition, “r ij ” shown in the numerator on the right side of Expression (2) indicates a distance between two vectors from “i” to “j”, and “r jk ” is from “j” to “k”. The distance between the two vectors is shown.

Figure 0006396353
Figure 0006396353

このため、判定装置１０は、式（２）で示される「θｉｊｋ」の余弦を算出し、算出した値を逆三角関数（arccos）により算出することができる。 For this reason, the determination apparatus 10 can calculate the cosine of “θ ijk ” expressed by Expression (2), and can calculate the calculated value using an inverse trigonometric function (arccos).

判定装置１０は、逆三角関数を用いて、式（２）の値から距離空間上における部分画像＃１〜＃３の間の角度θを算出する。また、判定装置１０は、式（２）を用いて、距離空間上における部分画像＃１、部分画像＃２、および部分画像＃４の間の角度を算出する。そして、判定装置１０は、部分画像＃１〜＃３の間の関連性と、部分画像＃１、部分画像＃２、および部分画像＃４の間の関連性を比較し、部分画像＃１〜＃３の間の関連性がより高い場合には、距離空間上における部分画像＃１〜＃３の間の角度θを、距離空間上における部分画像＃１、部分画像＃２、および部分画像＃４の間の角度θよりも小さくなるように、各部分画像＃１〜＃４の距離空間上の配置を調整する。   The determination apparatus 10 calculates the angle θ between the partial images # 1 to # 3 in the metric space from the value of the expression (2) using an inverse trigonometric function. In addition, the determination device 10 calculates an angle between the partial image # 1, the partial image # 2, and the partial image # 4 on the metric space using the equation (2). Then, the determination apparatus 10 compares the relevance between the partial images # 1 to # 3 with the relevance between the partial image # 1, the partial image # 2, and the partial image # 4, and determines the partial images # 1 to # 1. When the relationship between # 3 is higher, the angle θ between the partial images # 1 to # 3 on the metric space is set to the partial image # 1, the partial image # 2, and the partial image # on the metric space. The arrangement of the partial images # 1 to # 4 in the metric space is adjusted so as to be smaller than the angle θ between four.

次に、４画像間の二面角の角度を算出する処理の一例について説明する。例えば、部分画像＃１の距離空間上の配置を「ｉ」、部分画像＃２の距離空間上の配置距離空間上の配置を「ｊ」、部分画像＃３の距離空間上の配置を「ｋ」、部分画像＃４の距離空間上の配置を「ｌ」とする。ここで、部分画像＃２と部分画像＃３とを基準画像として選択すると、二面角の角度「φ」は、「ｉ」、「ｊ」、および「ｋ」を含む面と、「ｌ」、「ｊ」、および「ｋ」を含む面との間の角度で表すことができる。   Next, an example of processing for calculating the dihedral angle between four images will be described. For example, the arrangement of the partial image # 1 in the metric space is “i”, the arrangement of the partial image # 2 in the metric space is “j”, and the arrangement of the partial image # 3 in the metric space is “k”. “, The arrangement of the partial image # 4 in the metric space is“ l ”. Here, when the partial image # 2 and the partial image # 3 are selected as the reference images, the dihedral angle “φ” includes a plane including “i”, “j”, and “k”, and “l”. , “J”, and an angle between the plane including “k”.

ここで、「ｉ」、「ｊ」、および「ｋ」を含む面の法線を太字の「ｎ１」、「ｌ」、「ｊ」、および「ｋ」を含む面の法線を太字の「ｎ２」とすると、太字の「ｎ１」および太字の「ｎ２」は、以下の式（３）で示すことができる。ここで、太字の「ｒｉｊ」は、「ｉ」から「ｊ」までのベクトル、太字の「ｒｋｊ」は、「ｋ」から「ｊ」までのベクトル、太字の「ｒｋｌ」は、「ｋ」から「ｌ」までのベクトルを示す。 Here, the normal of the surface including “i”, “j”, and “k” is bold, and the normal of the surface including “n 1 ”, “l”, “j”, and “k” is bold Assuming that “n 2 ”, bold “n 1 ” and bold “n 2 ” can be expressed by the following equation (3). Here, the bold “r ij ” is a vector from “i” to “j”, the bold “r kj ” is a vector from “k” to “j”, and the bold “r kl ” is “ k "to" l ".

Figure 0006396353
Figure 0006396353

すると、部分画像＃１〜＃４によって定義づけられる二面角の角度を「φ」とすると、「φ」の余弦である「ｃｏｓφ」は、以下の式（４）で示すことができる。ここで、「ｎ１」および「ｎ２」は、太字の「ｎ１」および「ｎ２」のノルムである。 Then, if the angle of the dihedral angle defined by the partial images # 1 to # 4 is “φ”, “cos φ” that is the cosine of “φ” can be expressed by the following equation (4). Here, “n 1 ” and “n 2 ” are norms of bold “n 1 ” and “n 2 ”.

Figure 0006396353
Figure 0006396353

このため、−π＜φ≦πの範囲でφの値を求めると、式（５）で表すことができる。判定装置１０は、このような式（５）に示す角度φを各部分画像＃１〜＃４間の関連性を示すパラメータとして、各部分画像＃１〜＃４の距離空間上の配置を調整すればよい。   For this reason, when the value of φ is obtained in the range of −π <φ ≦ π, it can be expressed by the equation (5). The determination apparatus 10 adjusts the arrangement of the partial images # 1 to # 4 in the metric space using the angle φ shown in the equation (5) as a parameter indicating the relationship between the partial images # 1 to # 4. do it.

Figure 0006396353
Figure 0006396353

なお、判定装置１０は、分子ポテンシャル計算の手法に基づいて、距離空間上における画像間のエネルギーを算出し、算出したエネルギーをパラメータとして学習してもよい。例えば、上述した式（１）〜式（５）によって各画像間のコサイン距離、角度、および二面角の角度が定義づけられる場合、各部分画像間のエネルギーは、以下の式で表すことができる。例えば、部分画像＃１、部分画像＃２、部分画像＃３間のエネルギー「Ｖ１，２，３ ａｎｇｌｅ」は、以下の式（６）で表すことができる。 Note that the determination apparatus 10 may calculate energy between images in a metric space based on a molecular potential calculation method, and may learn the calculated energy as a parameter. For example, when the cosine distance between each image, the angle, and the dihedral angle are defined by the equations (1) to (5) described above, the energy between the partial images can be expressed by the following equation. it can. For example, the energy “V 1, 2, 3 angle ” between the partial image # 1, the partial image # 2, and the partial image # 3 can be expressed by the following equation (6).

Figure 0006396353
Figure 0006396353

また、例えば、部分画像＃１〜＃４間のエネルギー「Ｖ１，２，３，４ ｄｉｈｅｄｒａｌ」は、以下の式（７）で表すことができる。 Further, for example, the energy “V 1, 2, 3, 4 dihedral ” between the partial images # 1 to # 4 can be expressed by the following equation (7).

Figure 0006396353
Figure 0006396353

また、例えば、部分画像＃１および部分画像＃２間のエネルギー「Ｖ１，２ ｂｏｎｄ」は、以下の式（８）で表すことができる。 Further, for example, the energy “V 1,2 bond ” between the partial image # 1 and the partial image # 2 can be expressed by the following equation (8).

Figure 0006396353
Figure 0006396353

このような分子ポテンシャル計算の手法に基づいて、各部分画像間に仮想的に生じるエネルギーの値を部分画像間の関連性を示すパラメータとして導入することで、部分画像間の関連性の判定精度をさらに向上させてもよい。   Based on this method of molecular potential calculation, the value of energy virtually generated between each partial image is introduced as a parameter indicating the relationship between the partial images, thereby improving the accuracy of determining the relationship between the partial images. It may be further improved.

なお、判定装置１０は、上述したパラメータや距離空間上の配置を調整する際に用いる指標、すなわち、学習データにおける各部分画像間の関連性を任意の手法で算出してよい。例えば、判定装置１０は、各部分画像間の関連性を判定する場合には、撮像対象の輪郭の類似性や色彩の類似性、撮像対象の同一性、抽出元となる画像Ｃ１０の同一性、画像Ｃ１０から抽出された位置の近さや位置関係、もしくは任意の人物により判定された主観的な類似度等に基づいて、関連性を示すスコアを算出し、算出したスコアに基づいて、各部分画像間の関連性を相対的に示せばよい。   Note that the determination device 10 may calculate an index used when adjusting the above-described parameters and the arrangement in the metric space, that is, the relevance between the partial images in the learning data by an arbitrary method. For example, when determining the relevance between the partial images, the determination apparatus 10 determines the similarity of the contour of the imaging target, the similarity of the color, the identity of the imaging target, the identity of the image C10 that is the extraction source, A score indicating relevance is calculated based on the proximity of the position extracted from the image C10, the positional relationship, or subjective similarity determined by an arbitrary person, and each partial image is calculated based on the calculated score. What is necessary is just to show the relationship between them relatively.

〔４．処理の流れの一例〕
次に、図４を用いて、判定装置１０が実行する処理の流れの一例について説明する。図４は、実施形態に係る判定装置が実行する処理の流れの一例を説明する図である。例えば、判定装置１０は、学習データとして複数の画像Ｃ１０を取得し（ステップＳ１０１）、学習データから部分画像Ｃ２０の抽出を行う（ステップＳ１０２）。次に、判定装置１０は、抽出した部分画像Ｃ２０を距離空間上の配置に変換し（ステップＳ１０３）、２画像間の関連性を距離空間上の距離として、部分画像間の関連性を判定する（ステップＳ１０４）。また、判定装置１０は、３画像間の関連性を距離空間上に対応付けられた３画像により定義づけられる角度として判定する（ステップＳ１０５）。また、判定装置１０は、４画像間の関連性を距離空間上に対応付けられた４画像により定義づけられる二面角の角度として判定する（ステップＳ１０６）。なお、判定装置１０は、ステップＳ１０４〜Ｓ１０６の処理を任意の順番で実行してもよく、同時並行的に実行してもよい。そして、判定装置１０は、判定結果が正解データに近づくように、判定結果に基づくモデルの学習を行って（ステップＳ１０７）、処理を終了する。 [4. Example of processing flow)
Next, an example of the flow of processing executed by the determination apparatus 10 will be described with reference to FIG. FIG. 4 is a diagram illustrating an example of a flow of processing executed by the determination apparatus according to the embodiment. For example, the determination apparatus 10 acquires a plurality of images C10 as learning data (step S101), and extracts a partial image C20 from the learning data (step S102). Next, the determination apparatus 10 converts the extracted partial image C20 into an arrangement in the metric space (step S103), and determines the relationship between the partial images with the relationship between the two images as the distance in the metric space. (Step S104). Moreover, the determination apparatus 10 determines the relationship between the three images as an angle defined by the three images associated in the metric space (step S105). Moreover, the determination apparatus 10 determines the relationship between the four images as a dihedral angle defined by the four images associated with the metric space (step S106). Note that the determination apparatus 10 may execute the processes of steps S104 to S106 in an arbitrary order, or may execute them in parallel. And the determination apparatus 10 learns the model based on a determination result so that a determination result may approach correct data (step S107), and complete | finishes a process.

〔５．変形例〕
上述した実施形態に係る判定装置１０は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、上記の判定装置１０の他の実施形態について説明する。 [5. (Modification)
The determination apparatus 10 according to the above-described embodiment may be implemented in various different forms other than the above-described embodiment. Therefore, in the following, another embodiment of the determination device 10 will be described.

〔５−１．パラメータを用いた処理について〕
例えば、上述した判定装置１０は、複数の部分画像間のコサイン距離、角度、および二面角の角度をパラメータとして、各部分画像間の関連性を学習したモデルを生成した。しかしながら、実施形態は、これに限定されるものではない。すなわち、判定装置１０は、複数の部分画像間のコサイン距離、角度、および二面角の角度をパラメータとして、指定された画像や画像群と類似する画像や画像群等を検索して出力してもよい。 [5-1. About processing using parameters)
For example, the determination apparatus 10 described above generates a model in which the relationship between the partial images is learned using the cosine distance, angle, and dihedral angle between the partial images as parameters. However, the embodiment is not limited to this. That is, the determination apparatus 10 searches for and outputs an image or image group similar to the specified image or image group using the cosine distance, angle, and dihedral angle between the partial images as parameters. Also good.

また、判定装置１０は、各部分画像の距離空間上の配置を調整する際の指標を任意の態様で特定してもよい。例えば、判定装置１０は、部分画像同士が画像として類似するか否かのみならず、撮像対象の類似度や、部分画像に撮像されている撮像対象の位置関係等に基づいたスコアリング等をおこなってもよく、人によるスコアリングに基づいて距離空間上の配置を調整してもよい。このような距離空間上の配置を調整する際の指標については、任意の公知技術を適用可能である。   Moreover, the determination apparatus 10 may specify an index when adjusting the arrangement of each partial image in the metric space in an arbitrary manner. For example, the determination apparatus 10 performs scoring based on not only whether or not the partial images are similar to each other as an image, but also the similarity of the imaging target, the positional relationship of the imaging target captured in the partial image, and the like. Alternatively, the arrangement in the metric space may be adjusted based on scoring by a person. Any known technique can be applied to the index for adjusting the arrangement in the metric space.

〔５−２．ハードウェア構成について〕
また、上述してきた実施形態に係る判定装置１０は、例えば図５に示すような構成のコンピュータ１０００によって実現される。図５は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。 [5-2. (Hardware configuration)
Further, the determination apparatus 10 according to the embodiment described above is realized by a computer 1000 having a configuration as shown in FIG. FIG. 5 is a diagram illustrating an example of a hardware configuration. The computer 1000 is connected to an output device 1010 and an input device 1020, and an arithmetic device 1030, a primary storage device 1040, a secondary storage device 1050, an output IF (Interface) 1060, an input IF 1070, and a network IF 1080 are connected via a bus 1090. Have

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一時的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。   The arithmetic device 1030 operates based on a program stored in the primary storage device 1040 and the secondary storage device 1050, a program read from the input device 1020, and the like, and executes various processes. The primary storage device 1040 is a memory device such as a RAM that temporarily stores data used by the arithmetic device 1030 for various arithmetic operations. The secondary storage device 1050 is a storage device in which data used for various calculations by the calculation device 1030 and various databases are registered, and is realized by a ROM (Read Only Memory), HDD, flash memory, or the like.

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。   The output IF 1060 is an interface for transmitting information to be output to an output device 1010 that outputs various types of information such as a monitor and a printer. For example, USB (Universal Serial Bus), DVI (Digital Visual Interface), This is realized by a standard connector such as HDMI (registered trademark) (High Definition Multimedia Interface). The input IF 1070 is an interface for receiving information from various input devices 1020 such as a mouse, a keyboard, and a scanner, and is realized by, for example, a USB.

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。   The input device 1020 includes, for example, an optical recording medium such as a CD (Compact Disc), a DVD (Digital Versatile Disc), and a PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), and a tape. It may be a device that reads information from a medium, a magnetic recording medium, a semiconductor memory, or the like. The input device 1020 may be an external storage medium such as a USB memory.

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。   The network IF 1080 receives data from other devices via the network N and sends the data to the arithmetic device 1030, and transmits data generated by the arithmetic device 1030 to other devices via the network N.

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。   The arithmetic device 1030 controls the output device 1010 and the input device 1020 via the output IF 1060 and the input IF 1070. For example, the arithmetic device 1030 loads a program from the input device 1020 or the secondary storage device 1050 onto the primary storage device 1040, and executes the loaded program.

例えば、コンピュータ１０００が判定装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。   For example, when the computer 1000 functions as the determination device 10, the arithmetic device 1030 of the computer 1000 implements the function of the control unit 40 by executing a program loaded on the primary storage device 1040.

〔６．効果〕
このように、判定装置１０は、関連性の判定対象となる３つの部分画像Ｃ２０を距離空間上に対応付け、３つの部分画像Ｃ２０が有する関連性を、距離空間上に対応付けられた３つの部分画像Ｃ２０により定義づけられる角度として判定する。より具体的には、判定装置１０は、３つの部分画像Ｃ２０が有する関連性を、距離空間上に対応付けられた３つの部分画像Ｃ２０のうち、いずれか１つの部分画像Ｃ２０を頂点とした他の２つの部分画像Ｃ２０の間の角度として判定する。このように、判定装置１０は、３つ以上の部分画像間の関連性を距離空間上の角度に落とし込んで学習または利用することができるので、部分画像の検索精度を向上させることができる。 [6. effect〕
As described above, the determination apparatus 10 associates the three partial images C20 that are the determination targets of the relevance on the metric space, and associates the relevance of the three partial images C20 with the three relevance on the metric space. The angle is determined as an angle defined by the partial image C20. More specifically, the determination apparatus 10 determines whether the relevance of the three partial images C20 is a vertex of any one of the three partial images C20 associated with the metric space. Is determined as the angle between the two partial images C20. In this way, the determination apparatus 10 can learn or use the relationship between three or more partial images by reducing the relevance between the angles in the metric space, so that the partial image search accuracy can be improved.

また、判定装置１０は、関連性の判定対象となる４つの画像を距離空間上に対応付け、４つの部分画像Ｃ２０が有する関連性を、距離空間上に対応付けられた４つの部分画像Ｃ２０により定義づけられる二面角の角度として判定する。より具体的には、判定装置１０は、４つの部分画像Ｃ２０が有する関連性を、距離空間上に対応付けられた４つの部分画像Ｃ２０のうち、いずれか２つの基準画像を含む線を交線とする２つの面であって、基準画像以外の部分画像Ｃ２０のうち、それぞれ異なる部分画像Ｃ２０を含む面が有する角度として判定する。このように、判定装置１０は、４つ以上の部分画像間の関連性を距離空間上の角度に落とし込んで学習または利用することができるので、部分画像の検索精度を向上させることができる。   In addition, the determination apparatus 10 associates four images, which are the determination targets of relevance, on the metric space, and associates the relevance of the four partial images C20 with the four partial images C20 associated on the metric space. It is determined as the dihedral angle defined. More specifically, the determination apparatus 10 intersects the line that includes any two reference images among the four partial images C20 associated with each other in the metric space with respect to the relevance of the four partial images C20. Are determined as the angles of the surfaces including different partial images C20 among the partial images C20 other than the reference image. As described above, the determination apparatus 10 can learn or use the relationship between four or more partial images at an angle in the metric space, so that the partial image search accuracy can be improved.

また、判定装置１０は、４つの部分画像Ｃ２０のうちいずれか３つの部分画像Ｃ２０が有する関連性を、距離空間上に対応付けられた３つの部分画像Ｃ２０により定義づけられる角度として判定する。このため、判定装置１０は、部分画像の検索精度を向上させることができる。   Further, the determination device 10 determines the relevance of any three partial images C20 among the four partial images C20 as an angle defined by the three partial images C20 associated with each other in the metric space. For this reason, the determination apparatus 10 can improve the search accuracy of partial images.

また、判定装置１０は、関連性の判定対象となる複数の部分画像Ｃ２０のうち、任意の２つの部分画像Ｃ２０の間の関連性を、距離空間上に対応付けられた２つの部分画像Ｃ２０の間のコサイン距離として判定する。このため、判定装置１０は、部分画像の検索精度を向上させることができる。   In addition, the determination device 10 determines the relevance between any two partial images C20 among the plurality of partial images C20 to be determined for relevance in the two partial images C20 associated with each other in the metric space. Determined as the cosine distance between. For this reason, the determination apparatus 10 can improve the search accuracy of partial images.

また、判定装置１０は、判定結果を用いて、複数の部分画像Ｃ２０が有する関連性を判定する学習器の学習を行う。例えば、判定装置１０は、複数の中間層を有するニューラルネットワークの学習を行う。このため、例えば、判定装置１０は、３つ以上または４つ以上の部分画像Ｃ２０が有する関連性を考慮した距離空間の学習を行うことができるので、部分画像の検索精度を向上させることができる。   Moreover, the determination apparatus 10 performs learning of a learning device that determines relevance of the plurality of partial images C20 using the determination result. For example, the determination apparatus 10 learns a neural network having a plurality of intermediate layers. For this reason, for example, since the determination apparatus 10 can learn the metric space in consideration of the relevance of the three or more or four or more partial images C20, it is possible to improve the search accuracy of the partial images. .

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。   As described above, some of the embodiments of the present application have been described in detail with reference to the drawings. However, these are merely examples, and various modifications, including the aspects described in the disclosure section of the invention, based on the knowledge of those skilled in the art, It is possible to implement the present invention in other forms with improvements.

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、判定部は、判定手段や判定回路に読み替えることができる。   Moreover, the above-mentioned “section (module, unit)” can be read as “means”, “circuit”, and the like. For example, the determination unit can be read as determination means or a determination circuit.

１０ 判定装置
２０ 通信部
３０ 記憶部
３１ 学習データデータベース
３２ 画像データベース
３３ モデルデータベース
４０ 制御部
４１ 取得部
４２ 解析部
４３ 対応部
４４ 判定部
４５ 学習部
４６ 提供部
５０ データサーバ
１００ 端末装置 DESCRIPTION OF SYMBOLS 10 Determination apparatus 20 Communication part 30 Storage part 31 Learning data database 32 Image database 33 Model database 40 Control part 41 Acquisition part 42 Analysis part 43 Corresponding part 44 Determination part 45 Learning part 46 Providing part 50 Data server 100 Terminal device

Claims (9)

関連性の判定対象となる３つの画像であって、所定の画像のうちそれぞれ異なる部分を構成する画像を距離空間上に対応付ける対応部と、
前記３つの画像が有する関連性を、前記距離空間上に対応付けられた前記３つの画像により定義づけられる角度として判定する判定部と
を有することを特徴とする判定装置。 Corresponding units that associate three images that are different parts of the predetermined images on the metric space, and are three images to be determined for relevance;
And a determination unit that determines the relevance of the three images as an angle defined by the three images associated in the metric space. 前記判定部は、前記３つの画像が有する関連性を、前記距離空間上に対応付けられた前記３つの画像のうち、いずれか１つの画像を頂点とした他の２つの画像間の角度として判定する
ことを特徴とする請求項１に記載の判定装置。 The determination unit determines the relevance of the three images as an angle between two other images having one of the three images associated with the metric space as a vertex. The determination device according to claim 1, wherein: 関連性の判定対象となる４つの画像であって、所定の画像のうちそれぞれ異なる部分を構成する画像を距離空間上に対応付ける対応部と、
前記４つの画像が有する関連性を、前記距離空間上に対応付けられた前記４つの画像により定義づけられる二面角の角度として判定する判定部と
を有することを特徴とする判定装置。 Corresponding units that associate four images that are different parts of a predetermined image on the metric space, and are four images to be determined for relevance;
And a determination unit that determines the relevance of the four images as a dihedral angle defined by the four images associated on the metric space. 前記判定部は、前記４つの画像が有する関連性を、前記距離空間上に対応付けられた前記４つの画像のうち、いずれか２つの基準画像を含む線を交線とする２つの面であって、前記基準画像以外の画像のうち、それぞれ異なる画像を含む面が有する角度として判定する
ことを特徴とする請求項３に記載の判定装置。 The determination unit includes two planes in which the relevance of the four images is an intersection of lines including any two reference images among the four images associated with the metric space. The determination apparatus according to claim 3, wherein the determination is performed as an angle of a surface including different images among images other than the reference image. 前記判定部はさらに、前記４つの画像のうちいずれか３つの画像が有する関連性を、前記距離空間上に対応付けられた当該３つの画像により定義づけられる角度として判定する
ことを特徴とする請求項３または４に記載の判定装置。 The determination unit further determines the relevance of any three of the four images as an angle defined by the three images associated in the metric space. Item 5. The determination device according to Item 3 or 4. 前記判定部はさらに、関連性の判定対象となる複数の画像のうち、任意の２つの画像間の関連性を、前記距離空間上に対応付けられた当該２つの画像間のコサイン距離として判定する
ことを特徴とする請求項１〜５のうちいずれか１つに記載の判定装置。 The determination unit further determines a relationship between any two images among a plurality of images to be determined for a relationship as a cosine distance between the two images associated with the distance space. The determination apparatus according to claim 1, wherein: 前記判定部による判定結果を用いて、複数の画像が有する関連性を判定する学習器の学習を行う学習部
をさらに有することを特徴とする請求項１〜６のうちいずれか１つに記載の判定装置。 7. The learning unit according to claim 1, further comprising: a learning unit that performs learning of a learning device that determines relevance of a plurality of images using the determination result of the determination unit. Judgment device. 前記学習部は、前記学習器として、複数の中間層を有するニューラルネットワークを学習する
ことを特徴とする請求項７に記載の判定装置。 The determination device according to claim 7, wherein the learning unit learns a neural network having a plurality of intermediate layers as the learning device. 判定装置が実行する判定方法であって、
関連性の判定対象となる３つの画像であって、所定の画像のうちそれぞれ異なる部分を構成する画像を距離空間上に対応付ける対応工程と、
前記３つの画像が有する関連性を、前記距離空間上に対応付けられた前記３つの画像により定義づけられる角度として判定する判定工程と
を含むことを特徴とする判定方法。 A determination method executed by a determination device,
Corresponding steps for correlating three images to be determined for relevance, each of which constitutes a different part of a predetermined image, on a metric space;
And a determination step of determining an association of the three images as an angle defined by the three images associated on the metric space.
JP2016054544A 2016-03-17 2016-03-17 Determination apparatus and determination method Active JP6396353B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016054544A JP6396353B2 (en) 2016-03-17 2016-03-17 Determination apparatus and determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016054544A JP6396353B2 (en) 2016-03-17 2016-03-17 Determination apparatus and determination method

Publications (2)

Publication Number Publication Date
JP2017167987A JP2017167987A (en) 2017-09-21
JP6396353B2 true JP6396353B2 (en) 2018-09-26

Family

ID=59913798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016054544A Active JP6396353B2 (en) 2016-03-17 2016-03-17 Determination apparatus and determination method

Country Status (1)

Country Link
JP (1) JP6396353B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7017478B2 (en) * 2018-06-27 2022-02-08 ヤフー株式会社 Output device, output method and output program
CN113039534A (en) * 2018-11-16 2021-06-25 富士通株式会社 Similarity calculation device, similarity calculation method, and similarity calculation program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5777380B2 (en) * 2011-04-05 2015-09-09 キヤノン株式会社 Image recognition apparatus, image recognition method, and program
JP2014199519A (en) * 2013-03-29 2014-10-23 キヤノン株式会社 Object identification device, object identification method and program
JP5896084B2 (en) * 2013-08-01 2016-03-30 パナソニック株式会社 Similar case search device, control method of similar case search device, and program
JP6369053B2 (en) * 2014-02-28 2018-08-08 日本電気株式会社 MATCHING DEVICE, MATCHING METHOD, AND PROGRAM

Also Published As

Publication number Publication date
JP2017167987A (en) 2017-09-21

Similar Documents

Publication Publication Date Title
US11747898B2 (en) Method and apparatus with gaze estimation
US11295413B2 (en) Neural networks for cropping images based on body key points
Palacios et al. Human-computer interaction based on hand gestures using RGB-D sensors
US10189162B2 (en) Model generation apparatus, information processing apparatus, model generation method, and information processing method
JP7452016B2 (en) Learning data generation program and learning data generation method
Sim et al. Indirect correspondence-based robust extrinsic calibration of LiDAR and camera
JP6889865B2 (en) Template creation device, object recognition processing device, template creation method and program
JP5261501B2 (en) Permanent visual scene and object recognition
JP2012181736A (en) Attitude estimation device, attitude estimation system, and attitude estimation method
JP6071002B2 (en) Reliability acquisition device, reliability acquisition method, and reliability acquisition program
JP2019144830A (en) Program, device, and method for recognizing actions of persons using a plurality of recognition engines
JP6381368B2 (en) Image processing apparatus, image processing method, and program
JP2018151830A (en) Image processing device, image processing method and program
JP6396353B2 (en) Determination apparatus and determination method
Van Crombrugge et al. Accuracy assessment of joint angles estimated from 2D and 3D camera measurements
Laddi et al. An augmented image gradients based supervised regression technique for iris center localization
JP7409499B2 (en) Image processing device, image processing method, and program
JP6400037B2 (en) Determination apparatus and determination method
Yu et al. Separated calibration of a camera and a laser rangefinder for robotic heterogeneous sensors
WO2020045023A1 (en) Eye information estimation device, eye information estimation method, and program
JP6118976B2 (en) Head posture estimation apparatus, head posture estimation method, and program for causing computer to execute head posture estimation method
CN106406507A (en) Image processing method and electronic equipment
JP6800671B2 (en) Grant device, grant method and grant program
Zhang et al. A map-based normalized cross correlation algorithm using dynamic template for vision-guided telerobot
Dong et al. Real time 3D facial movement tracking using a monocular camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180829

R150 Certificate of patent or registration of utility model

Ref document number: 6396353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350