JP7382461B2 - Image analysis device, image analysis method, computer program, and recording medium - Google Patents
Image analysis device, image analysis method, computer program, and recording medium Download PDFInfo
- Publication number
- JP7382461B2 JP7382461B2 JP2022116297A JP2022116297A JP7382461B2 JP 7382461 B2 JP7382461 B2 JP 7382461B2 JP 2022116297 A JP2022116297 A JP 2022116297A JP 2022116297 A JP2022116297 A JP 2022116297A JP 7382461 B2 JP7382461 B2 JP 7382461B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- person
- image
- image analysis
- analyzed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010191 image analysis Methods 0.000 title claims description 154
- 238000003703 image analysis method Methods 0.000 title claims description 17
- 238000004590 computer program Methods 0.000 title description 5
- 238000003860 storage Methods 0.000 claims description 47
- 238000004458 analytical method Methods 0.000 claims description 46
- 238000012360 testing method Methods 0.000 claims description 25
- 238000000876 binomial test Methods 0.000 claims description 6
- 238000000729 Fisher's exact test Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 36
- 238000000034 method Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 238000012854 evaluation process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
本発明は、画像解析装置及び画像解析方法に係り、特に、画像提供者が提供した画像に写っている人物間の親密度を評価することが可能な画像解析装置及び画像解析方法に関する。
また、本発明は、コンピュータを上記の画像解析装置として機能させるためのコンピュータプログラム、及び、そのコンピュータプログラムを記録した記録媒体に関する。
The present invention relates to an image analysis device and an image analysis method, and more particularly to an image analysis device and an image analysis method that can evaluate the intimacy between people appearing in images provided by an image provider.
The present invention also relates to a computer program for causing a computer to function as the above image analysis apparatus, and a recording medium on which the computer program is recorded.
現在では、通信技術の発展により、画像の提供及びユーザ間の共有が頻繁に行われ、各ユーザは、自分が撮影した画像を個人用端末、例えばパソコン、スマートフォン若しくはタブレット端末等にて保管する代わりに、サーバコンピュータ等の外部装置にアップロードして保管させておくことができる。 Nowadays, due to the development of communication technology, images are frequently provided and shared between users, and each user has an option to save the images they have taken on a personal device such as a personal computer, smartphone, or tablet. It can be uploaded and stored in an external device such as a server computer.
画像を保管するコンピュータの中には、保管中の画像を対象として所定の解析処理を実行するものが存在する。このような画像解析装置の一例としては、画像に写っている人物を識別し、識別した人物が複数いる場合には人物間の親密度を評価するものが挙げられる（例えば、特許文献１及び２参照）。 Some computers that store images execute predetermined analysis processing on images that are being stored. An example of such an image analysis device is one that identifies a person in an image and evaluates the degree of intimacy between the persons when there are multiple identified persons (for example, Patent Documents 1 and 2). reference).
特許文献１に記載の装置（具体的には、パソコン及びサーバ等の電子機器）は、画像提供者から取得した画像を解析し、画像に含まれる人物間の親密度を示す人物関係深度情報を作成することができる。特許文献１において、ある人物と他の人物との親密度は、これら２人の人物が共に写った画像（以下、共起画像とも言う）の数が多いほど高く設定される。 The device described in Patent Document 1 (specifically, an electronic device such as a personal computer and a server) analyzes an image obtained from an image provider, and obtains depth information on interpersonal relationships that indicates the degree of intimacy between the people included in the image. can be created. In Patent Document 1, the degree of intimacy between a certain person and another person is set to be higher as the number of images in which these two people appear together (hereinafter also referred to as co-occurrence images) increases.
特許文献２に記載の装置（具体的には、画像分類装置）は、例えば電子カメラからなり、画像提供者から取得した画像を記憶するものではないが、入力画像に写った人物の顔を識別し、入力画像に写った人物の間の相関値を設定することができる。相関値は、入力画像に写った人物の間の親しさの度合いを表し、一つの画像に一緒に写っている頻度が高くなるほど（換言すると、共起画像の数が多くなるほど）大きくなる。 The device (specifically, the image classification device) described in Patent Document 2 is composed of, for example, an electronic camera, and does not store images acquired from an image provider, but is capable of identifying the face of a person in an input image. However, it is possible to set a correlation value between people in the input image. The correlation value represents the degree of familiarity between the people in the input images, and increases as the frequency of the people appearing together in one image increases (in other words, as the number of co-occurring images increases).
しかし、特許文献１及び２に記載の技術では、画像提供者から取得した画像の数が時間の経過に伴って増えると、共起画像の数も併せて増える場合がある。例えば、実際には然程親しくない２人の人物Ａ、Ｂの画像が時間の経過とともに増えていくと、その２人の人物Ａ、Ｂが一緒に写っている画像（共起画像）が連動して増えることがある。この場合、共起画像の数が所定数以上に増えると、実際には親しくない間柄であるにも関わらず、人物Ａ、Ｂの間の親密度が高いと誤って判断してしまう虞がある。 However, in the techniques described in Patent Documents 1 and 2, when the number of images acquired from image providers increases over time, the number of co-occurring images may also increase. For example, as the number of images of two people A and B, who are not actually very close to each other, increases over time, images of the two people A and B together (co-occurrence images) will be linked. It may increase. In this case, if the number of co-occurring images increases beyond a predetermined number, there is a risk that it may be mistakenly determined that the degree of intimacy between persons A and B is high, even though they are not actually close. .
上記の問題への対応策としては、人物Ａ、Ｂの双方が一緒に写っている共起画像の数をＮｘとし、人物Ａ、Ｂのうちの少なくとも一方が写っている画像の数をＮｙとして、下記の式（ｆ１）に代入して親密度Ａｆｆｉｎｉｔｙ（Ａ，Ｂ）を算出することが考えられる。
Ａｆｆｉｎｉｔｙ（Ａ，Ｂ）＝Ｎｘ／Ｎｙ 式（ｆ１）
上記の式にて算出される値は、Ｔａｎｉｍｏｔｏ係数若しくはＪａｃｃａｒｄ係数と呼ばれ、その値を親密度として採用すれば、単純に共起画像の数のみから親密度を求める場合よりも妥当な親密度が得られる。
As a countermeasure to the above problem, let Nx be the number of co-occurring images in which both persons A and B are shown together, and let Ny be the number of images in which at least one of persons A and B is shown. , it is possible to calculate the degree of intimacy Affinity (A, B) by substituting it into the following equation (f1).
Affinity (A, B) = Nx/Ny Formula (f1)
The value calculated using the above formula is called the Tanimoto coefficient or Jaccard coefficient, and if this value is adopted as the familiarity, it will give a more reasonable degree of familiarity than simply calculating the intimacy from the number of co-occurring images. is obtained.
しかしながら、Ｔａｎｉｍｏｔｏ係数を親密度として算出する場合、上記２種類の画像数Ｎｘ、Ｎｙの割合のみによって算出されるので、特にＮｙが小さい場合には、少数の特異なデータが発生する確率が高まり、その算出結果が妥当性を欠く虞がある。 However, when calculating the Tanimoto coefficient as familiarity, it is calculated only based on the ratio of the above two types of image numbers Nx and Ny, so especially when Ny is small, the probability that a small number of unique data will occur increases, There is a possibility that the calculation result lacks validity.
上記の不具合について具体例を挙げて説明すると、極端なケースではあるが、１０００個の解析対象画像のうち、人物Ａ、Ｂが写っている画像の数が１個のみであり、その画像に人物Ａ、Ｂが偶然一緒に写っている場合、Ｎｘ＝Ｎｙ＝１となるので、上記の式（ｆ１）から算出される親密度Ａｆｆｉｎｉｔｙ（Ａ，Ｂ）は、最大値である１となる。かかるケースをＣ１とする。
他方、極端なケースではあるが、１００個の解析対象画像のすべてが共起画像であって各画像に人物Ａ、Ｂの双方が一緒に写っている場合には、Ｎｘ＝Ｎｙ＝１００となるので、この場合にも親密度Ａｆｆｉｎｉｔｙ（Ａ，Ｂ）が１となる。かかるケースをＣ２とする。
To explain the above problem using a specific example, in an extreme case, out of 1000 images to be analyzed, only one image contains people A and B, and If A and B happen to be photographed together, Nx=Ny=1, so the intimacy Affinity (A, B) calculated from the above equation (f1) will be 1, which is the maximum value. Let this case be C1.
On the other hand, although this is an extreme case, if all 100 images to be analyzed are co-occurring images and both persons A and B appear together in each image, Nx = Ny = 100. Therefore, in this case as well, the degree of intimacy Affinity (A, B) is 1. Such a case is designated as C2.
ケースＣ２は、１００個の解析対象画像のすべてが共起画像であり、偶然に起こり得るとは考え難いはずであるのに、上記の通り、ケースＣ１、Ｃ２の間で親密度が同一値となってしまう。つまり、人物Ａ、Ｂの間の親密度の算出結果に関しては、本来、ケースＣ１とケースＣ２との間で相違するはずであるのに、上記の式（ｆ１）を用いると同一の親密度となり、妥当な算出結果が得られない虞がある。 In case C2, all 100 images to be analyzed are co-occurring images, and it is hard to imagine that this could happen by chance. turn into. In other words, although the calculation results of the degree of intimacy between persons A and B should originally be different between case C1 and case C2, if the above formula (f1) is used, the degree of intimacy is the same. , there is a risk that valid calculation results may not be obtained.
本発明は、上記の事情に鑑みてなされたものであり、以下に示す目的を解決することを課題とする。
本発明は、上記従来技術の問題点を解決し、解析対象画像に写っている人物間の親密度について、時間経過等に伴って解析対象画像が増えた場合にも適切に評価することが可能な画像解析装置及び画像解析方法を提供することを目的とする。
また、本発明は、コンピュータに実行させることで上記の画像解析方法を実現させるためのコンピュータプログラム、及び、コンピュータプログラムを記録した記録媒体を提供することをも目的とする。
The present invention has been made in view of the above circumstances, and an object of the present invention is to solve the following objects.
The present invention solves the above-mentioned problems of the conventional technology, and makes it possible to appropriately evaluate the degree of intimacy between people appearing in images to be analyzed even when the number of images to be analyzed increases over time. The purpose of the present invention is to provide an image analysis device and an image analysis method.
Another object of the present invention is to provide a computer program for realizing the above image analysis method by causing a computer to execute the program, and a recording medium on which the computer program is recorded.
上記の目的を達成するために、本発明の画像解析装置は、画像提供者から提供された画像を記憶する画像記憶部と、一人の画像提供者から提供されて画像記憶部に記憶された画像を解析対象画像として解析する画像解析部と、を有し、画像解析部は、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、Ｎｘ個の解析対象画像が共起画像となる事象の起こり難さについての有意確率を、第１画像の数Ｎ１、第２画像の数Ｎ２及び共起画像の数Ｎｘに基づいて算出し、有意確率を用いて、第１人物及び第２人物の間の親密度を評価することを特徴とする。 In order to achieve the above object, the image analysis device of the present invention includes an image storage unit that stores images provided by image providers, and an image storage unit that stores images provided by one image provider and stored in the image storage unit. an image analysis unit that analyzes the image as an analysis target image; The number N2 and the number Nx of co-occurring images in which the first person and the second person are photographed together are respectively specified, and the significance probability regarding the difficulty of an event in which Nx images to be analyzed become co-occurring images is calculated. , the number of first images N1, the number of second images N2, and the number of co-occurring images Nx, and the degree of intimacy between the first person and the second person is evaluated using the significance probability. Features.
上記のように構成された本発明の画像解析装置によれば、解析対象画像のうち、第１画像、第２画像及び共起画像の各々の数を特定し、特定した各画像の数に基づいて、Ｎｘ個の解析対象画像が共起画像となる事象の起こり難さについて、上側及び下側の両方での仮説検定を行って有意確率を算出する。有意確率は、解析対象画像の数の変化（増加）に応じて変わり得るので、有意確率を用いることで、解析対象画像の数が増えた場合にも、第１人物及び第２人物の間の親密度を適切に評価することが可能となる。 According to the image analysis device of the present invention configured as described above, the number of each of the first image, second image, and co-occurring image is specified among the images to be analyzed, and based on the number of each specified image, Then, a hypothesis test is performed on both the upper and lower sides to calculate the significance probability regarding the probability of an event in which Nx images to be analyzed become co-occurring images. The significance probability can change depending on the change (increase) in the number of images to be analyzed, so by using the significance probability, even when the number of images to be analyzed increases, the difference between the first person and the second person can be It becomes possible to appropriately evaluate intimacy.
また、上記の画像解析装置において、画像解析部は、解析対象画像の数Ｎａと、解析対象画像のうち、第１人物及び第２人物の双方が写っていない第３画像の数Ｎ３と、をさらに特定し、解析対象画像の数Ｎａ、第１画像の数Ｎ１、第２画像の数Ｎ２、第３画像の数Ｎ３、及び共起画像の数Ｎｘを用いて、Ｆｉｓｈｅｒの正確確率検定に用いられるｐ値を有意確率として算出してもよい。
より具体的には、画像解析部は、共起画像の数Ｎｘをａとし、第１画像の数Ｎ１と共起画像の数Ｎｘとの差をｂとし、第２画像の数Ｎ２と共起画像の数Ｎｘとの差をｃとし、第３画像の数Ｎ３をｄとし、解析対象画像の数Ｎａをｎとして下記の式（１）に示すｐを求め、求めたｐからｐ値を算出するとよい。
ｐ＝｛（ａ＋ｂ）！（ｃ＋ｄ）！（ａ＋ｃ）！（ｂ＋ｄ）！｝
／｛ａ！ｂ！ｃ！ｄ！ｎ！｝ 式（１）
上記の要領で算出されるｐ値を用いることで、第１人物と第２人物との間の親密度を、解析対象画像の数を踏まえて適切に評価することが可能となる。
Further, in the image analysis device described above, the image analysis unit calculates the number Na of images to be analyzed and the number N3 of third images in which both the first person and the second person are not included among the images to be analyzed. Furthermore, the number of images to be analyzed Na, the number of first images N1, the number of second images N2, the number of third images N3, and the number of co-occurring images Nx are used for Fisher's exact probability test. The p value obtained may be calculated as the significance probability.
More specifically, the image analysis unit sets the number Nx of co-occurring images to a, the difference between the number N1 of first images and the number Nx of co-occurring images to b, and the number N2 of co-occurring images and the number Nx of co-occurring images. The difference from the number of images Nx is set as c, the number of third images N3 is set as d, and the number of images to be analyzed Na is set as n, calculate p shown in the following formula (1), and calculate the p value from the calculated p. It's good to do that.
p={(a+b)! (c+d)! (a+c)! (b+d)! }
/{a! b! c! d! n! } Formula (1)
By using the p value calculated in the above manner, it becomes possible to appropriately evaluate the degree of intimacy between the first person and the second person based on the number of images to be analyzed.
また、上記の画像解析装置において、画像解析部は、解析対象画像の数Ｎａを特定し、解析対象画像の数Ｎａに対する第１画像の数Ｎ１の比率Ｎ１／Ｎａと、解析対象画像の数Ｎａに対する第２画像の数Ｎ２の比率Ｎ２／Ｎａとを掛け合わせて標準共起確率Ｐｓを求め、解析対象画像の数Ｎａ、共起画像の数Ｎｘ及び標準共起確率Ｐｓを用いて、二項検定に用いられるｐ値を有意確率として算出してもよい。
上記の要領で算出されるp値は、前述したＦｉｓｈｅｒの正確確率検定に用いられるｐ値と同様、解析対象画像の数を反映した値となるので、そのｐ値を用いることで、第１人物と第２人物との間の親密度を適切に評価することが可能となる。
Further, in the image analysis device described above, the image analysis unit specifies the number Na of images to be analyzed, and calculates the ratio N1/Na of the number N1 of first images to the number Na of images to be analyzed, and the number Na of images to be analyzed. The standard co-occurrence probability Ps is obtained by multiplying the ratio N2/Na of the number N2 of second images to The p value used in the test may be calculated as a significance probability.
The p-value calculated in the above manner is a value that reflects the number of images to be analyzed, similar to the p-value used in the Fisher's exact test described above, so by using that p-value, it is possible to It becomes possible to appropriately evaluate the degree of intimacy between the person and the second person.
また、上記の画像解析装置において、画像解析部は、少なくとも人物が写った解析対象画像の総数を、解析対象画像の数Ｎａとして特定するとよい。
上記の構成であれば、風景写真の撮影回数が多くなる等の撮影者の撮影傾向によらず、人物が写っていない画像が解析対象画像から外れるので、解析対象画像の数を踏まえて有意確率を算出すると、人物が写っていない画像を解析対象画像に含める場合と比べて、より妥当な算出結果を得ることが可能である。
Further, in the image analysis device described above, the image analysis unit may specify the total number of analysis target images in which at least a person is photographed as the number Na of analysis target images.
With the above configuration, images that do not include people will be excluded from the images to be analyzed, regardless of the photographer's tendency to take landscape photos, such as taking many landscape photos, so the significance probability is determined based on the number of images to be analyzed. By calculating , it is possible to obtain a more valid calculation result than when an image that does not include a person is included in the analysis target image.
また、上記の画像解析装置において、画像解析部は、第１人物にとっての第２人物との親密度、及び第２人物にとっての第１人物との親密度をそれぞれ評価するために、二項検定に用いられるｐ値を、有意確率として、第１人物及び第２人物の各々について算出してもよい。
上記の場合、画像解析部は、解析対象画像の数Ｎａを特定し、Ｎａ個の解析対象画像に写っている人物の数ｍを特定し、Ｎａ個の解析対象画像中、対象人物が他の人物と一緒に写った特定画像の比率を、他の人物毎に求め、他の人物毎に求めた比率の総和を、他の人物の数（ｍ－１）で除することで、対象人物についての人物別共起確率を算出し、Ｎａ個の解析対象画像に写っている人物の各人を対象人物として、各人についての人物別共起確率を繰り返し算出し、各人について算出した人物別共起確率の総和を、Ｎａ個の解析対象画像に写っている人物の数ｍで除することで、全体共起確率Ｐｗを算出し、全体共起確率Ｐｗを用いて、第１人物及び第２人物の各々についてｐ値を算出するとよい。
より詳しく説明すると、画像解析部は、ランダムに選ばれた１個の第１画像が共起画像である確率が全体共起確率Ｐｗになるという仮定の下で、Ｎ１個の第１画像のうち、Ｎｘ個の第１画像が共起画像となる確率を、第１人物についてのｐ値として算出し、ランダムに選ばれた１個の第２画像が共起画像である確率が全体共起確率Ｐｗになるという仮定の下で、Ｎ２個の第２画像のうち、Ｎｘ個の第２画像が共起画像となる確率を、第２人物についてのｐ値として算出するとよい。
以上の構成であれば、解析対象画像のうち、第１人物が写った第１画像の数と第２人物が写った第２画像の数とが大きく異なる場合に、第１人物及び第２人物の各々について算出したp値を用いて、各人物にとっての親密度を適切に評価することができる。
Further, in the image analysis device described above, the image analysis unit performs a binomial test to evaluate the degree of intimacy of the first person with the second person and the degree of intimacy of the second person with the first person. The p value used in the above may be calculated as a significance probability for each of the first person and the second person.
In the above case, the image analysis unit specifies the number Na of images to be analyzed, the number m of people appearing in the Na images to be analyzed, and By calculating the ratio of a specific image taken with a person for each other person, and dividing the sum of the ratios calculated for each other person by the number of other people (m-1), it is possible to calculate the ratio of the target person. The co-occurrence probability for each person is calculated, and the co-occurrence probability for each person is repeatedly calculated for each person, using each person in the Na images to be analyzed as the target person, and the co-occurrence probability for each person calculated for each person is The total co-occurrence probability Pw is calculated by dividing the sum of the co-occurrence probabilities by the number m of people appearing in Na images to be analyzed, and using the total co-occurrence probability Pw, the first person and the first person It is preferable to calculate the p value for each of the two people.
To explain in more detail, the image analysis unit selects among the N1 first images on the assumption that the probability that one randomly selected first image is a co-occurrence image is the overall co-occurrence probability Pw. , the probability that Nx first images are co-occurring images is calculated as the p value for the first person, and the probability that one randomly selected second image is a co-occurring image is the overall co-occurrence probability. Under the assumption that Pw, the probability that Nx second images among the N2 second images are co-occurring images may be calculated as the p value for the second person.
With the above configuration, when the number of first images in which the first person is photographed and the number of second images in which the second person is photographed among the images to be analyzed are significantly different, the first person and the second person Using the p-value calculated for each person, it is possible to appropriately evaluate the degree of intimacy for each person.
また、上記の画像解析装置において、解析対象画像に写っている人物が３人以上存在する場合、画像解析部は、第１人物と第２人物との組み合わせを変えて、第１人物と第２人物との間の親密度を組み合わせ毎に評価してもよい。
上記の構成であれば、解析対象画像に写っている３人以上の人物について、各人物間の親密度を評価することが可能となる。
In addition, in the image analysis device described above, when there are three or more people in the image to be analyzed, the image analysis unit changes the combination of the first person and the second person, and The degree of intimacy between the person and the person may be evaluated for each combination.
With the above configuration, it is possible to evaluate the degree of intimacy between three or more people in the image to be analyzed.
また、上記の画像解析装置において、画像提供者から提供される画像を、画像提供者の利用端末との通信を通じて取得する画像取得部を有し、画像取得部が画像を取得する都度、画像記憶部は、画像取得部によって取得された画像を記憶するとよい。
上記の構成であれば、画像記憶部に記憶される画像が増加していくので、それに伴って、解析対象画像の数も変化する（増加する)場合がある。この場合には、解析対象画像の数が変化した場合にも親密度を適切に評価するという本発明の効果がより有意義なものとなる。
The image analysis device described above also includes an image acquisition unit that acquires an image provided by an image provider through communication with a user terminal of the image provider, and each time the image acquisition unit acquires an image, the image is stored. The unit may store images acquired by the image acquisition unit.
With the above configuration, since the number of images stored in the image storage unit increases, the number of images to be analyzed may also change (increase) accordingly. In this case, the effect of the present invention of appropriately evaluating the degree of familiarity even when the number of images to be analyzed changes becomes even more significant.
また、上記の画像解析装置において、画像解析部は、解析対象画像に写った人物を識別し、それぞれの解析対象画像における人物の識別結果に基づいて第１画像の数Ｎ１、第２画像の数Ｎ２、及び共起画像の数Ｎｘをそれぞれ特定するとよい。
上記の構成であれば、解析対象画像に写った人物の識別結果に基づいて各画像の数を適切に特定することが可能となる。
Further, in the image analysis device described above, the image analysis unit identifies the person appearing in the analysis target image, and based on the identification result of the person in each analysis target image, the number N1 of the first images and the number N1 of the second images. N2 and the number Nx of co-occurring images may be respectively specified.
With the above configuration, it is possible to appropriately identify the number of each image based on the identification result of the person appearing in the image to be analyzed.
また、前述の目的を達成するために、本発明は、画像記憶部が、画像提供者から提供された画像を記憶するステップと、画像解析部が、一人の画像提供者から提供されて画像記憶部に記憶された画像を解析対象画像として解析するステップと、を有し、画像解析部は、解析対象画像を解析するステップにおいて、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、Ｎｘ個の解析対象画像が共起画像となる事象の起こり難さについての有意確率を、第１画像の数Ｎ１、第２画像の数Ｎ２及び共起画像の数Ｎｘに基づいて算出し、有意確率を用いて、第１人物及び第２人物の間の親密度を評価することを特徴とする画像解析方法を提供する。 In order to achieve the above object, the present invention also provides a step in which the image storage unit stores images provided by an image provider, and an image analysis unit stores images provided by one image provider. and a step of analyzing the image stored in the analysis target image as an analysis target image. The number N1, the number N2 of second images in which the second person is photographed, and the number Nx of co-occurrence images in which the first person and the second person are photographed together are specified, and Nx images to be analyzed are co-occurred. The significance probability regarding the difficulty of occurrence of the event that becomes the image is calculated based on the number of first images N1, the number of second images N2, and the number of co-occurring images Nx, and using the significance probability, the first person and Provided is an image analysis method characterized by evaluating intimacy between second persons.
また、本発明は、上記に記載の画像解析方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
さらに、本発明は、上記に記載の画像解析方法の各々のステップをコンピュータに実行させるためのプログラムが記録された、コンピュータによって読み取り可能な記録媒体を提供する。
The present invention also provides a program for causing a computer to execute each step of the image analysis method described above.
Furthermore, the present invention provides a computer-readable recording medium on which a program for causing a computer to execute each step of the image analysis method described above is recorded.
また、本発明は、記憶装置及びプロセッサを備える画像解析装置であって、記憶装置が画像提供者から提供された画像を記憶し、プロセッサが、一人の画像提供者から提供されて記憶装置に記憶された画像を解析対象画像として解析する画像解析部として機能し、画像解析部としてのプロセッサは、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、Ｎｘ個の解析対象画像が共起画像となる事象の起こり難さについての有意確率を、第１画像の数Ｎ１、第２画像の数Ｎ２及び共起画像の数Ｎｘに基づいて算出し、有意確率を用いて、第１人物及び第２人物の間の親密度を評価するように構成された画像解析装置を提供する。
また、本発明は、画像を記憶する画像記憶部と、画像記憶部に記憶された画像を解析対象画像として用いる画像解析部と、を有し、画像解析部は、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、Ｎｘ個の解析対象画像が共起画像となる確率を、第１画像の数Ｎ１、第２画像の数Ｎ２及び共起画像の数Ｎｘに基づいて算出し、確率を用いて、第１人物及び第２人物の間の親密度を評価することを特徴とする画像解析装置を提供する。
The present invention also provides an image analysis device including a storage device and a processor, wherein the storage device stores images provided by an image provider, and the processor stores images provided by one image provider in the storage device. The processor as the image analysis unit functions as an image analysis unit that analyzes the image as an analysis target image, and the processor as the image analysis unit calculates the number N1 of the first images in which the first person is photographed and the number N1 of the first images in which the second person is photographed among the images to be analyzed. The number N2 of second images and the number Nx of co-occurring images in which the first person and the second person are photographed together are specified, and the probability of occurrence of an event in which Nx images to be analyzed become co-occurring images is determined. The significance probability is calculated based on the number of first images N1, the number of second images N2, and the number of co-occurring images Nx, and using the significance probability, the degree of intimacy between the first person and the second person is calculated. An image analysis device configured to evaluate is provided.
Further, the present invention includes an image storage unit that stores images, and an image analysis unit that uses the images stored in the image storage unit as images to be analyzed, and the image analysis unit is configured to store images stored in the image storage unit as images to be analyzed. Specify the number N1 of first images in which one person is photographed, the number N2 of second images in which a second person is photographed, and the number Nx of co-occurrence images in which the first person and the second person are photographed together, The probability that Nx images to be analyzed are co-occurring images is calculated based on the number N1 of first images, the number N2 of second images, and the number Nx of co-occurring images, and using the probability, An image analysis device is provided that is characterized by evaluating intimacy between second persons.
本発明によれば、一人の画像提供者から提供されて画像記憶部に記憶された画像を解析対象画像とし、解析対象画像の数が変化しても、解析対象画像に写った人物間の親密度を適切に評価することができる画像解析装置及び画像解析方法が実現される。
また、本発明によれば、上記の画像解析方法をコンピュータに実行させるためのプログラム、及び、そのプログラムを記録した記録媒体を提供することが可能となる。
According to the present invention, an image provided by one image provider and stored in an image storage unit is used as an analysis target image, and even if the number of analysis target images changes, the relationship between the people in the analysis target image is An image analysis device and an image analysis method capable of appropriately evaluating density are realized.
Further, according to the present invention, it is possible to provide a program for causing a computer to execute the above image analysis method, and a recording medium on which the program is recorded.
以下、本発明の画像解析装置、画像解析方法、プログラム及び記録媒体について、添付の図面に示す好適な実施形態（以下、本実施形態）に基づいて詳細に説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS An image analysis apparatus, an image analysis method, a program, and a recording medium of the present invention will be described in detail below based on a preferred embodiment (hereinafter referred to as the present embodiment) shown in the accompanying drawings.
なお、以下に説明する実施形態は、本発明を分かり易く説明する目的で挙げた一例にすぎず、本発明を限定するものではない。すなわち、本発明は、以下に説明する実施形態に限られず、本発明の主旨を逸脱しない範囲において種々の改良又は変更され得る。また、当然ながら、本発明には、その等価物が含まれる。 Note that the embodiments described below are merely examples given for the purpose of explaining the present invention in an easy-to-understand manner, and do not limit the present invention. That is, the present invention is not limited to the embodiments described below, and various improvements or changes may be made without departing from the spirit of the present invention. Naturally, the present invention also includes equivalents thereof.
＜＜画像解析装置の概要＞＞
本実施形態に係る画像解析装置について、その概要を説明する。本実施形態に係る画像解析装置１０は、図１に示すサーバコンピュータ１２によって構成されている。サーバコンピュータ１２は、本発明のコンピュータに該当し、図１に示すように、ネットワーク１４を介して１台以上の利用端末１６（クライアント）と通信可能に接続されており、各利用端末１６とともに画像解析システム１００を構築している。図１は、本実施形態に係る画像解析装置１０を含む画像解析システム１００を示すブロック図である。なお、図１では、図示の便宜上、利用端末１６の台数を三台としているが、利用端末１６の台数は、任意の台数でよい。
<<Overview of image analysis device>>
An overview of the image analysis device according to this embodiment will be explained. The image analysis apparatus 10 according to this embodiment is configured by a server computer 12 shown in FIG. The server computer 12 corresponds to the computer of the present invention, and is communicably connected to one or more user terminals 16 (clients) via the network 14, as shown in FIG. An analysis system 100 is being constructed. FIG. 1 is a block diagram showing an image analysis system 100 including an image analysis device 10 according to this embodiment. Note that in FIG. 1, for convenience of illustration, the number of usage terminals 16 is three, but the number of usage terminals 16 may be any number.
サーバコンピュータ１２は、画像提供者から画像を取得する。画像提供者は、画像解析システム１０の利用ユーザであり、利用端末１６を通じて画像をサーバコンピュータ１２に提供（すなわち、アップロード）する。ここで、画像とは、画像データのことであり、具体的には、ＪＰＥＧ（Joint Photographic Experts Group）形式のような非可逆圧縮の画像データ、ＧＩＦ（Graphics Interchange Format）又はＰＮＧ（Portable Network Graphics）形式のような可逆圧縮の画像データ等が該当する。また、画像データは、静止画像のデータに限られず、動画像のデータを含んでもよい。 Server computer 12 acquires images from image providers. The image provider is a user of the image analysis system 10, and provides (that is, uploads) an image to the server computer 12 through the user terminal 16. Here, the image refers to image data, specifically, irreversibly compressed image data such as JPEG (Joint Photographic Experts Group) format, GIF (Graphics Interchange Format), or PNG (Portable Network Graphics). This applies to reversibly compressed image data, etc. Furthermore, the image data is not limited to still image data, but may also include moving image data.
また、サーバコンピュータ１２は、画像提供者から取得した画像を記憶してストックし、具体的には、サーバコンピュータ１２が有する記憶装置１８に、各画像提供者から取得した画像を画像提供者のアカウント別にストックする。また、サーバコンピュータ１２は、ストックされた画像を管理し、例えば、ある画像提供者から提供された画像を、決められた公開条件に則って公開する。 The server computer 12 also stores and stocks images acquired from image providers, and specifically stores images acquired from each image provider in a storage device 18 that the server computer 12 has. Stock separately. The server computer 12 also manages stocked images and, for example, publishes images provided by a certain image provider in accordance with predetermined publication conditions.
さらに、サーバコンピュータ１２は、本発明の画像解析装置１０として機能し、ストックされた画像を解析することができる。具体的に説明すると、サーバコンピュータ１２は、画像中に写っている人物を識別し、識別した人物が２人いる場合には、人物間の親密度を統計的手法によって評価する。このようなサーバコンピュータ１２の画像解析サービスを利用することにより、各画像提供者は、自分が提供した画像に写っている人物の間の親密度を把握することできる。 Furthermore, the server computer 12 functions as the image analysis device 10 of the present invention and can analyze stocked images. Specifically, the server computer 12 identifies the persons in the image, and if there are two identified persons, evaluates the degree of intimacy between the persons using a statistical method. By using such an image analysis service of the server computer 12, each image provider can grasp the degree of intimacy between the people appearing in the images provided by the image provider.
なお、画像が動画像である場合、サーバコンピュータ１２は、ＫＦＥ（Key Frame Extraction）技術を利用して、動画像から、シーンの変わり目などのキーとなるフレーム画像（静止画像）を抽出し、抽出されたフレーム画像を上記の要領で解析して、フレーム画像に写った人物間の親密度を評価してもよい。 Note that if the image is a moving image, the server computer 12 uses KFE (Key Frame Extraction) technology to extract key frame images (still images) such as scene changes from the moving image. The resulting frame images may be analyzed in the manner described above to evaluate the degree of intimacy between the persons depicted in the frame images.
サーバコンピュータ１２の更なる機能としては、親密度の評価結果を利用して、親密度が評価された当事者のうちの一方（以下、第１人物と言う。）に関する情報を、もう一方の当事者（以下、第２人物と言う。）に通知することが挙げられる。具体的に説明すると、第1人物が写った画像から第１人物に関する情報、例えば趣味等に関する情報を抽出し、その情報を、第１人物との親密度が高いと評価された第２人物に提案（リコメンド）するという機能がサーバコンピュータ１２に備わってもよい。 A further function of the server computer 12 is to use the intimacy evaluation results to transmit information about one of the parties whose intimacy has been evaluated (hereinafter referred to as the first person) to the other party (hereinafter referred to as the first person). (hereinafter referred to as the second person). To be more specific, information about the first person, such as information about hobbies, is extracted from an image of the first person, and that information is transmitted to a second person who has been evaluated as having a high level of intimacy with the first person. The server computer 12 may have a function of making suggestions (recommendations).
なお、本実施形態では、サーバコンピュータ１２が一台であるが、これに限定されず、複数のサーバコンピュータ１２が用いられてもよく、その場合には、複数のサーバコンピュータ１２が協働して本発明の画像解析装置１０を構成してもよい。 In this embodiment, there is one server computer 12, but the invention is not limited to this, and a plurality of server computers 12 may be used. In that case, the plurality of server computers 12 may work together. The image analysis device 10 of the present invention may be configured.
利用端末１６は、画像提供者が利用する通信用の端末であり、前述したように、画像提供者は、例えば、自分が撮影した画像を、利用端末１６を通じてサーバコンピュータ１２に提供（アップロード）することができる。
なお、利用端末１６は、ＰＣ（Personal Computer）、タブレット端末、ＰＤＡ（Personal Data Assistant）、携帯電話及びスマートフォン等の携帯通信機器、並びに通信機能付きのデジタルカメラ等のいずれかによって構成されるが、以下では、利用端末１６がカメラ付きのスマートフォンである場合を例に挙げて説明することとする。
The user terminal 16 is a communication terminal used by an image provider, and as described above, the image provider provides (uploads) images taken by the user to the server computer 12 through the user terminal 16, for example. be able to.
Note that the usage terminal 16 is configured by any one of a PC (Personal Computer), a tablet terminal, a PDA (Personal Data Assistant), a mobile communication device such as a mobile phone and a smartphone, a digital camera with a communication function, etc. In the following, a case will be explained in which the usage terminal 16 is a smartphone equipped with a camera.
＜＜本実施形態に係る画像解析装置の構成について＞＞
次に、本実施形態に係る画像解析装置１０の構成について詳しく説明する。本実施形態に係る画像解析装置１０は、前述したように、一台のサーバコンピュータ１２によって構成されている。このサーバコンピュータ１２は、プロセッサ（具体的には、ＣＰＵ（Central Processing Unit））を備えており、プロセッサが画像解析用のプログラム（以下、画像解析プログラム）を読み取って各種のデータ処理を実施することにより、画像解析装置１０としての機能を発揮する。
<<About the configuration of the image analysis device according to this embodiment>>
Next, the configuration of the image analysis device 10 according to this embodiment will be described in detail. The image analysis device 10 according to this embodiment is configured by one server computer 12, as described above. This server computer 12 is equipped with a processor (specifically, a CPU (Central Processing Unit)), and the processor reads an image analysis program (hereinafter referred to as an image analysis program) and performs various data processing. Thus, the function of the image analysis device 10 is exhibited.
画像解析プログラムは、本発明のプログラムに相当し、サーバコンピュータ１２のメモリに記憶されている。メモリとしては、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（RANDOM Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、若しくはＳＲＡＭ（Static Random Access Memory）等が利用可能であるが、これら以外の公知のメモリを利用してもよい。 The image analysis program corresponds to the program of the present invention and is stored in the memory of the server computer 12. As the memory, for example, ROM (Read Only Memory), RAM (RANDOM Access Memory), DRAM (Dynamic Random Access Memory), SRAM (Static Random Access Memory), etc. can be used, but known memories other than these may be used. You may also use
また、サーバコンピュータ１２は、内蔵式又は外付け形式の記憶装置１８（ストレージデバイス）を備えており、各利用端末１６から送られてくる画像を画像提供者別（厳密には、画像提供者のアカウント別）に記憶する。より詳しく説明すると、記憶装置１８は、画像提供者のアカウント別に設けられた画像記憶部２２を有しており、ある画像提供者から画像が提供されると、その画像は、その提供元である画像提供者のアカウントと対応する画像記憶部２２に記憶（格納）される。 The server computer 12 also includes a built-in or external storage device 18, and stores images sent from each user terminal 16 by image provider (strictly speaking, by image provider). (by account). To explain in more detail, the storage device 18 has an image storage section 22 provided for each image provider's account, and when an image is provided by a certain image provider, the image is stored in the image provider's account. The image is stored in the image storage unit 22 corresponding to the image provider's account.
なお、記憶装置１８としては、例えば、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＤ（Secure Digital）メモリ等の記憶デバイスが利用可能であるが、これら以外の公知の記憶装置（外部記憶装置）を利用してもよい。また、複数のサーバコンピュータによって画像解析装置１０が構成される場合には、画像解析処理を実行するサーバコンピュータ以外のサーバコンピュータに設けられたＨＤＤ等の外部記憶装置を記憶装置１８として利用してもよい。 Note that as the storage device 18, for example, storage devices such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), and an SD (Secure Digital) memory can be used, but other known storage devices may also be used. (external storage device) may also be used. Further, when the image analysis device 10 is configured by a plurality of server computers, an external storage device such as an HDD provided in a server computer other than the server computer that executes the image analysis process may be used as the storage device 18. good.
次に、図２を参照しながら、本実施形態に係る画像解析装置１０の構成を機能面から改めて説明する。図２は、本実施形態に係る画像解析装置１０の構成を機能面から説明するための図である。 Next, with reference to FIG. 2, the configuration of the image analysis device 10 according to this embodiment will be explained from a functional perspective. FIG. 2 is a diagram for explaining the configuration of the image analysis device 10 according to the present embodiment from a functional perspective.
画像解析装置１０は、図２に示すように、主な処理部として、画像取得部２１、画像記憶部２２及び画像解析部２３を有する。これらの処理部のうち、画像記憶部２２は、サーバコンピュータ１２の記憶装置１８によって構成されており、画像取得部２１及び画像解析部２３は、サーバコンピュータ１２のハードウェア機器と、サーバコンピュータ１２に格納されたソフトウェアとしての画像解析プログラムとが協働することで実現される。 As shown in FIG. 2, the image analysis device 10 includes an image acquisition section 21, an image storage section 22, and an image analysis section 23 as main processing sections. Among these processing units, the image storage unit 22 is configured by the storage device 18 of the server computer 12, and the image acquisition unit 21 and the image analysis unit 23 are configured by the hardware equipment of the server computer 12 and the server computer 12. This is achieved through cooperation with an image analysis program as stored software.
各処理部について付言しておくと、本実施形態では、画像解析装置１０の各処理部（すなわち、画像取得部２１、画像記憶部２２、及び画像解析部２３）を構成するハードウェアが、プログラムを実行する汎用的なプロセッサ、より具体的には、サーバコンピュータ１２が備える１台又は２台以上のＣＰＵ（Central Processing Unit）であるが、これに限定されるものではなく、上記の処理部を構成する専用のハードウェアが用いられてもよい。あるいは、ＣＰＵ以外のプロセッサとして、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が利用可能である。
また、一つの処理部を、上述した各種プロセッサのうちの一つで構成してもよいし、同種または異種の二つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、またはＦＰＧＡ及びＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの一つで構成してもよいし、複数の処理部のうちの二つ以上をまとめて一つのプロセッサを用いて構成してもよい。
また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を一つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。
さらに、上述した各種プロセッサのハードウェア構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。
As an additional note regarding each processing section, in this embodiment, the hardware constituting each processing section (i.e., the image acquisition section 21, the image storage section 22, and the image analysis section 23) of the image analysis device 10 is programmed. A general-purpose processor that executes, more specifically, one or more CPUs (Central Processing Units) included in the server computer 12, but is not limited to this. Dedicated configuring hardware may also be used. Alternatively, as processors other than CPUs, specify programmable logic devices (PLDs), which are processors whose circuit configuration can be changed after manufacturing, such as FPGAs (Field Programmable Gate Arrays), and ASICs (Application Specific Integrated Circuits). It is possible to use a dedicated electric circuit, which is a processor having a circuit configuration specially designed to perform the processing.
Furthermore, one processing unit may be configured with one of the various processors described above, or may be configured with a combination of two or more processors of the same type or different types, for example, a combination of multiple FPGAs, or a combination of FPGAs and CPUs. It may be configured by a combination or the like. Further, the plurality of processing units may be configured using one of various types of processors, or two or more of the plurality of processing units may be configured using a single processor.
Furthermore, there is a form of using a processor that realizes the functions of an entire system including a plurality of processing units with a single IC (Integrated Circuit) chip, as typified by a system on chip (SoC).
Furthermore, the hardware configuration of the various processors described above is, more specifically, an electric circuit (Circuitry) that is a combination of circuit elements such as semiconductor elements.
画像解析装置１０の各処理部について説明すると、画像取得部２１は、画像提供者から提供される画像を、その画像提供者の利用端末１６との通信を通じてネットワーク１４経由で取得する。 To explain each processing unit of the image analysis device 10, the image acquisition unit 21 acquires an image provided by an image provider via the network 14 through communication with the user terminal 16 of the image provider.
画像記憶部２２は、画像提供者のアカウント別に設けられ、対応する画像提供者から提供された画像を記憶する。具体的に説明すると、一人の画像提供者から画像が提供されると、その都度、画像取得部２１が画像を取得し、上記の画像提供者のアカウントと対応する画像記憶部２２が、画像取得部２１によって取得された画像を記憶してストックする。 The image storage unit 22 is provided for each image provider account, and stores images provided by the corresponding image provider. To explain specifically, each time an image is provided by one image provider, the image acquisition section 21 obtains the image, and the image storage section 22 corresponding to the account of the image provider mentioned above acquires the image. The images acquired by the unit 21 are stored and stocked.
画像解析部２３は、一人の画像提供者から提供されて画像記憶部２２に記憶された画像を解析対象画像として解析する。具体的に説明すると、ある画像提供者が過去に提供した画像に対して画像解析を要求した場合、画像解析部２３は、その要求を受け付け、要求を行った画像提供者のアカウントと対応する画像記憶部２２に記憶された画像を解析対象画像として解析する。 The image analysis unit 23 analyzes an image provided by one image provider and stored in the image storage unit 22 as an analysis target image. Specifically, when an image provider requests image analysis for an image provided in the past, the image analysis unit 23 accepts the request and analyzes the image corresponding to the account of the image provider who made the request. The image stored in the storage unit 22 is analyzed as an analysis target image.
本実施形態では、人物が写っている画像を解析対象画像としており、人物が写っていない画像（例えば、被写体が風景又は物のみである画像）は、解析対象画像から除かれる。 In this embodiment, an image in which a person is photographed is used as an analysis target image, and an image in which a person is not photographed (for example, an image in which the subject is only a landscape or an object) is excluded from the analysis target image.
画像解析部２３は、画像解析処理として、人物識別処理、画像数特定処理、及び親密度評価処理を実行する。人物識別処理は、解析対象画像に写った人物を識別する処理である。具体的な人物識別技術については、特に限定されないが、一例を挙げて説明すると、解析対象画像に写っている人物の顔を抽出し、抽出した顔の特徴量を算出し、算出した特徴量を、過去に登録された人物画像の特徴量と照合（パターンマッチング）する。照合の結果、特徴量が一定の精度で一致する場合には、解析対象画像に写った人物が登録済み人物と同一人であると判定する。反対に、特徴量が相違する場合には、顔の特徴量が算出された人物を新たに登録する。このような技術としては、例えば、Google社のGoogle Photo、Apple社のiphoto、Sony社のPicture Motion Browser、Adobe System社のAdobe Photoshop Lightroom等の画像管理ソフトウェアに搭載されている、同一人物が写った写真を抽出する技術と同様の技術を利用することができる。 The image analysis unit 23 executes person identification processing, image number identification processing, and familiarity evaluation processing as image analysis processing. The person identification process is a process for identifying a person appearing in an image to be analyzed. The specific person identification technology is not particularly limited, but to give an example, it extracts the face of the person in the image to be analyzed, calculates the feature amount of the extracted face, and uses the calculated feature amount. , is compared (pattern matching) with the feature values of previously registered human images. As a result of the comparison, if the feature amounts match with a certain degree of accuracy, it is determined that the person in the image to be analyzed is the same as the registered person. On the other hand, if the feature amounts are different, the person whose facial feature amount has been calculated is newly registered. Examples of such technology include image management software such as Google's Google Photo, Apple's iPhoto, Sony's Picture Motion Browser, and Adobe System's Adobe Photoshop Lightroom. Techniques similar to those for extracting photos can be used.
画像数特定処理は、解析対象画像の総数Ｎａを特定し、且つ、それぞれの解析対象画像における人物の識別結果に基づいて、解析対象画像のうち、所定の人物が写った画像の数を特定する処理である。具体的には、その後の親密度評価処理において親密度が評価される２人の人物を第１人物及び第２人物とし、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘを特定する。本実施形態では、さらに、解析対象画像のうち、第１人物及び前記第２人物の双方が写っていない第３画像の数Ｎ３を特定する。 The image number identification process specifies the total number Na of images to be analyzed, and also identifies the number of images in which a predetermined person appears among the images to be analyzed based on the identification results of people in each image to be analyzed. It is processing. Specifically, two people whose intimacy is evaluated in the subsequent intimacy evaluation process are defined as a first person and a second person, and the number of first images in which the first person appears among the images to be analyzed is N1. , the number N2 of second images in which the second person is photographed, and the number Nx of co-occurrence images in which the first person and the second person are photographed together. In this embodiment, the number N3 of third images in which both the first person and the second person are not included among the images to be analyzed is further specified.
親密度評価処理は、解析対象画像に写った人物の間の親密度、より具体的には第１人物及び第２人物の間の親密度を、画像数特定処理にて特定した各種類の画像の数に基づいて評価する処理である。親密度とは、人物同士の間の親しさの度合いであり、親族及び親友等の親しい間柄である場合には親密度が高くなる。 The intimacy evaluation process evaluates the intimacy between the people in the image to be analyzed, more specifically, the intimacy between the first person and the second person, for each type of image identified by the image number identification process. This is a process that evaluates based on the number of . Intimacy is the degree of closeness between people, and the degree of intimacy is high when the people are close to each other, such as relatives and close friends.
また、解析対象画像に写っている人物が３人以上存在する場合、親密度評価処理では、各人物間の親密度をそれぞれ評価する。つまり、上記の場合、画像解析部２３は、第１人物と第２人物との組み合わせを変えて、第１人物と第２人物との間の親密度を組み合わせ毎に評価し、親密度の評価をすべての組み合わせに対して繰り返し行う。 Furthermore, if there are three or more people in the analysis target image, the intimacy evaluation process evaluates the intimacy between each person. That is, in the above case, the image analysis unit 23 changes the combinations of the first person and the second person, evaluates the degree of intimacy between the first person and the second person for each combination, and evaluates the degree of intimacy. Repeat for all combinations.
親密度評価処理において、画像解析部２３は、第１人物と第２人物との間の親密度を評価するにあたり、Ｎａ個の解析対象画像のうち、Ｎｘ個の解析対象画像が共起画像となる事象（以下、共起事象と言う。）の起こり難さについての有意確率を算出する。り詳しく説明すると、画像解析部２３は、有意確率として、共起事象の起こり難さについてのｐ値を算出する。ｐ値は、統計的仮説検定において、帰無仮説の元で検定統計量がその値となる確率であり、ｐ値が小さいほど、検定統計量がその値となることはあまり起こりえないことを意味する（統計ＷＥＢ『統計用語集』より引用）。なお、ｐ値については、その算出結果が得られればよく、ｐ値の算出結果を用いて仮説検定を行うことまでは必ずしも要しない。 In the intimacy evaluation process, when evaluating the intimacy between the first person and the second person, the image analysis unit 23 determines that among the Na analysis target images, Nx analysis target images are co-occurrence images. The significance probability of the occurrence of an event (hereinafter referred to as a co-occurring event) is calculated. To explain in more detail, the image analysis unit 23 calculates a p-value regarding the likelihood of a co-occurring event occurring as a significance probability. In statistical hypothesis testing, the p-value is the probability that the test statistic will take that value under the null hypothesis, and the smaller the p-value, the less likely it is that the test statistic will take that value. meaning (quoted from Statistics WEB's "Statistical Glossary"). As for the p-value, it is only necessary to obtain the calculation result thereof, and it is not necessarily necessary to perform a hypothesis test using the calculation result of the p-value.
本実施形態では、第１画像の数Ｎ１、第２画像の数Ｎ２、第３画像の数Ｎ３及び共起画像の数Ｎｘに基づいて、Ｆｉｓｈｅｒの正確確率検定に用いられるｐ値を算出する。そして、画像解析部２３は、算出したｐ値を用いて、第１人物と第２人物との間の親密度を評価する。これにより、本実施形態では、親密度を適切に評価することができ、具体的には、人が感じ取る親密度と整合するように親密度を評価することができる。 In this embodiment, the p value used in Fisher's exact probability test is calculated based on the number N1 of first images, the number N2 of second images, the number N3 of third images, and the number Nx of co-occurring images. Then, the image analysis unit 23 uses the calculated p value to evaluate the degree of intimacy between the first person and the second person. Thereby, in this embodiment, the degree of intimacy can be appropriately evaluated, and specifically, the degree of intimacy can be evaluated so as to match the degree of intimacy perceived by a person.
より詳しく説明すると、『発明が解決しようとする課題』の項で説明したように、特許文献１及び２等に例示される従来の技術では、解析対象画像に写った人物の間の親密度を、解析対象画像のうちの共起画像の数から評価していた。しかし、時間の経過に伴って画像ストック数が増えた際に、共起画像の数も増える場合があり、例えば、実際には親しくない二人の人物が写った共起画像の数が所定数以上に増えると、それらの人物の間の親密度が高いと誤って判断してしまう虞がある。 To explain in more detail, as explained in the section "Problems to be Solved by the Invention," the conventional techniques exemplified in Patent Documents 1 and 2, etc. , the evaluation was based on the number of co-occurring images among the images to be analyzed. However, as the number of image stocks increases over time, the number of co-occurring images may also increase. For example, the number of co-occurring images of two people who are not actually close may increase to a certain number. If the number of people increases more than that, there is a risk that it may be mistakenly determined that the degree of intimacy between those persons is high.
一方、前述した式（ｆ１）から導出される値、すなわちＴａｎｉｍｏｔｏ係数（Ｊａｃｃａｒｄ係数）から親密度を評価すれば、単純に共起画像の数のみから親密度を求める場合よりも妥当な親密度が得られる。しかしながら、Ｔａｎｉｍｏｔｏ係数（Ｊａｃｃａｒｄ係数）を用いたとしても、解析対象画像の数を考慮しないと、親密度を誤って評価してしまう虞がある。 On the other hand, if the degree of familiarity is evaluated from the value derived from the above-mentioned formula (f1), that is, the Tanimoto coefficient (Jaccard coefficient), a more reasonable degree of familiarity can be obtained than when the degree of intimacy is simply calculated from the number of co-occurring images. can get. However, even if the Tanimoto coefficient (Jaccard coefficient) is used, if the number of images to be analyzed is not taken into consideration, there is a risk that the degree of familiarity will be erroneously evaluated.
この点に関して一例を挙げて説明すると、１０００個の解析対象画像のうち、人物Ａ、Ｂが写った画像の数が１個のみで、且つ、その画像に人物Ａ、Ｂが一緒に写っている場合、Ｔａｎｉｍｏｔｏ係数は、最大値である１となり、親密度が高いと判断される。また、１００個の解析対象画像のすべてが、人物Ａ、Ｂの双方が一緒に写った共起画像である場合にも、Ｔａｎｉｍｏｔｏ係数が同じく１となる。このように上記２つのケースでは、Ｔａｎｉｍｏｔｏ係数が同一値となるが、後者のケースの方が起こり難いと考えられ、そのことを踏まえて人物Ａ、Ｂの間の親密度を評価すべきである。 To explain this point with an example, out of 1000 images to be analyzed, there is only one image in which people A and B appear, and that image also shows people A and B together. In this case, the Tanimoto coefficient is 1, which is the maximum value, and it is determined that the degree of familiarity is high. Further, even if all of the 100 images to be analyzed are co-occurrence images in which both persons A and B are photographed together, the Tanimoto coefficient is also 1. In this way, in the above two cases, the Tanimoto coefficient has the same value, but the latter case is considered to be less likely to occur, and the degree of intimacy between persons A and B should be evaluated based on this fact. .
これに対して、本実施形態では、共起事象の起こり難さについての有意確率を用いて親密度を評価する。ｐ値は、解析対象画像の数を反映しているため、ｐ値を用いて親密度を評価すれば、ｐ値の算出時点での解析対象画像の数を踏まえて適切に評価することが可能である。例えば、解析対象画像が少ない場合であっても、ｐ値を用いることにより、少ないなりに親密度を適切に評価することができ、より詳しくは、有意差が小さくなるので誤判定とはならない。
なお、共起事象の起こり難さについての指標（有意確率）は、頻度主義的なｐ値に限定されず、ｐ値以外の指標、例えば、信頼区間又はベイズ推定の理論を組み合わせてもよく、あるいは、重み付きＤｉｃｅ係数又は相互情報量による補正をさらに適用してもよい。
On the other hand, in this embodiment, the degree of familiarity is evaluated using the significance probability regarding the difficulty of a co-occurrence event. Since the p-value reflects the number of images to be analyzed, if the familiarity is evaluated using the p-value, it is possible to appropriately evaluate the familiarity based on the number of images to be analyzed at the time of calculating the p-value. It is. For example, even if the number of images to be analyzed is small, by using the p-value, it is possible to appropriately evaluate the degree of familiarity, even if the number is small.More specifically, since the significant difference becomes small, an erroneous determination does not occur.
Note that the index (significance probability) regarding the likelihood of a co-occurrence event is not limited to the frequentist p value, but may also be combined with an index other than the p value, such as a confidence interval or Bayesian estimation theory. Alternatively, correction using a weighted Dice coefficient or mutual information may be further applied.
＜＜画像解析装置の動作例について＞＞
次に、画像解析装置１０の動作例として、画像提供者から画像を取得してから画像を解析するまでの流れ（以下、画像解析フローと言う。）について説明する。画像解析フローは、画像解析装置１０を構成するサーバコンピュータ１２により、図３に示す手順に従って進行する。図３は、画像解析フローの手順を示す図である。
<<Example of operation of image analysis device>>
Next, as an example of the operation of the image analysis device 10, a flow from acquiring an image from an image provider to analyzing the image (hereinafter referred to as an image analysis flow) will be described. The image analysis flow proceeds according to the procedure shown in FIG. 3 by the server computer 12 that constitutes the image analysis device 10. FIG. 3 is a diagram showing the steps of the image analysis flow.
画像解析フローは、図３に示すように、画像取得ステップＳ００１、画像記憶ステップＳ００２、及び画像解析ステップＳ００３を有する。画像取得ステップＳ００１では、サーバコンピュータ１２（詳しくは、画像取得部２１）が、画像提供者が提供した画像を、画像提供者の利用端末１６との通信を通じて取得する。より詳しく説明すると、画像提供者は、利用端末１６を通じて提供画像を指定し、利用端末１６は、その操作を受け付けると、画像提供者により指定された画像をサーバコンピュータ１２に向けて送信する。画像取得部２１は、利用端末１６から送られてくる画像を、ネットワーク１４を介して取得する。 As shown in FIG. 3, the image analysis flow includes an image acquisition step S001, an image storage step S002, and an image analysis step S003. In image acquisition step S001, the server computer 12 (specifically, the image acquisition unit 21) acquires an image provided by the image provider through communication with the user terminal 16 of the image provider. To explain in more detail, the image provider specifies a provided image through the usage terminal 16, and upon receiving the operation, the usage terminal 16 transmits the image designated by the image provider to the server computer 12. The image acquisition unit 21 acquires images sent from the usage terminal 16 via the network 14.
なお、利用端末１６から送られる画像は、利用端末１６のカメラによって撮影された画像でもよく、あるいは、古い写真（アナログ画像）をスキャナ等によって読み取ってデジタル化（データ化）した後に利用端末１６に取り込まれた画像であってもよい。 The image sent from the user terminal 16 may be an image taken by the camera of the user terminal 16, or an old photograph (analog image) may be read with a scanner or the like and digitized (data) and then sent to the user terminal 16. It may also be a captured image.
画像記憶ステップＳ００２では、画像提供者から提供された画像が、サーバコンピュータ１２の記憶装置１８において、画像提供者のアカウントと対応する画像記憶部２２に記憶される。画像取得ステップＳ００１及び画像記憶ステップＳ００２は、画像提供者が画像を提供する度に繰り返して実行され、同じ画像提供者により提供される画像が増えるほど、その画像提供者のアカウントと対応する画像記憶部２２に記憶される画像数が増えることになる。 In the image storage step S002, the image provided by the image provider is stored in the image storage unit 22 corresponding to the image provider's account in the storage device 18 of the server computer 12. Image acquisition step S001 and image storage step S002 are repeatedly executed each time an image provider provides an image, and the more images provided by the same image provider, the more images are stored corresponding to the image provider's account. The number of images stored in the unit 22 will increase.
画像解析ステップＳ００３では、サーバコンピュータ１２（詳しくは、画像解析部２３）が、一人の画像提供者から提供されて画像記憶部２２に記憶された画像を解析対象画像として解析する。具体的には、ある画像提供者が画像解析を要求すると、その画像提供者のアカウントと対応する画像記憶部２２に記憶された画像を対象として、前述した人物識別処理、画像数特定処理、及び親密度評価処理が実施される。以下、上記３つの処理をまとめて画像解析処理と呼ぶこととする。 In image analysis step S003, the server computer 12 (more specifically, the image analysis section 23) analyzes an image provided by one image provider and stored in the image storage section 22 as an analysis target image. Specifically, when an image provider requests image analysis, the above-described person identification processing, image number identification processing, and image number identification processing are performed on images stored in the image storage unit 22 that correspond to the image provider's account. Intimacy evaluation processing is performed. Hereinafter, the above three processes will be collectively referred to as image analysis processing.
画像解析ステップＳ００３において、一連の画像解析処理は、図４に示す流れに従って実施される。図４は、本実施形態に係る画像解析処理の流れを示す図である。以下、画像解析処理の流れについて、ある画像提供者Ｘ氏から提供されて画像記憶部２２に記憶された画像を解析対象画像とするケースを例に挙げて具体的に説明する。 In image analysis step S003, a series of image analysis processes are performed according to the flow shown in FIG. FIG. 4 is a diagram showing the flow of image analysis processing according to this embodiment. The flow of the image analysis process will be specifically described below, taking as an example a case in which an image provided by a certain image provider Mr. X and stored in the image storage unit 22 is an image to be analyzed.
画像解析処理の実施に際して、画像解析部２３は、Ｘ氏から提供されて画像記憶部２２に記憶された画像のうち、図５のように人物が写った画像を抽出し、抽出した画像を解析対象画像として設定する（Ｓ０１１）。図５は、人物が写った解析対象画像の一例を示す図である。なお、画像中に人物が写っているか否かを判定する技術については、説明を省略するが、公知の画像処理技術が利用可能である。 When performing the image analysis process, the image analysis unit 23 extracts an image in which a person is shown, as shown in FIG. 5, from among the images provided by Mr. X and stored in the image storage unit 22, and analyzes the extracted image. Set as a target image (S011). FIG. 5 is a diagram showing an example of an analysis target image in which a person is depicted. Note that a description of the technology for determining whether or not a person is included in the image will be omitted, but any known image processing technology can be used.
次に、画像解析部２３は、人物識別処理を実施し、前述した手順により、各々の解析対象画像に写っている人物を識別する（Ｓ０１２）。以下、説明をより分かり易くするため、各解析対象画像において識別された人物が図６に示す通りである場合を例に挙げて説明する。図６は、各解析対象画像と画像中に写った人物との対応関係を示す図であり、図中の「Ａ～Ｅ」は、解析対象画像に写った人物を示している。例えば、画像番号［０００１］の解析対象画像には人物Ａ、Ｂ及びＥの３人が写っている。また、図６に示すケースでは、解析対象画像が１０００枚であり、１０００枚の解析対象画像に写っている人物がＡ～Ｅの５人であることとする。 Next, the image analysis unit 23 performs person identification processing and identifies the person appearing in each analysis target image according to the procedure described above (S012). Hereinafter, in order to make the explanation more understandable, an example in which the person identified in each analysis target image is as shown in FIG. 6 will be explained. FIG. 6 is a diagram showing the correspondence between each analysis target image and the person photographed in the image, and "A to E" in the diagram indicate the person photographed in the analysis target image. For example, the analysis target image with image number [0001] includes three people, A, B, and E. Furthermore, in the case shown in FIG. 6, it is assumed that there are 1000 images to be analyzed, and that there are 5 people A to E in the 1000 images to be analyzed.
次に、画像解析部２３は、画像数特定処理を実施し、各種の画像数を特定する（Ｓ０１３）。画像数特定処理において、画像解析部２３は、解析対象画像の数Ｎａ、厳密には少なくとも人物が写った解析対象画像の総数を特定する。 Next, the image analysis unit 23 performs image number identification processing to identify the number of each type of image (S013). In the image number identification process, the image analysis unit 23 identifies the number Na of images to be analyzed, or more specifically, the total number of images to be analyzed in which at least a person is photographed.
また、画像数特定処理において、画像解析部２３は、解析対象画像に写った人物から第１人物及び第２人物を一人ずつ選び、第１人物と第２人物との組み合わせを設定する。図６のケースでは、解析対象画像に写っている人物がＡ～Ｅの５人であり、組み合わせとしては、Ａ－Ｂ、Ａ－Ｃ、Ａ－Ｄ、Ａ－Ｅ、Ｂ－Ｃ、Ｂ－Ｄ、Ｂ－Ｅ、Ｃ－Ｄ、Ｃ－Ｅ、Ｄ－Ｅの１０通りが考えられる。 Further, in the image number identification process, the image analysis unit 23 selects a first person and a second person from among the people appearing in the analysis target image, and sets a combination of the first person and the second person. In the case of Figure 6, there are five people, A to E, in the image to be analyzed, and the combinations are A-B, A-C, A-D, A-E, B-C, B- Ten ways are possible: D, BE, CD, CE, and DE.
そして、画像解析部２３は、各組み合わせについて第１画像、第２画像、第３画像及び共起画像の各々の数を特定する。例えば、組み合わせがＡ－Ｂである場合には、Ａを第１人物とし、Ｂを第２人物として上記４種類の画像の数をそれぞれ特定する。このとき、各種類の画像の数は、それぞれの解析対象画像における人物の識別結果（つまり、図６に示す対応関係）に基づいて特定される。 Then, the image analysis unit 23 identifies the number of first images, second images, third images, and co-occurrence images for each combination. For example, if the combination is AB, the numbers of the four types of images are specified, with A as the first person and B as the second person. At this time, the number of images of each type is specified based on the identification result of the person in each image to be analyzed (that is, the correspondence shown in FIG. 6).
各種の画像数を特定した後、画像解析部２３は、親密度評価処理を実施し、各組み合わせに係る人物（例えば、人物Ａ、Ｂ）の間の親密度を評価する。親密度評価処理において、画像解析部２３は、各組み合わせについて前述のｐ値を算出する（Ｓ０１４）。本実施形態では、前のステップＳ０１３で特定した解析対象画像の数Ｎａ、第１画像の数Ｎ１、第２画像の数Ｎ２、第３画像の数Ｎ３、及び共起画像の数Ｎｘを用いて、Ｆｉｓｈｅｒの正確確率検定に用いられるｐ値を算出する。 After specifying the number of various images, the image analysis unit 23 performs intimacy evaluation processing to evaluate the intimacy between the persons (for example, persons A and B) related to each combination. In the intimacy evaluation process, the image analysis unit 23 calculates the above-mentioned p value for each combination (S014). In this embodiment, the number of analysis target images Na, the number of first images N1, the number of second images N2, the number of third images N3, and the number of co-occurring images Nx identified in the previous step S013 are used. , calculate the p-value used in Fisher's exact test.
より詳しく説明すると、画像解析部２３は、共起画像の数Ｎｘをａとし、第１画像の数Ｎ１と共起画像の数Ｎｘとの差をｂとし、第２画像の数Ｎ２と共起画像の数Ｎｘとの差をｃとし、第３画像の数Ｎ３をｄとし、解析対象画像の数Ｎａをｎとして下記の式（１）に示すｐを求め、求めたｐからｐ値を算出する。
ｐ＝｛（ａ＋ｂ）！（ｃ＋ｄ）！（ａ＋ｃ）！（ｂ＋ｄ）！｝
／｛ａ！ｂ！ｃ！ｄ！ｎ！｝ 式（１）
To explain in more detail, the image analysis unit 23 sets the number Nx of co-occurring images to a, the difference between the number N1 of first images and the number Nx of co-occurring images to b, and the number N2 of co-occurring images to the number Nx of co-occurring images. The difference from the number of images Nx is set as c, the number of third images N3 is set as d, and the number of images to be analyzed Na is set as n, calculate p shown in the following formula (1), and calculate the p value from the calculated p. do.
p={(a+b)! (c+d)! (a+c)! (b+d)! }
/{a! b! c! d! n! } Formula (1)
上記の式（１）中のパラメータｂは、解析対象画像のうち、第１人物が写っていて第２人物が写っていない画像の数に相当し、パラメータｄは、第２人物が写っていて第１人物が写っていない画像の数に相当する。 The parameter b in the above equation (1) corresponds to the number of images in which the first person is included but not the second person among the images to be analyzed, and the parameter d is the number of images in which the second person is included. This corresponds to the number of images in which the first person is not included.
例えば、組み合わせＡ－Ｂについて特定した各種の画像数が図７に示す結果であるとすると、上記の式（１）中の各パラメータは、以下の通りになる。
ａ＝１０、ｂ＝４０、ｃ＝４０、ｄ＝９１０、ｎ＝１０００
これらのパラメータａ，ｂ，ｃ，ｄ及びｎを式（１）に代入すると、ｐは、０．００００８８１２５０７となる。この値は、実際の観測データから求められるが、ｐ値を算出するには、実際の観測データよりも極端な場合も含めて考えなければならない。すなわち、小計値であるａ＋ｂ、ｃ＋ｄ、ａ＋ｃ、及びｂ＋ｄを観測データと同じにしつつ、観測データよりも極端な場合（上記のケースでは、ａが０以上であり、且つ、１０未満である場合）を想定し、それぞれの場合における式（１）のｐを求め、求めたｐの総和をｐ値とする。
For example, assuming that the number of various images identified for the combination AB is the result shown in FIG. 7, each parameter in the above equation (1) is as follows.
a=10, b=40, c=40, d=910, n=1000
When these parameters a, b, c, d, and n are substituted into equation (1), p becomes 0.00008812507. This value is obtained from actual observed data, but in order to calculate the p value, it is necessary to consider cases that are more extreme than the actual observed data. In other words, when the subtotal values a+b, c+d, a+c, and b+d are the same as the observed data, but are more extreme than the observed data (in the above case, when a is greater than or equal to 0 and less than 10) Assuming that, p in equation (1) in each case is determined, and the sum of the determined p is defined as the p value.
なお、画像解析部２３は、前述したように、サーバコンピュータ１２のハードウェア機器と画像解析プログラムとの協働によって実現されるものであるが、画像解析プログラムが統計解析向けのプログラミング言語であるＲ言語を用いて開発される場合には、Ｆｉｓｈｅｒの正確確率検定を実施するための組み込み関数が予め用意されているので、例えば図８に示す算出コードによってｐ値を算出することができる。図８は、統計言語Ｒにて記述された、ｐ値の算出コードを示す図である。 As mentioned above, the image analysis unit 23 is realized by cooperation between the hardware equipment of the server computer 12 and the image analysis program, and the image analysis program is written in R, which is a programming language for statistical analysis. When developed using a language, a built-in function for implementing Fisher's exact test is prepared in advance, so the p value can be calculated using the calculation code shown in FIG. 8, for example. FIG. 8 is a diagram showing a p-value calculation code written in the statistical language R.
その後、画像解析部２３は、算出したｐ値を用いて、第１人物と第２人物との間の親密度を評価する（Ｓ０１５）。具体的な評価手順について一例を挙げて説明すると、上側検定及び下側検定のそれぞれについてｐ値の逆数の対数値を求める。ここで、上側検定の対数値が比較的小さいときには、下側検定の対数値が大きくなり（１に近くなり）、反対に、下側検定の対数値が比較的小さいときには、上側検定の対数値が大きくなる。そして、上側検定及び下側検定の両方について求めた対数値のうち、より大きい値を採用する。つまり、上側検定及び下側検定のうち、ｐ値の絶対値がより小さくなる（有意である）検定を親和性評価の指標として採用する。例えば、上側検定を採用する場合、ｐ値の逆数の対数値が大きくなるほど親和性が高い（親密度が高い）と評価され、下側検定を採用した場合、ｐ値の逆数の対数値が大きくなるほど排他性が高い（親密度が低い）と評価される。
ここで、下側検定について求めた対数値の正負を逆転させることで、親和性の値（以下、親和度）を無限区間において表現することができ、これにより、親和性を評価することができ、例えば親和度が小さくなるほど親和性が低いと評価され、親和度が大きくなるほど親和度多高くなる。
Thereafter, the image analysis unit 23 uses the calculated p value to evaluate the degree of intimacy between the first person and the second person (S015). To explain a specific evaluation procedure by citing an example, the logarithm value of the reciprocal of the p value is determined for each of the upper test and the lower test. Here, when the log value of the upper test is relatively small, the log value of the lower test becomes large (close to 1), and conversely, when the log value of the lower test is relatively small, the log value of the upper test becomes large. becomes larger. Then, of the logarithmic values obtained for both the upper test and the lower test, the larger value is adopted. That is, of the upper test and the lower test, the test in which the absolute value of the p value is smaller (significant) is adopted as the index for affinity evaluation. For example, when using the upper test, the greater the logarithm of the reciprocal of the p-value, the higher the affinity (higher familiarity) is evaluated; when using the lower test, the larger the logarithm of the reciprocal of the p-value Indeed, it is evaluated as having high exclusivity (low intimacy).
Here, by reversing the sign of the logarithm value obtained for the lower test, the value of affinity (hereinafter referred to as affinity) can be expressed in an infinite interval, and thereby the affinity can be evaluated. For example, the smaller the affinity, the lower the affinity is evaluated, and the larger the affinity, the higher the affinity.
ちなみに、図７に示すケース、つまりｐ値＝０．００００８８１２５０７となるケースでは、Ｎａ個（＝１０００）の解析対象画像のうち、Ｎｘ（＝１０）個の画像が共起画像となることが極めて稀であると言え、第１人物及び第２人物（具体的には、人物ＡとＢ）の間の親密度が高いと評価される。 By the way, in the case shown in Figure 7, that is, the case where p value = 0.00008812507, it is extremely likely that Nx (=10) images out of Na (=1000) images to be analyzed become co-occurring images. It can be said that this is rare, and the degree of intimacy between the first person and the second person (specifically, persons A and B) is evaluated to be high.
一方、例えば、組み合わせＡ－Ｂについて特定した各種の画像数が図９に示す結果であるとすると、上記の式（１）中の各パラメータは、以下の通りになる。
ａ＝１０、ｂ＝１９０、ｃ＝１９０、ｄ＝６１０、ｎ＝１０００
つまり、図９に示すケースでは、図７に示すケースと解析対象画像の数Ｎａ及び共起画像の数Ｎｘが等しくなっているが、第１画像の数Ｎ１及び第２画像の数Ｎ２が多く、上記のパラメータを式（１）に代入してｐ値を求めると、ｐ値が略１となる。この場合、有意であるとは言えず、第１人物及び第２人物（具体的には、人物ＡとＢ）の間の親密度が高いとは言い切れない。
On the other hand, for example, assuming that the number of various images identified for the combination AB is the result shown in FIG. 9, each parameter in the above equation (1) is as follows.
a=10, b=190, c=190, d=610, n=1000
In other words, in the case shown in FIG. 9, the number Na of images to be analyzed and the number Nx of co-occurring images are equal to those in the case shown in FIG. 7, but the number N1 of first images and the number N2 of second images are larger. , when the above parameters are substituted into equation (1) to obtain the p value, the p value becomes approximately 1. In this case, it cannot be said that it is significant, and it cannot be said that the degree of intimacy between the first person and the second person (specifically, persons A and B) is high.
また、例えば、組み合わせＡ－Ｂについて特定した各種の画像数が図１０に示す結果であるとすると、上記の式（１）中の各パラメータは、以下の通りになる。
ａ＝１、ｂ＝４、ｃ＝４、ｄ＝９１、ｎ＝１００
図１０に示すケースでは、各種類の画像の数が、図７に示すケースでの数の１／１０であり、上記のパラメータを式（１）に代入してｐ値を求めると、ｐ値が０．２３０４１となる。この場合、有意であるとは言えず、第１人物及び第２人物（具体的には、人物ＡとＢ）の間の親密度が高いとは言い切れない。
Further, for example, assuming that the number of various images identified for the combination AB is the result shown in FIG. 10, each parameter in the above equation (1) is as follows.
a=1, b=4, c=4, d=91, n=100
In the case shown in FIG. 10, the number of images of each type is 1/10 of the number in the case shown in FIG. becomes 0.23041. In this case, it cannot be said that it is significant, and it cannot be said that the degree of intimacy between the first person and the second person (specifically, persons A and B) is high.
以上のような要領により、本実施形態では、ｐ値を用いて第１人物と第２人物との間の親密度を評価する。また、本実施形態では、一組の組み合わせについて親密度を評価した後、画像解析部２３が、第１人物と第２人物との組み合わせを変えて、上記のステップＳ０１３～Ｓ０１５を繰り返し実施する。これにより、第１人物と第２人物との間の親密度が組み合わせ毎に評価される。 As described above, in this embodiment, the degree of intimacy between the first person and the second person is evaluated using the p value. Further, in the present embodiment, after evaluating the degree of familiarity for one set of combinations, the image analysis unit 23 repeats steps S013 to S015 while changing the combination of the first person and the second person. Thereby, the degree of intimacy between the first person and the second person is evaluated for each combination.
そして、すべての組み合わせについて親密度を評価し終えた時点で（Ｓ０１６でＹｅｓ）、画像解析処理が終了する。 Then, when the familiarity has been evaluated for all combinations (Yes in S016), the image analysis process ends.
以上までに説明してきた画像解析フローでは、本発明の画像解析方法が採用されており、換言すれば、本発明の画像解析方法は、画像解析フローにおける各ステップをコンピュータに実行させるためのプログラム（具体的には、画像解析プログラム）によって実施することができる。 The image analysis flow described above employs the image analysis method of the present invention. In other words, the image analysis method of the present invention uses a program ( Specifically, it can be implemented using an image analysis program).
また、画像解析プログラムが記録されたコンピュータに読み取り可能な記録媒体を提供することも可能である。記録媒体としては、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）及びＢｌｕ-ｒａｙディスク（登録商標）等の光ディスク、フレキシブルディスク等の磁気ディスク、ＭＯ（Magneto-Optical disk）等の光磁気ディスク、並びにこれら以外のリムーバブルメディア等が挙げられる。なお、例えば不図示のプログラム配信サーバに内蔵された磁気ディスク、光ディスク又は光磁気ディスク等に画像解析プログラムを予め記憶しておき、プログラム配信サーバから通信回線を介して画像解析プログラムを配信してもよい。 It is also possible to provide a computer readable recording medium on which the image analysis program is recorded. Examples of recording media include optical disks such as CD-ROM (Compact Disc Read Only Memory), DVD (Digital Versatile Disc), and Blu-ray Disc (registered trademark), magnetic disks such as flexible disks, MO (Magneto-Optical disk), etc. Examples include magneto-optical disks, removable media other than these, and the like. Note that, for example, the image analysis program may be stored in advance on a magnetic disk, optical disk, magneto-optical disk, etc. built into a program distribution server (not shown), and the image analysis program may be distributed from the program distribution server via a communication line. good.
＜＜第１変形例に係る画像解析処理について＞＞
上述した実施形態では、画像解析処理において親密度を評価する上でｐ値を算出し、具体的には、Ｆｉｓｈｅｒの正確確率検定に用いられるｐ値を、前述の式（１）によって算出することとした。ただし、ｐ値は、上記の方法によって算出されるものには限定されず、他の方法によって算出されるものを採用してもよく、例えば、二項検定に用いられるｐ値を有意確率として算出する例（以下、第１変形例）が考えられる。以下、第１変形例に係る画像解析処理について説明し、特にｐ値の算出方法を詳しく説明する。
<<About image analysis processing according to the first modification>>
In the embodiment described above, the p-value is calculated when evaluating intimacy in image analysis processing, and specifically, the p-value used in Fisher's exact test is calculated by the above-mentioned formula (1). And so. However, the p-value is not limited to that calculated by the above method, and may be calculated by other methods. For example, the p-value used in the binomial test is calculated as the significance probability. An example (hereinafter referred to as a first modification) may be considered. The image analysis process according to the first modification will be described below, and in particular, the method for calculating the p value will be described in detail.
第１変形例において、画像解析部２３は、ｐ値を算出するにあたり、解析対象画像の数Ｎａに対する第１画像の数Ｎ１の比率Ｎ１／Ｎａと、解析対象画像の数Ｎａに対する第２画像の数Ｎ２の比率Ｎ２／Ｎａと、を掛け合わせて標準共起確率Ｐｓを求める。図７に示すケースを例に挙げて説明すると、比率Ｎ１／Ｎａ及び比率Ｎ２／Ｎａは、いずれも０．０５（＝５０／１０００）となり、標準共起確率Ｐｓは、０．００２５（＝０．２５％）となる。 In the first modification, when calculating the p value, the image analysis unit 23 calculates the ratio N1/Na of the number N1 of first images to the number Na of images to be analyzed, and the ratio N1/Na of the number N1 of the first images to the number Na of images to be analyzed. The standard co-occurrence probability Ps is determined by multiplying the ratio N2/Na of the number N2. To explain the case shown in FIG. 7 as an example, the ratio N1/Na and the ratio N2/Na are both 0.05 (=50/1000), and the standard co-occurrence probability Ps is 0.0025 (=0 .25%).
そして、画像解析部２３は、画像数特定処理において特定した解析対象画像の数Ｎａ及び共起画像の数Ｎｘと、前述した標準共起確率Ｐｓとを用いて、二項検定に用いられるｐ値を算出する。具体的には、ランダムに選ばれた１個の解析対象画像が共起画像である確率が標準共起確率Ｐｓになるという仮定の下で、Ｎａ個の解析対象画像のうち、Ｎｘ個の解析対象画像が共起画像となる確率をｐ値として算出する。より詳しく説明すると、標準共起確率Ｐｓを成功確率ｑとし、解析対象画像の数Ｎａを、成功確率がｑである試行の回数ｎとし、共起画像の数Ｎｘを成功回数ｋとしたときに、ｐ値は、下記の式（２）により算出される。
式（２）
Then, the image analysis unit 23 uses the number Na of images to be analyzed and the number Nx of co-occurring images specified in the image number identification process, and the standard co-occurrence probability Ps described above, to calculate the p value used for the binomial test. Calculate. Specifically, under the assumption that the probability that one randomly selected analysis target image is a co-occurrence image is the standard co-occurrence probability Ps, Nx of the Na analysis target images are analyzed. The probability that the target image becomes a co-occurring image is calculated as a p value. To explain in more detail, when the standard co-occurrence probability Ps is the probability of success q, the number of images to be analyzed Na is the number of trials with success probability q, and the number of co-occurrence images Nx is the number of successes k. , p value is calculated by the following formula (2).
Formula (2)
以上までに説明してきたように、第１変形例では、二項検定に用いられるｐ値を算出する。ただし、ｐ値については、上述した式（１）及び（２）から算出されるものとは異なるｐ値であってもよく、例えば、アンケートなどから得られた親密度が既知のデータを用いた機械学習を実施し、解析対象画像の数Ｎａ、共起画像の数Ｎｘ、及び標準共起確率Ｐｓに対してｐ値に相当する親密度を予測するモデルを構築し、そのモデルを用いて上記３つの変数（Ｎａ，Ｎｘ，Ｐｓ）から親密度が未知のｐ値を算出し、親密度を推定してもよい。機械学習に相当する手法としては、頻度主義仮説検定、ベイズ仮説検定、回帰、クラス分類、サポートベクタマシン、及びニューラルネットワークが含まれるが、この限りではない。 As explained above, in the first modification, the p value used in the binomial test is calculated. However, the p-value may be different from the one calculated from equations (1) and (2) above, for example, using data with known familiarity obtained from a questionnaire etc. Machine learning is performed to construct a model that predicts the familiarity corresponding to the p value for the number of images to be analyzed Na, the number of co-occurring images Nx, and the standard co-occurrence probability Ps, and using that model, the above The degree of intimacy may be estimated by calculating a p-value whose degree of intimacy is unknown from three variables (Na, Nx, Ps). Methods corresponding to machine learning include, but are not limited to, frequentist hypothesis testing, Bayesian hypothesis testing, regression, class classification, support vector machines, and neural networks.
＜＜第２変形例に係る画像解析処理について＞＞
上述した実施形態の画像解析処理では、組み合わせ一組あたりに、第１人物と第２人物の間の親密度を一回評価することとした。つまり、上述した実施形態では、同じ組み合わせであれば共起画像の数Ｎｘが変わらないため、その組み合わせに属する第１人物及び第２人物の各々から見た親密度が互いに等しい（親密度が対称的である）と言え、組み合わせ一組あたりにｐ値を一回算出することとした。
<<About image analysis processing according to the second modification>>
In the image analysis process of the embodiment described above, the degree of intimacy between the first person and the second person is evaluated once for each combination. In other words, in the embodiment described above, the number Nx of co-occurring images does not change if the combination is the same, so the degrees of intimacy seen from each of the first person and the second person belonging to the combination are equal (the degrees of intimacy are symmetrical). Therefore, we decided to calculate the p value once for each combination.
一方、共起画像の数Ｎｘが同じであっても、第１画像の数Ｎ１と第２画像の数Ｎ２とが大きく相違する場合には、第１人物にとっての第２人物との親密度と、第２人物にとっての第１人物との親密度とが異なる（非対称である）と考えるのが妥当である。以下では、第２変形例として、第１人物にとっての第２人物との親密度、及び、第２人物によっての第１人物との親密度をそれぞれ個別に評価する実施形態について説明する。 On the other hand, even if the number Nx of co-occurring images is the same, if the number N1 of the first images and the number N2 of the second images are significantly different, the degree of intimacy between the first person and the second person , it is reasonable to consider that the degree of intimacy between the second person and the first person is different (asymmetrical). In the following, as a second modified example, an embodiment will be described in which the degree of intimacy for a first person with a second person and the degree of intimacy with the first person by the second person are evaluated individually.
第２変形例は、画像解析フローが図３に示すステップ（すなわち、画像取得ステップ、画像記憶ステップ、及び画像解析ステップ）を有する点では、上述の実施形態と共通する。また、第２変形例に係る画像解析ステップでは、一連の画像解析処理が図１１に示す手順にて進行する。図１１に示すように、第２変形例に係る画像解析ステップにおいても、上述の実施形態と同様、解析対象画像を設定し、解析対象画像中の人物を識別し、各種の画像の数を特定する（Ｓ０２１～０２３）。図１１は、第２変形例に係る画像解析処理の流れを示す図である。 The second modification is common to the above-described embodiment in that the image analysis flow includes the steps shown in FIG. 3 (that is, an image acquisition step, an image storage step, and an image analysis step). Further, in the image analysis step according to the second modification, a series of image analysis processing proceeds according to the procedure shown in FIG. 11. As shown in FIG. 11, in the image analysis step according to the second modification, as in the above-described embodiment, an image to be analyzed is set, a person in the image to be analyzed is identified, and the number of each type of image is specified. (S021-023). FIG. 11 is a diagram showing the flow of image analysis processing according to the second modification.
また、第２変形例においても、解析対象画像中に写った人物の数が３人以上である場合には、各種の画像数を特定するにあたり、解析対象画像に写った人物から第１人物及び第２人物を一人ずつ選び、第１人物と第２人物との組み合わせを設定する。以下では、第１人物がＡであり、第２人物がＢである組み合わせＡ－Ｂを例に挙げて具体的に説明する。 Also, in the second modification, if the number of people in the analysis target image is three or more, when specifying the number of each type of images, start from the first person and the first person in the analysis target image. The second person is selected one by one, and a combination of the first person and the second person is set. In the following, a combination AB in which the first person is A and the second person is B will be specifically explained as an example.
第２変形例の画像解析処理では、人物Ａにとっての人物Ｂとの親密度、及び人物Ｂにとっての人物Ａとの親密度をそれぞれ評価するために、二項検定に用いられるｐ値を、人物Ａ、Ｂの各々について算出する（Ｓ０２４～Ｓ０２５）。画像解析部２３は、ｐ値を算出する前段階において、解析対象画像の数Ｎａ、Ｎａ個の解析対象画像に写っている人物の数ｍ、Ｎａ個の解析対象画像中、Ａが写った画像（第１画像）の数Ｎ１、Ｂが写った画像（第２画像）の数Ｎ２、及び、ＡとＢが一緒に写った共起画像の数Ｎｘをそれぞれ特定する。 In the image analysis process of the second modification, in order to evaluate the degree of intimacy for person A with person B, and the degree of intimacy for person B with person A, the p value used in the binomial test is Calculate each of A and B (S024 to S025). In a step before calculating the p-value, the image analysis unit 23 calculates the number Na of images to be analyzed, the number m of people appearing in the Na images to be analyzed, and the image in which A appears among the Na images to be analyzed. The number N1 of images (first images), the number N2 of images (second images) in which B appears, and the number Nx of co-occurrence images in which A and B appear together are respectively specified.
さらに、画像解析部２３は、解析対象画像に写った人物の一人を対象人物とし、Ｎａ個の解析対象画像中、対象人物が他の人物と一緒に写った特定画像の数Ｎｉをそれぞれ特定し、解析対象画像の数Ｎａに対する特定画像の数Ｎｉの比率Ｎｉ／Ｎａを、他の人物毎に求める。例えば、対象人物をＡとすると、解析対象画像に写った人物のうち、Ａ以外の人物（Ｂ、Ｃ、Ｄ、、、、）が他の人物に該当し、他の人物の数（ｍ－１）と同じ数だけ、上記の比率Ｎｉ／Ｎａを求めることになる。 Furthermore, the image analysis unit 23 takes one of the people in the analysis target image as the target person, and specifies the number Ni of specific images in which the target person is photographed together with other people among the Na analysis target images. , the ratio Ni/Na of the number Ni of specific images to the number Na of images to be analyzed is determined for each other person. For example, if the target person is A, then among the people in the analysis target image, people other than A (B, C, D,...) correspond to other people, and the number of other people (m - The same number of ratios Ni/Na as in 1) are obtained.
その後、画像解析部２３は、他の人物毎に求めた上記の比率Ｎｉ／Ｎａの総和Σ（Ｎｉ／Ｎａ）を、他の人物の数（ｍ－１）で除することで、対象人物についての人物別共起確率を算出する。例えば、対象人物をＡとしたときの人物別共起確率ＰＡは、下記の式（３）にて求められる。
ＰＡ＝｛１／（ｍ－１）｝×Σ（Ｎｉ／Ｎａ） （３）
上式のＮｉは、前述したように、人物Ａが他の人物ｉ（Ｂ、Ｃ、Ｄ、、、）と一緒に写った特定画像の数である。なお、ＰＡについては、式（３）のように算術平均として求めてもよいが、調和平均として求めてよい。
After that, the image analysis unit 23 divides the sum Σ(Ni/Na) of the above-mentioned ratio Ni/Na obtained for each other person by the number of other people (m-1), Calculate the co-occurrence probability by person. For example, when the target person is A, the person-specific co-occurrence probability PA is calculated using the following equation (3).
P A = {1/(m-1)}×Σ(Ni/Na) (3)
As described above, Ni in the above formula is the number of specific images in which person A is photographed together with other persons i (B, C, D, . . . ). Note that PA may be determined as an arithmetic mean as in equation (3), but may also be determined as a harmonic mean.
そして、画像解析部２３は、Ｎａ個の解析対象画像に写っている人物の各人を対象人物として、各人（すなわち、人物Ａ、Ｂ、Ｃ、Ｄ、、、、）についての人物別共起確率を繰り返し算出する。 Then, the image analysis unit 23 uses each of the people appearing in the Na images to be analyzed as a target person, and performs a person-specific analysis on each person (that is, persons A, B, C, D, . . . ). Calculate the probability of occurrence repeatedly.
その後、画像解析部２３は、解析対象画像全体で任意の人物が平均して他の人物と一緒に写る全体共起確率Ｐｗを算出する。全体共起確率Ｐｗは、下記の式（４）により、各人について算出した人物別共起確率の総和を、Ｎａ個の解析対象画像に写っている人物の数ｍで除することで得られる。
Ｐｗ＝１／ｍ×｛ＰＡ＋ＰＢ＋ＰＣ＋ＰＤ＋・・・｝ （４）
Thereafter, the image analysis unit 23 calculates the overall co-occurrence probability Pw of an arbitrary person appearing together with another person in the entire image to be analyzed. The overall co-occurrence probability Pw is obtained by dividing the sum of the person-specific co-occurrence probabilities calculated for each person by the number m of people appearing in the Na analysis target images using the following formula (4). .
Pw=1/m×{P A + P B + P C + P D +...} (4)
そして、画像解析部２３は、上記の全体共起確率Ｐｗを用いて、第１人物Ａ及び第２人物Ｂの各々についてｐ値を算出する。具体的には、ランダムに選ばれた１個の第１画像が共起画像である確率が全体共起確率Ｐｗになるという仮定の下で、Ｎ１個の第１画像のうち、Ｎｘ個の第１画像が共起画像となる確率を、第１人物Ａについてのｐ値として算出する。より詳しく説明すると、全体共起確率Ｐｗを成功確率ｑとし、第１画像の数Ｎ１を、成功確率がｑである試行の回数ｎとし、共起画像の数Ｎｘを成功回数ｋとして、第１人物Ａについてのｐ値を上述の式（２）により算出する。 Then, the image analysis unit 23 calculates the p value for each of the first person A and the second person B using the above-mentioned overall co-occurrence probability Pw. Specifically, under the assumption that the probability that one randomly selected first image is a co-occurring image is the overall co-occurrence probability Pw, Nx of the N1 first images are The probability that one image becomes a co-occurring image is calculated as a p value for the first person A. To explain in more detail, let the overall co-occurrence probability Pw be the success probability q, the number N1 of first images be the number n of trials with a success probability q, the number Nx of co-occurrence images be the number k of successes, and the first The p value for person A is calculated using the above equation (2).
同様に、画像解析部２３は、ランダムに選ばれた１個の第２画像が共起画像である確率が全体共起確率Ｐｗになるという仮定の下で、Ｎ２個の第２画像のうち、Ｎｘ個の第２画像が共起画像となる確率を、第２人物Ｂについてのｐ値として算出する。より詳しく説明すると、全体共起確率Ｐｗを成功確率ｑとし、第２画像の数Ｎ２を、成功確率がｑである試行の回数ｎとし、共起画像の数Ｎｘを成功回数ｋとして、第２人物Ｂについてのｐ値を上述の式（２）により算出する。 Similarly, on the assumption that the probability that one randomly selected second image is a co-occurrence image is the overall co-occurrence probability Pw, the image analysis unit 23 calculates the following among the N2 second images: The probability that Nx second images become co-occurring images is calculated as a p value for the second person B. To explain in more detail, the overall co-occurrence probability Pw is the success probability q, the number N2 of second images is the number n of trials with a success probability q, the number Nx of co-occurrence images is the number k of successes, and the second The p value for person B is calculated using the above equation (2).
その後、画像解析部２３は、人物Ａについて算出したｐ値を用いて、人物Ａにとっての人物Ｂとの親密度を評価し、且つ、人物Ｂについて算出したｐ値を用いて、人物Ｂにとっての人物Ａとの親密度を評価する（Ｓ０２６）。以降、上述の実施形態と同様、画像解析部２３が、第１人物と第２人物との組み合わせを変えて、ステップＳ０２３～Ｓ０２６を繰り返し実施し、すべての組み合わせについて親密度を評価し終えた時点で（Ｓ０２７でＹｅｓ）、画像解析処理が終了する。 Thereafter, the image analysis unit 23 uses the p-value calculated for person A to evaluate the degree of intimacy between person A and person B, and uses the p-value calculated for person B to evaluate the degree of intimacy for person B. The degree of intimacy with person A is evaluated (S026). Thereafter, similarly to the above-described embodiment, the image analysis unit 23 repeatedly performs steps S023 to S026 by changing the combinations of the first person and the second person, and when the intimacy level has been evaluated for all combinations. (Yes in S027), the image analysis process ends.
第２変形例における親密度の評価手順について、図１２及び１３に示すケースを例にあげて具体的に説明する。なお、説明を分かり易くするため、図１２及び１３に示すケースでは、解析対象画像に写っている画像が人物Ａ、Ｂの二人のみであり、第１人物と第２人物との組み合わせが一組のみであるとする。 The intimacy evaluation procedure in the second modification will be specifically explained using the cases shown in FIGS. 12 and 13 as an example. In order to make the explanation easier to understand, in the cases shown in FIGS. 12 and 13, only two people, A and B, are included in the image to be analyzed, and the combination of the first person and the second person is the same. Assume that there are only groups.
図１２に示すケースでは、共起画像の数Ｎｘが２個であり、５個の画像（第１画像）に写った人物Ａにとって人物Ｂは親しい間柄であるが、５０個の画像（第２画像）に写った人物Ｂにとって人物Ａは然程親しい間柄ではないと判断され得る。このことを統計的に検討すると、図１２に示すケースでは、人物Ａについての人物別共起確率ＰＡ、人物Ｂについての人物別共起確率ＰＢ、及び全体共起確率ＰＷが以下の通りになる。
ＰＡ＝２／５
ＰＢ＝２／５０
Ｐｗ＝１１／５０（＝１／２×｛２／５＋２／５０｝）
In the case shown in FIG. 12, the number Nx of co-occurring images is 2, and person B is close to person A who appears in 5 images (first image), but person B appears in 50 images (second image). It may be determined that person A is not very close to person B in the image). Considering this statistically, in the case shown in FIG. 12, the person-specific co-occurrence probability P A for person A, the person-specific co-occurrence probability P B for person B, and the overall co-occurrence probability PW are as follows. become.
P A = 2/5
P B =2/50
Pw=11/50 (=1/2×{2/5+2/50})
上記の値を用いて、上述の式（２）により人物Ａ、Ｂの各々についてｐ値を求めると、Ａについてのｐ値が０．３０４１１６９となり、Ｂについてのｐ値が０．９９９９３９となる。この場合、どちらも有意であるとは言えず、人物Ａにとっての人物Ｂとの間の親密度、及び、人物Ｂにとっての人物Ａとの親密度は、いずれも高いとは言えない。要するに、ｐ値の算出結果が上記の値にとなる場合、「人物Ａにとって人物Ｂとの仲が親密であるか否かについて、ｐ値からは断定することができない」と統計的には解釈され得る。 When the p-values for each of persons A and B are calculated using the above-mentioned equation (2) using the above values, the p-value for A becomes 0.3041169, and the p-value for B becomes 0.999939. In this case, neither of them can be said to be significant, and the degree of intimacy between person A and person B, and the degree of intimacy between person B and person A cannot be said to be high. In short, if the p-value calculation result is the above value, it is statistically interpreted as ``it is not possible to conclude from the p-value whether or not person A has a close relationship with person B.'' can be done.
図１３に示すケースでは、共起画像の数Ｎｘが２０個であり、５０個の画像（第１画像）に写った人物Ａにとって人物Ｂは親しい間柄であるが、５００個の画像（第２画像）に写った人物Ｂにとって人物Ａは然程親しい間柄ではないと判断され得る。このことを統計的に検討すると、図１３に示すケースでは、人物Ａについての人物別共起確率ＰＡ、人物Ｂについての人物別共起確率ＰＢ、及び全体共起確率ＰＷが以下の通りになる。これらの値は、図１２に示すケースと同値である。
ＰＡ＝２０／５０＝２／５
ＰＢ＝２０／５００＝２／５０
Ｐｗ＝１１／５０（＝１／２×｛２／５＋２／５０｝）
In the case shown in FIG. 13, the number Nx of co-occurring images is 20, and person B is close to person A who appears in 50 images (first image), but person B appears in 500 images (second image). It may be determined that person A is not very close to person B in the image). Considering this statistically, in the case shown in FIG. 13, the person-specific co-occurrence probability P A for person A, the person-specific co-occurrence probability P B for person B, and the overall co-occurrence probability PW are as follows. become. These values are the same as the case shown in FIG.
P A =20/50=2/5
P B =20/500=2/50
Pw=11/50 (=1/2×{2/5+2/50})
上記の値を用いて、上述の式（２）により人物Ａ、Ｂの各々についてｐ値を求めると、Ｂについてのｐ値は、０．９９９９９９９となる。この場合、有意であるとは言えず、人物Ｂにとっての人物Ａとの親密度が高いとは言い切れない。 When the p-value for each of persons A and B is calculated using the above-mentioned equation (2) using the above-mentioned values, the p-value for B becomes 0.9999999. In this case, it cannot be said that it is significant, and it cannot be said that the degree of intimacy between person B and person A is high.
一方で、Ａについてのｐ値は、０．００３１３３０７となる。この場合、有意であると言え、人物Ａにとっての人物Ｂとの間の親密度が高いと判断される。すなわち、ランダムに一つ選んだ画像（第１画像）が共起画像となる確率が２２％（＝１１／５０×１００）である場合に５０個中の２０個が共起画像となることはあり得ず（極めて稀であり）、人物Ａにとって人物Ｂとの仲が親密であるからランダム確率よりも有意に共起している」と解釈され得る。 On the other hand, the p value for A is 0.00313307. In this case, it can be said that it is significant, and it is determined that the degree of intimacy between person A and person B is high. In other words, if the probability that one randomly selected image (first image) will be a co-occurring image is 22% (=11/50 x 100), then 20 out of 50 images will be co-occurring images. This is impossible (very rare), and since person A is close to person B, it can be interpreted as ``co-occurring more significantly than random probability''.
以上のように、第二変形例では、第１人物と第２人物との間の親密度を評価する際に、人物間での非対称性を考慮して二項定理を適用してｐ値を人物毎に算出し、人物毎のｐ値を用いて、各々の人物から見た親密度を人物毎に評価する。これにより、各人物が写った画像の数に基づいて、統計的に有意に親密であると言えるか否かを判断することが可能となる。 As described above, in the second modified example, when evaluating the degree of intimacy between the first person and the second person, the p-value is calculated by applying the binomial theorem in consideration of the asymmetry between the persons. It is calculated for each person, and the degree of intimacy as seen from each person is evaluated for each person using the p value for each person. This makes it possible to judge whether or not it can be said that each person is statistically significantly close based on the number of images in which each person is photographed.
１０ 画像解析装置
１２ サーバコンピュータ
１４ ネットワーク
１６ 利用端末
１８ 記憶装置
２１ 画像取得部
２２ 画像記憶部
２３ 画像解析部
１００ 画像解析システム
10 Image analysis device 12 Server computer 14 Network 16 User terminal 18 Storage device 21 Image acquisition unit 22 Image storage unit 23 Image analysis unit 100 Image analysis system
Claims (13)
前記画像記憶部に記憶された画像を解析対象画像として用いる画像解析部と、を有し、
前記画像解析部は、
前記解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、前記第１人物及び前記第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、
Ｎｘ個の前記解析対象画像が前記共起画像となる事象の起こり難さについての確率を、前記第１画像の数Ｎ１、前記第２画像の数Ｎ２及び前記共起画像の数Ｎｘに基づいて算出し、
前記確率を用いて、前記第１人物及び前記第２人物の間の親密度を評価することを特徴とする画像解析装置。 an image storage unit that stores images;
an image analysis unit that uses the image stored in the image storage unit as an analysis target image;
The image analysis section includes:
Among the images to be analyzed, the number N1 of first images in which the first person is photographed, the number N2 of second images in which the second person is photographed, and the number of second images in which the first person and the second person are photographed together. Specify the number of starting images Nx, respectively,
Based on the number N1 of the first images, the number N2 of the second images, and the number Nx of the co-occurring images, calculate the probability of an event in which the Nx images to be analyzed become the co-occurring images. Calculate,
An image analysis device characterized in that the degree of intimacy between the first person and the second person is evaluated using the probability.
ｐ＝｛（ａ＋ｂ）！（ｃ＋ｄ）！（ａ＋ｃ）！（ｂ＋ｄ）！｝
／｛ａ！ｂ！ｃ！ｄ！ｎ！｝ 式（１） The image analysis unit sets the number Nx of the co-occurring images to a, the difference between the number N1 of the first images and the number Nx of the co-occurring images to b, and the number N2 of the second images and the co-occurring image. The difference from the number Nx of images is c, the number N3 of the third images is d, and the number Na of the images to be analyzed is n, calculate p shown in the following formula (1), and from the calculated p The image analysis device according to claim 2, which calculates the value.
p={(a+b)! (c+d)! (a+c)! (b+d)! }
/{a! b! c! d! n! } Formula (1)
前記解析対象画像の数Ｎａを特定し、
Ｎａ個の前記解析対象画像に写っている人物の数ｍを特定し、
Ｎａ個の前記解析対象画像中、対象人物が他の人物と一緒に写った特定画像の比率を、前記他の人物毎に求め、
前記他の人物毎に求めた前記比率の総和を、前記他の人物の数（ｍ－１）で除することで、前記対象人物についての人物別共起確率を算出し、
Ｎａ個の前記解析対象画像に写っている人物の各人を前記対象人物として、前記各人についての前記人物別共起確率を繰り返し算出し、
前記各人について算出した前記人物別共起確率の総和を、Ｎａ個の前記解析対象画像に写っている人物の数ｍで除することで、全体共起確率Ｐｗを算出し、
前記全体共起確率Ｐｗを用いて、前記第１人物及び前記第２人物の各々について前記ｐ値を算出する、請求項６に記載の画像解析装置。 The image analysis section includes:
specifying the number Na of the images to be analyzed;
Identify the number m of people appearing in the Na images to be analyzed,
Among the Na images to be analyzed, the ratio of specific images in which the target person is photographed together with other people is determined for each of the other people;
Calculating the co-occurrence probability by person for the target person by dividing the sum of the ratios calculated for each other person by the number of other people (m-1),
Repeatedly calculating the person-specific co-occurrence probability for each person, with each person appearing in the Na images to be analyzed as the target person,
Calculating the overall co-occurrence probability Pw by dividing the sum of the person-specific co-occurrence probabilities calculated for each person by the number m of people appearing in the Na images to be analyzed;
The image analysis device according to claim 6, wherein the p value is calculated for each of the first person and the second person using the overall co-occurrence probability Pw.
ランダムに選ばれた１個の前記第１画像が前記共起画像である確率が前記全体共起確率Ｐｗになるという仮定の下で、Ｎ１個の前記第１画像のうち、Ｎｘ個の前記第１画像が前記共起画像となる確率を、前記第１人物についての前記ｐ値として算出し、
ランダムに選ばれた１個の前記第２画像が前記共起画像である確率が前記全体共起確率Ｐｗになるという仮定の下で、Ｎ２個の前記第２画像のうち、Ｎｘ個の前記第２画像が前記共起画像となる確率を、前記第２人物についての前記ｐ値として算出する、請求項７に記載の画像解析装置。 The image analysis section includes:
Under the assumption that the probability that one randomly selected first image is the co-occurrence image is the overall co-occurrence probability Pw, among the N1 first images, Nx of the first images Calculating the probability that one image becomes the co-occurring image as the p value for the first person,
Under the assumption that the probability that one randomly selected second image is the co-occurrence image is the overall co-occurrence probability Pw, among the N2 second images, Nx of the second images The image analysis device according to claim 7, wherein the probability that two images become the co-occurrence image is calculated as the p value for the second person.
画像解析部が、前記画像記憶部に記憶された画像を解析対象画像として用いるステップと、を有し、
前記画像解析部は、前記解析対象画像を用いるステップにおいて、
前記解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、前記第１人物及び前記第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、
Ｎｘ個の前記解析対象画像が前記共起画像となる事象の起こり難さについての確率を、前記第１画像の数Ｎ１、前記第２画像の数Ｎ２及び前記共起画像の数Ｎｘに基づいて算出し、
前記確率を用いて、前記第１人物及び前記第２人物の間の親密度を評価することを特徴とする画像解析方法。 an image storage unit storing the image;
an image analysis unit using the image stored in the image storage unit as an analysis target image,
The image analysis unit, in the step of using the analysis target image,
Among the images to be analyzed, the number N1 of first images in which the first person is photographed, the number N2 of second images in which the second person is photographed, and the number of second images in which the first person and the second person are photographed together. Specify the number of starting images Nx, respectively,
Based on the number N1 of the first images, the number N2 of the second images, and the number Nx of the co-occurring images, calculate the probability of an event in which the Nx images to be analyzed become the co-occurring images. Calculate,
An image analysis method characterized in that the degree of intimacy between the first person and the second person is evaluated using the probability.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022116297A JP7382461B2 (en) | 2019-07-18 | 2022-07-21 | Image analysis device, image analysis method, computer program, and recording medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019132398A JP7111662B2 (en) | 2019-07-18 | 2019-07-18 | Image analysis device, image analysis method, computer program, and recording medium |
| JP2022116297A JP7382461B2 (en) | 2019-07-18 | 2022-07-21 | Image analysis device, image analysis method, computer program, and recording medium |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019132398A Division JP7111662B2 (en) | 2019-07-18 | 2019-07-18 | Image analysis device, image analysis method, computer program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022170739A JP2022170739A (en) | 2022-11-10 |
| JP7382461B2 true JP7382461B2 (en) | 2023-11-16 |
Family
ID=74563620
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019132398A Active JP7111662B2 (en) | 2019-07-18 | 2019-07-18 | Image analysis device, image analysis method, computer program, and recording medium |
| JP2022116297A Active JP7382461B2 (en) | 2019-07-18 | 2022-07-21 | Image analysis device, image analysis method, computer program, and recording medium |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019132398A Active JP7111662B2 (en) | 2019-07-18 | 2019-07-18 | Image analysis device, image analysis method, computer program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7111662B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003067412A (en) | 2001-08-24 | 2003-03-07 | Yutaka Matsuo | Method for extracting feature item from data |
| JP2006079460A (en) | 2004-09-10 | 2006-03-23 | Fuji Photo Film Co Ltd | System, method and program for displaying electronic album and device, method, and program for classifying image |
| JP2010140069A (en) | 2008-12-09 | 2010-06-24 | Sony Corp | Image processing apparatus, imaging apparatus, image processing method, and program |
| JP2013003635A (en) | 2011-06-13 | 2013-01-07 | Sony Corp | Information processing apparatus, information processing method and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4490214B2 (en) | 2004-09-10 | 2010-06-23 | 富士フイルム株式会社 | Electronic album display system, electronic album display method, and electronic album display program |
| JP2011170579A (en) | 2010-02-18 | 2011-09-01 | Seiko Epson Corp | Intimacy degree determination method and intimacy degree determination device |
-
2019
- 2019-07-18 JP JP2019132398A patent/JP7111662B2/en active Active
-
2022
- 2022-07-21 JP JP2022116297A patent/JP7382461B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003067412A (en) | 2001-08-24 | 2003-03-07 | Yutaka Matsuo | Method for extracting feature item from data |
| JP2006079460A (en) | 2004-09-10 | 2006-03-23 | Fuji Photo Film Co Ltd | System, method and program for displaying electronic album and device, method, and program for classifying image |
| JP2010140069A (en) | 2008-12-09 | 2010-06-24 | Sony Corp | Image processing apparatus, imaging apparatus, image processing method, and program |
| JP2013003635A (en) | 2011-06-13 | 2013-01-07 | Sony Corp | Information processing apparatus, information processing method and program |
Non-Patent Citations (2)
| Title |
|---|
| モファット ピーター・Ｇ，川越敏司（監訳），経済学のための実験統計学，第1版，株式会社勁草書房 井村 寿人，2018年12月20日，pp.52-57，ISBN:978-4-326-50452-7 |
| 金 英子，Ｗｅｂ上からさまざまなエンティティ同士の社会ネットワーク抽出，２００７年度人工知能学会全国大会（第２１回）論文集 ［ＣＤ－ＲＯＭ］，社団法人人工知能学会，2007年06月22日，2F4-7 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021018504A (en) | 2021-02-15 |
| JP7111662B2 (en) | 2022-08-02 |
| JP2022170739A (en) | 2022-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7322044B2 (en) | Highly Efficient Convolutional Networks for Recommender Systems | |
| US20200356901A1 (en) | Target variable distribution-based acceptance of machine learning test data sets | |
| CN110276406B (en) | Expression classification method, apparatus, computer device and storage medium | |
| CN113139628B (en) | Sample image identification method, device and equipment and readable storage medium | |
| CN113538070B (en) | User life value cycle detection method and device and computer equipment | |
| US11804043B2 (en) | Detecting objects in a video using attention models | |
| CN113793696B (en) | Novel medicine side effect occurrence frequency prediction method, system, terminal and readable storage medium based on similarity | |
| Shankar et al. | Minor blind feature based Steganalysis for calibrated JPEG images with cross validation and classification using SVM and SVM-PSO | |
| CN115171910A (en) | Method and system for generating screening model and screening infectious disease high-risk infected people | |
| Ji et al. | Graph signal processing over a probability space of shift operators | |
| CN114298997B (en) | Fake picture detection method, fake picture detection device and storage medium | |
| CN115062779A (en) | Event prediction method and device based on dynamic knowledge graph | |
| CN110674413A (en) | User relationship mining method, device, equipment and storage medium | |
| JP7382461B2 (en) | Image analysis device, image analysis method, computer program, and recording medium | |
| Kapadia et al. | Improved CBIR system using Multilayer CNN | |
| CN114461943B (en) | Deep learning-based multi-source POI semantic matching method and device and storage medium thereof | |
| JP2007334755A (en) | Learning data generator, object discriminating unit, and program | |
| Mirzargar et al. | Representative Consensus from Limited‐Size Ensembles | |
| Wang et al. | Facial aging simulation via tensor completion and metric learning | |
| Tiwari et al. | Security Protection Mechanism in Cloud Computing Authorization Model Using Machine Learning Techniques | |
| CN113139201A (en) | File detection method and device, storage medium and computing equipment | |
| CN114372209A (en) | Method and device for recommending virtual resources and electronic equipment | |
| Al Chami et al. | A supervised and unsupervised image quality assessment framework in real-time | |
| Tiwari et al. | Research Article Security Protection Mechanism in Cloud Computing Authorization Model Using Machine Learning Techniques | |
| CN116467466A (en) | Knowledge graph-based code recommendation method, device, equipment and medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220816 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231106 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7382461 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |