JP6826389B2 - Estimator, estimation method, and estimation program - Google Patents
Estimator, estimation method, and estimation program Download PDFInfo
- Publication number
- JP6826389B2 JP6826389B2 JP2016149641A JP2016149641A JP6826389B2 JP 6826389 B2 JP6826389 B2 JP 6826389B2 JP 2016149641 A JP2016149641 A JP 2016149641A JP 2016149641 A JP2016149641 A JP 2016149641A JP 6826389 B2 JP6826389 B2 JP 6826389B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- occupancy rate
- estimation
- images
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 86
- 230000008569 process Effects 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 241000282326 Felis catus Species 0.000 description 101
- 239000000284 extract Substances 0.000 description 25
- 238000000605 extraction Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 241000282472 Canis lupus familiaris Species 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 101100444028 Drosophila melanogaster Dso2 gene Proteins 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
本発明は、推定装置、推定方法、及び推定プログラムに関する。 The present invention relates to an estimation device, an estimation method, and an estimation program.
従来、ニューラルネットワークによる画像の特徴抽出に関する技術が提供されている。例えば、畳み込みニューラルネットワーク(Convolutional Neural Network)により、画像に含まれる対象を識別する技術が提供されている。 Conventionally, a technique for extracting image features by a neural network has been provided. For example, a convolutional neural network (Convolutional Neural Network) provides a technique for identifying an object contained in an image.
しかしながら、上記の従来技術では画像にどのような態様で対象が含まれるかを適切に推定することは難しい。例えば、画像にある対象が含まれると判別できるだけでは、その画像に対象が含まれる態様が適切に推定されるとは限らない。 However, in the above-mentioned conventional technique, it is difficult to appropriately estimate in what manner the image includes the object. For example, just by determining that an object is included in an image, it is not always possible to properly estimate the mode in which the object is included in the image.
本願は、上記に鑑みてなされたものであって、画像に対象が含まれる態様を適切に推定する推定装置、推定方法、及び推定プログラムを提供することを目的とする。 The present application has been made in view of the above, and an object of the present application is to provide an estimation device, an estimation method, and an estimation program for appropriately estimating an aspect in which an object is included in an image.
本願に係る推定装置は、画像を取得する取得部と、入力画像に応じて当該入力画像中における所定の対象の占有率を出力する学習器と、前記取得部により取得された画像とに基づいて、前記取得部により取得された画像における前記所定の対象の占有率を推定する推定部と、を備えたことを特徴とする。 The estimation device according to the present application is based on an acquisition unit that acquires an image, a learner that outputs an occupancy rate of a predetermined target in the input image according to the input image, and an image acquired by the acquisition unit. It is characterized by including an estimation unit for estimating the occupancy rate of the predetermined object in the image acquired by the acquisition unit.
実施形態の一態様によれば、画像に対象が含まれる態様を適切に推定することができるという効果を奏する。 According to one aspect of the embodiment, there is an effect that the aspect in which the object is included in the image can be appropriately estimated.
以下に、本願に係る推定装置、推定方法、及び推定プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る推定装置、推定方法、及び推定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, the estimation device, the estimation method, and the mode for carrying out the estimation program (hereinafter referred to as “the embodiment”) according to the present application will be described in detail with reference to the drawings. It should be noted that this embodiment does not limit the estimation device, estimation method, and estimation program according to the present application. Further, in each of the following embodiments, the same parts are designated by the same reference numerals, and duplicate description is omitted.
(実施形態)
〔1.検索処理〕
図1及び図2を用いて、実施形態に係る検索処理の一例について説明する。図1及び図2は、実施形態に係る検索処理の一例を示す図である。具体的には、図1は、後述する検索の対象となる画像群の各々における対象の占有率の推定の一例を示す図である。図1に示す検索装置100は、画像における対象の占有率を出力(推定)する学習器(モデル)を用いて、検索の対象となる画像群の各々における対象の占有率を推定する。
(Embodiment)
[1. Search process]
An example of the search process according to the embodiment will be described with reference to FIGS. 1 and 2. 1 and 2 are diagrams showing an example of a search process according to an embodiment. Specifically, FIG. 1 is a diagram showing an example of estimating the occupancy rate of the target in each of the image groups to be searched, which will be described later. The
また、具体的には、図2は、クエリ画像を取得した場合に、クエリ画像における対象の占有率に応じた検索結果の提供の一例を示す図である。図2に示す検索装置100は、画像における対象の占有率を出力(推定)する学習器LEを用いて、クエリ画像における対象の占有率を推定する。また、検索装置100は、クエリ画像における対象の占有率に応じて、検索結果をユーザに提供する。なお、ここでいうクエリ画像とは、検索において指定する条件を示す画像を意味し、クエリ画像との間において所定の条件を満たす画像を取り出すため処理の要求(問い合わせ)を含んでもよい。また、画像における対象の占有率を出力(推定)する学習器LEは、入力画像とその入力画像における対象等の占有率を示す正解情報とを用いることにより生成されるが、詳細は後述する。また、図1及び図2に示す例においては、占有率を推定する対象が猫である場合を示すが、対象は、猫に限らず、犬や人間等の他の生物や植物や車等の種々の物体等であってもよい。また、ここでいう対象は、識別可能であれば種々の対象が含まれてもよく、例えば火や海の波など種々の現象等が含まれてもよい。
Further, specifically, FIG. 2 is a diagram showing an example of providing a search result according to the occupancy rate of the target in the query image when the query image is acquired. The
ここで、検索装置100が用いる学習器について簡単に説明する。検索装置100が用いる学習器は、例えば、入力されたデータに対する演算結果を出力する複数のノードを多層に接続した学習器であって、教師あり学習により抽象化された画像の特徴を学習された学習器である。例えば、学習器は、複数のノードを有する層を多段に接続したニューラルネットワークであり、いわゆるディープラーニングの技術により実現されるDNN(Deep Neural Network)であってもよい。また、画像の特徴とは、画像に含まれる文字の有無、色、構成等、画像内に現れる具体的な特徴のみならず、撮像されている物体が何であるか、画像がどのような利用者に好かれるか、画像の雰囲気等、抽象化(メタ化)された画像の特徴をも含む概念である。
Here, the learning device used by the
例えば、学習器は、ディープラーニングの技術により、以下のような学習手法により生成される。例えば、学習器は、各ノードの間の接続係数が初期化され、様々な特徴を有する画像が入力される。そして、学習器は、学習器における出力と、入力した画像との誤差が少なくなるようにパラメータ(接続係数)を補正するバックプロパゲーション(誤差逆伝播法)等の処理により生成される。例えば、学習器は、誤差関数等、所定の損失(ロス)関数を最小化するようにバックプロパゲーション等の処理を行うことにより生成される。上述のような処理を繰り返すことで、学習器は、入力された画像をより良く再現できる出力、すなわち入力された画像の特徴を出力することができる。 For example, the learning device is generated by the following learning method by the technique of deep learning. For example, in the learner, the connection coefficient between each node is initialized, and images having various characteristics are input. Then, the learner is generated by processing such as backpropagation (error backpropagation method) that corrects a parameter (connection coefficient) so that an error between the output in the learner and the input image is reduced. For example, the learner is generated by performing processing such as backpropagation so as to minimize a predetermined loss function such as an error function. By repeating the above-mentioned processing, the learner can output an output capable of better reproducing the input image, that is, an output of the characteristics of the input image.
なお、学習器の学習手法については、上述した手法に限定されるものではなく、任意の公知技術が適用可能である。また、学習器の学習を行う際に用いられる情報は、画像及びその画像に含まれる対象を示す情報等の種々の画像のデータセットを利用してもよい。学習器の学習を行う際に用いられる情報は、対象が1つ含まれる画像及び対象が1つであることを示す情報のセットや、対象が複数(例えば2つ)含まれる画像及び対象が複数(例えば2つ)であることを示す情報のセットや、対象が含まれない画像及び対象が含まれない(0である)ことを示す情報のセット等を利用してもよい。また、学習器に対する画像の入力方法、学習器が出力するデータの形式、学習器に対して明示的に学習させる特徴の内容等は、任意の手法が適用できる。すなわち、検索装置100は、画像から抽象化された特徴を示す特徴量を算出できるのであれば、任意の学習器を用いることができる。
The learning method of the learning device is not limited to the above-mentioned method, and any known technique can be applied. Further, as the information used when learning the learner, a data set of various images such as an image and information indicating an object included in the image may be used. The information used when learning the learner includes an image containing one target and a set of information indicating that the target is one, and an image containing a plurality of targets (for example, two targets) and a plurality of targets. You may use a set of information indicating that (for example, two), an image that does not include an object, a set of information that indicates that the object is not included (0), and the like. In addition, any method can be applied to the method of inputting an image to the learning device, the format of the data output by the learning device, the content of the feature to be explicitly learned by the learning device, and the like. That is, the
図1では、検索装置100は、入力画像の局所領域の畳み込みとプーリングとを繰り返す、いわゆる畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)による学習器LEを用いるものとする。以下では、畳み込みニューラルネットワークをCNNと記載する場合がある。例えば、CNNによる学習器LEは、画像から特徴を抽出して出力する機能に加え、画像内に含まれる文字や撮像対象等の位置的変異に対し、出力の不変性を有する。このため、学習器LEは、画像の抽象化された特徴を精度良く算出することができる。
In FIG. 1, the
例えば、図1では、検索装置100は、画像における対象(猫)の占有率に関する情報を出力する識別器(モデル)である学習器LEを用いる。すなわち、図1では、検索装置100は、上述のような所定の学習処理により生成済みの学習器LEを用いるものとする。なお、図1では、検索装置100が画像に含まれる対象を識別する学習器LEを用いる場合を示すが、検索装置100は、所定の対象の占有率を推定可能であれば、どのような学習器を用いてもよい。また、学習器LEを生成(学習)する際には、所定の損失関数や正解情報等を用いるが詳細は後述する。
For example, in FIG. 1, the
図2に示すように、検索システム1には、端末装置10と、検索装置100とが含まれる。端末装置10と、検索装置100とは図示しない所定の通信網を介して、有線または無線により通信可能に接続される。また、図2に示した検索システム1には、複数台の端末装置10や、複数台の検索装置100が含まれてもよい。
As shown in FIG. 2, the
端末装置10は、ユーザによって利用される情報処理装置である。端末装置10は、例えば、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)等により実現される。図2に示す例においては、端末装置10がスマートフォンである場合を示す。なお、以下では、端末装置10をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置10と読み替えることもできる。 The terminal device 10 is an information processing device used by the user. The terminal device 10 is realized by, for example, a smartphone, a tablet terminal, a notebook PC (Personal Computer), a desktop PC, a mobile phone, a PDA (Personal Digital Assistant), or the like. In the example shown in FIG. 2, a case where the terminal device 10 is a smartphone is shown. In the following, the terminal device 10 may be referred to as a user. That is, in the following, the user can be read as the terminal device 10.
検索装置100は、入力画像中における所定の対象の占有率を出力する学習器LEを用いて、取得した画像における所定の対象の占有率を推定する推定装置である。また、検索装置100は、端末装置10からクエリ画像を取得し、取得したクエリ画像に基づいて、所定の画像群から検索対象の占有率に関する条件を満たす検索結果画像を抽出する推定装置である。
The
まず、図1を用いて、検索装置100による検索対象となる各画像における対象(猫)の占有率の推定について説明する。例えば、図1に示す画像IM11〜IM15等は、画像情報記憶部122(図5)に記憶される。以下では、画像IM11〜IM15等を区別せずに説明する場合、「画像IM」と記載する場合がある。
First, with reference to FIG. 1, the estimation of the occupancy rate of the target (cat) in each image to be searched by the
例えば、検索装置100は、画像IMを学習器LEに入力することにより、画像IMにおける猫の占有率を推定する。具体的には、画像IMが入力された学習器LEは、入力された画像IMにおける猫の占有率を示す情報を出力し、検索装置100は、学習器LEが出力した画像IMにおける猫の占有率を示す情報に基づいて、画像IMにおける猫の占有率を推定する。画像IMが入力された学習器LEは、猫のみではなく、入力された画像IMにおける種々の対象の占有率を示す情報を出力する。図1及び図2では、説明を簡単にするために、猫と背景の2つのクラスの占有率のみを図示するが、学習器LEは、他のクラスに関する占有率を示す情報を出力してもよい。なお、ここでいうクラスとは、機械学習におけるクラスであり、学習器により分類される種別等であってもよい。例えば、学習器LEは、20個のクラスに関する占有率を示す情報を出力してもよい。この場合、学習器LEは、猫や背景に対応する2つのクラスに加えて、犬や飛行機や自転車等のクラスに関する占有率を示す情報を出力してもよい。なお、学習器LEが、どの対象(クラス)の占有率を示す情報を出力するかは、学習によるが詳細は後述する。
For example, the
また、検索装置100は、検索対象となる全画像IMを学習器LEに入力することにより、画像IMにおける猫の占有率を推定してもよいが、対象である猫が含まれると想定される画像IMのみを学習器LEに入力して、画像IMにおける猫の占有率を示す情報を出力してもよい。例えば、検索装置100は、画像情報記憶部122(図5)中の画像IMのうち、タグ「猫」が対応付けられた画像IMのみを学習器LEに入力して、画像IMにおける猫の占有率を示す情報を出力してもよい。例えば、図1に示す画像IM11〜IM15等にタグ「猫」が対応付けられている場合、検索装置100は、画像IM11〜IM15等を学習器LEに入力して、画像IMにおける猫の占有率を示す情報を出力してもよい。
Further, the
図1の例では、検索装置100は、画像IM11を学習器LEに入力する(ステップS11−1)。例えば、検索装置100は、画像情報記憶部122(図5)から画像IM11を取得し、画像IM11を学習器LEに入力する。その後、検索装置100は、学習器LEの出力に基づいて、画像IM11における猫の占有率を推定する(ステップS12−1)。例えば、検索装置100は、推定情報OC11に示すように、学習器LEの出力に基づいて、画像IM11における猫の占有率を80%(0.8)と推定し、画像IM11における背景の占有率を18%(0.18)と推定する。例えば、検索装置100は、各対象(クラス)の占有率の合計が100%になるように各対象の占有率を推定する。例えば、検索装置100は、猫や背景以外の対象(クラス)の各々の占有率の合計が2%となるように推定する。なお、本実施形態においては、占有率を百分率「%」(例えば、80%等)で表記するが、小数点(例えば、0.8等)であってもよい。例えば、学習器LEは、各対象(クラス)の占有率を示す0〜1の範囲内の数値を出力してもよい。
In the example of FIG. 1, the
また、図1の例では、検索装置100は、画像IM12を学習器LEに入力する(ステップS11−2)。例えば、検索装置100は、画像情報記憶部122(図5)から画像IM12を取得し、画像IM12を学習器LEに入力する。その後、検索装置100は、学習器LEの出力に基づいて、画像IM12における猫の占有率を推定する(ステップS12−2)。例えば、検索装置100は、推定情報OC12に示すように、学習器LEの出力に基づいて、画像IM12における猫の占有率を60%と推定し、画像IM12における背景の占有率を36%と推定する。
Further, in the example of FIG. 1, the
また、図1の例では、検索装置100は、画像IM13を学習器LEに入力する(ステップS11−3)。例えば、検索装置100は、画像情報記憶部122(図5)から画像IM13を取得し、画像IM13を学習器LEに入力する。その後、検索装置100は、学習器LEの出力に基づいて、画像IM13における猫の占有率を推定する(ステップS12−3)。例えば、検索装置100は、推定情報OC13に示すように、学習器LEの出力に基づいて、画像IM13における猫の占有率を20%と推定し、画像IM13における背景の占有率を75%と推定する。
Further, in the example of FIG. 1, the
また、図1の例では、検索装置100は、画像IM14を学習器LEに入力する(ステップS11−4)。例えば、検索装置100は、画像情報記憶部122(図5)から画像IM14を取得し、画像IM14を学習器LEに入力する。その後、検索装置100は、学習器LEの出力に基づいて、画像IM14における猫の占有率を推定する(ステップS12−4)。例えば、検索装置100は、推定情報OC14に示すように、学習器LEの出力に基づいて、画像IM14における猫の占有率を90%と推定し、画像IM14における背景の占有率を9%と推定する。
Further, in the example of FIG. 1, the
また、図1の例では、検索装置100は、画像IM15を学習器LEに入力する(ステップS11−5)。例えば、検索装置100は、画像情報記憶部122(図5)から画像IM15を取得し、画像IM15を学習器LEに入力する。その後、検索装置100は、学習器LEの出力に基づいて、画像IM15における猫の占有率を推定する(ステップS12−5)。例えば、検索装置100は、推定情報OC15に示すように、学習器LEの出力に基づいて、画像IM15における猫の占有率を70%と推定し、画像IM15における背景の占有率を27%と推定する。
Further, in the example of FIG. 1, the
また、検索装置100は、タグ「猫」が対応付けられた他の画像IMについても学習器LEに入力し、各画像IMにおける猫の占有率を推定する。その後、検索装置100は、推定した各画像IMにおける猫の占有率を示す一覧情報を生成する(ステップS13)。図1の例では、検索装置100は、画像IM11〜IM15等における猫の占有率を示す一覧情報LT11を生成する。なお、図1の例では、検索装置100が説明のために、一覧情報LT11を生成する場合を一例とするが、ステップS12−1〜S12−5等において推定した各画像IMにおける猫の占有率を示す情報を、各画像に対応付けて画像情報記憶部122(図5)に記憶してもよい。
Further, the
次に、図2を用いて、クエリ画像を取得した場合における、検索装置100による検索結果の提供について説明する。まず、検索装置100は、ユーザU1が利用する端末装置10からクエリ画像IM10を取得する(ステップS14)。図2の例では、検索装置100は、端末装置10から猫が含まれるクエリ画像IM10を取得する。
Next, with reference to FIG. 2, the provision of the search result by the
その後、検索装置100は、取得した画像IM10を学習器LEに入力する(ステップS15)。そして、検索装置100は、学習器LEの出力に基づいて、画像IM10における猫の占有率を推定する(ステップS16)。例えば、検索装置100は、推定情報OC10に示すように、学習器LEの出力に基づいて、画像IM10における猫の占有率を68%と推定し、画像IM10における背景の占有率を30%と推定する。このように、図2の例では、検索装置100は、検索対象が「猫」であり、その検索対象に関する条件が占有率「68%」であることを示す画像IM10を、端末装置10から取得する。すなわち、検索装置100は、クエリ画像(画像IM10)を取得することにより、検索対象が「猫」であり、その検索対象に関する条件が占有率「68%」であることを示す指定情報を取得する。
After that, the
なお、図2の例では、検索装置100がクエリ画像(画像IM10)を取得することにより、指定情報を取得する場合を示すが、検索装置100は、指定情報を文字情報として取得してもよい。例えば、検索装置100は、ユーザU1が端末装置10に、検索対象が「猫」、占有率「68%」と入力した場合、その入力された情報を指定情報として取得してもよい。この場合、検索装置100は、ユーザU1が端末装置10に、指定情報を文字情報として入力する画面等の入力インターフェイスを提供してもよい。
In the example of FIG. 2, the case where the
そして、検索装置100は、検索対象が「猫」であり、その検索対象に関する条件が占有率「68%」を満たす検索結果画像を抽出する(ステップS17)。例えば、検索装置100は、猫の占有率を示す一覧情報LT11に含まれる画像群から、猫の占有率が条件である「68%」から所定の範囲内の画像IMを抽出する。図2の例では、検索装置100は、猫の占有率が条件である「68%」から±25%以内である画像IMを抽出する。例えば、検索装置100は、猫の占有率が43%から93%の範囲内である画像IMを抽出する。具体的には、検索装置100は、抽出情報LT12に示すように、画像IM11、画像IM12、画像IM14、画像IM15等を抽出する。このように、図2の例では、検索装置100は、猫の占有率が20%であり範囲外である画像IM13等の条件を満たさない画像IM以外の画像IMを抽出する。
Then, the
その後、検索装置100は、抽出した画像IMのランキングを決定する(ステップS18)。例えば、検索装置100は、ランキング情報LT13に示すように、猫の占有率が条件である「68%」からの誤差が小さい画像IMのランキングが高くなるようにランキングを決定する。具体的には、検索装置100は、誤差が「2(=70−68)」であり最小の画像IM15を1位とし、画像IM15の次に誤差が小さい画像IM19を2位とし、画像IM19の次に誤差が小さい画像IM12を3位とし、画像IM12の次に誤差が小さい画像IM17を4位とする。
After that, the
その後、検索装置100は、決定したランキングに基づいた検索結果をユーザU1に提供する(ステップS19)。図2の例では、検索装置100は、画像IM15を1位とし、画像IM19を2位とし、画像IM12を3位とし、画像IM17を4位とするランキングに基づいた表示順の検索結果をユーザU1に提供する。例えば、検索装置100は、決定したランキングに基づいた検索結果をユーザU1が利用する端末装置10に送信する。
After that, the
上述したように、検索装置100は、画像における対象の占有率を出力する学習器を用いることにより、画像に対象が含まれる態様、すなわち画像において対象がどれくらいの割合を占めるかを適切に推定することができる。また、検索装置100は、クエリ画像を取得した場合に、クエリ画像における対象の占有率に応じて画像を抽出することにより、クエリ画像に対応する画像を適切に抽出することができる。図2に示すように、検索装置100は、クエリ画像における対象の占有率を条件として、対象を含む画像を抽出することにより、ユーザの意図をより適切に反映した検索結果をユーザに提供することができる。
As described above, the
なお、上記例では、検索装置100が猫の占有率の差に応じて画像を抽出する例を示したが、類似度に基づいて、画像を抽出してもよい。例えば、検索装置100は、各画像に含まれる複数の対象の占有率の分布に基づいて、画像を抽出してもよい。例えば、検索装置100は、KLダイバージェンス等の指標値に基づいて、画像を抽出してもよい。例えば、検索装置100は、所定の画像群の画像うち、その画像に含まれる複数の対象の占有率の分布とクエリ画像に含まれる複数の対象の占有率の分布とのKLダイバージェンスの値が所定の閾値内の画像を検索結果画像として抽出してもよい。なお、検索装置100は、KLダイバージェンスに限らず、各画像における分布の類似度に基づく指標値であれば、種々の指標値を適宜用いて、画像を抽出してもよい。
In the above example, the
また、上述した例では、検索装置100が1つの学習器LEを用いる場合を示したが、検索装置100は、対象ごとに学習器を使い分けてもよい。例えば、検索装置100は、犬を対象とする学習器を、猫を対象とする学習器と別に用いてもよい。
Further, in the above-described example, the case where the
〔2.検索装置の構成〕
次に、図3を用いて、実施形態に係る検索装置100の構成について説明する。図3は、実施形態に係る検索装置100の構成例を示す図である。図3に示すように、検索装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、検索装置100は、検索装置100の管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
[2. Search device configuration]
Next, the configuration of the
(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークと有線または無線で接続され、例えば検索システム1に含まれる端末装置10との間で情報の送受信を行う。
(Communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. Then, the communication unit 110 is connected to the network by wire or wirelessly, and transmits / receives information to / from, for example, the terminal device 10 included in the
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部120は、図3に示すように、学習情報記憶部121と、画像情報記憶部122と、一覧情報記憶部123とを有する。
(Memory unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. As shown in FIG. 3, the storage unit 120 according to the embodiment includes a learning
(学習情報記憶部121)
実施形態に係る学習情報記憶部121は、学習に関する各種情報を記憶する。例えば、図4では、学習情報記憶部121は、所定の学習処理により生成された学習器LEに関する学習情報(モデル)を記憶する。図4に、実施形態に係る学習情報記憶部121の一例を示す。図4に示す学習情報記憶部121は、「重み(wij)」を記憶する。
(Learning information storage unit 121)
The learning
例えば、図4に示す例において、「重み(w11)」は「0.2」であり、「重み(w12)」は「−0.3」であることを示す。また、図4に示す例において、「重み(w21)」は「0.5」であり、「重み(w22)」は「1.3」であることを示す。 For example, in the example shown in FIG. 4, it is shown that the “weight (w 11 )” is “0.2” and the “weight (w 12 )” is “−0.3”. Further, in the example shown in FIG. 4, it is shown that the “weight (w 21 )” is “0.5” and the “weight (w 22 )” is “1.3”.
なお、「重み(wij)」は、例えば、学習器LEにおけるニューロンyiからニューロンxjへのシナプス結合係数であってもよい。また、学習情報記憶部121は、上記に限らず、目的に応じて種々の情報を記憶してもよい。また、検索装置100は、対象ごとに学習器を使い分ける場合、複数の学習器に関する情報を記憶してもよい。例えば、検索装置100は、犬を対象とする学習器を、猫を対象とする学習器と別に用いる場合、犬を対象とする学習器に関する情報も記憶してもよい。
The "weight ( wij )" may be, for example, a synaptic connection coefficient from the neuron y i to the neuron x j in the learner LE. Further, the learning
(画像情報記憶部122)
実施形態に係る画像情報記憶部122は、画像に関する各種情報を記憶する。図5に、実施形態に係る画像情報記憶部122の一例を示す。例えば、画像情報記憶部122には、検索対象となる画像が記憶される。図5に示す画像情報記憶部122は、「画像ID」、「画像」、「タグ」といった項目を有する。
(Image information storage unit 122)
The image
「画像ID」は、画像を識別するための識別情報を示す。「画像」は、画像情報を示す。具体的には、「画像」は、検索対象となる画像を示す。図5では、説明のため画像IDにより識別される画像を図示するが、「画像」としては、画像の格納場所を示すファイルパス名などが格納されてもよい。「タグ」は、画像に対応付けて付される情報であり、画像に含まれる対象を示す。 The "image ID" indicates identification information for identifying an image. "Image" indicates image information. Specifically, "image" indicates an image to be searched. In FIG. 5, an image identified by an image ID is illustrated for explanation, but as the “image”, a file path name or the like indicating a storage location of the image may be stored. The "tag" is information attached in association with the image, and indicates an object included in the image.
例えば、図5に示す例において、画像ID「IM11」により識別される画像は、猫を含む画像IM11であり、タグ「猫」が対応付けて記憶されることを示す。なお、各画像に付されるタグは、画像を登録する管理者等が付してもよいし、画像認識の種々の技術を適宜用いて対象を識別することにより、自動で付されてもよい。 For example, in the example shown in FIG. 5, the image identified by the image ID “IM11” is the image IM11 including a cat, indicating that the tag “cat” is associated and stored. The tag attached to each image may be attached by an administrator or the like who registers the image, or may be automatically attached by identifying the target by appropriately using various techniques of image recognition. ..
なお、画像情報記憶部122は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、画像情報記憶部122は、画像を生成した日時に関する情報を記憶してもよい。また、例えば、画像情報記憶部122は、画像に含まれる対象に関する情報を記憶してもよい。また、例えば、画像情報記憶部122は、取得した元となる画像を記憶してもよい。
The image
(一覧情報記憶部123)
実施形態に係る一覧情報記憶部123は、画像における対象の占有率等に関する各種情報を記憶する。例えば、一覧情報記憶部123は、対象ごとに画像における対象の占有率等に関する各種情報を記憶する。図6は、実施形態に係る一覧情報記憶部の一例を示す図である。図6に示す例においては、一覧情報記憶部123は、一覧情報LT11や一覧情報LT21といった含まれる対象ごとに情報(テーブル)を記憶する。例えば、一覧情報LT11や一覧情報LT21は、「画像ID」や「占有率(%)」といった項目を有する。
(List information storage unit 123)
The list
「画像ID」は、画像を識別するための識別情報を示す。「画像」は、画像情報を示す。一覧情報LT11の「占有率(%)」には、「猫」や「背景」といった項目が含まれる。また、一覧情報LT21の「占有率(%)」には、「犬」や「背景」といった項目が含まれる。 The "image ID" indicates identification information for identifying an image. "Image" indicates image information. The "occupancy rate (%)" of the list information LT11 includes items such as "cat" and "background". In addition, the "occupancy rate (%)" of the list information LT21 includes items such as "dog" and "background".
例えば、図6中の一覧情報LT11に示すように、画像ID「IM11」により識別される画像(IM11)は、対象「猫」の占有率が「80」%であり、対象「背景」の占有率が「18」%であることを示す。また、例えば、図6中の一覧情報LT11に示すように、画像ID「IM12」により識別される画像(IM12)は、対象「猫」の占有率が「60」%であり、対象「背景」の占有率が「36」%であることを示す。 For example, as shown in the list information LT11 in FIG. 6, the image (IM11) identified by the image ID “IM11” has an occupancy rate of the target “cat” of “80”% and occupies the target “background”. Indicates that the rate is "18"%. Further, for example, as shown in the list information LT11 in FIG. 6, in the image (IM12) identified by the image ID “IM12”, the occupancy rate of the target “cat” is “60”%, and the target “background”. Indicates that the occupancy rate of is "36"%.
なお、一覧情報記憶部123は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、一覧情報記憶部123は、対象の画像における位置に関する情報を記憶してもよい。例えば、一覧情報記憶部123は、対象が画像の中央、上、下、右、左、全体等のどの部分に位置するかに関する種々の情報を記憶してもよい。例えば、一覧情報記憶部123は、各画像IDに対応する画像や画像の格納場所を示すファイルパス名などを記憶してもよい。また、図6の例では、一覧情報記憶部123は、一覧情報LT11や一覧情報LT21といったように、対象ごとにテーブルを分けて記憶する場合を示したが、対象の占有率等に関する各種情報を1つのテーブルに記憶してもよい。例えば、一覧情報記憶部123は、「占有率(%)」に全対象の項目を含ませることにより、1つのテーブルに記憶してもよい。
The list
(制御部130)
図3の説明に戻って、制御部130は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、検索装置100内部の記憶装置に記憶されている各種プログラム(推定プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
(Control unit 130)
Returning to the description of FIG. 3, the control unit 130 is a controller, and is stored in a storage device inside the
図3に示すように、制御部130は、取得部131と、学習部132と、推定部133と、抽出部134と、決定部135と、提供部136とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
As shown in FIG. 3, the control unit 130 includes an
(取得部131)
例えば、取得部131は、各種情報を取得する。例えば、取得部131は、画像を取得する。例えば、取得部131は、画像情報記憶部122から画像を取得する。図1では、取得部131は、画像情報記憶部122から画像IM11〜IM15等を取得する。なお、取得部131は、外部の情報処理装置から画像IM11〜IM15等を取得してもよい。
(Acquisition unit 131)
For example, the
また、取得部131は、画像検索における指定情報に基づいて、検索対象の占有率に関する情報を取得する。例えば、取得部131は、指定情報としてクエリ画像から推定される検索対象の占有率に関する情報を取得する。図2では、取得部131は、ユーザU1が利用する端末装置10からクエリ画像IM10を取得する。図2では、取得部131は、検索対象が「猫」であり、その検索対象に関する条件が占有率「68%」であることを示す画像IM10を、端末装置10から取得する。例えば、取得部131は、クエリ画像(画像IM10)を取得し、後述する推定部133による占有率の推定により、検索対象が「猫」であり、その検索対象に関する条件が占有率「68%」であることを示す指定情報を取得する。また、例えば、取得部131は、ユーザU1が端末装置10に、検索対象が「猫」、占有率「68%」と入力した場合、その入力された情報を指定情報として取得してもよい。
In addition, the
(学習部132)
学習部132は、種々の情報を学習する。また、学習部132は、学習により種々の情報を生成する。例えば、学習部132は、学習器(モデル)を学習する。言い換えると、学習部132は、学習を行うことにより学習器(モデル)を生成する。例えば、学習部132は、学習器LEを学習する。例えば、学習部132は、画像と当該画像における所定の対象の占有率との組み合わせにより学習器を学習する。また、学習部132は、所定の評価関数を最小化するように学習器を学習する。なお、学習部132が行う学習処理の詳細は後述する。
(Learning Department 132)
The learning unit 132 learns various information. In addition, the learning unit 132 generates various information by learning. For example, the learning unit 132 learns a learning device (model). In other words, the learning unit 132 generates a learning device (model) by performing learning. For example, the learning unit 132 learns the learning device LE. For example, the learning unit 132 learns the learning device by combining an image with an occupancy rate of a predetermined object in the image. Further, the learning unit 132 learns the learning device so as to minimize a predetermined evaluation function. The details of the learning process performed by the learning unit 132 will be described later.
(推定部133)
推定部133は、各種情報を推定する。例えば、推定部133は、入力画像に応じて当該入力画像中における所定の対象の占有率を出力する学習器と、取得部131により取得された画像とに基づいて、取得部131により取得された画像における所定の対象の占有率を推定する。例えば、推定部133は、所定のデータ(教師データ)により学習されたニューラルネットワークである学習器に基づいて、取得部131により取得された画像における所定の対象の占有率を推定する。例えば、推定部133は、画像と当該画像中における所定の対象の占有率との組み合わせにより学習されたニューラルネットワークである学習器に基づいて、取得部131により取得された画像における所定の対象の占有率を推定する。例えば、推定部133は、畳み込み処理及びプーリング処理を行うニューラルネットワークである学習器に基づいて、取得部131により取得された画像における所定の対象の占有率を推定する。
(Estimation unit 133)
The estimation unit 133 estimates various information. For example, the estimation unit 133 is acquired by the
図1では、推定部133は、画像IMを学習器LEに入力することにより、画像IMにおける猫の占有率を推定する。具体的には、画像IMが入力された学習器LEは、入力された画像IMにおける猫の占有率を示す情報を出力し、推定部133は、学習器LEが出力した画像IMにおける猫の占有率を示す情報に基づいて、画像IMにおける猫の占有率を推定する。例えば、推定部133は、学習器LEの出力に基づいて、画像IM11における猫の占有率を推定する。図1では、推定部133は、推定情報OC11に示すように、学習器LEの出力に基づいて、画像IM11における猫の占有率を80%と推定し、画像IM11における背景の占有率を18%と推定する。また、図1では、推定部133は、学習器LEの出力に基づいて、画像IM12〜IM15等における猫の占有率を推定する。例えば、推定部133は、タグ「猫」が対応付けられた画像IMを学習器LEに入力することにより、各画像IMにおける猫の占有率を推定する。 In FIG. 1, the estimation unit 133 estimates the occupancy rate of the cat in the image IM by inputting the image IM into the learner LE. Specifically, the learner LE to which the image IM is input outputs information indicating the occupancy rate of the cat in the input image IM, and the estimation unit 133 outputs the occupancy of the cat in the image IM output by the learner LE. The occupancy rate of the cat in the image IM is estimated based on the information indicating the rate. For example, the estimation unit 133 estimates the occupancy rate of the cat in the image IM11 based on the output of the learner LE. In FIG. 1, as shown in the estimation information OC11, the estimation unit 133 estimates that the occupancy rate of the cat in the image IM11 is 80% and the occupancy rate of the background in the image IM11 is 18% based on the output of the learner LE. Presumed to be. Further, in FIG. 1, the estimation unit 133 estimates the occupancy rate of the cat in the images IM12 to IM15 and the like based on the output of the learning device LE. For example, the estimation unit 133 estimates the occupancy rate of the cat in each image IM by inputting the image IM associated with the tag "cat" into the learner LE.
また、図2では、推定部133は、画像IM10が入力された学習器LEの出力に基づいて、画像IM10における猫の占有率を推定する。例えば、推定部133は、推定情報OC10に示すように、学習器LEの出力に基づいて、画像IM10における猫の占有率を68%と推定し、画像IM10における背景の占有率を30%と推定する。 Further, in FIG. 2, the estimation unit 133 estimates the occupancy rate of the cat in the image IM10 based on the output of the learning device LE to which the image IM10 is input. For example, as shown in the estimation information OC10, the estimation unit 133 estimates that the occupancy rate of the cat in the image IM10 is 68% and the occupancy rate of the background in the image IM10 is 30% based on the output of the learner LE. To do.
(抽出部134)
抽出部134は、種々の情報を抽出する。例えば、抽出部134は、画像情報記憶部122や一覧情報記憶部123から画像に関する情報を抽出する。例えば、抽出部134は、画像情報記憶部122や一覧情報記憶部123に記憶された所定の画像群から条件を満たす画像を抽出する。例えば、抽出部134は、所定の画像群から検索対象の占有率に関する条件を満たす検索結果画像を抽出する。例えば、抽出部134は、クエリ画像中における検索対象を含む対象の占有率に関する情報と、所定の画像群の各画像中における検索対象を含む対象の占有率に関する情報との類似度に基づいて、検索結果画像を抽出する。
(Extractor 134)
The extraction unit 134 extracts various information. For example, the extraction unit 134 extracts information about an image from the image
図2では、抽出部134は、検索対象が「猫」であり、その検索対象に関する条件が占有率「68%」を満たす検索結果画像を抽出する。例えば、抽出部134は、猫の占有率を示す一覧情報LT11に含まれる画像群から、猫の占有率が条件である「68%」から所定の範囲内の画像IMを抽出する。抽出部134は、猫の占有率が条件である「68%」から±25%以内である画像IMを抽出する。例えば、抽出部134は、猫の占有率が43%から93%の範囲内である画像IMを抽出する。具体的には、抽出部134は、抽出情報LT12に示すように、画像IM11、画像IM12、画像IM14、画像IM15等を抽出する。このように、図2の例では、抽出部134は、猫の占有率が20%であり範囲外である画像IM13等の条件を満たさない画像IM以外の画像IMを抽出する。 In FIG. 2, the extraction unit 134 extracts a search result image in which the search target is a “cat” and the condition related to the search target satisfies the occupancy rate “68%”. For example, the extraction unit 134 extracts an image IM within a predetermined range from "68%", which is a condition of the cat occupancy rate, from the image group included in the list information LT11 indicating the cat occupancy rate. The extraction unit 134 extracts an image IM in which the occupancy rate of the cat is within ± 25% from “68%” which is a condition. For example, the extraction unit 134 extracts an image IM in which the occupancy rate of the cat is in the range of 43% to 93%. Specifically, as shown in the extraction information LT12, the extraction unit 134 extracts the image IM11, the image IM12, the image IM14, the image IM15, and the like. As described above, in the example of FIG. 2, the extraction unit 134 extracts an image IM other than the image IM that does not satisfy the conditions such as the image IM 13 that the cat occupancy rate is 20% and is out of the range.
(決定部135)
決定部135は、種々の情報を決定する。例えば、決定部135は、推定部133により推定された複数の画像の各々における所定の対象の占有率に基づいて、複数の画像のランキングを決定する。例えば、決定部135は、抽出部134により抽出された検索結果画像の各々における検索対象の占有率に関する情報に応じて、検索結果画像のランキングを決定する。
(Decision part 135)
The
図2では、決定部135は、抽出した画像IMのランキングを決定する。例えば、決定部135は、図2中のランキング情報LT13に示すように、猫の占有率が条件である「68%」からの誤差が小さい画像IMのランキングが高くなるようにランキングを決定する。具体的には、決定部135は、誤差が「2(=70−68)」であり最小の画像IM15を1位とし、画像IM15の次に誤差が小さい画像IM19を2位とし、画像IM19の次に誤差が小さい画像IM12を3位とし、画像IM12の次に誤差が小さい画像IM17を4位とする。また、決定部135は、抽出した各画像IMに含まれる複数の対象の占有率の分布とクエリ画像に含まれる複数の対象の占有率の分布との類似度に基づいて、ランキングを決定してもよい。例えば、決定部135は、抽出した各画像IMに含まれる複数の対象の占有率の分布とクエリ画像に含まれる複数の対象の占有率の分布とのKLダイバージェンスの値が小さい程ランキングを高く決定してもよい。
In FIG. 2, the
例えば、決定部135は、検索結果画像の各々のランキングにおける検索結果画像の各々の占有率の差に応じて、検索結果画像の各々のランキングを決定してもよい。例えば、決定部135は、検索結果画像の各々のランキングにおいて連続する検索結果画像の各々の占有率の差が所定の条件を満たすように、検索結果画像の各々のランキングを決定してもよい。例えば、決定部135は、連続するランキング間の画像IMにおける対象の占有率の差が5%以上になるように、検索結果画像のランキングを決定してもよい。例えば、決定部135は、ランキングが1位の画像IMにおける猫の占有率が「70」%である場合、ランキングが2位の画像IMにおける猫の占有率が「75」%より大きいか、または「65」%未満となるようにランキングが2位の画像IMを決定してもよい。
For example, the
例えば、決定部135は、検索結果画像の各々に検索対象以外の対象が含まれるか否かに応じて、検索結果画像の各々のランキングを決定してもよい。例えば、決定部135は、検索対象が「猫」である場合、画像に猫以外の対象(例えば、「犬」等)が含まれる場合、その画像のランキングが低くなるように、検索結果画像の各々のランキングを決定してもよい。
For example, the
例えば、決定部135は、検索結果画像の各々に文字情報が含まれるか否かに応じて、検索結果画像の各々のランキングを決定してもよい。例えば、決定部135は、検索結果画像の各々に文字情報が含まれる画像のランキングが低くなるように、検索結果画像の各々のランキングを決定してもよい。この場合、例えば、決定部135は、文字を認識する種々の従来技術を適宜用いて、検索結果画像の各々に文字情報が含まれるかを判別してもよい。
For example, the
例えば、決定部135は、検索結果画像の各々における検索対象の位置に応じて、検索結果画像の各々のランキングを決定してもよい。例えば、決定部135は、クエリ画像における対象の位置が右である場合、検索結果画像のうち、対象が右に位置する画像の順位が高くなるように、検索結果画像の各々のランキングを決定してもよい。この場合、例えば、決定部135は、取得部131により取得された検索結果画像の各々における対象の位置を示す情報に基づいて、検索結果画像の各々における検索対象の位置を判別してもよい。また、例えば、決定部135は、位置情報を保持する学習器から出力される検索結果画像の各々における対象の位置を示す情報に基づいて、検索結果画像の各々における検索対象の位置を判別してもよい。なお、上記は一例であり、決定部135は、検索結果画像の各々における検索対象の位置を判別可能であれば、どのような情報を用いてもよい。
For example, the
(提供部136)
提供部136は、外部の情報処理装置へ各種情報を提供する。例えば、提供部136は、決定部135により決定された複数の画像(検索結果画像)のランキングに基づく情報を提供する。図2では、提供部136は、決定したランキングに基づいた検索結果をユーザU1に提供する。例えば、提供部136は、画像IM15を1位とし、画像IM19を2位とし、画像IM12を3位とし、画像IM17を4位とするランキングに基づいた表示順の検索結果をユーザU1が利用する端末装置10に提供する。例えば、提供部136は、決定したランキングに基づいた検索結果を端末装置10に送信する。
(Providing Department 136)
The providing unit 136 provides various information to an external information processing device. For example, the providing unit 136 provides information based on the ranking of a plurality of images (search result images) determined by the determining
〔3.占有率の推定処理のフロー〕
ここで、図7を用いて、実施形態に係る検索装置100による占有率の推定処理の手順について説明する。図7は、実施形態に係る画像における対象の占有率の推定の一例を示すフローチャートである。
[3. Flow of occupancy estimation processing]
Here, the procedure of the occupancy rate estimation process by the
図7に示すように、検索装置100は、画像を取得する(ステップS101)。図1では、検索装置100は、画像IM11〜IM15等を取得する。その後、検索装置100は、ステップS101で取得した画像を学習器に入力する(ステップS102)。図1では、検索装置100は、取得した画像IM11〜IM15等を学習器LEに入力する。
As shown in FIG. 7, the
その後、検索装置100は、学習器の出力に基づいて入力画像における対象の占有率を推定する(ステップS103)。図1では、検索装置100は、学習器LEの出力に基づいて、入力した画像IM11〜IM15等における猫の占有率を推定する。
After that, the
その後、検索装置100は、占有率を含む画像の一覧情報を生成する(ステップS104)。図1では、検索装置100は、画像IM11〜IM15等における猫の占有率を示す一覧情報LT11を生成する。
After that, the
〔4.ランキングの決定処理のフロー〕
次に、図8を用いて、実施形態に係る検索装置100によるランキングの決定処理の手順について説明する。図8は、実施形態に係るランキングの決定の一例を示すフローチャートである。
[4. Flow of ranking determination process]
Next, the procedure of the ranking determination process by the
図8に示すように、検索装置100は、クエリ画像を取得する(ステップS201)。図2では、検索装置100は、クエリ画像として画像IM10を取得する。なお、検索装置100は、ステップS201では、クエリ画像に変えて文字情報を取得してもよい。この場合、検索装置100は、ステップS202の処理を行わなくてもよい。
As shown in FIG. 8, the
その後、検索装置100は、クエリ画像を学習器に入力する(ステップS202)。図2では、検索装置100は、画像IM10を学習器LEに入力する。
After that, the
その後、検索装置100は、学習器の出力に基づいてクエリ画像における対象の占有率を推定する(ステップS203)。図2では、検索装置100は、学習器LEの出力に基づいて、入力した画像IM10における猫の占有率を推定する。
After that, the
その後、検索装置100は、一覧情報中の各画像における検索対象の占有率と、クエリ画像における検索対象の占有率とに基づいて一覧情報から画像を抽出する(ステップS204)。図2の例では、検索装置100は、猫の占有率が条件である「68%」から±25%以内である画像IMを抽出する。例えば、検索装置100は、抽出情報LT12に示すように、画像IM11、画像IM12、画像IM14、画像IM15等を抽出する。
After that, the
その後、検索装置100は、抽出した画像のランキングを決定する(ステップS205)。例えば、検索装置100は、ランキング情報LT13に示すように、猫の占有率が条件である「68%」からの誤差が小さい画像IMのランキングが高くなるようにランキングを決定する。
After that, the
その後、検索装置100は、決定したランキングに基づく、検索結果を提供する(ステップS206)。図2の例では、検索装置100は、画像IM15を1位とし、画像IM19を2位とし、画像IM12を3位とし、画像IM17を4位とするランキングに基づいた表示順の検索結果をユーザU1が利用する端末装置10に提供する。
After that, the
〔5.学習処理〕
ここで、検索装置100の学習部132における学習処理について、図9及び図10を用いて説明する。図9及び図10は、実施形態に係る学習処理の一例を示す図である。
[5. Learning process]
Here, the learning process in the learning unit 132 of the
まず、図9を用いて説明する。図9に示す例は、検索装置100は、猫を含む画像IM21と画像中における猫等の占有率を示す情報RO21(以下、「正解情報RO21」と記載する場合がある)との組み合わせを教師データとして取得する(ステップS21)。図9では、説明を簡単にするために、正解情報RO21中には猫と背景の2つのクラスの占有率のみを図示するが、正解情報RO21中には学習器LEが出力するクラスに対応する占有率を含んでもよい。例えば、学習器LEが20個のクラスに関する占有率を示す情報を出力する場合、正解情報RO21は、猫と背景の2つのクラスの占有率に加えて他のクラスの占有率を示す情報を含んでもよい。学習器LEが猫や背景に対応する2つのクラスに加えて、犬や飛行機や自転車等のクラスに関する占有率を示す情報を出力する場合、正解情報RO21には、犬の占有率「0」や飛行機の占有率「0」や自転車の占有率「0」を示す情報を含んでもよい。
First, it will be described with reference to FIG. In the example shown in FIG. 9, the
そして、学習器LEには、猫を含む画像IM21が入力される(ステップS22)。その後、出力情報OC21−1に示すような対象の占有率を示す情報が学習器LEから出力される(ステップS23)。図9では、説明を簡単にするために、猫と背景の2つのクラスの占有率のみを図示するが、学習器LEは、他のクラスに関する占有率を示す情報を出力してもよい。例えば、学習器LEが20個のクラスに関する占有率を示す情報を出力する場合、学習器LEは、猫や背景に対応する2つのクラスに加えて、犬や飛行機や自転車等のクラスに関する占有率を示す情報を出力してもよい。 Then, the image IM21 including the cat is input to the learning device LE (step S22). After that, information indicating the occupancy rate of the target as shown in the output information OC21-1 is output from the learner LE (step S23). In FIG. 9, for the sake of simplicity, only the occupancy rates of the two classes of the cat and the background are shown, but the learner LE may output information indicating the occupancy rates of the other classes. For example, when the learner LE outputs information indicating the occupancy rate for 20 classes, the learner LE outputs the occupancy rate for classes such as dogs, airplanes, and bicycles in addition to the two classes corresponding to cats and backgrounds. Information indicating that may be output.
上述したように、例えば、学習部132は、ディープラーニングの技術により、学習器LEを学習し、生成する。例えば、学習部132は、画像と当該画像中における所定の対象の占有率との組み合わせを教師データとして用いる。例えば、学習部132は、学習器LEにおける出力と、教師データに含まれる所定の対象の占有率との誤差が少なくなるようにパラメータ(接続係数)を補正するバックプロパゲーション(誤差逆伝播法)等の処理を行うことにより、学習器LEを学習する。例えば、学習部132は、所定の誤差(ロス)関数を最小化するようにバックプロパゲーション等の処理を行うことにより学習器LEを生成する。 As described above, for example, the learning unit 132 learns and generates the learning device LE by the technique of deep learning. For example, the learning unit 132 uses a combination of an image and an occupancy rate of a predetermined object in the image as teacher data. For example, the learning unit 132 corrects a parameter (connection coefficient) so that the error between the output in the learner LE and the occupancy rate of a predetermined object included in the teacher data is reduced (error back propagation method). The learner LE is learned by performing processing such as. For example, the learning unit 132 generates the learning device LE by performing processing such as backpropagation so as to minimize a predetermined error (loss) function.
例えば、学習部132は、下記の式(1)に示すような、誤差関数Lを用いる。下記の式(1)に示すように、学習部132は、例えば、N−クラス分類問題の場合、交差エントロピーを誤差関数として用いる。なお、誤差関数Lは、識別結果の確信度を表すものであれば、どのような関数であっても良い。例えば、誤差関数Lは、識別確率から求められるエントロピーであってもよい。また、例えば、誤差関数Lは、学習器LEの認識の精度を示すものであれば、どのような関数であってもよい。 For example, the learning unit 132 uses an error function L as shown in the following equation (1). As shown in the following equation (1), the learning unit 132 uses the cross entropy as an error function, for example, in the case of the N-class classification problem. The error function L may be any function as long as it represents the certainty of the identification result. For example, the error function L may be the entropy obtained from the discrimination probability. Further, for example, the error function L may be any function as long as it indicates the recognition accuracy of the learner LE.
ここで、上記式(1)や下記の式(2)〜(4)中の「x」は画像を示す。例えば、図9に示す例において、上記式(1)や下記の式(2)〜(4)中の「x」は、画像IMに対応する。また、変数「n」に代入される1〜Nは、学習器LEが識別(分類)する各クラスに対応する。例えば、上記式(1)に対応する学習器LEは、N個のクラスを識別することを示す。例えば、各クラスには、「猫」や「背景」等が各々対応する。 Here, "x" in the above formula (1) and the following formulas (2) to (4) indicates an image. For example, in the example shown in FIG. 9, "x" in the above formula (1) and the following formulas (2) to (4) corresponds to the image IM. Further, 1 to N assigned to the variable "n" correspond to each class identified (classified) by the learner LE. For example, the learner LE corresponding to the above equation (1) indicates that it identifies N classes. For example, "cat", "background", etc. correspond to each class.
また、上記式(1)や下記の式(3)、(4)中の「tn(x)」は、画像IM21におけるクラスn(1〜Nのいずれか)に対応する対象の占有率を示す。例えば、上記式(1)中の「tn(x)」は、正解情報RO21に示すような、クラスnに対応する対象の占有率を示す。この場合、例えば、クラス1に対応する対象を「猫」とした場合、「t1(x)」は、「0.53(53%)」となる。また、例えば、上記式(1)中の「tn(x)」は、正解クラスの時のみ1を取り、それ以外では0を取るように定義してもよい。
Further, "t n (x)" in the above equation (1) and the following equations (3) and (4) indicates the occupancy rate of the object corresponding to the class n (any of 1 to N) in the image IM21. Shown. For example, "t n (x)" in the above equation (1) indicates the occupancy rate of the object corresponding to the class n as shown in the correct answer information RO21. In this case, for example, when the target corresponding to
また、上記式(1)や下記の式(2)、(3)中の「pn(x)」は、画像IM21におけるクラスn(1〜Nのいずれか)に対応する対象について、学習器LEの出力に基づく占有率を示す。例えば、上記式(1)中の「pn(x)」は、出力情報OC21−1に示すような、学習器LEが出力するクラスnに対応する対象の占有率を示す。この場合、例えば、クラス1に対応する対象を「猫」とした場合、「p1(x)」は、「0.64(64%)」となる。
Further, " pn (x)" in the above equation (1) and the following equations (2) and (3) is a learner for an object corresponding to the class n (any of 1 to N) in the image IM21. The occupancy rate based on the output of LE is shown. For example, “ pn (x)” in the above equation (1) indicates the occupancy rate of the object corresponding to the class n output by the learner LE as shown in the output information OC21-1. In this case, for example, when the target corresponding to
また、上記式(1)中の「pn(x)」は、xに対するクラスnの確率で以下の式(2)に示すようなSoftmax関数で定義される。 Further, " pn (x)" in the above equation (1) is defined by the Softmax function as shown in the following equation (2) with a probability of class n with respect to x.
上記式(2)の関数「fn」は、CNN(学習器LE)が出力するクラスnのスコアである。「θ」は、CNN(学習器LE)のパラメータである。また、関数「exp」は、指数関数(exponential function)である。この場合、上記式(1)に示す誤差関数L(1)の勾配は、下記の式(3)により算出される。 The function "f n " in the above equation (2) is a class n score output by the CNN (learner LE). “Θ” is a parameter of CNN (learner LE). Further, the function "exp" is an exponential function. In this case, the gradient of the error function L (1) shown in the above equation (1) is calculated by the following equation (3).
上記式(3)に示すように、1〜Nまでの全クラスにおいて、pn(x)=tn(x)である場合、誤差関数L(x)の勾配は0になり極値になる。例えば、学習部132は、誤差関数L(x)の勾配が0になるように、フィードバック処理を行う(ステップS24)。例えば、学習部132が上述のような処理を繰り返すことにより、学習器LEは、入力された画像における対象の占有率を適切に出力することができる。なお、図9は、学習器LEの出力を正解情報RO21に近づけるために、誤差関数L等を最小化するように処理を繰り返すことを視覚的に示すためのものであり、学習器LE内において自動で行われてもよい。 As shown in the above equation (3), when pn (x) = t n (x) in all the classes from 1 to N, the gradient of the error function L (x) becomes 0 and becomes an extreme value. .. For example, the learning unit 132 performs feedback processing so that the gradient of the error function L (x) becomes 0 (step S24). For example, when the learning unit 132 repeats the above-described processing, the learning device LE can appropriately output the occupancy rate of the target in the input image. Note that FIG. 9 is for visually showing that the process is repeated so as to minimize the error function L and the like in order to bring the output of the learner LE closer to the correct answer information RO21. It may be done automatically.
上述のように、「tn(x)」は、画像全体を1としたときのクラスnの占有率と定義すると、例えば、以下のような式(4)で示される。 As described above, “t n (x)” is defined as the occupancy rate of class n when the entire image is 1, and is represented by, for example, the following equation (4).
「δi,j」はクロネッカーのデルタであり、「jp」はピクセルpのラベルである。例えば、「jp」は、猫や背景等の複数のクラスのいずれかに対応するラベルである。例えば、各ピクセルのラベルは、そのピクセルがどの対象に関するピクセルであるかを示す。あるピクセルのラベルが猫に対応するラベルである場合、そのピクセルは対象「猫」に関するピクセルであることを示す。例えば、上記式(4)の分母は、画像「x」の全ピクセルの合計値となる。また、例えば、上記式(4)の分子は、画像「x」におけるクラスnのラベルが付されたピクセル数となる。このように、上記式(4)の「tn(x)」は、0〜1の値となる。上記式(4)により、画像における各クラスに対応する対象の占有率が算出される。なお、各ピクセルへのラベル付けは、例えば検索装置100の管理者や画像の所有者等により行われてもよい。
"[Delta] i, j" is the Kronecker delta, "j p" is the label of a pixel p. For example, "j p" is a label that corresponds to any one of a plurality of classes, such as cats and background. For example, the label for each pixel indicates which object the pixel is for. If the label of a pixel is the label corresponding to the cat, it indicates that the pixel is the pixel related to the target "cat". For example, the denominator of the above equation (4) is the total value of all pixels of the image "x". Further, for example, the molecule of the above formula (4) has the number of pixels labeled with class n in the image “x”. As described above, "t n (x)" in the above formula (4) has a value of 0 to 1. The occupancy rate of the target corresponding to each class in the image is calculated by the above formula (4). The labeling of each pixel may be performed by, for example, the administrator of the
次に、図10を用いて説明する。図10では、検索装置100は、学習器LEとは別の学習器LE31の学習を行う場合を示す。図10に示す例は、検索装置100は、人やボトルを含む画像IM31と画像中における人やボトル等の占有率を示す情報RO31(以下、「正解情報RO31」と記載する場合がある)との組み合わせを教師データとして取得する(ステップS31)。そして、学習器LE31には、人やボトルを含む画像IM31が入力される(ステップS32)。その後、出力情報OC31−1に示すような対象の占有率を示す情報が学習器LE31から出力される(ステップS33)。図10に示す例においても、図9に示す例と同様に、学習部132は、上記式(1)〜(3)を用いて、誤差関数L(x)の勾配が0になるように、フィードバック処理を行う(ステップS34)。例えば、学習部132が上述のような処理を繰り返すことにより、対象が複数ある場合であっても、学習器LE31は、入力された画像における対象の占有率を適切に出力することができる。なお、図10は、学習器LE31の出力を正解情報RO31に近づけるために、誤差関数L等を最小化するように処理を繰り返すことを視覚的に示すためのものであり、学習器LE31内において自動で行われてもよい。
Next, it will be described with reference to FIG. FIG. 10 shows a case where the
〔6.学習処理のフロー〕
ここで、図11を用いて、実施形態に係る検索装置100による学習処理の手順について説明する。図11は、実施形態に係る学習処理の一例を示すフローチャートである。
[6. Learning process flow]
Here, the procedure of the learning process by the
図11に示すように、検索装置100は、画像と画像中の各対象の占有率に関する正解情報とを取得する(ステップS301)。図9では、検索装置100は、猫を含む画像IM21と画像中における猫等の占有率を示す正解情報RO21とを取得する。その後、検索装置100は、ステップS301で取得した画像を学習器に入力する(ステップS302)。図9では、検索装置100は、取得した画像IM21を学習器LEに入力する。
As shown in FIG. 11, the
その後、検索装置100は、学習器の出力に基づく占有率と、正解情報の占有率との誤差が小さくなるように学習する(ステップS303)。図9では、検索装置100は、学習器LEの出力に基づく出力情報OC21−1に示す各対象の占有率と、正解情報RO21に示す各対象の占有率とに基づいて学習する。
After that, the
その後、検索装置100は、所定の条件を満たす場合(ステップS304:Yes)、処理を終了する。例えば、検索装置100は、学習器の出力に基づく占有率と正解情報の占有率との誤差が所定の閾値以内である場合や、学習を開始してから所定の時間が経過した場合に所定の条件を満たすとして、処理を終了してもよい。また、検索装置100は、所定の条件を満たさない場合(ステップS304:No)、ステップS303の処理を繰り返す。例えば、検索装置100は、学習器の出力に基づく占有率と正解情報の占有率との誤差が所定の閾値より大きい場合や、学習を開始してから所定の時間が経過していない場合に所定の条件を満たさないとして、ステップS303の処理を繰り返してもよい。なお、お、上記の学習処理は一例であり、検索装置100は、種々の手順により学習を行ってもよい。
After that, when the predetermined condition is satisfied (step S304: Yes), the
〔7.効果〕
上述してきたように、実施形態に係る検索装置100は、取得部131と、推定部133とを有する。取得部131は、画像を取得する。推定部133は、入力画像に応じて当該入力画像中における所定の対象(実施形態においては「猫」。以下、同じ)の占有率を出力する学習器(実施形態においては「学習器LE」。以下、同じ)と、取得部131により取得された画像とに基づいて、取得部131により取得された画像における所定の対象の占有率を推定する。
[7. effect〕
As described above, the
これにより、実施形態に係る検索装置100は、画像における対象の占有率を出力する学習器を用いることにより、画像に対象が含まれる態様、すなわち画像において対象がどれくらいの割合を占めるかを適切に推定することができる。このように、検索装置100は、画像に対象が含まれる態様を適切に推定することができる。
As a result, the
また、実施形態に係る検索装置100において、推定部133は、所定のデータにより学習されたニューラルネットワークである学習器に基づいて、取得部131により取得された画像における所定の対象の占有率を推定する。
Further, in the
これにより、実施形態に係る検索装置100は、所定のデータにより学習されたニューラルネットワークである学習器に基づくことにより、画像において対象がどれくらいの割合を占めるかを適切に推定することができる。このように、検索装置100は、画像に対象が含まれる態様を適切に推定することができる。
As a result, the
また、実施形態に係る検索装置100において、推定部133は、画像と当該画像中における所定の対象の占有率との組み合わせにより学習されたニューラルネットワークである学習器に基づいて、取得部131により取得された画像における所定の対象の占有率を推定する。
Further, in the
これにより、実施形態に係る検索装置100は、画像と当該画像中における所定の対象の占有率との組み合わせにより学習されたニューラルネットワークである学習器に基づくことにより、画像において対象がどれくらいの割合を占めるかを適切に推定することができる。このように、検索装置100は、画像に対象が含まれる態様を適切に推定することができる。
As a result, the
また、実施形態に係る検索装置100において、推定部133は、畳み込み処理及びプーリング処理を行うニューラルネットワークである学習器に基づいて、取得部131により取得された画像における所定の対象の占有率を推定する。
Further, in the
これにより、実施形態に係る検索装置100は、畳み込み処理及びプーリング処理を行うニューラルネットワークである学習器に基づくことにより、画像において対象がどれくらいの割合を占めるかを適切に推定することができる。このように、検索装置100は、画像に対象が含まれる態様を適切に推定することができる。
As a result, the
また、実施形態に係る検索装置100は、学習部132を有する。学習部132は、学習器を学習する。
Further, the
これにより、実施形態に係る検索装置100は、学習した学習器に基づくことにより、画像において対象がどれくらいの割合を占めるかを適切に推定することができる。このように、検索装置100は、画像に対象が含まれる態様を適切に推定することができる。
As a result, the
また、実施形態に係る検索装置100は、学習部132を有する。学習部132は、画像と当該画像における所定の対象の占有率との組み合わせにより学習器を学習する。
Further, the
これにより、実施形態に係る検索装置100は、画像と当該画像における所定の対象の占有率との組み合わせにより学習した学習器に基づくことにより、画像において対象がどれくらいの割合を占めるかを適切に推定することができる。このように、検索装置100は、画像に対象が含まれる態様を適切に推定することができる。
As a result, the
また、実施形態に係る検索装置100は、学習部132を有する。学習部132は、所定の評価関数を最小化するように学習器を学習する。
Further, the
これにより、実施形態に係る検索装置100は、所定の評価関数を最小化するように学習した学習器に基づくことにより、画像において対象がどれくらいの割合を占めるかを適切に推定することができる。このように、検索装置100は、画像に対象が含まれる態様を適切に推定することができる。
As a result, the
また、実施形態に係る検索装置100は、決定部135を有する。決定部135は、推定部134により推定された複数の画像の各々における所定の対象の占有率に基づいて、複数の画像のランキングを決定する。
Further, the
これにより、実施形態に係る検索装置100は、推定された複数の画像の各々における所定の対象の占有率に基づいて、複数の画像のランキングを決定することにより、複数の画像のランキングを適切に決定することができる。
As a result, the
また、実施形態に係る検索装置100は、提供部136を有する。提供部136は、決定部135により決定された複数の画像のランキングに基づく情報を提供する。
Further, the
これにより、実施形態に係る検索装置100は、対象の占有率を用いて決定された複数の画像のランキングに基づく情報を提供することにより、より適切な情報をユーザに提供することができる。
Thereby, the
〔8.ハードウェア構成〕
上述してきた実施形態に係る検索装置100は、例えば図12に示すような構成のコンピュータ1000によって実現される。図12は、検索装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD(Hard Disk Drive)1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
[8. Hardware configuration]
The
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
The
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、ネットワークNを介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータをネットワークNを介して他の機器へ提供する。
The
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
The
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
The
例えば、コンピュータ1000が実施形態に係る検索装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置からネットワークNを介してこれらのプログラムを取得してもよい。
For example, when the
以上、本願の実施形態を図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 The embodiments of the present application have been described in detail with reference to the drawings, but these are examples, and various modifications and improvements are made based on the knowledge of those skilled in the art, including the embodiments described in the disclosure line of the invention. It is possible to carry out the present invention in other forms described above.
〔9.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[9. Others]
Further, among the processes described in the above-described embodiment, all or a part of the processes described as being automatically performed can be manually performed, or the processes described as being manually performed can be performed. All or part of it can be done automatically by a known method. In addition, the processing procedure, specific name, and information including various data and parameters shown in the above document and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each figure is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each of the illustrated devices is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed / physically in any unit according to various loads and usage conditions. It can be integrated and configured.
また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 In addition, the above-described embodiments can be appropriately combined as long as the processing contents do not contradict each other.
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。 In addition, the above-mentioned "section, module, unit" can be read as "means" or "circuit". For example, the acquisition unit can be read as an acquisition means or an acquisition circuit.
1 検索システム
100 検索装置(推定装置)
121 学習情報記憶部
122 画像情報記憶部
123 一覧情報記憶部
130 制御部
131 取得部
132 学習部
133 推定部
134 抽出部
135 決定部
136 提供部
10 端末装置
N ネットワーク
1
121 Learning
Claims (13)
入力画像に応じて当該入力画像中における所定の対象の占有率を出力する学習器と、前記取得部により取得された画像とに基づいて、前記取得部により取得された画像における前記所定の対象の占有率を推定する推定部と、
前記推定部により推定された複数の画像の各々における前記所定の対象の占有率を用いて、ランキングにおいて順位が連続する画像間の前記占有率の差に応じて、前記複数の画像のランキングを決定する決定部と、
を備えることを特徴とする推定装置。 The acquisition department that acquires images and
Based on the learner that outputs the occupancy rate of a predetermined object in the input image according to the input image and the image acquired by the acquisition unit, the predetermined object in the image acquired by the acquisition unit An estimation unit that estimates the occupancy rate and
Using the occupancy rate of the predetermined object in each of the plurality of images estimated by the estimation unit , the ranking of the plurality of images is determined according to the difference in the occupancy rate between the images having consecutive rankings in the ranking. The decision-making part to do
An estimation device characterized by comprising.
入力画像に応じて当該入力画像中における所定の対象の占有率を出力する学習器と、前記取得部により取得された画像とに基づいて、前記取得部により取得された画像における前記所定の対象の占有率を推定する推定部と、
前記推定部により推定された複数の画像の各々における前記所定の対象の占有率に基づいて、前記複数の画像の各々に文字情報が含まれるか否かに応じて、前記複数の画像のランキングを決定する決定部と、
を備えることを特徴とする推定装置。 The acquisition department that acquires images and
Based on the learner that outputs the occupancy rate of a predetermined object in the input image according to the input image and the image acquired by the acquisition unit, the predetermined object in the image acquired by the acquisition unit An estimation unit that estimates the occupancy rate and
Based on the occupancy rate of the predetermined object in each of the plurality of images estimated by the estimation unit, the ranking of the plurality of images is ranked according to whether or not each of the plurality of images contains character information. The decision-making part to decide and
An estimation device characterized by comprising.
所定のデータにより学習されたニューラルネットワークである前記学習器に基づいて、前記取得部により取得された画像における前記所定の対象の占有率を推定する
ことを特徴とする請求項1または請求項2に記載の推定装置。 The estimation unit
The first or second claim is characterized in that the occupancy rate of the predetermined object in the image acquired by the acquisition unit is estimated based on the learner which is a neural network trained by the predetermined data. The estimated device described.
画像と当該画像中における所定の対象の占有率との組み合わせにより学習されたニューラルネットワークである前記学習器に基づいて、前記取得部により取得された画像における前記所定の対象の占有率を推定する
ことを特徴とする請求項3に記載の推定装置。 The estimation unit
To estimate the occupancy rate of the predetermined object in the image acquired by the acquisition unit based on the learner which is a neural network learned by the combination of the image and the occupancy rate of the predetermined object in the image. The estimation device according to claim 3.
畳み込み処理及びプーリング処理を行う前記ニューラルネットワークである前記学習器に基づいて、前記取得部により取得された画像における前記所定の対象の占有率を推定する
ことを特徴とする請求項4に記載の推定装置。 The estimation unit
The estimation according to claim 4, wherein the occupancy rate of the predetermined object in the image acquired by the acquisition unit is estimated based on the learner which is the neural network that performs the convolution process and the pooling process. apparatus.
をさらに備えることを特徴とする請求項1〜5のいずれか1項に記載の推定装置。 Learning unit that learns the learning device,
The estimation device according to any one of claims 1 to 5, further comprising.
画像と当該画像における所定の対象の占有率との組み合わせにより前記学習器を学習する
ことを特徴とする請求項6に記載の推定装置。 The learning unit
The estimation device according to claim 6, wherein the learning device is learned by a combination of an image and an occupancy rate of a predetermined object in the image.
所定の評価関数を最小化するように前記学習器を学習する
ことを特徴とする請求項6または請求項7に記載の推定装置。 The learning unit
The estimation device according to claim 6 or 7, wherein the learner is learned so as to minimize a predetermined evaluation function.
をさらに備えることを特徴とする請求項1〜8のいずれか1項に記載の推定装置。 A providing unit that provides information based on the ranking of the plurality of images determined by the determining unit.
The estimation device according to any one of claims 1 to 8, further comprising.
画像を取得する取得工程と、
入力画像に応じて当該入力画像中における所定の対象の占有率を出力する学習器と、前記取得工程により取得された画像とに基づいて、前記取得工程により取得された画像における前記所定の対象の占有率を推定する推定工程と、
前記推定工程により推定された複数の画像の各々における前記所定の対象の占有率を用いて、ランキングにおいて順位が連続する画像間の前記占有率の差に応じて、前記複数の画像のランキングを決定する決定工程と、
を含むことを特徴とする推定方法。 An estimation method performed by a computer
The acquisition process to acquire the image and
Based on the learner that outputs the occupancy rate of a predetermined object in the input image according to the input image and the image acquired by the acquisition step, the predetermined object in the image acquired by the acquisition step The estimation process for estimating the occupancy rate and
Using the occupancy rate of the predetermined object in each of the plurality of images estimated by the estimation step , the ranking of the plurality of images is determined according to the difference in the occupancy rate between the images having consecutive rankings in the ranking. The decision process to do and
An estimation method characterized by including.
入力画像に応じて当該入力画像中における所定の対象の占有率を出力する学習器と、前記取得手順により取得された画像とに基づいて、前記取得手順により取得された画像における前記所定の対象の占有率を推定する推定手順と、
前記推定手順により推定された複数の画像の各々における前記所定の対象の占有率を用いて、ランキングにおいて順位が連続する画像間の前記占有率の差に応じて、前記複数の画像のランキングを決定する決定手順と、
をコンピュータに実行させることを特徴とする推定プログラム。 The acquisition procedure to acquire the image and
Based on the learner that outputs the occupancy rate of the predetermined object in the input image according to the input image and the image acquired by the acquisition procedure, the predetermined object in the image acquired by the acquisition procedure Estimating procedure for estimating occupancy and
Using the occupancy rate of the predetermined object in each of the plurality of images estimated by the estimation procedure , the ranking of the plurality of images is determined according to the difference in the occupancy rate between the images having consecutive ranks in the ranking. The decision procedure to make and
An estimation program characterized by having a computer execute.
画像を取得する取得工程と、
入力画像に応じて当該入力画像中における所定の対象の占有率を出力する学習器と、前記取得工程により取得された画像とに基づいて、前記取得工程により取得された画像における前記所定の対象の占有率を推定する推定工程と、
前記推定工程により推定された複数の画像の各々における前記所定の対象の占有率に基づいて、前記複数の画像の各々に文字情報が含まれるか否かに応じて、前記複数の画像のランキングを決定する決定工程と、
を含むことを特徴とする推定方法。 An estimation method performed by a computer
The acquisition process to acquire the image and
Based on the learner that outputs the occupancy rate of a predetermined object in the input image according to the input image and the image acquired by the acquisition step, the predetermined object in the image acquired by the acquisition step The estimation process for estimating the occupancy rate and
Based on the occupancy rate of the predetermined object in each of the plurality of images estimated by the estimation step, the ranking of the plurality of images is ranked according to whether or not each of the plurality of images contains character information. The decision process to decide and
An estimation method characterized by including.
入力画像に応じて当該入力画像中における所定の対象の占有率を出力する学習器と、前記取得手順により取得された画像とに基づいて、前記取得手順により取得された画像における前記所定の対象の占有率を推定する推定手順と、
前記推定手順により推定された複数の画像の各々における前記所定の対象の占有率に基づいて、前記複数の画像の各々に文字情報が含まれるか否かに応じて、前記複数の画像のランキングを決定する決定手順と、
をコンピュータに実行させることを特徴とする推定プログラム。 The acquisition procedure to acquire the image and
Based on the learner that outputs the occupancy rate of the predetermined object in the input image according to the input image and the image acquired by the acquisition procedure, the predetermined object in the image acquired by the acquisition procedure Estimating procedure for estimating occupancy and
Based on the occupancy rate of the predetermined object in each of the plurality of images estimated by the estimation procedure, the ranking of the plurality of images is ranked according to whether or not each of the plurality of images contains character information. The decision procedure to decide and
An estimation program characterized by having a computer execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016149641A JP6826389B2 (en) | 2016-07-29 | 2016-07-29 | Estimator, estimation method, and estimation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016149641A JP6826389B2 (en) | 2016-07-29 | 2016-07-29 | Estimator, estimation method, and estimation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018018384A JP2018018384A (en) | 2018-02-01 |
JP6826389B2 true JP6826389B2 (en) | 2021-02-03 |
Family
ID=61075955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016149641A Active JP6826389B2 (en) | 2016-07-29 | 2016-07-29 | Estimator, estimation method, and estimation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6826389B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118202379A (en) | 2021-11-02 | 2024-06-14 | 富士胶片株式会社 | Processing method, processing device, and program |
-
2016
- 2016-07-29 JP JP2016149641A patent/JP6826389B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018018384A (en) | 2018-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10909455B2 (en) | Information processing apparatus using multi-layer neural network and method therefor | |
CN111052146B (en) | System and method for active learning | |
JP6451246B2 (en) | Method, system and program for determining social type of person | |
US20150325046A1 (en) | Evaluation of Three-Dimensional Scenes Using Two-Dimensional Representations | |
JP2020522077A (en) | Acquisition of image features | |
JP6158882B2 (en) | Generating device, generating method, and generating program | |
KR102244982B1 (en) | Text filtering method and device using the image learning | |
US11423262B2 (en) | Automatically filtering out objects based on user preferences | |
Sharjeel et al. | Real time drone detection by moving camera using COROLA and CNN algorithm | |
CN114998592A (en) | Method, apparatus, device and storage medium for instance partitioning | |
JP7054603B2 (en) | Judgment device, judgment method, and judgment program | |
CN114298179A (en) | Data processing method, device and equipment | |
JP6826389B2 (en) | Estimator, estimation method, and estimation program | |
Masaki et al. | Distant traffic light recognition using semantic segmentation | |
US11797824B2 (en) | Electronic apparatus and method for controlling thereof | |
US10007842B2 (en) | Same person determination device and method, and control program therefor | |
JP2021077352A (en) | Information processing device and method, and device for performing classification by using model | |
JP6782577B2 (en) | Extractor, extraction method, and extraction program | |
US20170155833A1 (en) | Method and system for real-time image subjective social contentment maximization | |
JP6214073B2 (en) | Generating device, generating method, and generating program | |
JP2019036087A (en) | Generation device, method for generation, generation program, learning data, and model | |
Manso et al. | A novel robust scene change detection algorithm for autonomous robots using mixtures of gaussians | |
JP6742186B2 (en) | Determination device, determination method, and determination program | |
US11775815B2 (en) | System and method for deep memory network | |
CN104317912B (en) | Image meaning automatic marking method based on neighborhood and learning distance metric |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190325 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6826389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |