JP6375706B2 - 属性推定プログラム及び情報処理装置 - Google Patents
属性推定プログラム及び情報処理装置 Download PDFInfo
- Publication number
- JP6375706B2 JP6375706B2 JP2014120377A JP2014120377A JP6375706B2 JP 6375706 B2 JP6375706 B2 JP 6375706B2 JP 2014120377 A JP2014120377 A JP 2014120377A JP 2014120377 A JP2014120377 A JP 2014120377A JP 6375706 B2 JP6375706 B2 JP 6375706B2
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- user
- image
- information
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、属性推定プログラム及び情報処理装置に関する。
従来の技術として、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）の利用者の趣味嗜好に合った他の利用者の公開電子文書を検索する情報処理装置が提案されている（例えば、特許文献１参照）。
特許文献１に開示された情報処理装置は、ＳＮＳの利用者の作成した電子文書に含まれる単語の出現頻度を解析し、当該利用者の趣味嗜好を学習する学習手段と、学習された趣味嗜好の情報を利用者毎に記憶する記憶手段と、ある利用者が指定された場合に当該利用者と趣味嗜好の一致度が高い他の利用者を検索する検索手段とを有する。
本発明の目的は、利用者に関連付けられた画像情報に基づいて利用者の属性を推定する属性推定プログラム及び情報処理装置を提供することにある。
本発明の一態様は、上記目的を達成するため、以下の属性推定プログラム及び情報処理装置を提供する。
［１］コンピュータを、
利用者及び当該利用者の属性に関連付けられた複数の画像情報のそれぞれの特徴量を抽出する抽出手段と、
前記抽出手段が抽出した特徴量を利用者毎に統合する統合手段と、
前記利用者毎に統合された特徴量を入力とし、一の属性を出力として学習して学習モデルを生成する学習手段として機能させるための属性推定プログラム。
［２］コンピュータを、
利用者に関連付けられた複数の画像情報のそれぞれの特徴量を属性推定用に抽出する抽出手段と、
学習モデルによって、前記属性推定用に抽出した特徴量から利用者の属性及び画像内容の組み合わせの合致する程度を推定値で推定するラベル推定手段と、
前記利用者の属性及び画像内容の組み合わせの合致する推定値を属性について統合して、属性毎の推定値を算出し、当該属性毎の推定値に基づいて前記利用者の属性を推定する属性推定手段として機能させるための属性推定プログラム。
［３］利用者及び当該利用者の属性に関連付けられた複数の画像情報のそれぞれの特徴量を抽出する抽出手段と、
前記抽出手段が抽出した特徴量を利用者毎に統合する統合手段と、
前記利用者毎に統合された特徴量を入力とし、一の属性を出力として学習して学習モデルを生成する学習手段とを有する情報処理装置。
［４］利用者に関連付けられた複数の画像情報のそれぞれの特徴量を属性推定用に抽出する抽出手段と、
学習モデルによって、前記属性推定用に抽出した特徴量から利用者の属性及び画像内容の組み合わせの合致する程度を推定値で推定するラベル推定手段と、
前記利用者の属性及び画像内容の組み合わせの合致する推定値を属性について統合して、属性毎の推定値を算出し、当該属性毎の推定値に基づいて前記利用者の属性を推定する属性推定手段とを有する情報処理装置。
利用者及び当該利用者の属性に関連付けられた複数の画像情報のそれぞれの特徴量を抽出する抽出手段と、
前記抽出手段が抽出した特徴量を利用者毎に統合する統合手段と、
前記利用者毎に統合された特徴量を入力とし、一の属性を出力として学習して学習モデルを生成する学習手段として機能させるための属性推定プログラム。
［２］コンピュータを、
利用者に関連付けられた複数の画像情報のそれぞれの特徴量を属性推定用に抽出する抽出手段と、
学習モデルによって、前記属性推定用に抽出した特徴量から利用者の属性及び画像内容の組み合わせの合致する程度を推定値で推定するラベル推定手段と、
前記利用者の属性及び画像内容の組み合わせの合致する推定値を属性について統合して、属性毎の推定値を算出し、当該属性毎の推定値に基づいて前記利用者の属性を推定する属性推定手段として機能させるための属性推定プログラム。
［３］利用者及び当該利用者の属性に関連付けられた複数の画像情報のそれぞれの特徴量を抽出する抽出手段と、
前記抽出手段が抽出した特徴量を利用者毎に統合する統合手段と、
前記利用者毎に統合された特徴量を入力とし、一の属性を出力として学習して学習モデルを生成する学習手段とを有する情報処理装置。
［４］利用者に関連付けられた複数の画像情報のそれぞれの特徴量を属性推定用に抽出する抽出手段と、
学習モデルによって、前記属性推定用に抽出した特徴量から利用者の属性及び画像内容の組み合わせの合致する程度を推定値で推定するラベル推定手段と、
前記利用者の属性及び画像内容の組み合わせの合致する推定値を属性について統合して、属性毎の推定値を算出し、当該属性毎の推定値に基づいて前記利用者の属性を推定する属性推定手段とを有する情報処理装置。
請求項１、３に係る発明によれば、利用者に関連付けられた画像情報に基づいて利用者の属性を推定するための学習モデルを生成することができる。
請求項２、４に係る発明によれば、利用者に関連付けられた画像情報に基づいて利用者の属性を推定することができる。
請求項２、４に係る発明によれば、利用者に関連付けられた画像情報に基づいて利用者の属性を推定することができる。
［第１の実施の形態］
（情報処理装置の構成）
図１は、第１の実施の形態に係る情報処理装置の構成例を示すブロック図である。
（情報処理装置の構成）
図１は、第１の実施の形態に係る情報処理装置の構成例を示すブロック図である。
情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワークを介して外部と通信する通信部１２とを備える。
制御部１０は、後述する属性推定プログラム１１０を実行することで、画像取得手段１００、画像特徴量抽出手段１０１、特徴量統合手段１０２、学習モデル生成手段１０３及び利用者属性推定手段１０４等として機能する。
画像取得手段１００は、学習段階において学習画像情報１１１を記憶部１１から取得する。なお、学習画像情報１１１は、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）において投稿された画像情報であり、投稿した利用者の性別、年齢、職業等に代表される属性が正解として予め付与された学習用の画像情報である。また、学習画像情報１１１は、記憶部１１に記憶されているものの他、通信部１２を介して外部から取得又は外部から送信されたものを受け付けるものであってもよいし、属性が予め付与されていない画像情報に人手によって属性を付与して用意するものであってもよい。
また、画像取得手段１００は、属性推定段階において画像情報１１６を記憶部１１から取得する。なお、画像情報１１６は、ＳＮＳにおいて投稿された画像情報であるが、投稿した利用者の属性が付与されておらず、不明であるものとする。また、画像取得手段１００は、記憶部１１から画像情報１１６を取得するだけでなく、通信部１２を介して外部から取得又は外部から送信されたものを受け付けるものであってもよい。
画像特徴量抽出手段１０１は、画像取得手段１００が取得した学習画像情報１１１又は画像情報１１６から特徴量を抽出する。画像特徴量抽出手段１０１は、例えば、最初に、特徴量の抽出の際にＳＩＦＴにより局所特徴量を抽出し、抽出された局所特徴量をｋ−ｍｅａｎｓによりクラスタリングし、得られたＫ個のクラスタ中心をコードワードにする。次に、ｋ近傍法及びＳＰＭ（Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ）を用い、近傍コードワードのＢｏＦ（Ｂａｇ ｏｆ Ｆｅａｔｕｒｅｓ）ヒストグラムを作り、これを特徴量とする。
特徴量統合手段１０２は、画像特徴量抽出手段１０１が抽出した特徴量を利用者毎に統合し、統合特徴量情報１１３を生成する。特徴量統合手段１０２は、一例として、利用者毎に特徴量であるＢｏＦヒストグラムを合算し、特徴量の数で正規化を行うことで統合特徴量情報１１３を得る。
学習モデル生成手段１０３は、特徴量統合手段１０２によって学習画像情報１１１から抽出された特徴量を利用者毎に統合して生成された統合特徴量情報１１３を入力とし、利用者の属性を出力として学習し、学習モデル１１４を生成する。学習モデル生成手段１０３は、学習の際に、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等のアルゴリズムを用いる。
利用者属性推定手段１０４は、特徴量統合手段１０２によって画像情報１１６から抽出された特徴量を利用者毎に統合して生成された統合特徴量情報１１３から、学習モデル１１４によって属性情報を推定し、利用者と対応付けた利用者属性情報１１７を生成する。
記憶部１１は、制御部１０を上述した各手段１００−１０４として動作させる属性推定プログラム１１０、学習画像情報１１１、特徴量情報１１２、統合特徴量情報１１３、学習モデル１１４、利用者情報１１５、画像情報１１６及び利用者属性情報１１７等を記憶する。
利用者情報１１５は、ＳＮＳを利用する利用者を識別するためのユーザＩＤ等の情報である。
なお、学習画像情報１１１、利用者情報１１５、画像情報１１６及び利用者属性情報１１７は、外部のＳＮＳサーバから通信部１２を介して取得するものであってもよい。
（情報処理装置の動作）
次に、第１の実施の形態の作用を、（１）学習動作、（２）属性推定動作に分けて説明する。
次に、第１の実施の形態の作用を、（１）学習動作、（２）属性推定動作に分けて説明する。
（１）学習動作
図４は、情報処理装置１の学習動作の一例を示すフローチャートである。また、図２（ａ）−（ｃ）は、情報処理装置１の学習動作を説明するための概略図である。
図４は、情報処理装置１の学習動作の一例を示すフローチャートである。また、図２（ａ）−（ｃ）は、情報処理装置１の学習動作を説明するための概略図である。
まず、画像取得手段１００は、特定の属性を有する利用者の学習画像情報１１１を記憶部１１から取得する（Ｓ１）。
例えば、図２（ａ）−（ｃ）に示す例では、画像情報１１１ａ１、１１１ａ２、１１１ａ３…が、利用者１１５ａが投稿した画像情報、画像情報１１１ｂ１、１１１ｂ２、１１１ｂ３…が、利用者１１５ｂが投稿した画像情報、画像情報１１１ｃ１、１１１ｃ２、１１１ｃ３…が、利用者１１５ｃが投稿した画像情報であって、各利用者１１５ａ‐１１５ｃには予めそれぞれの属性１１１ａｔ−１１１ｃｔが付与されている。
上記の画像情報１１１ａ１、１１１ａ２、１１１ａ３…と、属性１１１ａｔとのセット、画像情報１１１ｂ１、１１１ｂ２、１１１ｂ３…と、属性１１１ｂｔとのセット、画像情報１１１ｃ１、１１１ｃ２、１１１ｃ３…と、属性１１１ｃｔとのセットが学習画像情報１１１であり、画像取得手段１００は、特定の属性として例えば「男性」を選択したとすると、利用者１１５ａ及び利用者１１５ｃの画像情報１１１ａ１、１１１ａ２、１１１ａ３…及び画像情報１１１ｃ１、１１１ｃ２、１１１ｃ３…を取得する。なお、特定の属性は、情報処理装置１の管理者が選択するものであってもよいし、情報処理装置１が「男性」、「女性」…と順番に選択するものであってもよい。
また、画像取得手段１００は、属性が予め付与されていないある利用者の画像情報を取得して、その後に当該利用者又は情報処理装置１の管理者によって属性を付与し、これを学習画像情報１１１として扱うものであってもよい。
次に、画像特徴量抽出手段１０１は、画像取得手段１００が取得した画像情報１１１ａ１、１１１ａ２、１１１ａ３…及び画像情報１１１ｃ１、１１１ｃ２、１１１ｃ３…からそれぞれ特徴量を抽出する（Ｓ２）。
次に、特徴量統合手段１０２は、画像特徴量抽出手段１０１が抽出した特徴量を利用者毎に統合し、統合特徴量情報１１３を生成する（Ｓ３）。つまり、画像情報１１１ａ１、１１１ａ２、１１１ａ３…から抽出された特徴量を統合して利用者１１５ａの統合特徴量情報１１３ａとし、画像情報１１１ｃ１、１１１ｃ２、１１１ｃ３…から抽出された特徴量を統合して利用者１１５ｃの統合特徴量情報１１３ｃとする。
次に、学習モデル生成手段１０３は、統合特徴量情報１１３ａ及び１１３ｃをそれぞれ入力とし、利用者の属性「男性」を出力として学習し、学習モデル１１４を生成し（Ｓ４）、記憶部１１に格納する。
次に、上記学習モデル１１４を利用した属性推定動作について説明する。
（２）属性推定動作
図５は、情報処理装置１の属性推定動作の一例を示すフローチャートである。また、図３は、情報処理装置１の属性推定動作を説明するための概略図である。
図５は、情報処理装置１の属性推定動作の一例を示すフローチャートである。また、図３は、情報処理装置１の属性推定動作を説明するための概略図である。
まず、画像取得手段１００は、図３に示すように、利用者情報１１５を参照して、属性推定の対象とする利用者を利用者１１５ｎに定め、当該利用者１１５ｎの投稿した画像情報１１６ｎ１、１１６ｎ２、１１６ｎ３…を記憶部１１から取得する（Ｓ１１）。なお、利用者１１５ｎの属性１１７ｎは不明であるものとする。また、画像取得手段１００は、属性推定を所望する利用者から送信される複数の画像情報を受け付け、当該利用者を属性推定の対象としてもよい。すなわち、画像取得手段１００は、必ず利用者情報１１５を参照しなければならないわけではない。
次に、画像特徴量抽出手段１０１は、画像取得手段１００が取得した画像情報１１６ｎ１、１１６ｎ２、１１６ｎ３…からそれぞれ特徴量を抽出する（Ｓ１２）。
次に、特徴量統合手段１０２は、画像特徴量抽出手段１０１が抽出した特徴量を統合し、統合特徴量情報１１３を生成する（Ｓ１３）。つまり、画像情報１１６ｎ１、１１６ｎ２、１１６ｎ３…から抽出された特徴量を統合して利用者１１５ｎの統合特徴量情報１１３ｎとする。
次に、利用者属性推定手段１０４は、統合特徴量情報１１３ｎから、「（１）学習動作」において生成された学習モデル１１４によって属性情報１１７ｎを推定し（Ｓ１４）、例えば、属性が「男性」と得られたとすると、当該利用者１１５ｎと対応付けて利用者属性情報１１７として記憶部１１に格納する（Ｓ１５）。
（第１の実施の形態の効果）
上記した第１の実施の形態によれば、ＳＮＳ等に投稿された画像情報を利用し、利用者の属性が既知であるものを学習画像情報１１１として、利用者毎に学習画像情報１１１の特徴量を統合して、統合した特徴量を入力、利用者の属性を出力とした学習モデル１１４を生成したため、当該学習モデル１１４を利用することによって、属性が不明な利用者が投稿した画像情報１１６に基づいて利用者の属性を推定することができる。
上記した第１の実施の形態によれば、ＳＮＳ等に投稿された画像情報を利用し、利用者の属性が既知であるものを学習画像情報１１１として、利用者毎に学習画像情報１１１の特徴量を統合して、統合した特徴量を入力、利用者の属性を出力とした学習モデル１１４を生成したため、当該学習モデル１１４を利用することによって、属性が不明な利用者が投稿した画像情報１１６に基づいて利用者の属性を推定することができる。
［第２の実施の形態］
第２の実施の形態は、利用者の属性だけでなく、画像情報に付与されるラベルを考慮して学習し、当該学習結果に基づいて画像情報を投稿した利用者の属性を推定する点で第１の実施の形態と異なる。
第２の実施の形態は、利用者の属性だけでなく、画像情報に付与されるラベルを考慮して学習し、当該学習結果に基づいて画像情報を投稿した利用者の属性を推定する点で第１の実施の形態と異なる。
図６は、第２の実施の形態に係る情報処理装置の構成例を示すブロック図である。
情報処理装置２は、ＣＰＵ等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部２０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部２１と、ネットワークを介して外部と通信する通信部２２とを備える。
制御部２０は、後述する属性推定プログラム２１０を実行することで、画像取得手段２００、画像特徴量抽出手段２０１、画像ラベル付与手段２０２、学習モデル生成手段２０３、画像ラベル推定手段２０４及び利用者属性推定手段１０４等として機能する。
画像取得手段２００は、第１の実施の形態の画像取得手段１００と同様の機能を有する。また、画像特徴量抽出手段２０１は、第１の実施の形態の画像特徴量抽出手段１０１と同様の機能を有する。
画像ラベル付与手段２０２は、利用者の属性と、画像の内容とを組み合わせて生成される画像ラベル情報２１３を学習画像情報２１１の内容に応じて付与する。
学習モデル生成手段２０３は、画像特徴量抽出手段２０１によって学習画像情報２１１から抽出された特徴量を入力とし、当該学習画像情報２１１に付与された画像ラベルを出力として学習し、学習モデル２１４を生成する。
画像ラベル推定手段２０４は、画像特徴量抽出手段２０１によって画像情報２１６から抽出された特徴量から、学習モデル２１４によって画像ラベルに対するスコアを計算し、当該スコアに基づいて画像情報２１６に対応付けられる画像ラベルを推定する。
利用者属性推定手段２０５は、画像ラベル推定手段２０４が推定した画像ラベルを利用者毎に統合し、属性毎のスコアを比較することで利用者の属性を推定し、利用者と対応付けた利用者属性情報２１７を生成する。
記憶部２１は、制御部２０を上述した各手段２００−２０５として動作させる属性推定プログラム２１０、学習画像情報２１１、特徴量情報２１２、画像ラベル情報２１３、学習モデル２１４、利用者情報２１５、画像情報２１６及び利用者属性情報２１７等を記憶する。
（情報処理装置の動作）
次に、第２の実施の形態の作用を、（１）学習動作、（２）属性推定動作に分けて説明する。
次に、第２の実施の形態の作用を、（１）学習動作、（２）属性推定動作に分けて説明する。
（１）学習動作
図１０は、情報処理装置２の学習動作の一例を示すフローチャートである。また、図７（ａ）及び（ｂ）は、情報処理装置２の学習動作のうち画像ラベル情報２１３の作成方法を説明するための概略図である。また、図８は、画像ラベル情報の構成を示す概略図である。
図１０は、情報処理装置２の学習動作の一例を示すフローチャートである。また、図７（ａ）及び（ｂ）は、情報処理装置２の学習動作のうち画像ラベル情報２１３の作成方法を説明するための概略図である。また、図８は、画像ラベル情報の構成を示す概略図である。
まず、画像ラベル付与手段２０２は、学習（推定）を所望する属性の種類の選択を受け付ける（Ｓ３１）。図７（ａ）に示すように、属性の種類として「性別」を示す属性の種類２１７ａ、「年齢」を示す属性の種類２１７ｂ、…があった場合に、「性別」を示す属性の種類２１７ａが管理者等によって選択されたものとして以下説明する。
次に、画像ラベル付与手段２０２は、選択された属性の種類２１７ａと、図７（ｂ）に示す画像内容２１３ａとを組み合わせて、図８に示す画像ラベル情報２１３を作成する（Ｓ３２）。画像ラベル情報２１３は、属性の種類２１７ａに含まれる属性と、画像内容２１３ａとを組み合わせるため、属性の数「３」とラベルの数「１０」とを乗じて「３０」の画像ラベルが作成される。
次に、画像ラベル付与手段２０２は、管理者等の操作に応じて学習画像情報２１１に作成した画像ラベル情報２１３の画像ラベルを付与する（Ｓ３３）。なお、予め画像ラベルが付与された学習画像情報２１１を用意してもよい。また、学習画像情報２１１の特徴量を抽出し、特徴量に基づいて学習画像情報２１１をクラスタリングし、クラスタリングの分類に基づき「クラス１」、「クラス２」、「クラス３」…といった名称を画像内容２１３ａの代わりに用いて、画像ラベル情報を作成して自動で画像ラベルを付与する構成にしてもよい。
次に、画像特徴量抽出手段２０１は、学習画像情報２１１から特徴量を抽出する（Ｓ３４）。
次に、学習モデル生成手段２０３は、画像特徴量抽出手段２０１によって学習画像情報２１１から抽出された特徴量を入力とし、当該学習画像情報２１１に付与された画像ラベルを出力として学習し、学習モデル２１４を生成し（Ｓ３５）、記憶部２１に格納する（Ｓ３６）。
（２）属性推定動作
図１１は、情報処理装置２の属性推定動作の一例を示すフローチャートである。また、図９は、情報処理装置２の属性推定動作を説明するための概略図である。
図１１は、情報処理装置２の属性推定動作の一例を示すフローチャートである。また、図９は、情報処理装置２の属性推定動作を説明するための概略図である。
まず、画像取得手段２００は、利用者情報２１５を参照して、属性推定の対象とする利用者を定め、当該利用者の投稿した画像情報を記憶部２１から取得する（Ｓ４１）。なお、当該利用者の属性は不明であるものとする。
次に、画像特徴量抽出手段２０１は、画像取得手段２００が取得した画像情報からそれぞれ特徴量を抽出する（Ｓ４２）。
次に、画像ラベル推定手段２０４は、画像特徴量抽出手段２０１によって画像情報２１６から抽出された特徴量から、「（１）学習動作」で生成した学習モデル２１４を用いて、図９に示すように画像ラベルに合致する程度を示す推定値であるスコアを計算し、スコア計算結果２０４ａを得る（Ｓ４３）。図９に示す例では、スコア計算結果２０４ａは、全ての画像ラベルに対するスコアが計算されており、スコア順の高いものから順に並べられている。
次に、利用者属性推定手段２０５は、当該スコア計算結果２０４ａに基づいて、画像ラベルのスコアを属性毎に統合する（Ｓ４４）。例えば、「女性」を含む画像ラベルのスコアを合算して、属性「女性」のスコアを得る。また、「男性」を含む画像ラベルのスコアを加算して、属性「男性」のスコアを得る。同様に、「不明」を含む画像ラベルのスコアを加算して、属性「不明」のスコアを得る。なお、スコアの統合方法は、合算に限らず、各属性において最も高いスコアを採用するものであってもよいし、他の計算方法によるものであってもよい。
次に、利用者属性推定手段２０５は、例えば、属性「女性」のスコアが「３．５６」、属性「男性」のスコアが「２．１１」、属性「不明」のスコアが「０．２２」と得られた場合、これらの値を比較し、スコアが高い属性「女性」が利用者の属性であると推定して（Ｓ４５）、利用者と対応付けて利用者属性情報２１７として記憶部２１に格納する（Ｓ４６）。
また、利用者属性推定手段２０５は、属性が択一的に定まる内容でなく複数の値を取りうるものである場合、それぞれの属性について統合された値が予め定めた閾値を超える属性を利用者の属性として推定する。
（第２の実施の形態の作用・効果）
上記した第２の実施の形態によれば、画像の種類と利用者の属性とを組み合わせた画像ラベル２１３を作成し、当該画像ラベル２１３を画像情報に付与して学習画像情報２１１とし、画像情報の特徴量を入力、画像ラベルを出力とした学習モデル２１４を生成するとともに、属性が不明な利用者が投稿した画像情報２１６の特徴量を抽出して、学習モデル２１４を用いて画像情報２１６の画像ラベルを推定し、当該画像ラベルの推定結果を属性毎に統合して属性を推定したため、利用者が投稿した画像情報に基づいて利用者の属性を推定することができる。
上記した第２の実施の形態によれば、画像の種類と利用者の属性とを組み合わせた画像ラベル２１３を作成し、当該画像ラベル２１３を画像情報に付与して学習画像情報２１１とし、画像情報の特徴量を入力、画像ラベルを出力とした学習モデル２１４を生成するとともに、属性が不明な利用者が投稿した画像情報２１６の特徴量を抽出して、学習モデル２１４を用いて画像情報２１６の画像ラベルを推定し、当該画像ラベルの推定結果を属性毎に統合して属性を推定したため、利用者が投稿した画像情報に基づいて利用者の属性を推定することができる。
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。上記第１の実施の形態では制御部１０の各手段１００〜１０４の機能を情報処理装置１のみで実現したが、一部を他のサーバ装置や端末装置において実現するものであってもよい。また、同様に第２の実施の形態においても、制御部２０の各手段２００〜２０５の機能の一部を他のサーバ装置や端末装置において実現するものであってもよい。
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。上記第１の実施の形態では制御部１０の各手段１００〜１０４の機能を情報処理装置１のみで実現したが、一部を他のサーバ装置や端末装置において実現するものであってもよい。また、同様に第２の実施の形態においても、制御部２０の各手段２００〜２０５の機能の一部を他のサーバ装置や端末装置において実現するものであってもよい。
また、情報１１１−１１７、２１１−２１７は、必ずしも情報処理装置１、２の記憶部１１、２１に格納されている必要はなく、外部のデータベースや装置から取得するものであってもよいし、記憶部１１、２１に格納することなく外部の装置から送信されたものを受け付けて各手段が利用するものであってもよい。
上記実施の形態では制御部１０、２０の各手段１００〜１０４、２００〜２０５の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
１ 情報処理装置
２ 情報処理装置
１０ 制御部
１１ 記憶部
１２ 通信部
２０ 制御部
２１ 記憶部
２２ 通信部
１００ 画像取得手段
１０１ 画像特徴量抽出手段
１０２ 特徴量統合手段
１０３ 学習モデル生成手段
１０４ 利用者属性推定手段
１１０ 属性推定プログラム
１１１ 学習画像情報
１１２ 特徴量情報
１１３ 統合特徴量情報
１１４ 学習モデル
１１５ 利用者情報
１１６ 画像情報
１１７ 利用者属性情報
２００ 画像取得手段
２０１ 画像特徴量抽出手段
２０２ 画像ラベル付与手段
２０３ 学習モデル生成手段
２０４ 画像ラベル推定手段
２０５ 利用者属性推定手段
２１０ 属性推定プログラム
２１１ 学習画像情報
２１２ 特徴量情報
２１３ 画像ラベル情報
２１４ 学習モデル
２１５ 利用者情報
２１６ 画像情報
２１７ 利用者属性情報
２ 情報処理装置
１０ 制御部
１１ 記憶部
１２ 通信部
２０ 制御部
２１ 記憶部
２２ 通信部
１００ 画像取得手段
１０１ 画像特徴量抽出手段
１０２ 特徴量統合手段
１０３ 学習モデル生成手段
１０４ 利用者属性推定手段
１１０ 属性推定プログラム
１１１ 学習画像情報
１１２ 特徴量情報
１１３ 統合特徴量情報
１１４ 学習モデル
１１５ 利用者情報
１１６ 画像情報
１１７ 利用者属性情報
２００ 画像取得手段
２０１ 画像特徴量抽出手段
２０２ 画像ラベル付与手段
２０３ 学習モデル生成手段
２０４ 画像ラベル推定手段
２０５ 利用者属性推定手段
２１０ 属性推定プログラム
２１１ 学習画像情報
２１２ 特徴量情報
２１３ 画像ラベル情報
２１４ 学習モデル
２１５ 利用者情報
２１６ 画像情報
２１７ 利用者属性情報
Claims (4)
- コンピュータを、
利用者及び当該利用者の属性に関連付けられた複数の画像情報のそれぞれの特徴量を抽出する抽出手段と、
前記抽出手段が抽出した特徴量を利用者毎に統合する統合手段と、
前記利用者毎に統合された特徴量を入力とし、一の属性を出力として学習して学習モデルを生成する学習手段として機能させるための属性推定プログラム。 - コンピュータを、
利用者に関連付けられた複数の画像情報のそれぞれの特徴量を属性推定用に抽出する抽出手段と、
学習モデルによって、前記属性推定用に抽出した特徴量から利用者の属性及び画像内容の組み合わせの合致する程度を推定値で推定するラベル推定手段と、
前記利用者の属性及び画像内容の組み合わせの合致する推定値を属性について統合して、属性毎の推定値を算出し、当該属性毎の推定値に基づいて前記利用者の属性を推定する属性推定手段として機能させるための属性推定プログラム。 - 利用者及び当該利用者の属性に関連付けられた複数の画像情報のそれぞれの特徴量を抽出する抽出手段と、
前記抽出手段が抽出した特徴量を利用者毎に統合する統合手段と、
前記利用者毎に統合された特徴量を入力とし、一の属性を出力として学習して学習モデルを生成する学習手段とを有する情報処理装置。 - 利用者に関連付けられた複数の画像情報のそれぞれの特徴量を属性推定用に抽出する抽出手段と、
学習モデルによって、前記属性推定用に抽出した特徴量から利用者の属性及び画像内容の組み合わせの合致する程度を推定値で推定するラベル推定手段と、
前記利用者の属性及び画像内容の組み合わせの合致する推定値を属性について統合して、属性毎の推定値を算出し、当該属性毎の推定値に基づいて前記利用者の属性を推定する属性推定手段とを有する情報処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014120377A JP6375706B2 (ja) | 2014-06-11 | 2014-06-11 | 属性推定プログラム及び情報処理装置 |
| US14/519,694 US9639808B2 (en) | 2014-06-11 | 2014-10-21 | Non-transitory computer readable medium, information processing apparatus, and attribute estimation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014120377A JP6375706B2 (ja) | 2014-06-11 | 2014-06-11 | 属性推定プログラム及び情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016001362A JP2016001362A (ja) | 2016-01-07 |
| JP6375706B2 true JP6375706B2 (ja) | 2018-08-22 |
Family
ID=54836428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014120377A Expired - Fee Related JP6375706B2 (ja) | 2014-06-11 | 2014-06-11 | 属性推定プログラム及び情報処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9639808B2 (ja) |
| JP (1) | JP6375706B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6375706B2 (ja) * | 2014-06-11 | 2018-08-22 | 富士ゼロックス株式会社 | 属性推定プログラム及び情報処理装置 |
| US9842390B2 (en) * | 2015-02-06 | 2017-12-12 | International Business Machines Corporation | Automatic ground truth generation for medical image collections |
| JP6727543B2 (ja) | 2016-04-01 | 2020-07-22 | 富士ゼロックス株式会社 | 画像パターン認識装置及びプログラム |
| JP6880154B2 (ja) * | 2019-11-20 | 2021-06-02 | ソフトバンク株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4345622B2 (ja) * | 2003-11-05 | 2009-10-14 | オムロン株式会社 | 瞳色推定装置 |
| JP2005275935A (ja) * | 2004-03-25 | 2005-10-06 | Omron Corp | 端末装置 |
| JP2007048172A (ja) * | 2005-08-12 | 2007-02-22 | Fuji Xerox Co Ltd | 情報分類装置 |
| US7991230B2 (en) * | 2005-10-14 | 2011-08-02 | Microsoft Corporation | Modeling micro-structure for feature extraction |
| US7672969B1 (en) * | 2006-08-25 | 2010-03-02 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) | Context based configuration management system |
| JP2009098964A (ja) | 2007-10-17 | 2009-05-07 | Oki Telecommunication Systems Co Ltd | ネットワークサービスシステム、サーバ、方法及びプログラム |
| JP2010244381A (ja) * | 2009-04-08 | 2010-10-28 | Sony Corp | ガボアフィルタ、画像認識装置および方法、プログラム、並びに記録媒体 |
| JP5094830B2 (ja) * | 2009-12-16 | 2012-12-12 | ヤフー株式会社 | 画像検索装置、画像検索方法及びプログラム |
| KR20140032494A (ko) * | 2011-08-08 | 2014-03-14 | 닛토덴코 가부시키가이샤 | 스마트 탭 |
| JP2013072974A (ja) * | 2011-09-27 | 2013-04-22 | Toshiba Corp | 音声認識装置、方法及びプログラム |
| JP5756052B2 (ja) | 2012-04-10 | 2015-07-29 | 日本電信電話株式会社 | ユーザ属性推定装置及び方法及びプログラム |
| JP5376024B1 (ja) * | 2012-08-23 | 2013-12-25 | 富士ゼロックス株式会社 | 画像処理装置、プログラム及び画像処理システム |
| US9317815B2 (en) * | 2013-01-17 | 2016-04-19 | Kinetic Stone, Llc | Health and fitness management system |
| JP6375706B2 (ja) * | 2014-06-11 | 2018-08-22 | 富士ゼロックス株式会社 | 属性推定プログラム及び情報処理装置 |
| US20160162779A1 (en) * | 2014-12-05 | 2016-06-09 | RealMatch, Inc. | Device, system and method for generating a predictive model by machine learning |
-
2014
- 2014-06-11 JP JP2014120377A patent/JP6375706B2/ja not_active Expired - Fee Related
- 2014-10-21 US US14/519,694 patent/US9639808B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016001362A (ja) | 2016-01-07 |
| US9639808B2 (en) | 2017-05-02 |
| US20150363671A1 (en) | 2015-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10755086B2 (en) | Picture ranking method, and terminal | |
| CN106484777B (zh) | 一种多媒体数据处理方法以及装置 | |
| US10140342B2 (en) | Similarity calculation system, method of calculating similarity, and program | |
| US10678765B2 (en) | Similarity calculation system, method of calculating similarity, and program | |
| JP5946956B2 (ja) | ソーシャルネットワークのノードをグループ化する方法、装置、およびコンピュータ記憶媒体 | |
| JP6375706B2 (ja) | 属性推定プログラム及び情報処理装置 | |
| JP2019087012A (ja) | 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体 | |
| US11816923B2 (en) | Face image candidate determination apparatus for authentication, face image candidate determination method for authentication, program, and recording medium | |
| CN104933022B (zh) | 信息处理装置和信息处理方法 | |
| CN108564067B (zh) | 人脸比对的阈值确定方法及系统 | |
| JP6307822B2 (ja) | プログラム、コンピュータおよび訓練データ作成支援方法 | |
| JP2019040417A (ja) | 情報処理装置及びプログラム | |
| US20220164382A1 (en) | Customized selection of video thumbnails to present on social media webpages | |
| JP2015018559A (ja) | マルチメディアコンテンツを増強する方法および対応するデバイス | |
| JP6377917B2 (ja) | 画像検索装置及び画像検索プログラム | |
| US9621505B1 (en) | Providing images with notifications | |
| JP2014229129A (ja) | 組み合わせ提示装置及びコンピュータプログラム | |
| US10185765B2 (en) | Non-transitory computer-readable medium, information classification method, and information processing apparatus | |
| JP6570978B2 (ja) | クラスタ選択装置 | |
| CN105893515B (zh) | 一种信息处理方法及服务器 | |
| CN111949813B (zh) | 交友请求方法、装置、计算机设备和存储介质 | |
| US20120254738A1 (en) | Time-series information generating apparatus and time-series information generating method | |
| JP2019028698A (ja) | 判定器学習装置、組み合わせの良さ判定装置、方法、及びプログラム | |
| CN110147486B (zh) | 好友推荐方法和装置 | |
| JP2015097036A (ja) | 推薦画像提示装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170522 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180531 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20180531 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180626 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180709 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6375706 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| LAPS | Cancellation because of no payment of annual fees | ||
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |