JP7174114B1 - 探索システム、探索方法及び探索プログラム - Google Patents

探索システム、探索方法及び探索プログラム Download PDF

Info

Publication number
JP7174114B1
JP7174114B1 JP2021103506A JP2021103506A JP7174114B1 JP 7174114 B1 JP7174114 B1 JP 7174114B1 JP 2021103506 A JP2021103506 A JP 2021103506A JP 2021103506 A JP2021103506 A JP 2021103506A JP 7174114 B1 JP7174114 B1 JP 7174114B1
Authority
JP
Japan
Prior art keywords
item
component value
user terminal
image
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021103506A
Other languages
English (en)
Other versions
JP2023002325A (ja
Inventor
毅 永田
俊夫 笠間
秀正 前川
正義 下元
透 萩原
弘充 友澤
美恵 土屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mizuho Research and Technologies Ltd
Original Assignee
Mizuho Research and Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mizuho Research and Technologies Ltd filed Critical Mizuho Research and Technologies Ltd
Priority to JP2021103506A priority Critical patent/JP7174114B1/ja
Priority to DE112022003205.7T priority patent/DE112022003205T5/de
Priority to US18/570,539 priority patent/US20240281464A1/en
Priority to PCT/JP2022/021344 priority patent/WO2022270203A1/ja
Priority to JP2022176989A priority patent/JP7459215B2/ja
Application granted granted Critical
Publication of JP7174114B1 publication Critical patent/JP7174114B1/ja
Publication of JP2023002325A publication Critical patent/JP2023002325A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computational Linguistics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Figure 0007174114000001
【課題】ユーザが所望するアイテムを探索するための探索システム、探索方法及び探索プログラムを提供する。
【解決手段】支援サーバ20は、ユーザ端末10に接続される制御部21を備える。そして、制御部21が、アイテムを構成する複数の主成分において、第1成分値からなる第1アイテムと、第1成分値と異なる成分値からなる複数のアイテム候補とを、ユーザ端末10に出力し、アイテム候補から、ユーザ端末10において選択された第2アイテムを特定し、各主成分において、第1成分値と第2アイテムの第2成分値との位置関係を算出し、各主成分において、位置関係に応じて成分値分布を算出し、第2アイテムに対して、成分値分布に基づき複数のアイテム候補を新たに生成し、ユーザ端末10に出力する。
【選択図】図1

Description

本発明は、ユーザの好みに応じて画像等のアイテムを探索するための探索システム、探索方法及び探索プログラムに関する。
ユーザからの情報を取得して、ユーザの好みに応じたアイテムを探索する場合がある。例えば、ユーザに対して、多様なサンプル画像を提供し、ユーザによって選択されたサンプル画像に基づいて、ユーザの所望の画像を特定する技術が検討されている(例えば、特許文献1)。この特許文献に記載された画像表示システムは、基準画像を表示面に表示させる第一表示制御部と、基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、表示面の基準画像の表示領域の周辺において、選択可能に表示させる第二表示制御部と、を備える。そして、複数の候補画像の各々の画像データは、基準画像の画像データに基づいて決定される、所定空間上の探索領域に含まれる。
特開2021-005208号公報
しかしながら、ユーザが画像を選択する基準は多様である。このため、基準画像の画像データに基づいて決定された探索領域が、的確でなければ、ユーザが所望する画像を効率的に探索することは困難である。
上記課題を解決する探索システムは、ユーザ端末に接続される制御部を備える。そして、前記制御部が、アイテムを構成する複数の主成分において、第1成分値からなる第1アイテムと、前記第1成分値と異なる成分値からなる複数のアイテム候補とを、前記ユーザ端末に出力し、前記アイテム候補から、前記ユーザ端末において選択された第2アイテムを特定し、前記各主成分において、前記第1成分値と前記第2アイテムの第2成分値との位置関係を算出し、前記各主成分において、前記位置関係に応じて成分値分布を算出し、前記第2アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成し、前記ユーザ端末に出力する。
本発明によれば、ユーザが所望するアイテムを、効率的かつ的確に特定することができる。
実施形態の探索システムの説明図。 実施形態のハードウェア構成の説明図。 実施形態の学習処理の処理手順の説明図。 実施形態のサンプル画像の説明図。 実施形態の予測処理の処理手順の説明図。 実施形態の表示画面の説明図であって、(a)は初回、(b)は2回目、(c)は3回目、(d)は4回目の表示画面の説明図。 実施形態のサンプル画像の生成の説明図であって、(a)は基準画像に対して選択画像が近い場合、(b)は基準画像に対して選択画像が遠い場合の説明図。 他の実施形態のサンプル画像の生成の説明図。 他の実施形態のサンプル画像の生成の説明図。 他の実施形態のサンプル画像の生成の説明図。
図1~図7に従って、探索システム、探索方法及び探索プログラムを具体化した一実施形態を説明する。本実施形態では、ユーザが、趣向に応じて好みのアイテムを探索する場合を想定する。ここでは、アイテムとして、人物の顔画像(2次元の静止画像)を用いる。
図1に示すように、本実施形態の探索システムは、ネットワークを介して接続されたユーザ端末10、支援サーバ20を用いる。
(ハードウェア構成例)
図2は、ユーザ端末10、支援サーバ20等として機能する情報処理装置H10のハードウェア構成例である。
情報処理装置H10は、通信装置H11、入力装置H12、表示装置H13、記憶装置H14、プロセッサH15を有する。なお、このハードウェア構成は一例であり、他のハードウェアを有していてもよい。
通信装置H11は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。
入力装置H12は、ユーザ等からの入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置H13は、各種情報を表示するディスプレイやタッチパネル等である。
記憶装置H14は、ユーザ端末10、支援サーバ20の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶装置H14の一例としては、ROM、RAM、ハードディスク等がある。
プロセッサH15は、記憶装置H14に記憶されるプログラムやデータを用いて、ユーザ端末10、支援サーバ20における各処理(例えば、後述する制御部21における処理)を制御する。プロセッサH15の一例としては、例えばCPUやMPU等がある。このプロセッサH15は、ROM等に記憶されるプログラムをRAMに展開して、各種処理に対応する各種プロセスを実行する。例えば、プロセッサH15は、ユーザ端末10、支援サーバ20のアプリケーションプログラムが起動された場合、後述する各処理を実行するプロセスを動作させる。
プロセッサH15は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサH15は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路(例えば、特定用途向け集積回路:ASIC)を備えてもよい。すなわち、プロセッサH15は、(1)コンピュータプログラムに従って動作する1つ以上のプロセッサ、(2)各種処理のうち少なくとも一部の処理を実行する1つ以上の専用のハードウェア回路、或いは(3)それらの組み合わせ、を含む回路として構成し得る。プロセッサは、CPU並びに、RAM及びROM等のメモリを含み、メモリは、処理をCPUに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
(各情報処理装置の機能)
図1を用いて、ユーザ端末10、支援サーバ20の機能を説明する。
ユーザ端末10は、本システムを利用するユーザが用いるコンピュータ端末である。
支援サーバ20は、ユーザが所望するアイテムの特定を支援するためのコンピュータシステムである。この支援サーバ20は、制御部21、教師情報記憶部22、学習結果記憶部23、履歴情報記憶部24を備えている。
制御部21は、後述する処理(学習段階、予測段階、生成段階等を含む処理)を行なう。このための探索プログラムを実行することにより、制御部21は、学習部211、予測部212、生成部213等として機能する。
学習部211は、複数の顔画像(教師画像)を構成する特徴量を用いて、主成分を算出する主成分分析処理を実行する。この主成分分析処理により、多様な画像を構成する要素(次元)の次元圧縮を行なう。本実施形態では、主成分分析を用いるが、次元圧縮できる手法であれば、これに限定されず、例えばオートエンコーダを用いてもよい。
予測部212は、基準画像(第1アイテム)に対して、選択されたサンプル画像(第2アイテム)を用いて、ユーザの好みを予測する処理を実行する。
生成部213は、主成分の標準偏差を用いて、複数のサンプル画像(アイテム候補)を生成する処理を実行する。このサンプル画像は、ユーザが選択可能な候補画像である。
教師情報記憶部22には、学習処理に用いる教師情報が記録される。この教師情報は、学習処理前に記録される。この教師情報には、検索対象のアイテムのカテゴリに属する教師画像に関するデータが含まれる。例えば、アイテムのカテゴリとして、人物の顔を対象とする場合には、多様な人物の顔画像を用いる。
学習結果記憶部23には、学習処理による学習結果情報が記録される。この学習結果情報は、学習処理を実行した場合に記録される。この学習結果情報には、アイテム(教師画像)を構成する主成分に関するデータが含まれる。この主成分は、教師画像の特徴量の主成分分析により算出される。
履歴情報記憶部24には、ユーザが選択したアイテムについての履歴情報が記録される。この履歴情報は、予測処理の実行時に記録される。この履歴情報には、世代識別子毎に、画像及び主成分値に関するデータが含まれる。第1世代のアイテムとしては、学習処理によって生成された初期画像が記録される。第2世代以降のアイテムとしては、ユーザ端末10において選択された選択画像が記録される。
初期画像は、教師情報の主成分分析により算出された平均画像であって、最初にユーザ端末10に提示される基準画像である。選択画像は、基準画像に対して、ユーザの好みに応じて選択されたサンプル画像である。
(学習処理)
次に、図3を用いて、学習処理を説明する。
まず、支援サーバ20の制御部21は、教師画像の取得処理を実行する(ステップS101)。具体的には、制御部21の学習部211は、教師情報記憶部22に記録された各教師画像を構成する各主成分(次元)の特徴量を算出する。
次に、支援サーバ20の制御部21は、主成分分析処理を実行する(ステップS102)。具体的には、制御部21の学習部211は、各教師画像の特徴量の主成分分析により、特徴量の主成分を特定する。ここで、主成分の数に制限を設けることにより、次元数を圧縮する。
図4に、主成分を変更したサンプル画像500を示す。サンプル画像500は、寄与度が高い順番に、主成分番号「1」~「5」について、主成分得点(主成分スコア)を「-2」~「+2」の範囲で、「1」刻みで振って生成した画像例である。実際の処理では、後述するように、ランダムに主成分得点を与えてサンプル画像を生成する。
(予測処理)
次に、図5を用いて、予測処理を説明する。ここでは、まず、サービスを利用するユーザは、ユーザ端末10を用いて、支援サーバ20にアクセスする。
この場合、支援サーバ20の制御部21は、平均画像の生成処理を実行する(ステップS201)。具体的には、制御部21の予測部212は、学習結果記憶部23に記録された各主成分の平均値を算出する。次に、予測部212は、各主成分の平均値を用いて、平均的なアイテム(初期画像としての平均顔)を生成する。ここでは、公知の機械学習による画像生成技術を用いる。そして、予測部212は、世代識別子(第1世代)に関連付けて、各主成分の平均値、平均顔に関する情報を履歴情報記憶部24に記録する。
次に、支援サーバ20の制御部21は、サンプル画像の生成処理を実行する(ステップS202)。具体的には、制御部21の生成部213は、平均値に対して、標準偏差sdの乱数により、各主成分値を生成する。なお、初期段階の標準偏差sd(初期標準偏差)は、教師画像を網羅するような大きな値を用いる。そして、生成部213は、生成した各主成分値を用いて、サンプル画像を生成する。本実施形態では、16個のサンプル画像を生成する。
次に、支援サーバ20の制御部21は、サンプル画像の出力処理を実行する(ステップS203)。具体的には、制御部21の予測部212は、ユーザ端末10の表示装置H13に、選択画面を出力する。
図6(a)に示すように、選択画面510には、基準画像511の表示欄、及び16個のサンプル画像512の表示欄が含まれる。各サンプル画像512はランダムに配置されており、いずれかを選択可能である。また、選択画面には、「再生成」ボタンと「終了」ボタンとが含まれる。基準画像511は好みではないが、より好ましいサンプル画像512が存在しない場合には、「再生成」ボタンを選択する。また、基準画像511が好みであり、より好ましいサンプル画像が存在しない場合には、「終了」ボタンを選択する。
次に、支援サーバ20の制御部21は、選択かどうかについての判定処理を実行する(ステップS204)。具体的には、ユーザは、基準画像511よりも好みに合うサンプル画像512がある場合には、このサンプル画像を選択する。制御部21の予測部212は、選択画面において、サンプル画像の選択の有無を検知する。
サンプル画像が選択されたと判定した場合(ステップS204において「YES」の場合)、支援サーバ20の制御部21は、選択画像の登録処理を実行する(ステップS205)。具体的には、制御部21の予測部212は、世代識別子(第2世代)に関連付けて、各主成分値、選択画像に関する情報を履歴情報記憶部24に記録する。
次に、支援サーバ20の制御部21は、中心成分の特定処理を実行する(ステップS206)。具体的には、制御部21の予測部212は、選択画像を、新たな基準画像として特定する。この場合、予測部212は、新たな基準画像の各主成分値を中心成分として特定する。
そして、図6(b)に示すように、予測部212は、選択画面520において、選択画像を、この世代識別子(ここでは第2世代)の基準画像521として出力する。
次に、支援サーバ20の制御部21は、中心成分近傍でサンプル画像の生成処理を実行する(ステップS207)。具体的には、制御部21の生成部213は、各主成分の位置関係として、先行世代の主成分値(第1成分値)と、現在の基準画像の主成分値(第2成分値)との距離dを算出する。そして、生成部213は、主成分毎の距離dを用いて標準偏差sdを算出する。この場合、距離dが大きい程、標準偏差sdが大きくなる関数を用いる。例えば、距離dに比例係数αを乗算する関数fを用いて標準偏差sdを算出する。なお、この関数においては、算出される標準偏差sdが、初期標準偏差よりも小さくなるように設定しておく。
図7(a)に示すように、先行の基準画像face0と選択画像face1とが距離d01の場合、sd1(=α*d01)を用いる。図7(b)に示すように、先行の基準画像face0と選択画像face1とが距離d02の場合、sd2(=α*d02)を用いる。ここで、距離d02>距離d01の場合には、sd2>sd1となる。
そして、生成部213は、中心成分に対して、算出した標準偏差sdの成分値分布(例えば正規分布)に基づいた乱数により各主成分値を生成する。次に、生成部213は、生成した各主成分値を用いて、サンプル画像を生成する。そして、支援サーバ20の制御部21は、サンプル画像の出力処理(ステップS203)以降の処理を繰り返す。ここで、サンプル画像の出力処理以降の処理を繰り返して実行する場合、繰り返すたびに、世代識別子を1つ増やす。
図6(b)に示すように、ステップS206の中心成分の特定処理によって、選択画面520においては、選択画面510で選択されたサンプル画像512が、第2世代の基準画像521として表示される。また、ステップS207の中心成分近傍でサンプル画像の生成処理によって、選択画面520には、基準画像521の標準偏差内で生成された複数のサンプル画像522が表示される。
その後、ユーザが、選択画面520のサンプル画像522において、より好ましい画像を選択すると、支援サーバ20の制御部21は、サンプル画像の出力処理(ステップS203)を実行する。
この場合、図6(c)に示すように、選択画面530においては、選択画面520で選択されたサンプル画像522が、第3世代の基準画像531として表示される。また、選択画面530には、この基準画像531の標準偏差内で生成された複数のサンプル画像532を表示する。
その後、ユーザは、選択画面530のサンプル画像532において、より好ましい画像を選択する。
この場合、図6(d)に示すように、選択画面540においては、選択画面530で選択されたサンプル画像532が、第4世代の基準画像541として表示される。また、選択画面540には、この基準画像541の標準偏差内で生成された複数のサンプル画像542を表示する。ここで、基準画像541より好ましいサンプル画像542がない場合には、終了ボタンを選択する。
一方、「再生成」ボタン又は「終了」ボタンが選択されて、選択でないと判定した場合(ステップS204において「NO」の場合)、終了かどうかについての判定処理を実行する(ステップS208)。具体的には、制御部21の予測部212は、「終了」ボタンの選択を検知した場合に、終了と判定する。
なお、「再生成」ボタンが選択されて、終了でないと判定した場合(ステップS208において「NO」の場合)、支援サーバ20の制御部21は、サンプル画像の生成処理(ステップS202)以降の処理を繰り返す。
その後、「終了」ボタンが選択されることにより終了と判定した場合(ステップS208において「YES」の場合)、支援サーバ20の制御部21は、アイテムの提供処理を実行する(ステップS209)。具体的には、制御部21の予測部212は、ユーザ端末10に、最終世代の基準画像を提供する。
本実施形態によれば、以下のような効果を得ることができる。
(1)本実施形態においては、教師画像の取得処理(ステップS101)、主成分分析処理(ステップS102)を実行する。これにより、画像を構成する主な要素を絞り込む次元圧縮を用いて、効率的な探索を行なうことができる。
(2)本実施形態においては、支援サーバ20の制御部21は、平均画像の生成処理を実行する(ステップS201)。これにより、教師画像における平均的な画像を出発点として、ユーザの好みを探索することができる。
(3)本実施形態においては、支援サーバ20の制御部21は、サンプル画像の生成処理を実行する(ステップS202)。これにより、初期段階では、大きな標準偏差を用いることにより、広い範囲で、ユーザの好みを探索することができる。
(4)本実施形態においては、支援サーバ20の制御部21は、サンプル画像の出力処理を実行する(ステップS203)。これにより、ユーザは基準画像とサンプル画像とを比較しながら、好みの画像を選択することができる。
(5)本実施形態においては、サンプル画像が選択されて、選択と判定した場合(ステップS204において「YES」の場合)、支援サーバ20の制御部21は、選択画像の登録処理を実行する(ステップS205)。これにより、ユーザが選択した画像の遷移の履歴を記録することができる。
(6)本実施形態においては、支援サーバ20の制御部21は、中心成分の特定処理(ステップS206)、中心成分近傍でサンプル画像の生成処理(ステップS207)を実行する。これにより、選択された画像を考慮して、新たなサンプル画像を生成することができる。この場合、基準画像との距離に応じて標準偏差を決定する。これにより、距離に応じて探索範囲を変更して、効率的に絞り込みを行なうことができる。すなわち、距離が遠い場合には、広い範囲で探索し、距離が近い場合には、狭い範囲での探索を行なうことができる。
(7)本実施形態においては、「再生成」ボタンが選択されることにより終了でないと判定した場合(ステップS208において「NO」の場合)、支援サーバ20の制御部21は、サンプル画像の生成処理(ステップS202)以降の処理を繰り返す。これにより、ユーザが納得できる画像が見つからない場合、サンプル画像を作り直すことができる。
(8)本実施形態においては、「終了」ボタンが選択されることにより終了と判定した場合(ステップS208において「YES」の場合)、支援サーバ20の制御部21は、アイテムの提供処理を実行する(ステップS209)。これにより、ユーザの好みに応じた画像を提供することができる。
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、ユーザが好むアイテムとして2次元の静止画像を探索する場合を想定する。探索対象は2次元の静止画像に限定されるものではない。アイテムを構成する要素を複数次元で数値化できるものであれば適用可能である。例えば、3次元画像、動画、音声、文章(俳句やキャッチコピー等)にも適用可能である。
・上記実施形態では、選択画面において、より好ましい一つのサンプル画像を選択する。選択方法はこれに限定されるものではない。例えば、選択画面において、複数のサンプル画像を選択できるようにしてもよい。
図8に示すように、基準画像face0に対して、複数のサンプル画像face11,face12,face13が選択された場合を想定する。この場合には、予測部212は、基準画像face0と、選択された各サンプル画像との距離d11,d12,d13を算出する。そして、予測部212は、標準偏差sdを、複数の距離d11,d12,d13を変数とする関数により算出する。そして、サンプル画像face11,face12,face13の各主成分の統計値(例えば、平均値)を用いて、中心成分を算出する。
例えば、距離d11,d12,d13のばらつきを考慮した分布を生成する標準偏差sdを算出する関数を用いる。この場合には、例えば、距離d11,d12,d13のばらつきが大きい程、標準偏差sdを大きくする。
これにより、選択された複数のサンプル画像用いて、好みを探索することができる。
・上記実施形態では、選択画面において、より好ましい一つのサンプル画像を選択する。選択方法はこれに限定されるものではない。例えば、選択画面において、好ましいサンプル画像及び嫌いなサンプル画像を選択できるようにしてもよい。
図9に示すように、基準画像face0に対して、好ましいサンプル画像face1と、嫌いなサンプル画像faceX1,faceX2が選択された場合を想定する。
この場合、新たな基準画像として、サンプル画像face1を用いる。サンプル画像face1の近傍に、サンプル画像face1、基準画像face0との距離に応じた標準偏差を用いて分布を作成する。
更に、この分布を、嫌いなサンプル画像faceX1,faceX2との距離に応じて調整する。このため、サンプル画像faceX1,faceX2の周囲に、基準画像face0との距離に応じた標準偏差を用いて分布を作成する。そして、サンプル画像face1の分布を、サンプル画像faceX1,faceX2の分布との重なりを抑制するように、調整する。
図9では、基準画像face0との距離d20に応じた標準偏差を用いた分布において、サンプル画像faceX1側の標準偏差sd1と、サンプル画像faceX2側の標準偏差sd2とで異なる値を用いる。具体的には、嫌いなサンプル画像に近い側の標準偏差sd2を小さくして、嫌いなサンプル画像の分布と重ならないように調整する。
また、基準画像と嫌いなサンプル画像とで、距離が長い成分を特定して、この成分については基準画像の範囲を利用するようにしてもよい。また、基準画像と嫌いなサンプル画像との距離が近い成分は、ユーザの趣向に効いていない可能性があるので、主成分から除くようにしてもよい。
これにより、嫌いなサンプル画像を考慮して、新たなサンプル画像を生成することができる。
・上記実施形態では、標準偏差を用いて、新たなサンプル画像を生成する。新たなサンプル画像の生成方法は、標準偏差を用いる場合に限定されるものではない。例えば、ベイズ推定を用いて、サンプル画像を生成する範囲を算出してもよい。
この場合には、face1の範囲を、face0を使って新たな分布を作る。なお、face0として、初期段階の平均顔を除いて、ユーザが選択したものを用いる。
ここでは、図10に示すように、事前確率分布P(Y)(=P(Y0|X0))は、前回の探索で求めた事後確率分布とする。次に、尤度分布P(X|Y)は、ユーザが選択したサンプル画像face1の主成分値を中心とした正規分布を用いる。この場合、標準偏差sd(=α*d30)を用いる。
次に、事後確率分布(合成分布)を下記式により算出する。
P(Y|X)∝P(Y)P(X|Y)
そして、P(Y|X)を満たす乱数で、アイテムを生成する成分値を決定する。
なお、サンプル画像face1の主成分値の尤度分布P(X|Y)については、ユーザが選択しなかった成分値も考慮することも可能である。
10…ユーザ端末、20…支援サーバ、21…制御部、211…学習部、212…予測部、213…生成部、22…教師情報記憶部、23…学習結果記憶部、24…履歴情報記憶部。

Claims (5)

  1. ユーザ端末に接続される制御部を備えた探索システムであって、
    前記制御部が、
    アイテムを構成する複数の主成分において、第1成分値からなる第1アイテムと、前記第1成分値と異なる成分値からなる複数のアイテム候補とを、前記ユーザ端末に出力し、
    前記アイテム候補から、前記ユーザ端末において選択された第2アイテムを特定し、前記各主成分において、前記第1成分値と前記第2アイテムの第2成分値との距離を算出し、
    前記各主成分において、前記距離に対応して分布が広くなる成分値分布を算出し、
    前記第2アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成し、前記ユーザ端末に出力することを特徴とする探索システム。
  2. 前記制御部が、前記第1成分値の成分値分布と、前記第2成分値の成分値分布とを用いて算出した合成分布を用いて、複数のアイテム候補を新たに生成することを特徴とする請求項に記載の探索システム。
  3. 前記制御部が、
    前記アイテム候補から、前記第2アイテムとして、前記ユーザ端末において選択された好みアイテムと嫌いアイテムとを特定し、
    前記第1アイテムと、前記好みアイテムと前記嫌いアイテムとを用いて、前記距離を算出し、
    前記距離を用いて、前記好みアイテムの成分値において、前記嫌いアイテムの成分値との重なりを抑制する成分値分布を算出することを特徴とする請求項1又は2に記載の探索システム。
  4. ユーザ端末に接続される制御部を備えた探索システム、ユーザの趣向に応じたアイテムを探索する方法であって、
    前記制御部が、
    アイテムを構成する複数の主成分において、第1成分値からなる第1アイテムと、前記第1成分値と異なる成分値からなる複数のアイテム候補とを、前記ユーザ端末に出力し、
    前記アイテム候補から、前記ユーザ端末において選択された第2アイテムを特定し、前記各主成分において、前記第1成分値と前記第2アイテムの第2成分値との距離を算出し、
    前記各主成分において、前記距離に対応して分布が広くなる成分値分布を算出し、
    前記第2アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成し、前記ユーザ端末に出力することを特徴とする探索方法。
  5. ユーザ端末に接続される制御部を備えた探索システム、ユーザの趣向に応じたアイテムを探索させる探索プログラムであって、
    前記制御部を、
    アイテムを構成する複数の主成分において、第1成分値からなる第1アイテムと、前記第1成分値と異なる成分値からなる複数のアイテム候補とを、前記ユーザ端末に出力し、
    前記アイテム候補から、前記ユーザ端末において選択された第2アイテムを特定し、前記各主成分において、前記第1成分値と前記第2アイテムの第2成分値との距離を算出し、
    前記各主成分において、前記距離に対応して分布が広くなる成分値分布を算出し、
    前記第2アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成し、前記ユーザ端末に出力する手段として機能させるための探索プログラム。
JP2021103506A 2021-06-22 2021-06-22 探索システム、探索方法及び探索プログラム Active JP7174114B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021103506A JP7174114B1 (ja) 2021-06-22 2021-06-22 探索システム、探索方法及び探索プログラム
DE112022003205.7T DE112022003205T5 (de) 2021-06-22 2022-05-25 Suchsystem, Suchverfahren und Suchprogramm
US18/570,539 US20240281464A1 (en) 2021-06-22 2022-05-25 Searching system, searching method, and searching program
PCT/JP2022/021344 WO2022270203A1 (ja) 2021-06-22 2022-05-25 探索システム、探索方法及び探索プログラム
JP2022176989A JP7459215B2 (ja) 2021-06-22 2022-11-04 探索システム、探索方法及び探索プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021103506A JP7174114B1 (ja) 2021-06-22 2021-06-22 探索システム、探索方法及び探索プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022176989A Division JP7459215B2 (ja) 2021-06-22 2022-11-04 探索システム、探索方法及び探索プログラム

Publications (2)

Publication Number Publication Date
JP7174114B1 true JP7174114B1 (ja) 2022-11-17
JP2023002325A JP2023002325A (ja) 2023-01-10

Family

ID=84100516

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021103506A Active JP7174114B1 (ja) 2021-06-22 2021-06-22 探索システム、探索方法及び探索プログラム
JP2022176989A Active JP7459215B2 (ja) 2021-06-22 2022-11-04 探索システム、探索方法及び探索プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022176989A Active JP7459215B2 (ja) 2021-06-22 2022-11-04 探索システム、探索方法及び探索プログラム

Country Status (4)

Country Link
US (1) US20240281464A1 (ja)
JP (2) JP7174114B1 (ja)
DE (1) DE112022003205T5 (ja)
WO (1) WO2022270203A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039944A (ja) 2009-08-17 2011-02-24 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2012008617A (ja) 2010-06-22 2012-01-12 Kao Corp 顔画像評価方法、顔評価方法および画像処理装置
JP2021005208A (ja) 2019-06-26 2021-01-14 株式会社ラディウス・ファイブ 画像表示システム及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5035524B2 (ja) 2007-04-26 2012-09-26 花王株式会社 顔画像の合成方法及び合成装置
JP6456031B2 (ja) 2014-03-25 2019-01-23 キヤノン株式会社 画像認識装置、画像認識方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039944A (ja) 2009-08-17 2011-02-24 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2012008617A (ja) 2010-06-22 2012-01-12 Kao Corp 顔画像評価方法、顔評価方法および画像処理装置
JP2021005208A (ja) 2019-06-26 2021-01-14 株式会社ラディウス・ファイブ 画像表示システム及びプログラム

Also Published As

Publication number Publication date
US20240281464A1 (en) 2024-08-22
JP2023002325A (ja) 2023-01-10
DE112022003205T5 (de) 2024-07-25
JP7459215B2 (ja) 2024-04-01
WO2022270203A1 (ja) 2022-12-29
JP2023009129A (ja) 2023-01-19

Similar Documents

Publication Publication Date Title
US20230124063A1 (en) Media unit retrieval and related processes
JP5531443B2 (ja) 情報処理装置および方法、並びにプログラム
JP4434972B2 (ja) 情報提供システム、情報提供方法及びそのプログラム
KR20200007917A (ko) 추천 정보 획득 방법, 장치 및 전자설비
US20100229120A1 (en) Operation assisting apparatus and operation assisting method
CN109168047B (zh) 视频推荐方法、装置、服务器及存储介质
JP2006251866A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP2011060182A (ja) コンテンツ選択システム
JP7187816B2 (ja) 検索方法、検索プログラム及び検索装置
JP2008210010A (ja) コンテンツ配信方法およびシステム
JP7174114B1 (ja) 探索システム、探索方法及び探索プログラム
JP2016071881A (ja) アイテムリコメンドシステム
JP2000285127A (ja) 情報提供システム及び情報提供方法
JP3547338B2 (ja) 情報検索方法及び装置
JP2000048041A (ja) データ検索システム及びこれに用いる装置
JP2004038729A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
EP3139279A1 (en) Media unit retrieval and related processes
EP3139284A1 (en) Media unit retrieval and related processes
EP3139282A1 (en) Media unit retrieval and related processes
EP3139281A1 (en) Media unit retrieval and related processes
JP7212973B1 (ja) 電子書籍情報を検索するための使用者インターフェースを提供する方法及びこれを利用したサーバー
Shigyo et al. Visualization of Texture Expressions for Recipes by Using Reviews
Chen et al. Product form feature selection methodology based on numerical definition–based design
JP2004199437A (ja) 検索装置
EP3139286A1 (en) Media unit retrieval and related processes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221104

R150 Certificate of patent or registration of utility model

Ref document number: 7174114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150