WO2022270203A1 - 探索システム、探索方法及び探索プログラム - Google Patents

探索システム、探索方法及び探索プログラム Download PDF

Info

Publication number
WO2022270203A1
WO2022270203A1 PCT/JP2022/021344 JP2022021344W WO2022270203A1 WO 2022270203 A1 WO2022270203 A1 WO 2022270203A1 JP 2022021344 W JP2022021344 W JP 2022021344W WO 2022270203 A1 WO2022270203 A1 WO 2022270203A1
Authority
WO
WIPO (PCT)
Prior art keywords
item
component value
control unit
user terminal
image
Prior art date
Application number
PCT/JP2022/021344
Other languages
English (en)
French (fr)
Inventor
毅 永田
俊夫 笠間
秀正 前川
正義 下元
透 萩原
弘充 友澤
美恵 土屋
Original Assignee
みずほリサーチ＆テクノロジーズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by みずほリサーチ＆テクノロジーズ株式会社 filed Critical みずほリサーチ＆テクノロジーズ株式会社
Priority to DE112022003205.7T priority Critical patent/DE112022003205T5/de
Priority to US18/570,539 priority patent/US20240281464A1/en
Publication of WO2022270203A1 publication Critical patent/WO2022270203A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to a search system, search method, and search program for searching for items such as images according to user's preferences.
  • the image display system described in this document includes a first display control section that displays a reference image on the display surface.
  • the second display control unit displays a plurality of candidate images each having image information different from that of the reference image around the display area of the reference image on the display surface. Multiple candidate images are selectable.
  • a search area in a predetermined space is determined based on the image data of the reference image.
  • the search area contains image data for each of the plurality of candidate images.
  • a search system includes a control unit connected to a user terminal.
  • the control unit is configured to output, to the user terminal, a first item and a plurality of item candidates in a plurality of principal components forming an item.
  • the first item has a first component value.
  • Each of the plurality of item candidates has a component value different from the first component value.
  • the control unit is configured to identify a second item selected by the user terminal from among the plurality of item candidates.
  • the second item has a second component value as a component value different from the first component value.
  • the controller is configured to calculate the positional relationship between the first component value and the second component value for each of the plurality of principal components.
  • the controller is configured to calculate a component value distribution for each of the plurality of principal components according to the positional relationship.
  • the control unit is configured to newly generate a plurality of item candidates for the second item based on the component value distribution.
  • the control unit is configured to output a plurality of newly generated item candidates to the user terminal.
  • Explanatory drawing of the search system of embodiment. 2 is an explanatory diagram of the hardware configuration of each of the user terminal and the support server of FIG. 1 in the embodiment;
  • FIG. FIG. 2 is an explanatory diagram of a processing procedure of learning processing executed by a learning unit in FIG. 1 in the embodiment;
  • FIG. 2 is an explanatory diagram of a sample image generated by the generation unit in FIG. 1 in the embodiment;
  • FIG. 3 is an explanatory diagram of a processing procedure of prediction processing executed by the prediction unit in FIG. 1 in the embodiment;
  • it is an explanatory diagram of the display screen of the user terminal, part (a) of FIG. 6 is the first time, part (b) of FIG. 6 is the second time, part (c) of FIG.
  • FIG. 7 is an explanatory diagram of the generation of sample images executed by the generation unit of FIG. 1 in the embodiment, where (a) part of FIG. is an explanatory view when the selected image is far from the reference image;
  • FIG. 5 is an explanatory diagram of generation of a sample image executed by the generation unit of FIG. 1 in another embodiment; 4 is an explanatory diagram of sample image generation executed by the generator of FIG. 1 in another embodiment;
  • FIG. FIG. 5 is an explanatory diagram of generation of a sample image executed by the generation unit of FIG. 1 in still another embodiment;
  • FIGS. An embodiment embodying a search system, a search method, and a search program will be described according to FIGS.
  • the user searches for a favorite item according to his or her taste.
  • a face image of a person that is, a two-dimensional still image is used as an item.
  • FIG. 2 is a hardware configuration example of the information processing device H10 that functions as the user terminal 10, the support server 20, and the like.
  • the information processing device H10 has a communication device H11, an input device H12, a display device H13, a storage device H14, and a processor H15. Note that this hardware configuration is an example, and other hardware may be included.
  • the communication device H11 is an interface that executes data transmission/reception by establishing a communication path with another device, such as a network interface or a wireless interface.
  • the input device H12 is a device that receives input from the user, such as a mouse or keyboard.
  • the display device H13 is a display, a touch panel, or the like that displays various information.
  • the storage device H14 is a storage device that stores data and various programs for executing various functions of the user terminal 10 or the support server 20.
  • Examples of the storage device H14 include ROM, RAM, hard disk, and the like.
  • the processor H15 uses the programs and data stored in the storage device H14 to control each process in the user terminal 10 or the support server 20, for example, the process in the control unit 21, which will be described later.
  • Examples of the processor H15 include, for example, a CPU and an MPU.
  • the processor H15 executes various processes corresponding to various processes by deploying programs stored in the ROM or the like in the RAM. For example, when an application program of the user terminal 10 or the support server 20 is activated, the processor H15 operates a process for executing each process described below.
  • the processor H15 is not limited to performing software processing for all processes it executes.
  • the processor H15 may include a dedicated hardware circuit (for example, an application specific integrated circuit: ASIC) that performs hardware processing for at least part of the processing performed by the processor H15. That is, the processor H15 is (1) one or more processors that operate according to a computer program, (2) one or more dedicated hardware circuits that perform at least a portion of various processes, or (3) those can be configured as a circuit including a combination of
  • a processor includes a CPU and memory, such as RAM and ROM, which stores program code or instructions configured to cause the CPU to perform processes.
  • Memory or non-transitory computer-readable storage media includes any available media that can be accessed by a general purpose or special purpose computer.
  • a user terminal 10 is a computer terminal used by a user who uses this system.
  • the support server 20 is a computer system for supporting the specification of items desired by the user.
  • the support server 20 includes a control section 21 , a teacher information storage section 22 , a learning result storage section 23 and a history information storage section 24 .
  • the control unit 21 performs a search process including, for example, a learning stage, a prediction stage, a generation stage, and the like, which will be described later.
  • the control unit 21 functions as a learning unit 211, a prediction unit 212, a generation unit 213, and the like.
  • the learning unit 211 executes principal component analysis processing for calculating principal components using feature amounts that constitute teacher images as a plurality of face images.
  • the learning unit 211 performs dimensional compression of the elements, ie, the dimensions, which constitute various images by this principal component analysis processing.
  • the learning unit 211 uses principal component analysis, but is not limited to principal component analysis as long as it is a technique capable of dimension compression.
  • the learning unit 211 may use an autoencoder.
  • the prediction unit 212 performs a process of predicting the user's preference using the selected sample image, ie, the second item, with respect to the reference image, ie, the first item.
  • the generation unit 213 uses the standard deviation of the principal components to execute processing for generating a plurality of sample images, that is, item candidates. This sample image is a candidate image that can be selected by the user.
  • teacher information used for learning processing is recorded.
  • This teacher information is recorded before the learning process.
  • This training information includes data about training images belonging to the category of the item to be searched. For example, if the item category is the face of a person, facial images of various people are used as teacher images.
  • the learning result storage unit 23 records learning result information from the learning process. This learning result information is recorded when the learning process is executed. This learning result information includes data on the principal components forming the teacher image as an item. This principal component is calculated by principal component analysis on the feature amount of the teacher image.
  • the history information storage unit 24 records history information about items selected by the user. This history information is recorded when the prediction process is executed. This history information includes data on images and principal component values for each generation identifier. An initial image generated by the learning process is recorded as the first generation item. A selected image selected by the user terminal 10 is recorded as an item of the second generation or later.
  • the initial image is an average image calculated by principal component analysis of teacher information, and is a reference image presented to the user terminal 10 first.
  • a selected image is a sample image selected according to the user's preference with respect to the reference image.
  • the control unit 21 of the support server 20 executes a teacher image acquisition process (step S101). Specifically, the learning unit 211 of the control unit 21 calculates each principal component, that is, the feature amount of each dimension that constitutes each teacher image recorded in the teacher information storage unit 22 .
  • control unit 21 of the support server 20 executes principal component analysis processing (step S102). Specifically, the learning unit 211 of the control unit 21 identifies the principal component of the feature quantity by principal component analysis of the feature quantity of each teacher image. Here, the number of dimensions is compressed by limiting the number of principal components.
  • FIG. 4 shows a sample image 500 with changed principal components.
  • principal component scores that is, principal component scores
  • principal component scores are assigned in the range of "-2" to “+2" in steps of "1" for the principal component numbers "1" to "5" in descending order of contribution.
  • sample images are generated by randomly giving principal component scores.
  • prediction processing Next, prediction processing will be described with reference to FIG. Here, first, a user who uses the service accesses the support server 20 using the user terminal 10 .
  • the control unit 21 of the support server 20 executes average image generation processing (step S201). Specifically, the prediction section 212 of the control section 21 calculates the average value of each principal component recorded in the learning result storage section 23 . Next, the prediction unit 212 uses the average value of each principal component to generate an average item, that is, an average face as an initial image. Here, an image generation technique based on known machine learning is used. Then, the prediction unit 212 records information on the average value of each principal component and the average face in the history information storage unit 24 in association with the generation identifier, that is, the first generation.
  • the control unit 21 of the support server 20 executes sample image generation processing (step S202). Specifically, the generation unit 213 of the control unit 21 generates each principal component value with a random number of the standard deviation sd from the average value. Note that the generation unit 213 uses a large value that covers the teacher image as the standard deviation sd at the initial stage, that is, the initial standard deviation. Then, the generation unit 213 generates a sample image using each generated principal component value. In this embodiment, 16 sample images are generated.
  • control unit 21 of the support server 20 executes sample image output processing (step S203). Specifically, the prediction unit 212 of the control unit 21 outputs the selection screen to the display device H13 of the user terminal 10 .
  • the selection screen 510 includes a display field for the reference image 511 and a display field for the 16 sample images 512 . Each sample image 512 is randomly arranged, and the user can select one of these sample images 512 .
  • the selection screen also includes a "regenerate” button and an "end” button. If the user does not like the reference image 511 and there is no more preferred sample image 512, the user selects the "regenerate” button. If the user likes the reference image 511 but there is no more preferred sample image, the user selects the "End” button.
  • control unit 21 of the support server 20 executes determination processing as to whether or not it is a selection (step S204). Specifically, if there is a sample image 512 that suits the user's preference better than the reference image 511, the user selects the sample image that suits this preference.
  • the prediction unit 212 of the control unit 21 detects whether or not a sample image is selected on the selection screen.
  • control unit 21 of the support server 20 executes the selected image registration process (step S205). Specifically, the prediction unit 212 of the control unit 21 records information about each principal component value and the selected image in the history information storage unit 24 in association with the generation identifier, that is, the second generation.
  • control unit 21 of the support server 20 executes central component identification processing (step S206). Specifically, the prediction unit 212 of the control unit 21 identifies the selected image as a new reference image. In this case, the prediction unit 212 identifies each principal component value of the new reference image as the central component.
  • the prediction unit 212 outputs the selected image on the selection screen 520 as the reference image 521 of this generation identifier, here the second generation.
  • the control unit 21 of the support server 20 executes sample image generation processing in the vicinity of the central component (step S207). Specifically, the generation unit 213 of the control unit 21 determines the positional relationship between the principal component value of the preceding generation, that is, the first component value, and the principal component value of the current reference image, that is, the second component value. Calculate the distance d between The generation unit 213 then calculates the standard deviation sd using the distance d for each principal component. In this case, a function is used in which the standard deviation sd increases as the distance d increases. For example, the standard deviation sd is calculated using a function f that multiplies the distance d by a proportional coefficient ⁇ . This function is set so that the standard deviation sd calculated by the function is smaller than the initial standard deviation.
  • distance d02>distance d01 standard deviation sd2>standard deviation sd1.
  • the generation unit 213 generates each principal component value with respect to the central component using random numbers based on the calculated component value distribution of the standard deviation sd, for example, the normal distribution. Next, the generation unit 213 generates a sample image using each generated principal component value. Then, the control unit 21 of the support server 20 repeats the processes after the sample image output process (step S203). Here, when the control unit 21 repeatedly executes the processing after the sample image output processing, the control unit 21 increases the generation identifier by one each time the processing is repeated.
  • the sample image 512 selected on the selection screen 510 is displayed as the second-generation reference image 521 on the selection screen 520 by the process of identifying the central component in step S206. be. Further, a plurality of sample images 522 generated within the standard deviation of the reference image 521 are displayed on the selection screen 520 by the sample image generation processing in the vicinity of the central component in step S207.
  • control unit 21 of the support server 20 executes sample image output processing (step S203).
  • the sample image 522 selected on the selection screen 520 is displayed as the third-generation reference image 531 on the selection screen 530 .
  • the selection screen 530 displays a plurality of sample images 532 generated within the standard deviation of this reference image 531 .
  • the user selects a more preferable image from the sample images 532 on the selection screen 530 .
  • the sample image 532 selected on the selection screen 530 is displayed as the fourth-generation reference image 541 on the selection screen 540, as shown in part (d) of FIG.
  • the selection screen 540 displays a plurality of sample images 542 generated within the standard deviation of this reference image 541 .
  • the end button is selected.
  • step S208 determination processing is performed as to whether or not to end. Specifically, when the prediction unit 212 of the control unit 21 detects selection of the “end” button, the prediction unit 212 determines the end.
  • control unit 21 of the support server 20 performs the sample image generation processing (step S202) and subsequent processing. repeat.
  • control unit 21 of the support server 20 executes the item providing process (step S209). Specifically, the prediction unit 212 of the control unit 21 provides the user terminal 10 with the final-generation reference image.
  • a teacher image acquisition process (step S101) and a principal component analysis process (step S102) are executed.
  • a teacher image acquisition process step S101
  • a principal component analysis process step S102
  • an efficient search can be performed using dimensionality compression that narrows down the main elements that make up the image.
  • control unit 21 of the support server 20 executes average image generation processing (step S201). As a result, it is possible to search for the user's preferences, starting from an average image of the teacher images.
  • control unit 21 of the support server 20 executes sample image generation processing (step S202). This allows us to search for the user's preferences in a wide range by using a large standard deviation in the initial stage.
  • control unit 21 of the support server 20 executes sample image output processing (step S203). Thereby, the user can select a desired image while comparing the reference image and the sample image.
  • step S204 when a sample image is selected and it is determined that it is selected ("YES" in step S204), the control unit 21 of the support server 20 executes the registration process of the selected image (step S205). Thereby, the history of the transition of the images selected by the user can be recorded.
  • the control unit 21 of the support server 20 executes central component identification processing (step S206) and sample image generation processing near the central component (step S207).
  • This allows new sample images to be generated taking into account the selected images.
  • the standard deviation for generating the new sample image is determined.
  • narrowing down can be efficiently performed by changing the search range according to the distance. That is, when the distance between the selected image and the reference image is long, the search is performed in a wide range, while when the distance between the selected image and the reference image is short, the search is performed in a narrow range. can be searched for. Therefore, the item desired by the user can be specified efficiently and accurately.
  • step S208 when the “regenerate” button is selected and it is determined that the process has not ended yet (“NO” in step S208), the control unit 21 of the support server 20 generates the sample image. generation process (step S202) and subsequent processes are repeated. Accordingly, if an image satisfying the user cannot be found, the sample image can be recreated.
  • step S208 when the "end" button is selected and it is determined that the process has already ended ("YES" in step S208), the control unit 21 of the support server 20 performs the item providing process. is executed (step S209). Accordingly, it is possible to provide an image according to the user's preference.
  • This embodiment can be implemented with the following modifications.
  • This embodiment and the following modified examples can be implemented in combination with each other within a technically consistent range.
  • search targets are not limited to two-dimensional still images.
  • the above-described embodiment can be applied if the item to be searched is such that the elements constituting the item can be quantified in multiple dimensions.
  • the above-described embodiment can be applied so that three-dimensional images, moving images, voices, sentences, such as haiku and catchphrases, are set as items to be searched.
  • one more preferable sample image is selected on the selection screen.
  • the selection method is not limited to this.
  • the above embodiment may be modified so that a plurality of sample images can be selected on the selection screen.
  • the prediction unit 212 calculates distances d11, d12, and d13 between the reference image face0 and each of the selected sample images face11, face12, and face13. Then, the prediction unit 212 calculates the standard deviation sd using a function that uses the multiple distances d11, d12, and d13 as variables. Then, the prediction unit 212 calculates the center component using the statistic value of each principal component of the sample images face11, face12, and face13, for example, the average value.
  • the prediction unit 212 uses a function that calculates the standard deviation sd that generates a distribution that takes into consideration variations in the distances d11, d12, and d13. In this case, for example, the larger the variation in the distances d11, d12, and d13, the larger the standard deviation sd.
  • the user selects one more preferable sample image on the selection screen.
  • the selection method is not limited to this.
  • the selection screen may allow the user to select preferred and disliked sample images.
  • the prediction unit 212 uses the sample image face1 as a new reference image.
  • the prediction unit 212 creates a distribution in the vicinity of the sample image face1 using the standard deviation according to the distance between the sample image face1 and the reference image face0.
  • the prediction unit 212 adjusts the distribution created in the vicinity of this sample image face1 according to the distance from the disliked sample images faceX1 and faceX2.
  • the prediction unit 212 creates a distribution around the disliked sample image faceX1 using the standard deviation according to the distance between the reference image face0 and the disliked sample image faceX1.
  • the prediction unit 212 creates a distribution around the disliked sample image faceX2 using the standard deviation corresponding to the distance between the reference image face0 and the disliked sample image faceX2.
  • the prediction unit 212 suppresses the overlap between the distribution of the sample image face1 and the distribution of the disliked sample image faceX1, and the overlap between the distribution of the sample image face1 and the distribution of the disliked sample image faceX2. Adjust the distribution created in the vicinity of .
  • the prediction unit 212 makes the standard deviation sd2 of the disliked sample image faceX2 smaller than the standard deviation sd1 of the disliked sample image faceX1.
  • the prediction unit 212 may specify a component with a long distance between the reference image and the disliked sample image between the reference image and the disliked sample image. In this case, the prediction unit 212 may use the range of the reference image for the specified component as a new reference image. In addition, there is a possibility that a component with a short distance between the reference image and the disliked sample image is not effective for the user's taste. Close components may be removed from the principal components of the new reference image.
  • a new sample image can be generated in consideration of the disliked sample image.
  • the above embodiment uses the standard deviation to generate a new sample image.
  • the method of generating new sample images is not limited to the use of standard deviation.
  • Bayesian inference may be used to calculate the range for generating sample images.
  • the prediction unit 212 creates the range of face1 as a new distribution using face0.
  • face0 a face selected by the user is used except for the average face at the initial stage.
  • the prediction unit 212 uses a normal distribution centered on the principal component value of the sample image face1 selected by the user as the likelihood distribution P(X
  • Y). In this case, the prediction unit 212 uses the standard deviation sd (where sd ⁇ *d30) for the normal distribution.
  • the prediction unit 212 calculates the posterior probability distribution, that is, the composite distribution, using the following formula. P(Y
  • the prediction unit 212 can also consider component values not selected by the user for the likelihood distribution P(X

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computational Linguistics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

ユーザが所望するアイテムを探索するための探索システム、探索方法及び探索プログラムが提供される。支援サーバ（２０）は、ユーザ端末（１０）に接続される制御部（２１）を備える。制御部（２１）は、アイテムを構成する複数の主成分において、第１成分値を備える第１アイテムと、第１成分値とは異なる成分値を備える複数のアイテム候補とを、ユーザ端末（１０）に出力する。制御部（２１）は複数のアイテム候補から、ユーザ端末（１０）において選択された第２アイテムを特定する。制御部（２１）は各主成分において、第１成分値と、第２アイテムの第２成分値との位置関係を算出する。制御部（２１）は各主成分において、位置関係に応じて成分値分布を算出する。制御部（２１）は第２アイテムに対して、成分値分布に基づき複数のアイテム候補を新たに生成する。新たなアイテム候補はユーザ端末（１０）に出力される。

Description

探索システム、探索方法及び探索プログラム
　本開示は、ユーザの好みに応じて画像等のアイテムを探索するための探索システム、探索方法及び探索プログラムに関する。
　ユーザからの情報が取得されることで、ユーザの好みに応じたアイテムを探索する場合がある。例えば、ユーザに対して、多様なサンプル画像を提供する。そして、ユーザによって選択されたサンプル画像に基づいて、ユーザの所望の画像を特定する技術が検討されている（例えば、特許文献１）。この文献に記載された画像表示システムは、基準画像を表示面に表示させる第一表示制御部を備える。第二表示制御部は、基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、表示面の基準画像の表示領域の周辺において、表示させる。複数の候補画像は選択可能である。そして、基準画像の画像データに基づいて、所定空間上の探索領域が決定される。探索領域は、複数の候補画像の各々の画像データを含む。
特開２０２１－００５２０８号公報
　しかしながら、ユーザが画像を選択する基準は、多様である。このため、基準画像の画像データに基づいて決定された探索領域が的確でなければ、ユーザが所望する画像を効率的に探索することは困難である。
　本開示の一側面によって提供される探索システムは、ユーザ端末に接続される制御部を備える。そして、前記制御部が、アイテムを構成する複数の主成分において、第１アイテムと複数のアイテム候補とを、前記ユーザ端末に出力するように構成されている。前記第１アイテムは第１成分値を備えている。前記複数のアイテム候補のそれぞれは、前記第１成分値とは異なる成分値を備えている。制御部は複数の前記アイテム候補から、前記ユーザ端末において選択された第２アイテムを特定するように構成されている。第２アイテムは、前記第１成分値とは異なる成分値としての第２成分値を備えている。制御部は複数の前記主成分のそれぞれにおいて、前記第１成分値と前記第２成分値との位置関係を算出するように構成されている。制御部は複数の前記主成分のそれぞれにおいて、前記位置関係に応じて成分値分布を算出するように構成されている。制御部は前記第２アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成するように構成されている。制御部は、新たに生成された複数のアイテム候補を前記ユーザ端末に出力するように構成されている。
実施形態の探索システムの説明図。 実施形態において、図１のユーザ端末と支援サーバとのそれぞれのハードウェア構成の説明図。 実施形態において、図１の学習部が実行する学習処理の処理手順の説明図。 実施形態において、図１の生成部が生成するサンプル画像の説明図。 実施形態において、図１の予測部が実行する予測処理の処理手順の説明図。 実施形態において、ユーザ端末の表示画面の説明図であって、図６の（ａ）部分は初回、図６の（ｂ）部分は２回目、図６の（ｃ）部分は３回目、図６の（ｄ）部分は４回目の選択画面を表示する表示画面の説明図。 実施形態において、図１の生成部によって実行されるサンプル画像の生成の説明図であって、図７の（ａ）部分は基準画像に対して選択画像が近い場合、図７の（ｂ）部分は基準画像に対して選択画像が遠い場合の説明図。 他の実施形態において、図１の生成部によって実行されるサンプル画像の生成の説明図。 別の他の実施形態において、図１の生成部によって実行されるサンプル画像の生成の説明図。 さらに他の実施形態において、図１の生成部によって実行されるサンプル画像の生成の説明図。
　図１～図７に従って、探索システム、探索方法及び探索プログラムを具体化した一実施形態を説明する。本実施形態では、ユーザが、趣向に応じて好みのアイテムを探索する場合を想定する。ここでは、アイテムとして、人物の顔画像すなわち２次元の静止画像を用いる。
　図１に示すように、本実施形態の探索システムは、ネットワークを介して互いに接続されたユーザ端末１０及び支援サーバ２０を用いる。
　（ハードウェア構成例）
　図２は、ユーザ端末１０と支援サーバ２０等とのそれぞれとして機能する情報処理装置Ｈ１０のハードウェア構成例である。
　情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶装置Ｈ１４、及びプロセッサＨ１５を有する。なお、このハードウェア構成は一例であり、他のハードウェアを有していてもよい。
　通信装置Ｈ１１は、他の装置との間で通信経路を確立することで、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。
　入力装置Ｈ１２は、ユーザ等からの入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイやタッチパネル等である。
　記憶装置Ｈ１４は、ユーザ端末１０又は支援サーバ２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶装置Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、又はハードディスク等がある。
　プロセッサＨ１５は、記憶装置Ｈ１４に記憶されるプログラムやデータを用いて、ユーザ端末１０又は支援サーバ２０における各処理を、例えば後述する制御部２１における処理を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開することで、各種処理に対応する各種プロセスを実行する。例えば、プロセッサＨ１５は、ユーザ端末１０又は支援サーバ２０のアプリケーションプログラムが起動された場合、後述する各処理を実行するプロセスを動作させる。
　プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、（１）コンピュータプログラムに従って動作する１つ以上のプロセッサ、（２）各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは（３）それらの組み合わせ、を含む回路として構成し得る。プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわち非一時的なコンピュータ読取可能な記憶媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
　（各情報処理装置の機能）
　図１を用いて、ユーザ端末１０及び支援サーバ２０の機能を説明する。
　ユーザ端末１０は、本システムを利用するユーザが用いるコンピュータ端末である。
　支援サーバ２０は、ユーザが所望するアイテムの特定を支援するためのコンピュータシステムである。この支援サーバ２０は、制御部２１、教師情報記憶部２２、学習結果記憶部２３、及び履歴情報記憶部２４を備えている。
　制御部２１は、後述する処理を、例えば学習段階、予測段階、及び生成段階等を含む探索処理を行なう。このための探索プログラムを実行することにより、制御部２１は、学習部２１１、予測部２１２、及び生成部２１３等として機能する。
　学習部２１１は、複数の顔画像としての教師画像を構成する特徴量を用いて、主成分を算出する主成分分析処理を実行する。学習部２１１はこの主成分分析処理により、多様な画像を構成する要素すなわち次元の、次元圧縮を行なう。本実施形態では学習部２１１は、主成分分析を用いるが、次元圧縮できる手法であれば主成分分析に限定されない。例えばオートエンコーダを学習部２１１は用いてもよい。
　予測部２１２は、基準画像すなわち第１アイテムに対して、選択されたサンプル画像すなわち第２アイテムを用いて、ユーザの好みを予測する処理を実行する。
　生成部２１３は、主成分の標準偏差を用いて、複数のサンプル画像すなわちアイテム候補を生成する処理を実行する。このサンプル画像は、ユーザが選択可能な候補画像である。
　教師情報記憶部２２には、学習処理に用いる教師情報が記録される。この教師情報は、学習処理前に記録される。この教師情報は、検索対象のアイテムのカテゴリに属する教師画像に関するデータを含む。例えば、アイテムのカテゴリとして、人物の顔を対象とする場合には、多様な人物の顔画像が教師画像として用いられる。
　学習結果記憶部２３は、学習処理による学習結果情報を記録する。この学習結果情報は、学習処理を実行した場合に記録される。この学習結果情報は、アイテムとしての教師画像を構成する主成分に関するデータを含む。この主成分は、教師画像の特徴量に対する主成分分析により算出される。
　履歴情報記憶部２４は、ユーザによって選択されたアイテムについての履歴情報を記録する。この履歴情報は、予測処理の実行時に記録される。この履歴情報は、世代識別子毎に、画像と主成分値とに関するデータを含む。第１世代のアイテムとしては、学習処理によって生成された初期画像が記録される。第２世代以降のアイテムとしては、ユーザ端末１０において選択された選択画像が記録される。
　初期画像は、教師情報の主成分分析により算出された平均画像であって、最初にユーザ端末１０に提示される基準画像である。選択画像は、基準画像に対して、ユーザの好みに応じて選択されたサンプル画像である。
　（学習処理）
　次に、図３を用いて、学習処理を説明する。
　まず、支援サーバ２０の制御部２１は、教師画像の取得処理を実行する（ステップＳ１０１）。具体的には、制御部２１の学習部２１１は、教師情報記憶部２２に記録された各教師画像を構成する各主成分すなわち各次元の特徴量を算出する。
　次に、支援サーバ２０の制御部２１は、主成分分析処理を実行する（ステップＳ１０２）。具体的には、制御部２１の学習部２１１は、各教師画像の特徴量の主成分分析により、特徴量の主成分を特定する。ここで、主成分の数に制限を設けることにより、次元数を圧縮する。
　図４に、主成分を変更したサンプル画像５００を示す。サンプル画像５００は、寄与度が高い順番に、主成分番号「１」～「５」について、主成分得点すなわち主成分スコアを、「－２」～「＋２」の範囲で「１」刻みで振ることで生成した画像例である。実際の処理は、後述するように、ランダムに主成分得点を与えることでサンプル画像を生成する。
　（予測処理）
　次に、図５を用いて、予測処理を説明する。ここでは、まず、サービスを利用するユーザは、ユーザ端末１０を用いて、支援サーバ２０にアクセスする。
　この場合、支援サーバ２０の制御部２１は、平均画像の生成処理を実行する（ステップＳ２０１）。具体的には、制御部２１の予測部２１２は、学習結果記憶部２３に記録された各主成分の平均値を算出する。次に、予測部２１２は、各主成分の平均値を用いて、平均的なアイテムを、すなわち初期画像としての平均顔を生成する。ここでは、公知の機械学習による画像生成技術を用いる。そして、予測部２１２は、世代識別子すなわち第１世代に関連付けて、各主成分の平均値と、平均顔とに関する情報を履歴情報記憶部２４に記録する。
　次に、支援サーバ２０の制御部２１は、サンプル画像の生成処理を実行する（ステップＳ２０２）。具体的には、制御部２１の生成部２１３は、平均値に対して、標準偏差ｓｄの乱数により、各主成分値を生成する。なお生成部２１３は、初期段階の標準偏差ｓｄ、すなわち初期標準偏差としては、教師画像を網羅するような大きな値を用いる。そして、生成部２１３は、生成した各主成分値を用いて、サンプル画像を生成する。本実施形態では、１６個のサンプル画像を生成する。
　次に、支援サーバ２０の制御部２１は、サンプル画像の出力処理を実行する（ステップＳ２０３）。具体的には、制御部２１の予測部２１２は、ユーザ端末１０の表示装置Ｈ１３に、選択画面を出力する。
　図６の（ａ）部分に示すように、選択画面５１０は、基準画像５１１の表示欄と、及び１６個のサンプル画像５１２の表示欄とを含む。各サンプル画像５１２はランダムに配置されており、ユーザはこれらサンプル画像５１２のうちのいずれかを選択可能である。また、選択画面は、「再生成」ボタンと、「終了」ボタンとを含む。ユーザは、基準画像５１１が好みではないとともに、より好ましいサンプル画像５１２も存在しない場合には、「再生成」ボタンを選択する。またユーザは、基準画像５１１が好みである一方、より好ましいサンプル画像が存在しない場合には、「終了」ボタンを選択する。
　次に、支援サーバ２０の制御部２１は、選択かどうかについての判定処理を実行する（ステップＳ２０４）。具体的には、ユーザは、基準画像５１１よりも好みに合うサンプル画像５１２がある場合には、この好みに合うサンプル画像を選択する。制御部２１の予測部２１２は、選択画面において、サンプル画像の選択の有無を検知する。
　サンプル画像が選択されたと判定した場合（ステップＳ２０４において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、選択画像の登録処理を実行する（ステップＳ２０５）。具体的には、制御部２１の予測部２１２は、世代識別子すなわち第２世代に関連付けて、各主成分値と選択画像とに関する情報を履歴情報記憶部２４に記録する。
　次に、支援サーバ２０の制御部２１は、中心成分の特定処理を実行する（ステップＳ２０６）。具体的には、制御部２１の予測部２１２は、選択画像を、新たな基準画像として特定する。この場合、予測部２１２は、新たな基準画像の各主成分値を、中心成分として特定する。
　そして、図６の（ｂ）部分に示すように、予測部２１２は、選択画面５２０において、選択画像を、この世代識別子の、ここでは第２世代の基準画像５２１として出力する。
　次に、支援サーバ２０の制御部２１は、中心成分近傍でサンプル画像の生成処理を実行する（ステップＳ２０７）。具体的には、制御部２１の生成部２１３は、各主成分の位置関係として、先行世代の主成分値すなわち第１成分値と、現在の基準画像の主成分値すなわち第２成分値との間の距離ｄを算出する。そして、生成部２１３は、主成分毎の距離ｄを用いて標準偏差ｓｄを算出する。この場合、距離ｄが大きい程、標準偏差ｓｄが大きくなる関数を用いる。例えば、距離ｄに比例係数αを乗算する関数ｆを用いて、標準偏差ｓｄを算出する。なお、この関数は、関数によって算出される標準偏差ｓｄが初期標準偏差よりも小さくなるように、設定しておく。
　図７の（ａ）部分に示すように、先行の基準画像face０と、選択画像face１との間の距離が距離ｄ０１の場合、標準偏差ｓｄ１（ただし、ｓｄ１＝α＊ｄ０１）を用いる。図７の（ｂ）部分に示すように、先行の基準画像face０と、選択画像face１との間の距離が距離ｄ０２の場合、標準偏差ｓｄ２（ただし、ｓｄ２＝α＊ｄ０２）を用いる。ここで、距離ｄ０２＞距離ｄ０１の場合には、標準偏差ｓｄ２＞標準偏差ｓｄ１となる。
　そして、生成部２１３は、中心成分に対して、算出した標準偏差ｓｄの成分値分布、例えば正規分布に基づいた乱数により、各主成分値を生成する。次に、生成部２１３は、生成した各主成分値を用いて、サンプル画像を生成する。そして、支援サーバ２０の制御部２１は、サンプル画像の出力処理（ステップＳ２０３）以降の処理を繰り返す。ここで制御部２１は、サンプル画像の出力処理以降の処理を繰り返して実行する場合、処理を繰り返すたびに、世代識別子を１つ増やす。
　図６の（ｂ）部分に示すように、ステップＳ２０６の中心成分の特定処理によって、選択画面５２０においては、選択画面５１０で選択されたサンプル画像５１２が、第２世代の基準画像５２１として表示される。また、ステップＳ２０７の中心成分近傍でサンプル画像の生成処理によって、選択画面５２０には、基準画像５２１の標準偏差内で生成された複数のサンプル画像５２２が表示される。
　その後、ユーザが、選択画面５２０のサンプル画像５２２において、より好ましい画像を選択すると、支援サーバ２０の制御部２１は、サンプル画像の出力処理（ステップＳ２０３）を実行する。
　この場合、図６の（ｃ）部分に示すように、選択画面５３０においては、選択画面５２０で選択されたサンプル画像５２２が、第３世代の基準画像５３１として表示される。また、選択画面５３０には、この基準画像５３１の標準偏差内で生成された複数のサンプル画像５３２を表示する。
　その後、ユーザは、選択画面５３０のサンプル画像５３２において、より好ましい画像を選択する。
　この場合、図６の（ｄ）部分に示すように、選択画面５４０においては、選択画面５３０で選択されたサンプル画像５３２が、第４世代の基準画像５４１として表示される。また、選択画面５４０には、この基準画像５４１の標準偏差内で生成された複数のサンプル画像５４２を表示する。ここで、基準画像５４１よりも好ましいサンプル画像５４２がない場合には、終了ボタンを選択する。
　一方、「再生成」ボタン又は「終了」ボタンが選択されて、選択でないと判定した場合（ステップＳ２０４において「ＮＯ」の場合）、終了かどうかについての判定処理を実行する（ステップＳ２０８）。具体的には、制御部２１の予測部２１２は、「終了」ボタンの選択を検知した場合に、終了と判定する。
　なお、「再生成」ボタンが選択されて、終了でないと判定した場合（ステップＳ２０８において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、サンプル画像の生成処理（ステップＳ２０２）以降の処理を繰り返す。
　その後、「終了」ボタンが選択されることにより終了と判定した場合（ステップＳ２０８において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、アイテムの提供処理を実行する（ステップＳ２０９）。具体的には、制御部２１の予測部２１２は、ユーザ端末１０に、最終世代の基準画像を提供する。
　本実施形態によれば、以下のような効果を得ることができる。
　（１）本実施形態においては、教師画像の取得処理（ステップＳ１０１）と、主成分分析処理（ステップＳ１０２）とを実行する。これにより、画像を構成する主な要素を絞り込む次元圧縮を用いて、効率的な探索を行なうことができる。
　（２）本実施形態においては、支援サーバ２０の制御部２１は、平均画像の生成処理を実行する（ステップＳ２０１）。これにより、教師画像における平均的な画像を出発点として、ユーザの好みを探索することができる。
　（３）本実施形態においては、支援サーバ２０の制御部２１は、サンプル画像の生成処理を実行する（ステップＳ２０２）。これにより、初期段階では、大きな標準偏差を用いることにより、広い範囲で、ユーザの好みを探索することができる。
　（４）本実施形態においては、支援サーバ２０の制御部２１は、サンプル画像の出力処理を実行する（ステップＳ２０３）。これにより、ユーザは基準画像とサンプル画像とを比較しながら、好みの画像を選択することができる。
　（５）本実施形態においては、サンプル画像が選択されて、選択と判定した場合（ステップＳ２０４において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、選択画像の登録処理を実行する（ステップＳ２０５）。これにより、ユーザが選択した画像の遷移の履歴を記録することができる。
　（６）本実施形態においては、支援サーバ２０の制御部２１は、中心成分の特定処理（ステップＳ２０６）と、中心成分近傍でのサンプル画像の生成処理（ステップＳ２０７）とを実行する。これにより、選択された画像を考慮して、新たなサンプル画像を生成することができる。この場合、選択された画像と基準画像との間の距離に応じて、新たなサンプル画像を生成するための標準偏差を決定する。これにより、距離に応じて探索範囲を変更することで、効率的に絞り込みを行なうことができる。すなわち、選択された画像と基準画像との間の距離が遠い場合には、広い範囲での探索を行なう一方、選択された画像と基準画像との間の距離が近い場合には、狭い範囲での探索を行なうことができる。よって、ユーザが所望するアイテムを、効率的かつ的確に特定することができる。
　（７）本実施形態においては、「再生成」ボタンが選択されることにより、まだ終了でないと判定した場合（ステップＳ２０８において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、サンプル画像の生成処理（ステップＳ２０２）以降の処理を繰り返す。これにより、ユーザが納得できる画像が見つからない場合、サンプル画像を作り直すことができる。
　（８）本実施形態においては、「終了」ボタンが選択されることにより、もう終了と判定した場合（ステップＳ２０８において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、アイテムの提供処理を実行する（ステップＳ２０９）。これにより、ユーザの好みに応じた画像を提供することができる。
　本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
　・上記実施形態では、ユーザが好むアイテムとして、２次元の静止画像が探索される場合が想定されている。しかし探索対象は、２次元の静止画像に限定されない。アイテムを構成する要素が複数次元で数値化できるような、アイテムが探索対象であれば、上記実施形態を適用可能である。例えば、３次元画像、動画、音声、文章、例えば俳句やキャッチコピー等を探索対象のアイテムとするように、上記実施形態を適用可能である。
　・上記実施形態は、選択画面において、より好ましい一つのサンプル画像を選択する。選択方法はこれに限定されるものではない。例えば、選択画面において、複数のサンプル画像を選択できるように上記実施形態を変更してもよい。
　図８に示すように、基準画像face０に対して、複数のサンプル画像face１１，face１２，face１３が選択された場合を想定する。この場合には、予測部２１２は、基準画像face０と、選択された各サンプル画像face１１，face１２，及びface１３のそれぞれとの間の距離ｄ１１，ｄ１２，及びｄ１３を算出する。そして、予測部２１２は、標準偏差ｓｄを、複数の距離ｄ１１，ｄ１２，及びｄ１３を変数とする関数により算出する。そして予測部２１２は、サンプル画像face１１，face１２，及びface１３の各主成分の統計値、例えば平均値を用いて、中心成分を算出する。
　例えば予測部２１２は、距離ｄ１１，ｄ１２，及びｄ１３のばらつきを考慮した分布を生成する標準偏差ｓｄを算出する関数を用いる。この場合には、例えば、距離ｄ１１，ｄ１２，ｄ１３のばらつきが大きい程、標準偏差ｓｄを大きくする。
　これにより、選択された複数のサンプル画像を用いて、好みを探索することができる。
　・上記実施形態ではユーザが、選択画面において、より好ましい一つのサンプル画像を選択する。選択方法はこれに限定されるものではない。例えば、選択画面においてユーザが、好ましいサンプル画像及び嫌いなサンプル画像を選択できるようにしてもよい。
　図９に示すように、基準画像face０に対して、好ましいサンプル画像face１と、嫌いなサンプル画像faceＸ１と、及び嫌いなサンプル画像faceＸ２とがユーザによって選択された場合を想定する。
　この場合、予測部２１２は、新たな基準画像として、サンプル画像face１を用いる。予測部２１２は、サンプル画像face１の近傍に、サンプル画像face１と基準画像face０との間の距離に応じた標準偏差を用いて分布を作成する。
　更に予測部２１２は、このサンプル画像face１の近傍に作成された分布を、嫌いなサンプル画像faceＸ１，faceＸ２との距離に応じて調整する。この調整をするべく、予測部２１２は、嫌いなサンプル画像faceＸ１の周囲には、基準画像face０と嫌いなサンプル画像faceＸ１との間の距離に応じた標準偏差を用いて分布を作成する。予測部２１２は、嫌いなサンプル画像faceＸ２の周囲には、基準画像face０と嫌いなサンプル画像faceＸ２との間の距離に応じた標準偏差を用いて分布を作成する。そして予測部２１２は、サンプル画像face１の分布と嫌いなサンプル画像faceＸ１の分布との重なりと、サンプル画像face１の分布と嫌いなサンプル画像faceＸ２の分布との重なりとを抑制するように、サンプル画像face１の近傍に作成された分布を調整する。
　図９では、基準画像face０とサンプル画像face１との間の距離ｄ２０に応じた標準偏差を用いてサンプル画像face１の近傍に作成された分布において、嫌いなサンプル画像faceＸ１側の標準偏差ｓｄ１と、嫌いなサンプル画像faceＸ２側の標準偏差ｓｄ２とで、互いに異なる値を用いる。具体的には、サンプル画像face１の分布において、嫌いなサンプル画像に近い側の標準偏差ｓｄ２を小さくすることで、サンプル画像face１の分布が嫌いなサンプル画像の分布とは重ならないようにサンプル画像face１の分布を調整する。すなわち、サンプル画像face１と嫌いなサンプル画像faceＸ２との間の距離は、サンプル画像face１と嫌いなサンプル画像faceＸ１との間の距離よりも小さい。よって予測部２１２は、嫌いなサンプル画像faceＸ２側の標準偏差ｓｄ２を、嫌いなサンプル画像faceＸ１側の標準偏差ｓｄ１よりも小さくした。
　また予測部２１２は、基準画像と、嫌いなサンプル画像とで、基準画像と嫌いなサンプル画像との間の距離が長い成分を特定してもよい。この場合に予測部２１２は、この特定された成分については基準画像の範囲を、新たな基準画像に利用するようにしてもよい。また、基準画像と嫌いなサンプル画像との間の距離が近い成分は、ユーザの趣向に効いていない可能性があるので、予測部２１２は、基準画像と嫌いなサンプル画像との間の距離が近い成分を、新たな基準画像の主成分から除くようにしてもよい。
　これにより、嫌いなサンプル画像を考慮して、新たなサンプル画像を生成することができる。
　・上記実施形態は、標準偏差を用いて、新たなサンプル画像を生成する。しかし新たなサンプル画像の生成方法は、標準偏差を用いる場合に限定されるものではない。例えば、ベイズ推定を用いて、サンプル画像を生成する範囲を算出してもよい。
　この場合には予測部２１２は、face１の範囲を、face０を使って新たな分布として作る。なお、face０として、初期段階の平均顔を除いて、ユーザが選択したものを用いる。
　ここでは、図１０に示すように、事前確率分布Ｐ（Ｙ）（ただし、Ｐ（Ｙ）＝Ｐ（Ｙ０｜Ｘ０））として予測部２１２は、前回の探索で求めた事後確率分布を用いる。次に、尤度分布Ｐ（Ｘ｜Ｙ）として予測部２１２は、ユーザが選択したサンプル画像face１の主成分値を中心とした、正規分布を用いる。この場合、予測部２１２は、正規分布には標準偏差ｓｄ（ただし、ｓｄ＝α＊ｄ３０）を用いる。
　次に予測部２１２は、事後確率分布すなわち合成分布を、下記式により算出する。
　Ｐ（Ｙ｜Ｘ）∝Ｐ（Ｙ）Ｐ（Ｘ｜Ｙ）
　そして予測部２１２は、Ｐ（Ｙ｜Ｘ）を満たす乱数で、アイテムを生成する成分値を決定する。
　なお、サンプル画像face１の主成分値の尤度分布Ｐ（Ｘ｜Ｙ）について予測部２１２は、ユーザが選択しなかった成分値も考慮することも可能である。

Claims (6)

  1. 　探索システムであって、前記探索システムはユーザ端末に接続される制御部を備えており、
    　前記制御部が、
    　アイテムを構成する複数の主成分において、第１アイテムと複数のアイテム候補とを前記ユーザ端末に出力し、前記第１アイテムは第１成分値を備えており、前記複数のアイテム候補のそれぞれは前記第１成分値とは異なる成分値を備えており、
    　複数の前記アイテム候補から、前記ユーザ端末において選択された第２アイテムを特定し、前記第２アイテムは前記第１成分値とは異なる成分値としての第２成分値を備えており、
    　複数の前記主成分のそれぞれにおいて、前記第１成分値と前記第２成分値との位置関係を算出し、
    　複数の前記主成分のそれぞれにおいて、前記位置関係に応じて成分値分布を算出し、
    　前記第２アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成し、及び
    　新たに生成された複数の前記アイテム候補を前記ユーザ端末に出力するように構成されている、
    　探索システム。
  2. 　前記制御部が、前記成分値分布を、前記第１成分値と前記第２成分値との間の距離に応じて算出するように構成されている、
    　請求項１に記載の探索システム。
  3. 　前記制御部が、
    　前記第１成分値の前記成分値分布と、前記第２成分値の前記成分値分布とを用いて合成分布を算出し、
    　前記合成分布を用いて、複数の前記アイテム候補を新たに生成するように構成されている、
    　請求項２に記載の探索システム。
  4. 　前記制御部が、
    　複数の前記アイテム候補から、前記第２アイテムとして、前記ユーザ端末において選択された好みアイテムと嫌いアイテムとを特定し、
    　前記第１アイテム、前記好みアイテム、及び前記嫌いアイテムを用いて、前記位置関係を算出し、
    　前記成分値分布と前記嫌いアイテムの成分値との重なりが抑制されるように前記成分値分布を算出するように構成されている、
    　請求項１～３の何れか一項に記載の探索システム。
  5. 　探索システムを用いて、ユーザの趣向に応じたアイテムを探索する方法であって、前記探索システムはユーザ端末に接続される制御部を備えており、前記方法は、
    　前記制御部によって、アイテムを構成する複数の主成分において、第１アイテムと複数のアイテム候補とを前記ユーザ端末に出力することであって、前記第１アイテムは第１成分値を備えており、複数の前記アイテム候補のそれぞれは前記第１成分値とは異なる成分値を備えていることと、
    　前記制御部によって、複数の前記アイテム候補から、前記ユーザ端末において選択された第２アイテムを特定することであって、前記第２アイテムは前記第１成分値とは異なる成分値としての第２成分値を備えていることと、
    　前記制御部によって、複数の前記主成分のそれぞれにおいて、前記第１成分値と前記第２成分値との位置関係を算出することと、
    　前記制御部によって、複数の前記主成分のそれぞれにおいて、前記位置関係に応じて成分値分布を算出することと、
    　前記制御部によって、前記第２アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成することと、
    　前記制御部によって、新たに生成された複数の前記アイテム候補を前記ユーザ端末に出力することと、
    を備えている、探索方法。
  6. 　ユーザ端末に接続される制御部を備えた探索システムを用いて、ユーザの趣向に応じたアイテムを探索する探索処理をプロセッサに実行させる探索プログラムであって、
    　前記制御部は前記プロセッサを備えており、前記探索処理は、
    　前記制御部によって、アイテムを構成する複数の主成分において、第１アイテムと複数のアイテム候補とを前記ユーザ端末に出力することであって、前記第１アイテムは第１成分値を有しており、前記複数のアイテム候補のそれぞれは前記第１成分値とは異なる成分値を備えている、出力することと、
    　前記制御部によって、複数の前記アイテム候補から、前記ユーザ端末において選択された第２アイテムを特定することであって、前記第２アイテムは前記第１成分値とは異なる成分値としての第２成分値を有する、特定することと、
    　前記制御部によって、複数の前記主成分のそれぞれにおいて、前記第１成分値と前記第２成分値との位置関係を算出することと、
    　前記制御部によって、複数の前記主成分のそれぞれにおいて、前記位置関係に応じて成分値分布を算出することと、
    　前記制御部によって、前記第２アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成することと、
    　前記制御部によって、新たに生成された前記複数のアイテム候補を前記ユーザ端末に出力することと、を備えている、探索プログラム。
PCT/JP2022/021344 2021-06-22 2022-05-25 探索システム、探索方法及び探索プログラム WO2022270203A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112022003205.7T DE112022003205T5 (de) 2021-06-22 2022-05-25 Suchsystem, Suchverfahren und Suchprogramm
US18/570,539 US20240281464A1 (en) 2021-06-22 2022-05-25 Searching system, searching method, and searching program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021103506A JP7174114B1 (ja) 2021-06-22 2021-06-22 探索システム、探索方法及び探索プログラム
JP2021-103506 2021-06-22

Publications (1)

Publication Number Publication Date
WO2022270203A1 true WO2022270203A1 (ja) 2022-12-29

Family

ID=84100516

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021344 WO2022270203A1 (ja) 2021-06-22 2022-05-25 探索システム、探索方法及び探索プログラム

Country Status (4)

Country Link
US (1) US20240281464A1 (ja)
JP (2) JP7174114B1 (ja)
DE (1) DE112022003205T5 (ja)
WO (1) WO2022270203A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039944A (ja) * 2009-08-17 2011-02-24 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2012008617A (ja) * 2010-06-22 2012-01-12 Kao Corp 顔画像評価方法、顔評価方法および画像処理装置
JP2021005208A (ja) * 2019-06-26 2021-01-14 株式会社ラディウス・ファイブ 画像表示システム及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5035524B2 (ja) 2007-04-26 2012-09-26 花王株式会社 顔画像の合成方法及び合成装置
JP6456031B2 (ja) 2014-03-25 2019-01-23 キヤノン株式会社 画像認識装置、画像認識方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039944A (ja) * 2009-08-17 2011-02-24 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2012008617A (ja) * 2010-06-22 2012-01-12 Kao Corp 顔画像評価方法、顔評価方法および画像処理装置
JP2021005208A (ja) * 2019-06-26 2021-01-14 株式会社ラディウス・ファイブ 画像表示システム及びプログラム

Also Published As

Publication number Publication date
US20240281464A1 (en) 2024-08-22
JP2023002325A (ja) 2023-01-10
DE112022003205T5 (de) 2024-07-25
JP7174114B1 (ja) 2022-11-17
JP7459215B2 (ja) 2024-04-01
JP2023009129A (ja) 2023-01-19

Similar Documents

Publication Publication Date Title
US20230124063A1 (en) Media unit retrieval and related processes
JP4434972B2 (ja) 情報提供システム、情報提供方法及びそのプログラム
JP2005509964A (ja) 選択された第三者の好みに基づいて興味のあるアイテムを推薦するための方法及び装置
CN109168047B (zh) 视频推荐方法、装置、服务器及存储介质
JP2011060182A (ja) コンテンツ選択システム
CN106663210B (zh) 基于感受的多媒体处理
US20050257127A1 (en) Document production assist apparatus, document production assist program and storage medium, and document production assist method
JP2008210010A (ja) コンテンツ配信方法およびシステム
JP5945206B2 (ja) 商品推薦装置及び方法及びプログラム
JP5056803B2 (ja) 情報提供サーバ及び情報提供方法
CN108647985B (zh) 一种物品推荐方法和装置
JP2016071881A (ja) アイテムリコメンドシステム
WO2022270203A1 (ja) 探索システム、探索方法及び探索プログラム
JP2008009729A (ja) コンテンツ配信方法および装置
Kim et al. Key Color generation for affective multimedia production: an initial method and its application
JP2011158980A (ja) 消費者情報処理装置
JP3547338B2 (ja) 情報検索方法及び装置
JP4266511B2 (ja) 情報提供サーバ及び情報提供方法
JP2000048041A (ja) データ検索システム及びこれに用いる装置
JP5056801B2 (ja) 情報提供サーバ及び情報提供方法
JP4375388B2 (ja) 情報提供サーバ及び情報提供方法
EP3139282A1 (en) Media unit retrieval and related processes
EP3139284A1 (en) Media unit retrieval and related processes
JP7212973B1 (ja) 電子書籍情報を検索するための使用者インターフェースを提供する方法及びこれを利用したサーバー
JP5056802B2 (ja) 情報提供サーバ及び情報提供方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22828122

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18570539

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112022003205

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22828122

Country of ref document: EP

Kind code of ref document: A1