JP7356665B2

JP7356665B2 - Shoe data generation device, shoe data generation method, shoe data generation program

Info

Publication number: JP7356665B2
Application number: JP2021179629A
Authority: JP
Inventors: アンドレアス上野オラウソン
Original assignee: Virtusize AB
Current assignee: Virtusize AB
Priority date: 2021-11-02
Filing date: 2021-11-02
Publication date: 2023-10-05
Anticipated expiration: 2041-11-02
Also published as: JP2023068480A

Description

本発明は、ユーザに対して靴を提示する靴提示装置に登録される靴のデータを生成する技術に関する。 The present invention relates to a technique for generating shoe data to be registered in a shoe presentation device that presents shoes to a user.

特許文献１は、ユーザに対して靴およびインソールを推薦する技術を開示する。ユーザの足に関する足データ、靴に関する靴データ、インソールに関するインソールデータの比較によって、ユーザの足に適合する靴とインソールの組合せが推薦される。 Patent Document 1 discloses a technique for recommending shoes and insoles to a user. By comparing foot data regarding the user's feet, shoe data regarding the shoes, and insole data regarding the insole, a combination of shoes and insole that is suitable for the user's feet is recommended.

特表２０１７－５３４９３７号公報Special Publication No. 2017-534937

従来の靴提示装置または靴推薦装置では、ユーザの足データ等と的確に比較できる態様で靴データが登録されていない場合も多く、ユーザにとって最適な靴が必ずしも提示または推薦されないという問題があった。 In conventional shoe presentation devices or shoe recommendation devices, shoe data is often not registered in a manner that can be accurately compared with the user's foot data, etc., and there is a problem in that the shoes that are most suitable for the user are not necessarily presented or recommended. .

本発明はこうした状況に鑑みてなされたものであり、その目的は、靴提示装置に適した態様の靴データを生成できる靴データ生成装置等を提供することにある。 The present invention has been made in view of these circumstances, and an object of the present invention is to provide a shoe data generation device and the like that can generate shoe data in a form suitable for a shoe presentation device.

上記課題を解決するために、本発明のある態様の靴データ生成装置は、ユーザに対して靴を提示する靴提示装置に登録される靴のデータを生成する靴データ生成装置であって、靴の画像を取得する靴画像取得部と、画像から靴に関するメタデータを生成する靴メタデータ生成部と、を備える。この態様によれば、靴提示装置に適した態様の靴データ（靴に関するメタデータ）を靴の画像から生成できる。 In order to solve the above problems, a shoe data generation device according to an aspect of the present invention is a shoe data generation device that generates data on shoes to be registered in a shoe presentation device that presents shoes to a user. and a shoe metadata generation section that generates metadata related to shoes from the images. According to this aspect, shoe data (metadata regarding shoes) suitable for the shoe presentation device can be generated from the shoe image.

本発明の別の態様は、靴データ生成方法である。この方法は、ユーザに対して靴を提示する靴提示装置に登録される靴のデータを生成する靴データ生成方法であって、靴の画像を取得する靴画像取得ステップと、画像から靴に関するメタデータを生成する靴メタデータ生成ステップと、を備える。 Another aspect of the present invention is a shoe data generation method. This method is a shoe data generation method for generating shoe data to be registered in a shoe presentation device that presents shoes to a user. A shoe metadata generation step of generating data.

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 Note that arbitrary combinations of the above-mentioned components and expressions of the present invention converted between methods, devices, systems, recording media, computer programs, etc. are also effective as aspects of the present invention.

本発明によれば、靴提示装置に適した態様の靴データを生成できる。 According to the present invention, shoe data suitable for a shoe presentation device can be generated.

靴データ生成装置を示す機能ブロック図である。FIG. 2 is a functional block diagram showing a shoe data generation device. 靴画像取得部が取得した靴の画像の例を示す。An example of a shoe image acquired by the shoe image acquisition unit is shown. 靴画像取得部が取得した靴の画像の例および靴輪郭取得部が当該画像から取得した靴の輪郭の例を示す。An example of a shoe image acquired by a shoe image acquisition unit and an example of a shoe outline acquired from the image by a shoe contour acquisition unit are shown. 靴検索システムを示す機能ブロック図である。FIG. 1 is a functional block diagram showing a shoe search system.

以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。説明または図面において同一または同等の構成要素、部材、処理には同一の符号を付し、重複する説明は適宜省略する。図示される各部の縮尺や形状は、説明を容易にするために便宜的に設定されており、特に言及がない限り限定的に解釈されるものではない。実施形態は例示であり、本発明の範囲を何ら限定するものではない。実施形態に記載される全ての特徴やそれらの組合せは、必ずしも発明の本質的なものであるとは限らない。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings. In the description or the drawings, the same or equivalent components, members, and processes are denoted by the same reference numerals, and overlapping explanations will be omitted as appropriate. The scales and shapes of the parts shown in the figures are set for convenience to facilitate explanation, and should not be interpreted in a limited manner unless otherwise stated. The embodiments are illustrative and do not limit the scope of the present invention. Not all features or combinations thereof described in the embodiments are necessarily essential to the invention.

図１は、本発明の実施形態に係る靴データ生成装置１を示す機能ブロック図である。靴データ生成装置１は、ユーザの検索や行動履歴等に応じてユーザに対して靴を提示する靴提示装置としての靴検索システム１００に登録される靴のデータを生成する装置である。靴データ生成装置１は、靴画像取得部１１と、靴画像処理部１２と、靴情報取得部１３と、靴メタデータ生成部１４を備える。これらの機能ブロックは、コンピュータの中央演算処理装置、メモリ、入力装置、出力装置、コンピュータに接続される周辺機器等のハードウェア資源と、それらを用いて実行されるソフトウェアの協働により実現される。コンピュータの種類や設置場所は問わず、上記の各機能ブロックは、単一のコンピュータのハードウェア資源で実現してもよいし、複数のコンピュータに分散したハードウェア資源を組み合わせて実現してもよい。 FIG. 1 is a functional block diagram showing a shoe data generation device 1 according to an embodiment of the present invention. The shoe data generation device 1 is a device that generates shoe data to be registered in a shoe search system 100, which serves as a shoe presentation device that presents shoes to a user according to a user's search, action history, and the like. The shoe data generation device 1 includes a shoe image acquisition section 11, a shoe image processing section 12, a shoe information acquisition section 13, and a shoe metadata generation section 14. These functional blocks are realized through the collaboration of hardware resources such as the computer's central processing unit, memory, input devices, output devices, and peripheral devices connected to the computer, and the software that is executed using them. . Regardless of the type of computer or installation location, each of the above functional blocks may be realized using the hardware resources of a single computer, or may be realized by combining hardware resources distributed across multiple computers. .

靴画像取得部１１は、靴検索システム１００に登録される靴の画像を取得する。靴画像取得部１１は靴を撮像するカメラまたは撮像装置によって構成してもよいし、インターネット等の情報通信網も含む後述するデータベース２００に存在する靴の画像データを当該データベース２００から取得するコンピュータやスマートフォン等の情報通信機器によって構成してもよい。靴画像取得部１１は、後続の靴画像処理部１２や靴メタデータ生成部１４の処理に好適な上面視または下面視の靴の画像を取得するのが好ましい。以下、上面視および下面視の画像をそれぞれ上面画像および下面画像と略し、両者を併せて平面画像と総称する。すなわち、本明細書における平面画像は、上面画像および下面画像の両方を含む概念である。 The shoe image acquisition unit 11 acquires images of shoes registered in the shoe search system 100. The shoe image acquisition unit 11 may be configured with a camera or an imaging device that images shoes, or may be a computer or a computer that acquires image data of shoes existing in a database 200, which will be described later, including an information communication network such as the Internet. It may also be configured by an information communication device such as a smartphone. It is preferable that the shoe image acquisition unit 11 acquires an image of the shoe in a top view or a bottom view, which is suitable for processing by the subsequent shoe image processing unit 12 and shoe metadata generation unit 14 . Hereinafter, the images viewed from the top and the bottom viewed will be abbreviated as the top image and the bottom image, respectively, and both will be collectively referred to as the planar image. That is, the planar image in this specification is a concept that includes both an upper surface image and a lower surface image.

なお、靴画像取得部１１は、靴の平面画像に加えてまたは代えて、靴の他の視点の画像、例えば、側面視の画像、正面視の画像、背面視の画像、斜視画像を取得してもよい。後述するように、靴データ生成装置１は主に靴の平面画像を利用するが、視点の異なる複数の靴の画像を利用することで、靴画像処理部１２が靴の精緻な三次元画像または三次元モデルを生成できる、靴メタデータ生成部１４が異なる複数の視点の画像の分析に基づいて靴の寸法、形状、タイプ等を正確に判別できる（正確なメタデータを生成できる）等の追加的な便益が得られる。なお、靴画像取得部１１は二次元の画像に限らず、三次元の画像を取得するものでもよい。 In addition to or instead of the planar image of the shoe, the shoe image acquisition unit 11 acquires images of the shoe from other viewpoints, such as a side view image, a front view image, a rear view image, and a perspective image. It's okay. As will be described later, the shoe data generation device 1 mainly uses flat images of shoes, but by using a plurality of images of shoes from different viewpoints, the shoe image processing unit 12 generates detailed three-dimensional images of shoes or Additions such as being able to generate a three-dimensional model, and allowing the shoe metadata generation unit 14 to accurately determine shoe dimensions, shapes, types, etc. based on analysis of images from multiple different viewpoints (capable of generating accurate metadata), etc. Benefits can be obtained. Note that the shoe image acquisition unit 11 is not limited to two-dimensional images, and may be one that acquires three-dimensional images.

靴画像処理部１２は、靴画像取得部１１が取得した靴の画像に対して各種の画像処理を施す。本実施形態では画像処理部として平面画像特定部１２１、画像方向補正部１２２、靴輪郭取得部１２３、画像統合部１２４を例示するが、これら以外の任意の画像処理部を設けてもよい。また、例示される平面画像特定部１２１、画像方向補正部１２２、靴輪郭取得部１２３、画像統合部１２４の全部を常に設ける必要はなく、これらの一部を設けてもよいし、靴画像処理部１２自体を設けずに靴画像取得部１１によって取得された靴の画像がそのまま靴メタデータ生成部１４に入力されてもよい。 The shoe image processing unit 12 performs various types of image processing on the shoe image acquired by the shoe image acquisition unit 11. In this embodiment, a planar image specifying section 121, an image direction correcting section 122, a shoe contour obtaining section 123, and an image integrating section 124 are illustrated as image processing sections, but any image processing section other than these may be provided. Further, it is not always necessary to provide all of the illustrated planar image specifying section 121, image direction correction section 122, shoe contour acquisition section 123, and image integration section 124, and some of them may be provided, and shoe image processing The shoe image acquired by the shoe image acquisition section 11 may be directly input to the shoe metadata generation section 14 without providing the section 12 itself.

以下、平面画像特定部１２１、画像方向補正部１２２、靴輪郭取得部１２３、画像統合部１２４の順に説明するが、これらの画像処理の実行順序（および実行可否）は任意であり、全部または一部の画像処理が並行に実行されてもよい。また、これらの画像処理部１２１～１２４の全部または一部は、靴画像処理部１２において一体的または不可分に構成されてもよい。例えば、靴画像処理部１２を機械学習可能な人工知能によって構成し、以下で説明する各画像処理部１２１～１２４の画像処理に相当する網羅的な教師データまたは訓練データに基づいて機械学習させることで、靴画像処理部１２は各画像処理部１２１～１２４の画像処理を包含する包括的かつ総合的な画像処理をまとめて実行できる。 The planar image specifying unit 121, image direction correcting unit 122, shoe contour acquiring unit 123, and image integrating unit 124 will be explained below in this order, but the order in which these image processes are executed (and whether or not they can be executed) is arbitrary. Image processing of parts may be performed in parallel. Further, all or part of these image processing units 121 to 124 may be configured integrally or inseparably in the shoe image processing unit 12. For example, the shoe image processing unit 12 may be configured with an artificial intelligence capable of machine learning, and the machine learning may be performed based on exhaustive teacher data or training data corresponding to image processing by each of the image processing units 121 to 124 described below. The shoe image processing section 12 can collectively execute comprehensive and comprehensive image processing including the image processing of each of the image processing sections 121 to 124.

平面画像特定部１２１は、靴画像取得部１１が取得した靴の画像から上面視または下面視の平面画像を特定または選択する。図２は、靴画像取得部１１が取得した靴の画像の例を示す。これらの（Ａ）～（Ｊ）の靴の画像のうち、平面画像特定部１２１は、（Ｂ）～（Ｄ）、（Ｇ）、（Ｉ）、（Ｊ）を平面画像として特定する。なお、（Ｉ）には左側の上面視の靴と右側の側面視の靴が示されているが、それぞれの靴は後述する靴分離部１２３３等によって分離され、平面画像特定部１２１は左側の上面視の靴の画像のみを平面画像として特定できる。後述するように、平面画像特定部１２１によって特定された靴の平面画像は、靴メタデータ生成部１４において靴の寸法、形状、タイプを特定する際の主要データを構成する。なお、前述のように、平面画像に加えてまたは代えて平面画像以外の視点の画像を、靴画像処理部１２（例えば後述する画像統合部１２４）および／または靴メタデータ生成部１４における処理に利用してもよい。 The planar image specifying unit 121 specifies or selects a top-view or bottom-view planar image from the shoe images acquired by the shoe image acquisition unit 11. FIG. 2 shows an example of a shoe image acquired by the shoe image acquisition unit 11. Among these shoe images (A) to (J), the planar image specifying unit 121 specifies (B) to (D), (G), (I), and (J) as planar images. Note that (I) shows the left shoe in a top view and the right shoe in a side view, but each shoe is separated by a shoe separation unit 1233, which will be described later, and the planar image specifying unit 121 Only the image of the shoes viewed from above can be identified as a planar image. As will be described later, the planar image of the shoe specified by the planar image specifying section 121 constitutes main data when the shoe metadata generating section 14 specifies the size, shape, and type of the shoe. Note that, as described above, in addition to or in place of the plane image, images from viewpoints other than the plane image are subjected to processing in the shoe image processing unit 12 (for example, the image integration unit 124 described later) and/or the shoe metadata generation unit 14. You may use it.

画像方向補正部１２２は、靴画像取得部１１が取得した靴の画像の方向が所定の方向に一致するように補正する。例えば、画像方向補正部１２２は、靴の平面画像の長さ方向が上下方向に一致するように、すなわち靴の先端部が上端部（または下端部）に靴の後端部が下端部（または上端部）に来るように靴の平面画像を回転させる。図２の例では、（Ｉ）の左側の平面画像が180度回転され、（Ｊ）の平面画像が反時計回り方向に90度回転される。同様に、画像方向補正部１２２は、靴の側面画像の長さ方向が左右方向に一致するように、すなわち靴の先端部が左端部（または右端部）に靴の後端部が右端部（または左端部）に来るように靴の側面画像を回転させてもよい。図２の例では、（Ｉ）の右側の側面画像が時計回り方向に90度回転される。このように靴の画像の方向を所定の方向に一致させるまたは揃えることで、靴画像処理部１２および／または靴メタデータ生成部１４における後続処理の精度を高めることができる。 The image direction correction unit 122 corrects the direction of the shoe image acquired by the shoe image acquisition unit 11 so that it matches a predetermined direction. For example, the image direction correction unit 122 adjusts the length direction of the planar image of the shoe to match the vertical direction, that is, the tip of the shoe matches the top end (or bottom end) and the rear end of the shoe matches the bottom end (or bottom end). Rotate the plane image of the shoe so that it is at the top edge). In the example of FIG. 2, the planar image on the left side of (I) is rotated by 180 degrees, and the planar image of (J) is rotated by 90 degrees counterclockwise. Similarly, the image direction correction unit 122 adjusts the length direction of the side image of the shoe to match the left-right direction, that is, the tip of the shoe is at the left end (or right end) and the rear end of the shoe is at the right end (or right end). or the left edge). In the example of FIG. 2, the right side image (I) is rotated 90 degrees clockwise. By aligning or aligning the directions of the shoe images with a predetermined direction in this manner, the accuracy of subsequent processing in the shoe image processing section 12 and/or the shoe metadata generation section 14 can be improved.

靴輪郭取得部１２３は、靴画像取得部１１が取得した靴の画像から靴の輪郭を取得する。図３（Ａ）～（Ｄ）において、右側に靴画像取得部１１が取得した靴の画像の例を示し、左側に靴輪郭取得部１２３が当該画像から取得した靴の輪郭の例を示す。靴輪郭取得部１２３は、輪郭の取得精度を向上させるためのいくつかの補助的な画像処理部１２３１～１２３３を備える。図３（Ａ）は補助的な画像処理部１２３１～１２３３を用いなくても正確に輪郭を取得できる例を示し、図３（Ｂ）は装飾除去部１２３１を用いることで正確に輪郭を取得できる例を示し、図３（Ｃ）は背景除去部１２３２を用いることで正確に輪郭を取得できる例を示し、図３（Ｄ）は靴分離部１２３３を用いることで正確に輪郭を取得できる例を示す。 The shoe outline acquisition unit 123 acquires the outline of the shoe from the shoe image acquired by the shoe image acquisition unit 11. In FIGS. 3A to 3D, the right side shows an example of a shoe image acquired by the shoe image acquisition unit 11, and the left side shows an example of a shoe outline acquired from the image by the shoe contour acquisition unit 123. The shoe contour acquisition unit 123 includes several auxiliary image processing units 1231 to 1233 to improve the accuracy of contour acquisition. FIG. 3(A) shows an example in which the contour can be accurately acquired without using the auxiliary image processing units 1231 to 1233, and FIG. 3(B) shows an example in which the contour can be accurately acquired by using the decoration removal unit 1231. 3(C) shows an example in which the contour can be accurately acquired by using the background removal unit 1232, and FIG. 3(D) shows an example in which the contour can be accurately acquired by using the shoe separation unit 1233. show.

画像処理部１２３１～１２３３の区別は便宜上のものに過ぎず、実際には例えば靴輪郭取得部１２３（または靴画像処理部１２全体）を機械学習可能な人工知能によって構成し、以下で説明する各画像処理部１２３１～１２３３の画像処理に相当する網羅的な教師データまたは訓練データに基づいて機械学習させることで、靴輪郭取得部１２３は各画像処理部１２３１～１２３３の画像処理を包含する包括的かつ総合的な輪郭取得処理をまとめて実行できる。なお、靴輪郭取得部１２３の訓練時または機械学習時には、図３（Ａ）～（Ｄ）のように、輪郭の取得対象の元画像（右側）と当該元画像から取得されるべき正しい輪郭（左側）が組となったデータが教師データとして靴輪郭取得部１２３に提供される。 The distinction between the image processing units 1231 to 1233 is merely for convenience; in reality, for example, the shoe contour acquisition unit 123 (or the entire shoe image processing unit 12) is configured by artificial intelligence capable of machine learning, and each of the following By performing machine learning based on comprehensive teaching data or training data corresponding to the image processing of the image processing units 1231 to 1233, the shoe contour acquisition unit 123 can perform comprehensive learning that includes the image processing of each of the image processing units 1231 to 1233. Moreover, comprehensive contour acquisition processing can be executed all at once. Note that during training or machine learning of the shoe contour acquisition unit 123, as shown in FIGS. The pair of data (left side) is provided to the shoe contour acquisition unit 123 as teacher data.

図３（Ｂ）の例では、靴画像取得部１１が取得した靴の画像に、靴の輪郭を取得する際には除外されるべき装飾物αが含まれている。装飾除去部１２３１は、靴画像取得部１１が取得した靴の画像中のこのような装飾物αを認識し、これらが除去された正確な靴の輪郭を取得する。図３（Ｂ）の左側の輪郭において、装飾除去部１２３１が設けられない場合は装飾部分α′を含む誤った靴の輪郭が取得されてしまうが、装飾除去部１２３１を設けることで装飾部分α′を含まない正しい靴の輪郭が取得される。 In the example of FIG. 3B, the shoe image acquired by the shoe image acquisition unit 11 includes an ornament α that should be excluded when acquiring the outline of the shoe. The decoration removal unit 1231 recognizes such decorations α in the shoe image acquired by the shoe image acquisition unit 11, and acquires an accurate outline of the shoe from which they have been removed. In the contour on the left side of FIG. 3(B), if the decoration removal part 1231 is not provided, an incorrect shoe outline including the decoration part α' will be obtained, but by providing the decoration removal part 1231, the decoration part α The correct shoe contour that does not contain ′ is obtained.

図３（Ｃ）の例では、靴画像取得部１１が取得した靴の画像に、靴の輪郭を取得する際には除外されるべき背景物β（靴の側部）が含まれている。背景除去部１２３２は、靴画像取得部１１が取得した靴の画像中のこのような背景物βを認識し、これらが除去された正確な靴の輪郭を取得する。図３（Ｃ）の左側の輪郭において、背景除去部１２３２が設けられない場合は背景部分β′を含む誤った靴の輪郭が取得されてしまうが、背景除去部１２３２を設けることで装飾部分β′を含まない正しい靴の輪郭が取得される。 In the example of FIG. 3C, the shoe image acquired by the shoe image acquisition unit 11 includes a background object β (side part of the shoe) that should be excluded when acquiring the outline of the shoe. The background removal unit 1232 recognizes such background objects β in the shoe image acquired by the shoe image acquisition unit 11, and acquires an accurate outline of the shoe from which they have been removed. In the contour on the left side of FIG. 3C, if the background removal section 1232 is not provided, an incorrect shoe outline including the background portion β' will be obtained; however, by providing the background removal section 1232, the decorative portion β' will be obtained. The correct shoe contour that does not contain ′ is obtained.

図３（Ｄ）の例では、靴画像取得部１１が取得した画像において一対の靴が密着している。一対の靴の間には両者を隔てる境界線γが存在するが、画像では明確に確認できない。このままでは一対の靴が一つの靴と認識されて誤った輪郭が取得されてしまう可能性がある。靴分離部１２３３は、靴の輪郭を取得する際に、画像では視認できない境界線γ′を付加し、当該境界線γ′によって一対の靴を個々の靴に分離する。そして、分離された個々の靴について正しい輪郭を取得する。 In the example of FIG. 3(D), a pair of shoes are in close contact with each other in the image acquired by the shoe image acquisition unit 11. There is a boundary line γ separating the pair of shoes, but it cannot be clearly seen in the image. If this continues, there is a possibility that a pair of shoes will be recognized as one shoe and an incorrect contour will be obtained. The shoe separation unit 1233 adds a boundary line γ' that is not visible in the image when acquiring the outline of the shoe, and separates a pair of shoes into individual shoes using the boundary line γ'. Then, obtain the correct contour for each separated shoe.

以上のように靴輪郭取得部１２３が取得した靴の輪郭は、後述する靴メタデータ生成部１４における寸法生成部１４１の処理において特に有用である。靴の寸法を画像から認識する際には靴の輪郭またはシルエットがあれば十分であり、それ以外の情報が含まれていると寸法を誤認識する可能性があるためである。同様に、靴輪郭取得部１２３が取得した靴の輪郭は、後述する靴メタデータ生成部１４における形状生成部１４２が靴の形状を画像から認識する際にも有用である。一方、靴メタデータ生成部１４におけるタイプ生成部１４３が靴のタイプを画像から認識する際には、靴の輪郭も有用な情報ではあるが、それ以外の情報、例えば図３（Ｂ）のような装飾物αや図３（Ｃ）のような背景物βも有用である。このため、靴画像処理部１２は、靴輪郭取得部１２３が取得した輪郭に加えて、輪郭取得前の元画像も靴メタデータ生成部１４に提供するのが好ましい。 The shoe outline acquired by the shoe outline acquisition unit 123 as described above is particularly useful in the processing of the dimension generation unit 141 in the shoe metadata generation unit 14, which will be described later. This is because when recognizing shoe dimensions from an image, it is sufficient to have the outline or silhouette of the shoe; if other information is included, the dimensions may be misrecognized. Similarly, the shoe outline acquired by the shoe outline acquisition unit 123 is also useful when the shape generation unit 142 in the shoe metadata generation unit 14 (described later) recognizes the shape of the shoe from an image. On the other hand, when the type generation unit 143 in the shoe metadata generation unit 14 recognizes the shoe type from an image, although the outline of the shoe is useful information, other information such as the one shown in FIG. Decorative objects α and background objects β as shown in FIG. 3(C) are also useful. For this reason, it is preferable that the shoe image processing section 12 provides the shoe metadata generation section 14 with the original image before contour acquisition, in addition to the contour acquired by the shoe contour acquisition section 123.

画像統合部１２４は、靴画像取得部１１が一つの靴について視点の異なる複数の画像を取得した場合、それらを任意の態様で統合する。例えば、画像統合部１２４は、当該複数の画像を合成して靴の三次元画像または三次元モデルを生成してもよいし、当該複数の画像が同一の靴に関するものであることを示す識別子やタグを各画像データに付加してもよい。 When the shoe image acquisition unit 11 acquires a plurality of images of one shoe from different viewpoints, the image integration unit 124 integrates them in an arbitrary manner. For example, the image integration unit 124 may combine the plurality of images to generate a three-dimensional image or three-dimensional model of the shoe, or use an identifier or an identifier indicating that the plurality of images are related to the same shoe. A tag may be added to each image data.

靴情報取得部１３は、靴検索システム１００に登録される靴に関する情報をデータベース２００等から取得する。後述するようにデータベース２００には多種多様な靴情報２２０が保持されており、靴情報取得部１３はその中から靴メタデータ生成部１４の処理に有用な任意の靴情報を抽出する。例えば、靴情報取得部１３は、登録対象の靴が販売されているウェブサイト（データベース２００の一部を構成する）から、靴のブランド、製造者、販売者、名称、シリーズ名、商品コード、品番、色、長さ（サイズ）、幅、高さ、素材、特徴、機能、用途、カテゴリ、タイプ、製造地域、商品説明等の各種の靴情報２２０を取得できる。なお、このようなウェブサイトに掲載されている靴の画像は、靴画像取得部１１による取得対象となる。また、登録対象の靴が既に靴検索システム１００に登録されている場合、靴情報取得部１３は靴検索システム１００のウェブサイトやデータベースから靴情報を取得してもよい。この場合、靴自体は靴検索システム１００に登録済であるが、靴メタデータ生成部１４によって新たに生成される靴のメタデータが新たに靴検索システム１００に登録される。 The shoe information acquisition unit 13 acquires information related to shoes registered in the shoe search system 100 from the database 200 or the like. As will be described later, the database 200 holds a wide variety of shoe information 220, from which the shoe information acquisition section 13 extracts any shoe information useful for the processing of the shoe metadata generation section 14. For example, the shoe information acquisition unit 13 retrieves the shoe brand, manufacturer, seller, name, series name, product code, etc. from the website where the shoes to be registered are sold (constituting a part of the database 200). Various shoe information 220 such as product number, color, length (size), width, height, material, feature, function, use, category, type, manufacturing area, product description, etc. can be acquired. Note that images of shoes posted on such websites are subject to acquisition by the shoe image acquisition unit 11. Furthermore, if the shoes to be registered have already been registered in the shoe search system 100, the shoe information acquisition unit 13 may acquire the shoe information from the website or database of the shoe search system 100. In this case, the shoes themselves have already been registered in the shoe search system 100, but the shoe metadata newly generated by the shoe metadata generation unit 14 is newly registered in the shoe search system 100.

靴メタデータ生成部１４は、靴画像取得部１１が取得して靴画像処理部１２が処理した靴の画像から靴に関するメタデータを生成する。具体的には、靴メタデータ生成部１４は、靴の画像から靴の寸法に関するメタデータを生成する寸法生成部１４１と、靴の画像から靴の形状に関するメタデータを生成する形状生成部１４２と、靴の画像から靴のタイプに関するメタデータを生成するタイプ生成部１４３を備える。また、靴メタデータ生成部１４は、各種のメタデータを生成する際に、靴情報取得部１３が取得した靴情報２２０等も参照する。 The shoe metadata generation unit 14 generates metadata regarding shoes from the shoe images acquired by the shoe image acquisition unit 11 and processed by the shoe image processing unit 12. Specifically, the shoe metadata generation unit 14 includes a dimension generation unit 141 that generates metadata regarding shoe dimensions from an image of a shoe, and a shape generation unit 142 that generates metadata regarding a shoe shape from an image of a shoe. , a type generation unit 143 that generates metadata regarding shoe types from shoe images. The shoe metadata generation unit 14 also refers to the shoe information 220 and the like acquired by the shoe information acquisition unit 13 when generating various types of metadata.

寸法生成部１４１は、靴の画像から靴の幅に関するメタデータを生成する幅生成部１４１１を備える。具体的には、幅生成部１４１１は、図３に示したような靴輪郭取得部１２３が取得した靴の輪郭またはシルエットに基づいて、靴の幅を推定する。幅生成部１４１１が推定する靴の幅は「85mm」等の具体的な数値でもよいし、所定の基準に従って区分された靴の幅の範囲を表すコードでもよい。後者の例としては、日本工業規格において足幅と足囲の比率に従って区分された「A」～「EEEEEE」等のコードが知られている。 The dimension generation unit 141 includes a width generation unit 1411 that generates metadata regarding the width of a shoe from an image of the shoe. Specifically, the width generation unit 1411 estimates the width of the shoe based on the shoe outline or silhouette acquired by the shoe outline acquisition unit 123 as shown in FIG. The shoe width estimated by the width generation unit 1411 may be a specific value such as "85 mm" or may be a code representing a range of shoe widths classified according to a predetermined standard. As an example of the latter, codes such as "A" to "EEEEEE", which are classified according to the ratio of foot width to foot circumference, are known in the Japanese Industrial Standards.

幅生成部１４１１が靴の幅を推定する際、靴情報取得部１３が取得した靴の長さを参照することで、図３の靴のシルエットの上下方向の寸法が正確に分かるため、シルエットの左右方向の寸法である靴の幅を正確に推定できる。また、上記の「A」～「EEEEEE」等のコードは、靴のブランド、製造者、シリーズ（名）、素材、用途、製造地域等によってばらつくこともあるが（例えば、同じ「85mm」の幅の靴であっても異なるコードが付与されうる）、これらの靴情報２２０を靴情報取得部１３から得ることで、幅生成部１４１１はブランド毎等のばらつきを加味した（あるいは除去した）一貫性のあるコードを生成できる。 When the width generation unit 1411 estimates the shoe width, by referring to the shoe length acquired by the shoe information acquisition unit 13, the vertical dimensions of the shoe silhouette in FIG. 3 can be accurately determined. The width of the shoe, which is the dimension in the left and right direction, can be accurately estimated. In addition, codes such as "A" to "EEEEEE" above may vary depending on shoe brand, manufacturer, series (name), material, purpose, manufacturing region, etc. (for example, the same width of "85 mm") By obtaining these shoe information 220 from the shoe information acquisition unit 13, the width generation unit 1411 generates consistency that takes into account (or removes) variations among brands. You can generate code with

なお、幅生成部１４１１は、靴の複数箇所（例えば、前部、中央部、後部）の幅を推定してもよい。また、寸法生成部１４１は靴の幅に限らず、靴の任意の箇所の任意の方向の寸法を靴の画像から推定してもよい。例えば、図２（Ｉ）の右側のような側面画像があれば、靴の高さや履き口の前後寸法を高精度に推定できる。靴の幅やその他の箇所の寸法は、一般的な靴検索システム１００には全く登録されていない、または、検索に利用可能な一貫性のある態様で登録されていないが、靴検索システム１００で靴を検索するユーザの足に適合する靴を提示または推薦する上では極めて有用な情報である。本実施形態によれば、このような有用なメタデータを靴の画像から生成して靴検索システム１００に登録できるため、靴検索システム１００のユーザにとっての利便性を著しく向上させることができる。 Note that the width generation unit 1411 may estimate the width of multiple locations of the shoe (for example, the front, center, and rear). Further, the dimension generation unit 141 is not limited to the width of the shoe, and may estimate the dimension of any part of the shoe in any direction from the image of the shoe. For example, if there is a side image like the one on the right side of FIG. 2(I), the height of the shoe and the front-to-back dimension of the opening can be estimated with high accuracy. The shoe width and other dimensions are not registered at all in the general shoe search system 100 or are not registered in a consistent manner that can be used for searches, but the shoe search system 100 This information is extremely useful in presenting or recommending shoes that fit the feet of a user searching for shoes. According to this embodiment, such useful metadata can be generated from shoe images and registered in the shoe search system 100, so that the convenience for the user of the shoe search system 100 can be significantly improved.

形状生成部１４２は、靴の画像から靴の先端形状に関するメタデータを生成する先端形状生成部１４２１を備える。具体的には、先端形状生成部１４２１は、図３に示したような靴輪郭取得部１２３が取得した靴の輪郭またはシルエットに基づいて、靴の先端形状を推定する。先端形状生成部１４２１が推定する靴の先端形状としては、例えば、「丸い（round）」「尖っている（pointed）」「アーモンド形（almond）」「オープン形（open）」「スクエア形（square）」が例示される。先端形状生成部１４２１が靴の先端形状を推定する際、靴情報取得部１３が取得した靴のブランド、シリーズ名、商品コード、カテゴリ、タイプ、商品説明等の靴の先端形状を示唆しうる靴情報２２０を参照することで、推定精度を高めることができる。なお、形状生成部１４２は靴の先端形状に限らず、靴の任意の箇所の形状を靴の画像から推定してもよい。 The shape generation unit 142 includes a tip shape generation unit 1421 that generates metadata regarding the tip shape of the shoe from the shoe image. Specifically, the tip shape generation unit 1421 estimates the tip shape of the shoe based on the shoe outline or silhouette acquired by the shoe contour acquisition unit 123 as shown in FIG. The shoe tip shape estimated by the tip shape generation unit 1421 includes, for example, "round", "pointed", "almond", "open", and "square". )” is exemplified. When the tip shape generation unit 1421 estimates the tip shape of the shoe, the shoe brand, series name, product code, category, type, product description, etc. of the shoe acquired by the shoe information acquisition unit 13 can suggest the tip shape of the shoe. By referring to the information 220, estimation accuracy can be improved. Note that the shape generation unit 142 is not limited to the shape of the tip of the shoe, but may estimate the shape of any arbitrary part of the shoe from the shoe image.

タイプ生成部１４３は、靴の画像から靴のタイプに関するメタデータを生成する。具体的には、タイプ生成部１４３は、図２に示したような靴画像取得部１１が取得した靴の画像および／または図３に示したような靴輪郭取得部１２３が取得した靴の輪郭またはシルエットに基づいて、靴の特徴を認識して所定の基準に従って靴のタイプまたはカテゴリを推定する。なお、寸法生成部１４１が推定した靴の寸法や形状生成部１４２が推定した靴の形状も靴の特徴を表すため、タイプ生成部１４３はこれらの推定データを参照しながら靴のタイプを推定してもよい。 The type generation unit 143 generates metadata regarding the shoe type from the shoe image. Specifically, the type generation unit 143 generates a shoe image acquired by the shoe image acquisition unit 11 as shown in FIG. 2 and/or a shoe outline acquired by the shoe contour acquisition unit 123 as shown in FIG. or based on the silhouette, recognizing shoe characteristics and inferring the shoe type or category according to predetermined criteria. Note that the shoe dimensions estimated by the dimension generation unit 141 and the shoe shape estimated by the shape generation unit 142 also represent shoe characteristics, so the type generation unit 143 estimates the shoe type while referring to these estimated data. It's okay.

タイプ生成部１４３が推定する靴のタイプは「スニーカー」「スポーツシューズ」「ビジネスシューズ」「ローファー」「カジュアルシューズ」「ブーツ」「アウトドアシューズ」「サンダル」「パンプス」「ドレスシューズ」等の靴の種別でもよいし、靴の特徴に基づいて任意に設定された類型またはカテゴリ（例えば、靴の幅に基づく「細い（thin）」「普通（normal）」「広い（wide）」等の類型）でもよい。タイプ生成部１４３が靴のタイプを推定する際、靴情報取得部１３が取得した靴のブランド、製造者、販売者、名称、シリーズ名、商品コード、品番、素材、特徴、機能、用途、カテゴリ、タイプ、商品説明等の靴のタイプまたは特徴を示唆しうる靴情報２２０を参照することで、推定精度を高めることができる。 The type of shoes estimated by the type generation unit 143 includes shoes such as "sneakers," "sports shoes," "business shoes," "loafers," "casual shoes," "boots," "outdoor shoes," "sandals," "pumps," and "dress shoes." It may be the type, or it may be a type or category arbitrarily set based on the characteristics of the shoe (for example, types such as "thin", "normal", "wide", etc. based on the width of the shoe). good. When the type generation unit 143 estimates the shoe type, the shoe brand, manufacturer, seller, name, series name, product code, product number, material, feature, function, use, and category of the shoes acquired by the shoe information acquisition unit 13 are used. Estimation accuracy can be improved by referring to shoe information 220 that can suggest the type or characteristics of the shoe, such as type, product description, etc.

以上の寸法生成部１４１、形状生成部１４２、タイプ生成部１４３の全部または一部の機能は、機械学習可能な人工知能によって構成された靴メタデータ生成部１４によって実現できる。すなわち、以上で説明した各生成部１４１～１４３の推定処理に相当する網羅的な教師データまたは訓練データによって訓練された靴メタデータ生成部１４は、寸法生成部１４１に相当する寸法推定、形状生成部１４２に相当する形状推定、タイプ生成部１４３に相当するタイプ推定を高精度かつ自律的に実行できる。 All or part of the functions of the dimension generation section 141, shape generation section 142, and type generation section 143 described above can be realized by the shoe metadata generation section 14 configured by artificial intelligence capable of machine learning. That is, the shoe metadata generation unit 14, which has been trained with exhaustive teacher data or training data corresponding to the estimation processing of each of the generation units 141 to 143 described above, performs dimension estimation and shape generation corresponding to the dimension generation unit 141. Shape estimation corresponding to the section 142 and type estimation corresponding to the type generation section 143 can be executed autonomously and with high precision.

靴メタデータ生成部１４は、以上のような各種の靴のメタデータを靴画像取得部１１が取得した画像から生成して靴検索システム１００に登録する。なお、靴画像取得部１１が取得した靴の画像の全部または一部自体も靴のメタデータとして靴検索システム１００に登録してもよい。本実施形態の靴データ生成装置１が生成するこれらのメタデータは、従来の靴検索システム１００には全く登録されていない、または、検索に利用可能な一貫性のある態様で登録されていなかった。本実施形態によれば、靴検索システム１００で靴を検索するユーザの足に適合する靴を提示または推薦する上で極めて有用なこれらのメタデータを、靴の画像から生成して靴検索システム１００に登録できるため、靴検索システム１００のユーザにとっての利便性を著しく向上させることができる。 The shoe metadata generation unit 14 generates the various types of shoe metadata as described above from the images acquired by the shoe image acquisition unit 11 and registers them in the shoe search system 100. Note that all or part of the shoe images acquired by the shoe image acquisition unit 11 may also be registered in the shoe search system 100 as shoe metadata. These metadata generated by the shoe data generation device 1 of this embodiment have not been registered in the conventional shoe search system 100 at all, or have not been registered in a consistent manner that can be used for search. . According to the present embodiment, the shoe search system 100 generates these metadata from shoe images, which are extremely useful for presenting or recommending shoes that fit the feet of the user searching for shoes in the shoe search system 100. , the convenience of the shoe search system 100 for the user can be significantly improved.

図４は、靴検索システム１００を示す機能ブロック図である。靴検索システム１００は、入力部３１の入力に基づき、データベース２００に記録される各種のデータに基づいて靴の検索を行い、その結果を表示部３２に表示させるシステムである。靴検索システム１００は、参照商品指定部としての参照靴指定部１０１と、メタデータ取得部１０２と、類似商品検索部としての類似靴検索部１０３と、類似スコア付与部１０４と、寸法情報取得部１０５と、販売促進情報取得部１０６と、表示制御部１０７を備える。これらの各機能ブロックは、単一の電子機器に実現されてもよいし、複数の電子機器に分散して実現されてもよい。また、これらの各機能ブロックを実現する電子機器は、ユーザが使用するスマートフォン、タブレット、コンピュータ等でもよいし、インターネット等の情報通信ネットワークを介してユーザが使用する電子機器と通信可能なサーバ等の遠隔の電子機器でもよい。また、入力部３１および表示部３２は、典型的にはユーザが使用する単一の電子機器に実現されるが、複数の電子機器に分散して実現されてもよい。 FIG. 4 is a functional block diagram showing the shoe search system 100. The shoe search system 100 is a system that searches for shoes based on various data recorded in the database 200 based on input from the input section 31, and displays the results on the display section 32. The shoe search system 100 includes a reference shoe designation unit 101 as a reference product designation unit, a metadata acquisition unit 102, a similar shoe search unit 103 as a similar product search unit, a similar score assignment unit 104, and a dimension information acquisition unit. 105, a sales promotion information acquisition section 106, and a display control section 107. Each of these functional blocks may be realized in a single electronic device, or may be realized in a distributed manner in a plurality of electronic devices. In addition, the electronic devices that realize each of these functional blocks may be smartphones, tablets, computers, etc. used by the user, or servers etc. that can communicate with the electronic devices used by the user via an information communication network such as the Internet. It can also be a remote electronic device. Further, the input unit 31 and the display unit 32 are typically implemented in a single electronic device used by a user, but may be implemented in a distributed manner in a plurality of electronic devices.

データベース２００は、靴検索システム１００の各機能ブロックが実現される電子機器のストレージや、それらと情報通信ネットワークを介して通信可能な他の電子機器のストレージに整理されて記録される情報の集合である。データベース２００には任意のデータを記録できるが、靴検索システム１００が主に利用するのは、ユーザ情報２１０と靴情報２２０の二種類のデータである。 The database 200 is a collection of information that is organized and recorded in the storage of electronic devices that realize each functional block of the shoe search system 100 and the storage of other electronic devices that can communicate with them via an information communication network. be. Although any data can be recorded in the database 200, the shoe search system 100 mainly uses two types of data: user information 210 and shoe information 220.

ユーザ情報２１０は、基本情報２１１と、寸法情報２１２と、靴箱２１３と、行動情報２１４と、その他メタデータ２１５を含む。基本情報２１１は、性別、年齢、身長、体重等のユーザの基本的な情報であり、ユーザが入力部３１を介してマニュアルで入力する。これらの基本情報２１１が既に登録されている別のサービスがある場合は、そこからコピーしてもよい。 The user information 210 includes basic information 211, dimension information 212, shoe box 213, behavior information 214, and other metadata 215. The basic information 211 is basic information of the user such as gender, age, height, weight, etc., and is manually input by the user via the input unit 31. If there is another service in which this basic information 211 has already been registered, it may be copied from there.

寸法情報２１２は、ユーザが靴を着用する足の各部位の寸法情報である。足の各部位の寸法に代えてまたは加えてユーザの足を撮影した画像データを寸法情報２１２として記録してもよい。この場合、画像データの解析によって足の各部位の寸法を演算により求めることができる。なお、後述するように、本実施形態では、ユーザが指定した参照靴の寸法情報２２２で、ユーザの寸法情報２１２を代替できるため、ユーザの寸法情報２１２の記録は任意である。したがって、煩雑な採寸を避けられる。ユーザが指定した一または複数の参照靴の寸法情報２２２に基づき、ユーザの寸法情報２１２を推定して記録してもよい。 The dimension information 212 is dimension information of each part of the foot on which the user wears shoes. Instead of or in addition to the dimensions of each part of the foot, image data obtained by photographing the user's foot may be recorded as the dimension information 212. In this case, the dimensions of each part of the foot can be calculated by analyzing the image data. Note that, as will be described later, in this embodiment, the user's size information 212 can be replaced by the size information 222 of the reference shoe specified by the user, so recording of the user's size information 212 is optional. Therefore, complicated measurements can be avoided. The user's size information 212 may be estimated and recorded based on the size information 222 of one or more reference shoes specified by the user.

靴箱２１３は、後述する参照靴指定部１０１で指定できるように、ユーザがお気に入りの靴を入力部３１を介して予め登録する。登録する靴の詳細な情報はデータベース２００の靴情報２２０で入手できるため、靴箱２１３への登録の際は、ブランド、製品名、サイズ、色等の、靴を特定できる最低限の情報を入力すればよい。なお、典型的にはユーザが実際に保有する靴を靴箱２１３に登録することが想定されるが、ユーザが保有していない靴を靴箱２１３に登録してもよい。例えば、有名なファッションモデルやアスリートが着用する高価な靴を靴箱２１３に登録することで、それとデザイン等が類似する安価な靴を検索できる。ユーザが検索中に気になった未購入の靴を、靴箱２１３に登録してもよいし、後述する参照靴として直接指定してもよい。また、次に述べる行動情報２１４として、靴の購買や閲覧の履歴など、ユーザのお気に入りの靴に関する情報が含まれている場合は、靴箱２１３の登録画面（表示部３２）において、これらの靴を候補として表示させてもよい。 In the shoe box 213, the user registers his/her favorite shoes in advance via the input unit 31 so that the shoes can be designated by the reference shoe designation unit 101, which will be described later. Detailed information on the shoes to be registered can be obtained from the shoe information 220 of the database 200, so when registering in the shoe box 213, enter the minimum information that can identify the shoes, such as brand, product name, size, color, etc. Bye. Note that although it is typically assumed that shoes that the user actually owns are registered in the shoe box 213, shoes that the user does not own may be registered in the shoe box 213. For example, by registering expensive shoes worn by famous fashion models or athletes in the shoe box 213, it is possible to search for inexpensive shoes with similar designs. Unpurchased shoes that the user is interested in during the search may be registered in the shoe box 213, or may be directly specified as reference shoes, which will be described later. In addition, if the behavior information 214 described below includes information about the user's favorite shoes, such as shoe purchase and browsing history, these shoes can be displayed on the registration screen (display section 32) of the shoe box 213. It may be displayed as a candidate.

行動情報２１４は、ユーザの過去の行動に関する情報であり、靴検索システム１００におけるユーザの行動や、靴検索システム１００に付随する図示しない靴購買システムにおけるユーザの行動が自動的に記録される。例えば、靴の検索、靴の閲覧、靴の比較、靴の購買、ウェブページ内のクリック等に関するユーザの行動が記録される。その他メタデータ２１５には、上記の各情報２１１～２１４に含まれない、ユーザに関する任意の情報を記録できる。例えば、ユーザが靴を選ぶ際に重視する点や、ユーザが靴に求める要望事項を記録できる。以上のような多様なユーザ情報２１０を利用することで、靴検索システム１００は、ユーザに合った靴を効率的に検索できる。 The behavior information 214 is information regarding the past behavior of the user, and the behavior of the user in the shoe search system 100 and the behavior of the user in the shoe purchasing system (not shown) associated with the shoe search system 100 are automatically recorded. For example, user actions related to shoe searches, shoe viewing, shoe comparisons, shoe purchases, clicks within web pages, etc. are recorded. Other metadata 215 can record any information regarding the user that is not included in each of the above information 211 to 214. For example, it is possible to record the points that the user considers important when choosing shoes and the requirements that the user desires for the shoes. By using the various user information 210 as described above, the shoe search system 100 can efficiently search for shoes that suit the user.

靴情報２２０は、商品として販売されている膨大な数の靴に関する情報であり、情報通信ネットワークを介して収集されて自動的に記録される。靴情報２２０の一部または全部は、靴検索システム１００の管理者がマニュアルで記録してもよい。各靴の靴情報２２０は、基本情報２２１と、寸法情報２２２と、デザイン情報２２３と、販売情報２２４と、その他メタデータ２２５を含む。 Shoe information 220 is information about a huge number of shoes sold as products, and is collected and automatically recorded via an information communication network. Part or all of the shoe information 220 may be manually recorded by the administrator of the shoe search system 100. The shoe information 220 of each shoe includes basic information 221, size information 222, design information 223, sales information 224, and other metadata 225.

基本情報２２１は、靴の基本的な情報であり、商品ＩＤ、商品名、商品カテゴリ、ブランド、性別、商品詳細ページのＵＲＬ等が含まれる。寸法情報２２２は、靴の長さや幅等の寸法情報である。デザイン情報２２３は、靴のデザインに関する情報であり、色、形状、模様等が含まれる。デザイン情報２２３は、靴を撮影した画像データとして記録してもよい。この場合、画像データの解析によって定量化したデザインの各要素の比較に基づき、靴検索システム１００は類似デザインの靴を検索できる。 The basic information 221 is basic information about shoes, and includes product ID, product name, product category, brand, gender, URL of product detail page, and the like. The dimension information 222 is dimension information such as the length and width of the shoe. The design information 223 is information regarding the design of the shoe, and includes color, shape, pattern, etc. The design information 223 may be recorded as image data of the shoes. In this case, the shoe search system 100 can search for shoes with similar designs based on a comparison of design elements quantified through image data analysis.

販売情報２２４は、靴の販売に関する情報であり、販売店ＩＤ、販売店名、販売価格、販売開始日、割引や特典等の販売促進情報等が含まれる。販売情報２２４の一部または全部は、各販売店の担当者や靴検索システム１００の管理者がマニュアルで記録してもよい。その他メタデータ２２５には、上記の各情報２２１～２２４に含まれない、靴に関する任意の情報を記録できる。例えば、靴の素材、その素材の性質（透明性、伸縮性など）、靴の製法、靴のスタイルや履き心地に関するタグを記録できる。 Sales information 224 is information related to shoe sales, and includes store ID, store name, sales price, sales start date, sales promotion information such as discounts and benefits, and the like. Part or all of the sales information 224 may be manually recorded by a person in charge at each store or an administrator of the shoe search system 100. In the other metadata 225, any information related to shoes that is not included in the information 221 to 224 described above can be recorded. For example, tags related to the shoe's material, the properties of that material (transparency, stretch, etc.), the shoe's construction method, and the shoe's style and comfort can be recorded.

図１の靴メタデータ生成部１４で生成された靴のメタデータは、靴情報２２０の一部として靴検索システム１００のデータベース２００に記録される。例えば、寸法生成部１４１が生成した靴の幅等の寸法情報は寸法情報２２２として記録され、形状生成部１４２が生成した靴の先端形状等の形状情報はデザイン情報２２３として記録され、タイプ生成部１４３が生成した靴のタイプ情報はデザイン情報２２３および／またはその他メタデータ２２５として記録される。以上のような多様な靴情報２２０を利用することで、靴検索システム１００は、膨大な数の靴の中からユーザに合った靴を効率的に検索できる。 The shoe metadata generated by the shoe metadata generation unit 14 of FIG. 1 is recorded in the database 200 of the shoe search system 100 as part of the shoe information 220. For example, dimensional information such as the shoe width generated by the dimension generation section 141 is recorded as dimension information 222, shape information such as the tip shape of the shoe generated by the shape generation section 142 is recorded as design information 223, and the type generation section The shoe type information generated by 143 is recorded as design information 223 and/or other metadata 225. By using the various shoe information 220 as described above, the shoe search system 100 can efficiently search for shoes that suit the user from among a huge number of shoes.

続いて、靴検索システム１００の各機能ブロック１０１～１０７について順番に説明する。参照靴指定部１０１は、ユーザの入力部３１の入力に基づき、既存の靴を参照靴（参照商品）として指定する。前述したように、ユーザは靴箱２１３に予め登録した靴の中から参照靴を指定できる。靴箱２１３を用いずに、商品として販売されている任意の靴を、参照靴として直接的に指定してもよい。この場合、ユーザは、その製品を特定するための最小限の情報（ブランド、製品名、サイズ、色等）を入力部３１で入力すればよい。メタデータ取得部１０２は、参照靴のメタデータを取得する。すなわち、メタデータ取得部１０２は、参照靴指定部１０１で指定された参照靴についての靴情報２２０に含まれる各種のメタデータ２２１～２２５を取得する。 Next, each of the functional blocks 101 to 107 of the shoe search system 100 will be explained in order. The reference shoe designation unit 101 designates existing shoes as reference shoes (reference products) based on the user's input through the input unit 31 . As described above, the user can specify reference shoes from among the shoes registered in advance in the shoe box 213. Any shoe sold as a product may be directly designated as the reference shoe without using the shoe box 213. In this case, the user only needs to input the minimum information (brand, product name, size, color, etc.) for specifying the product using the input section 31. The metadata acquisition unit 102 acquires metadata of the reference shoe. That is, the metadata acquisition unit 102 acquires various types of metadata 221 to 225 included in the shoe information 220 regarding the reference shoe designated by the reference shoe designation unit 101.

類似靴検索部１０３は、メタデータの類似性に基づき、参照靴と類似の靴を検索する。すなわち、類似靴検索部１０３は、メタデータ取得部１０２で取得された参照靴のメタデータ２２１～２２５に基づき、これらと類似するメタデータ２２１～２２５を有する靴を検索する。この類似靴の検索における類否判断の基準は、利用可能なメタデータ２２１～２２５を組み合わせて任意に設定できる。例えば、各メタデータを定量化し、それらを参照靴と検索対象靴の間で比較すれば、両靴の類似度を演算できる。この類似度の演算において、各メタデータの重要度に応じて重みづけしてもよい。全く考慮すべきでないメタデータについては、重みを０とすることで類似度の演算から除外できる。 The similar shoe search unit 103 searches for shoes similar to the reference shoe based on the similarity of metadata. That is, based on the metadata 221 to 225 of the reference shoes acquired by the metadata acquisition unit 102, the similar shoe search unit 103 searches for shoes having metadata 221 to 225 similar to these. The criteria for determining similarity in this search for similar shoes can be arbitrarily set by combining the available metadata 221 to 225. For example, by quantifying each piece of metadata and comparing it between a reference shoe and a search target shoe, it is possible to calculate the degree of similarity between the two shoes. In this similarity calculation, each metadata may be weighted according to its importance. Metadata that should not be considered at all can be excluded from the similarity calculation by setting the weight to 0.

このような靴の類似度の演算において、寸法情報２２２の重みを他のメタデータに比べて大きく設定すれば、参照靴と類似の寸法の靴を効率的に検索できる。ユーザが実際に着用したことがあり、自身の足にフィットしていると感じた靴を参照靴として指定すれば、同様のフィット感の靴を簡単に見つけることができる。この際、ユーザは自身の足の採寸をする必要がなく、参照靴を指定するだけでよいので手間がかからない。また、実際のフィット感が高い靴を参照靴としたことで、参照靴の寸法情報２２２がユーザの寸法情報２１２を高精度に表したものとなる。すなわち、ユーザの足の採寸を行うことなく、ユーザ足の寸法情報２１２が高精度に得られる。 In such shoe similarity calculation, if the size information 222 is given a larger weight than other metadata, it is possible to efficiently search for shoes with similar dimensions to the reference shoe. If the user designates shoes that he has actually worn and feels fit his feet as reference shoes, he can easily find shoes with a similar fit. At this time, the user does not need to measure his or her own feet, and only needs to specify the reference shoe, which saves time and effort. Further, by using shoes with a good actual fit as the reference shoes, the size information 222 of the reference shoes represents the user's size information 212 with high accuracy. That is, the user's foot size information 212 can be obtained with high accuracy without measuring the user's foot.

また、靴の類似度の演算において、デザイン情報２２３の重みを他のメタデータに比べて大きく設定すれば、参照靴と類似のデザインや形状の靴を効率的に検索できる。同様に、各メタデータの重みを適宜設定することで、参照靴と類似のブランド、参照靴と類似の販売価格、参照靴と類似の素材、参照靴と類似の製法、参照靴と類似のスタイル、参照靴と類似の履き心地、等の各種の類似靴を効率的に検索できる。このような重みづけにおいて、複数のメタデータに大きな重みを設定してもよい。例えば、寸法情報２２２と素材（その他メタデータ２２５）の重みを大きく設定すれば、参照靴と類似の寸法および素材の靴を効率的に検索できる。 Further, in calculating the similarity of shoes, if the weight of the design information 223 is set to be larger than that of other metadata, it is possible to efficiently search for shoes with a similar design or shape to the reference shoe. Similarly, by setting the weight of each metadata appropriately, you can create brands similar to the reference shoes, sales prices similar to the reference shoes, materials similar to the reference shoes, manufacturing methods similar to the reference shoes, and styles similar to the reference shoes. It is possible to efficiently search for various types of similar shoes such as , similar comfort to the reference shoes, etc. In such weighting, large weights may be set for multiple pieces of metadata. For example, by setting large weights for size information 222 and material (other metadata 225), it is possible to efficiently search for shoes with similar dimensions and materials as the reference shoe.

また、以上のような様々な類否判断の基準は、ユーザの入力部３１を介した選択に応じて切り替えて適用してもよい。例えば、入力部３１を構成するスマートフォン等の画面（タッチパネル）上に、寸法情報２２２の重みを大きくした「サイズ重視」の検索を行うボタンと、デザイン情報２２３の重みを大きくした「デザイン重視」の検索を行うボタンを並置し、ユーザの各ボタンの押下操作に応じて、実行する検索を切り替えてもよい。 Furthermore, the various criteria for determining similarity as described above may be switched and applied according to the user's selection via the input unit 31. For example, on the screen (touch panel) of a smartphone or the like that constitutes the input section 31, there may be a button for searching for "size emphasis" with increased weight on the dimension information 222, and a button for "design emphasis" on the screen with increased weight on the design information 223. Search buttons may be arranged side by side, and the search to be executed may be switched in response to the user's press operation of each button.

類似スコア付与部１０４は、類似靴検索部１０３が検索した靴について、参照靴との類似性または寸法情報取得部１０５で取得されるユーザの寸法情報との類似性に基づく類似スコアを付与する。類似スコアは、例えば、０から１０の間のスコアで表され、類似性が高い靴ほど高いスコアが付与される。スコアの最小値、最大値、刻み幅は任意に設定できる。スコアは、０％～１００％の間の百分率で表してもよい。この類似スコアは、類似靴検索部１０３の類否判断の基準に応じて変化する。したがって、ユーザの選択に応じて類否判断の基準が切替可能な場合は、付与される類似スコアもユーザの選択に応じて切り替わる。また、ユーザの選択に応じて、参照靴との類似性に基づく類似スコアと、ユーザの寸法情報との類似性に基づく類似スコアを切り替えて表示部３２に表示してもよい。 The similarity score assigning unit 104 assigns a similarity score to the shoes searched by the similar shoe search unit 103 based on the similarity with the reference shoe or the similarity with the user's dimension information acquired by the dimension information acquisition unit 105. The similarity score is expressed, for example, as a score between 0 and 10, and shoes with higher similarity are given higher scores. The minimum value, maximum value, and step width of the score can be set arbitrarily. The score may be expressed as a percentage between 0% and 100%. This similarity score changes according to the similarity judgment criteria of the similar shoe search unit 103. Therefore, if the criteria for determining similarity can be switched according to the user's selection, the similarity score given will also be switched according to the user's selection. Further, depending on the user's selection, the display unit 32 may switch between a similarity score based on the similarity with the reference shoe and a similarity score based on the similarity with the user's dimensional information.

寸法情報取得部１０５は、類似靴の検索結果を表示部３２に表示させる際に考慮するため、ユーザの寸法情報２１２を取得する。前述の通り、参照靴としてユーザの足にフィットした靴が指定されている場合は、参照靴の寸法情報２２２をユーザの寸法情報２１２の代わりに取得してもよい。販売促進情報取得部１０６は、類似靴の検索結果を表示部３２に表示させる際に考慮するため、類似靴検索部１０３が検索した靴の販売促進情報を取得する。前述の通り、販売促進情報は販売情報２２４に含まれている割引や特典等の情報である。 The size information acquisition unit 105 acquires the user's size information 212 in order to take it into consideration when displaying search results for similar shoes on the display unit 32. As described above, if a shoe that fits the user's foot is specified as the reference shoe, the dimension information 222 of the reference shoe may be acquired instead of the user's dimension information 212. The sales promotion information acquisition unit 106 acquires the sales promotion information of the shoes searched by the similar shoe search unit 103 in order to take it into consideration when displaying the search results for similar shoes on the display unit 32. As mentioned above, the sales promotion information is information such as discounts and benefits included in the sales information 224.

表示制御部１０７は、類似靴検索部１０３の検索結果を表示部３２に表示させる。その際、類似スコア付与部１０４で付与された類似スコアが各靴とともに表示される。また、参照靴との類似性の高い靴、寸法情報取得部１０５で取得された寸法情報との類似性の高い靴、販売促進情報取得部１０６で取得された販売促進情報を含む靴の表示順を先にする等の優先表示が行われる。 The display control unit 107 causes the display unit 32 to display the search results of the similar shoe search unit 103. At this time, the similarity score assigned by the similarity score assignment section 104 is displayed together with each shoe. Also, the display order of shoes that are highly similar to the reference shoes, shoes that are highly similar to the dimensional information acquired by the dimensional information acquisition unit 105, and shoes that include sales promotion information acquired by the sales promotion information acquisition unit 106 Priority display is performed, such as placing the ``first'' first.

以上、本発明を実施形態に基づいて説明した。実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiments. Those skilled in the art will understand that the embodiments are merely illustrative, and that various modifications can be made to the combinations of the constituent elements and processing processes, and that such modifications are also within the scope of the present invention.

なお、実施形態で説明した各装置の機能構成はハードウェア資源またはソフトウェア資源により、あるいはハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。 Note that the functional configuration of each device described in the embodiments can be realized by hardware resources, software resources, or cooperation between hardware resources and software resources. A processor, ROM, RAM, and other LSIs can be used as hardware resources. Programs such as operating systems and applications can be used as software resources.

１靴データ生成装置、１１靴画像取得部、１２靴画像処理部、１３靴情報取得部、１４靴メタデータ生成部、１００靴検索システム、１２１平面画像特定部、１２３靴輪郭取得部、１４１寸法生成部、１４２形状生成部、１４３タイプ生成部、２００データベース、２２０靴情報、１４１１幅生成部、１４２１先端形状生成部。 1 shoe data generation device, 11 shoe image acquisition unit, 12 shoe image processing unit, 13 shoe information acquisition unit, 14 shoe metadata generation unit, 100 shoe search system, 121 planar image identification unit, 123 shoe contour acquisition unit, 141 dimensions Generation unit, 142 Shape generation unit, 143 Type generation unit, 200 Database, 220 Shoe information, 1411 Width generation unit, 1421 Tip shape generation unit.

Claims

A shoe data generation device that generates shoe data to be registered in a shoe presentation device that presents shoes to a user,
a shoe image acquisition unit that acquires an image of shoes;
When acquiring the outline of the shoe from the image acquired by the shoe image acquisition unit, a decoration removal unit that removes decorations on the shoe, a background removal unit that removes a background object that is a side part of the shoe, and a pair of a shoe contour acquisition unit including at least one of a shoe separation unit that adds a boundary line between the shoes;
a shoe metadata generation unit that generates metadata regarding the shoe from the image in which the shoe outline has been acquired by the shoe outline acquisition unit;
A shoe data generation device comprising:

The shoe data generation device according to claim 1, wherein the shoe image acquisition unit acquires at least an image of the shoe viewed from above or from below.

The shoe data generation device according to claim 1 or 2, wherein the shoe image acquisition unit acquires a plurality of images of the shoe from different viewpoints.

The shoe data generation device according to any one of claims 1 to 3 , wherein the shoe metadata generation unit generates metadata related to the width of the shoe from the image.

The shoe data generation device according to any one of claims 1 to 4 , wherein the shoe metadata generation unit generates metadata regarding the tip shape of the shoe from the image.

The shoe data generation device according to any one of claims 1 to 5 , wherein the shoe metadata generation unit generates metadata regarding the shoe type from the image.

Further comprising a shoe information acquisition unit that acquires information regarding the shoes,
A shoe metadata generation unit generates metadata regarding the shoes from the image based on the information acquired by the shoe information acquisition unit.
A shoe data generation device according to any one of claims 1 to 6 .

A shoe data generation method for generating shoe data to be registered in a shoe presentation device that presents shoes to a user, the method comprising:
a shoe image acquisition step of acquiring an image of the shoe;
When acquiring the outline of the shoe from the image, a process of removing decorations on the shoe, a process of removing a background object that is the side of the shoe, and a process of adding a border line between a pair of the shoes. a shoe contour obtaining step of performing at least one of;
a shoe metadata generation step of generating metadata regarding the shoe from the image in which the outline of the shoe is obtained ;
A shoe data generation method comprising:

A shoe data generation program that generates shoe data to be registered in a shoe presentation device that presents shoes to a user, the program comprising:
a shoe image acquisition step of acquiring an image of the shoe;
When acquiring the outline of the shoe from the image, a process of removing decorations on the shoe, a process of removing a background object that is the side of the shoe, and a process of adding a border line between a pair of the shoes. a shoe contour obtaining step of performing at least one of;
a shoe metadata generation step of generating metadata regarding the shoe from the image in which the outline of the shoe is obtained ;
A shoe data generation program that causes a computer to execute.