WO2022075051A1 - 画像識別方法、画像識別プログラムが格納された記憶媒体及び画像識別システム - Google Patents

画像識別方法、画像識別プログラムが格納された記憶媒体及び画像識別システム Download PDF

Info

Publication number
WO2022075051A1
WO2022075051A1 PCT/JP2021/034439 JP2021034439W WO2022075051A1 WO 2022075051 A1 WO2022075051 A1 WO 2022075051A1 JP 2021034439 W JP2021034439 W JP 2021034439W WO 2022075051 A1 WO2022075051 A1 WO 2022075051A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
identification
information
image identification
Prior art date
Application number
PCT/JP2021/034439
Other languages
English (en)
French (fr)
Inventor
根岸心
Original Assignee
６Ａｓｓｅｔｓ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ６Ａｓｓｅｔｓ株式会社 filed Critical ６Ａｓｓｅｔｓ株式会社
Publication of WO2022075051A1 publication Critical patent/WO2022075051A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an image identification method for using various indoor and outdoor icons existing in daily life as code information, a storage medium in which a program is stored, and a system.
  • Code information has traditionally been widely used for product and service management (including authentication and identification of the authenticity or appropriateness of the content of the product or service) and payment, especially barcodes and two-dimensional codes. Code information such as is used for general purposes. With the development of the Internet, these code information are widely used not only for the above-mentioned purposes but also as a means for transmitting information online.
  • the code information itself such as a barcode or a two-dimensional code, can be said to be an entity that indirectly displays and outputs information in the sense that it facilitates access to specific information.
  • a barcode or a two-dimensional code can be said to be an entity that indirectly displays and outputs information in the sense that it facilitates access to specific information.
  • special information since it is not possible to obtain special information by visually recognizing it, there is a demand for an information transmission method that is easier for users to understand.
  • a technique for providing information on a product similar to the product to a user by acquiring and identifying an image of the product as well as the code information is disclosed.
  • this technology it is possible to suitably provide users with information on explanations of products and services and benefits at retail stores such as supermarkets.
  • Patent Document 1 is a technique applicable only to a product in a store or a product having a specific shape, and its use is limited.
  • Patent Document 1 is a technique for executing all processes by an information processing terminal provided in a cage or a card for transporting goods in a store, processing such as link generation that can be handled is a terminal. It depends on the information processing capacity of the computer, and there are many physical and other restrictions on the generation of links and the use of links using a large amount of information.
  • the information used for management basically depends on the information managed by the administrator who attaches the code information, and it is difficult to manage using other external information as well.
  • the present invention is an image identification method using an image identification model for discriminating between one image data and specific image data which is image data related to a specific object.
  • the link generation step for linking the specific image data and the predetermined information
  • the input reception step for accepting the input of the image data
  • the relationship between the received image data and the predetermined specific image data We propose an image identification method that uses a computer to execute the identification judgment step for judgment and the link destination information output step that outputs the linked information in the link generation step according to the judgment result in the discrimination judgment step. do.
  • a feature amount for extracting the feature amount of image data captured by the image pickup function by using an image pickup function control step for activating the image pickup function and an image identification model is output.
  • the extraction step, the feature amount output step of outputting the extracted feature amount to an external server, the predetermined information acquisition step of acquiring the predetermined information identified in association with the output feature amount, and the acquired predetermined information are output.
  • various indoor and outdoor icons including the interior and exterior of the store, signboards and other images can be used as code information regardless of the type and shape of the product. It will be possible to provide a mechanism for attracting customers and authenticating / identifying the contents of products and services without excessively depending on the processing capacity of the terminal.
  • the figure which shows an example of the functional block of the image identification system of Embodiment 1. Schematic diagram showing an example of the configuration when the functional configurations of the image identification system of the first embodiment are collectively realized as one piece of hardware.
  • the figure which shows an example of the processing flow in the image identification system of Embodiment 1. The figure which shows an example of the functional block of the image identification system of Embodiment 2.
  • the figure which shows an example of the functional block of the image identification system of Embodiment 3. The figure which shows an example of the processing flow in the image identification system of Embodiment 3.
  • the figure which shows an example of the functional block of the mobile terminal of Embodiment 4. Schematic diagram showing an example of the configuration when the functional configurations of the mobile terminal of the fourth embodiment are collectively realized as one piece of hardware.
  • FIG. 1 is a diagram showing an outline of the present invention.
  • image data when image data is acquired by photographing an object such as the facade (appearance) of a store using a mobile terminal such as a smartphone, the object is analyzed using an image identification model and related to the image data. You can get the information to do.
  • the image data when the appearance of a store is photographed with a smartphone and the image data is transmitted to an external cloud server, the image data is the appearance of the store "A" using the image identification model in the server. Identify.
  • the cloud server the fact that the store "A" is a sweets store famous for cupcakes and detailed information on the cupcakes being sold are specified in advance in association with the appearance image of the store "A".
  • the first embodiment mainly corresponds to claims 1, 2, 3, 6, 7, and the like.
  • the second embodiment mainly corresponds to claim 4 and the like.
  • the third embodiment mainly corresponds to claim 5.
  • the fourth embodiment mainly corresponds to claims 8, 9, 10, 11, 12, and the like. It should be noted that the present invention is not limited to these embodiments, and has various technical ideas as described in each claim in accordance with common general technical knowledge and does not deviate from the gist thereof. It can be carried out in an embodiment.
  • FIG. 2 is a diagram showing an example of a functional block of the system when the image identification method of the present embodiment is realized by one system including one or a plurality of computers.
  • the "image identification system" 0200 of the present embodiment includes a "link generation unit” 0201, an "input reception unit” 0202, an "identification determination unit” 0203, and "link destination information”. It has an output unit "0204".
  • the image identification system of the present embodiment is characterized in that an "image identification model" 0210 for discriminating between one image data and product image data which is image data related to the product is used.
  • the system for executing the image identification method described in detail below may be configured to realize one or more functions of the functions by a plurality of devices, and the functional blocks thereof may be configured. Both can be realized as hardware or software.
  • CPU main memory
  • GPU GPU
  • TPU image memory
  • bus secondary storage device
  • keyboard and operation buttons touch panel
  • touch panel electronic for touching touch panel
  • Hardware components such as various input devices such as pens, microphones, displays and other output devices, and other external peripheral devices, as well as interfaces for the external peripheral devices, communication interfaces, and drivers for controlling those hardware. Examples include programs and other application programs.
  • the data input from the input device or other interface and held in the memory or hardware can be processed and stored, or the hardware or software can be processed. Instructions for control are generated.
  • the above program may be realized as a plurality of modularized programs, or may be realized as one program by combining two or more programs.
  • distributed processing may be performed in the form of cloud computing, or execution processing may be performed by a plurality of programs provided across a plurality of businesses in the form of API linkage.
  • the "link generation unit" 0201 is configured to link specific image data with predetermined information.
  • the specific image data referred to here needs to be image data related to a specific object, and what kind of association is made can be appropriately set.
  • a specific object first of all, the front appearance (façade) of a restaurant or other building, the appearance that shows the relative positional relationship with other appearances, signboards, and surrounding facilities, and other buildings and food and drink that can be obtained by visiting the store. Images of objects and products can be assumed as specific image data.
  • the specific image data is not limited to the image of the building or the product itself as described above, and may be configured by associating those images with other information.
  • specific association separately input specific information (building name, facility name, store name, product name, service name, product shape, product display form) included in the above-mentioned outside view. It is conceivable to store the image in advance and associate the image with the information.
  • by using not only the image but also the characters and other information contained in the image for link generation it is possible to facilitate the transition to the link destination.
  • the specific image data linked to one predetermined information does not necessarily have to be one, that is, a plurality of specific image data and one predetermined information may be configured to be linked.
  • one facility among the exteriors of the facility, the image seen from an angle other than the façade, the image seen from the opposing facility, the image seen from the sky, the external view image seen from the inside of the facility, etc. It is conceivable to link each of the images that can be used for identification as specific image data with predetermined information. By adopting a configuration in which a plurality of images are linked to predetermined information, even if the input reception unit described later is unclear or a partial image input is accepted, the image is changed to the predetermined information. It will be possible to perform identification processing for linking.
  • the specific image data is configured to be linked with predetermined information.
  • the predetermined information here is not particularly limited as long as it is information that seems to be related to the specific image data. For example, information on an event held at the facility in relation to the specific image data related to the specific facility. Or, it may be information explaining the history of the facility, or information on products sold exclusively at the facility. Further, of course, it may be information about the photographer or the photographing user of the specific image data.
  • the predetermined information can be positioned as the URL of the web page as long as it can be displayed on the specific web page, or may be information for activating the predetermined application. That is, as a method for linking the specific image data and the predetermined information, various methods other than the case of generating a link to the specific web page can be considered, and the method is not particularly limited. By adopting such a configuration, as long as a specific image is acquired, information related to the image can be easily acquired without performing a special search process or the like.
  • the generation of the link between the specific image data and the predetermined information can be performed only by one user, and it is not possible for a plurality of users to generate a link with different predetermined information for one specific image data. Is desirable. That is, the specific image data, the predetermined information, and their links are all associated and retained with one user.
  • a link can be generated in a manner that can be shared among multiple users like a so-called hashtag, the relationship between the specific image data originally intended by the user and the predetermined information becomes unclear, and information transmission This is because the suitability as a means of the above fluctuates.
  • the link generated by the link generation unit can be managed by the generated user, and the expiration date of the link can be set, the predetermined information to be linked can be edited or deleted, and the specific image data to be linked with the predetermined information can be changed.
  • Various processes such as can be performed. By adopting this configuration, it becomes possible to use it for information transmission for a limited time or to transmit information linked to the latest information.
  • the "input receiving unit" 0202 is configured to receive input of image data.
  • the specific mode of input reception is not particularly limited. As an example, it is conceivable to shoot a still image or a moving image with a camera, and the image data is not limited to one image, and a plurality of image data are collectively associated with each other as one image data group.
  • the input may be accepted. In this case, it is conceivable to disclose information such as a desirable shooting angle and shooting distance in advance, and to accept input of image data of a plurality of shots based on the information. Specifically, it is conceivable to photograph the exterior and interior of multiple facilities, signs, exhibits, and other products that were shot at different shooting angles and distances. Accepts input of image data.
  • one or more devices such as a dot projector, a depth sensor, a proximity sensor, and an infrared camera are activated so that the shape of the object to be photographed can be identified by various information, and the identification result is converted into image data.
  • a dot projector a depth sensor
  • a proximity sensor a proximity sensor
  • an infrared camera are activated so that the shape of the object to be photographed can be identified by various information, and the identification result is converted into image data.
  • the image data can be acquired without forcing the user to perform the image pickup process of the camera. It is possible to reduce the stress of the user.
  • the present invention relates to a technique for providing a user with a means of accessing information by simple processing without using code information, and prepares a bar code or a two-dimensional code in advance and reads the code. Processing is excluded from the configuration of the present invention.
  • the "discriminative determination unit" 0203 is configured to determine the relationship between the received image data and the predetermined specific image data by using the image identification model. Specifically, it is possible to determine whether the received image data is related to any of a plurality of specific image data, and identify what kind of predetermined information can be linked from the received image data. To do so.
  • the relevance is determined using the "image discrimination model" 0210.
  • image discrimination model it is conceivable to generate an initial trained model by learning based on the initial data. Specifically, the node used for learning and the correct answer value will be prepared.
  • initial data images of the exterior, interior, products, etc. of a specific facility are prepared as initial data (learning data), and various attribute information related to those images is used as an input node.
  • the correct answer value for identifying the image it is given by using the evaluation function based on the attribute information and the like.
  • training data is obtained, and an initial learning model is generated by performing machine learning in a convolutional neural network or other format.
  • this initial learning model is generated by performing machine learning in a convolutional neural network or other format.
  • this initial learning model as an image identification model and perform image identification processing using image data as input data.
  • a rule regarding image data not related to the specific image data that is, an evaluation function for deriving a non-correct answer value and other rules may be held together.
  • the initial learning model For the initial learning model, additional learning is performed on one specific image data using other image data to generate a plurality of individual image identification models, and then integrated processing is performed to perform general-purpose images. It is also possible to obtain a discriminative model.
  • the initial learning model will generate an image identification model that can be applied to a wide range of general image data, such as regional characteristics, characteristics as a subject (facility or product, etc.), weather, shooting time, etc.
  • Features and other features It is not always versatile as a model that matches the features at the time of image acquisition. Therefore, as an integrated process, it is possible to improve the accuracy of image identification by generating a plurality of individual image identification models applicable to a plurality of features and making it possible to combine them.
  • a plurality of image identification rules for determining whether or not the image data includes a plurality of specific image data are provided, and the identification determination unit identifies the received image data by using the plurality of image identification rules.
  • a configuration may be adopted in which an identification determination means is provided. Specifically, it is determined by using a plurality of image identification rules whether or not there are a plurality of specific image data having characteristics related to the image data for which the input is received.
  • the multiple image identification rule it is conceivable to use a rule for determining whether or not there is specific image information having the same attribute information as the attribute information given to the image data for which the input is received.
  • a plurality of objects are reflected in one image data
  • which object is selected as the specific image data may be included in the multiple image identification rule here.
  • a plurality of specific image data are included as an object in one image by using the area ratio of the reflected object in the entire image data, the arrangement position in the image, and other information. It may be determined, and in such a case, it is possible to perform a determination process of adopting one object as information used for identification with specific image data by using a plurality of image identification rules.
  • a determination process of adopting one object as information used for identification with specific image data by using a plurality of image identification rules.
  • the multiple identification determination means When it is determined by the multiple identification determination means that a plurality of specific image data are included, the plurality of image data are identified by using a plurality of image identification models, and more specifically, the image data of a plurality of times is used.
  • a configuration is conceivable in which the identification result is discriminated through the input and the output of the identification result.
  • an individual image identification model for identifying the image for example, an image taken at night
  • an individual image identification model for identifying an image taken at an external facility. It is possible to improve the identification accuracy by adopting a configuration in which image identification is performed by using these a plurality of image identification models in an overlapping manner.
  • an incidental information determination unit that determines whether or not incidental information, which is information incidental to the image data input received by the input reception unit, is included is further provided, and the identification determination unit has an incidental information determination unit.
  • the identification determination unit has an incidental information determination unit.
  • the identification determination unit outputs a predetermined question to the user in addition to the image identification model, and determines the relevance to the predetermined specific image data by using the answer to the question. May be adopted. Specifically, it is necessary to obtain information such as whether or not the image was acquired before, the weather at the time of image acquisition, and what of the various elements contained in the image are of interest. It is conceivable to output a question about the content of the image, a question about external information such as the weather and time zone at the time of image acquisition, and whether or not there is a past visit record, and accept an answer to the output.
  • Such a question is held in advance together with an image discrimination model together with an example of an answer to the question. Then, when trying to determine the relevance to the specific image data using only the image identification model, the accuracy of the processing result of the arithmetic processing using the image identification model is further improved by using the answer contents to the question. As a result, it is possible to improve the accuracy of determining the relationship between the received image data and the specific image data.
  • the identification determination unit realizes the function in one computer
  • information about specific image data is recorded on a blockchain configured by connecting a specific or unspecified computer via a network, and the image data is received by accessing the blockchain.
  • Information that is considered to be suitable for determining the relevance is acquired, and the relevance to the predetermined specific image data is determined using the information and the image identification model.
  • the "link destination information output unit" 0204 is configured to output the linked information in the link generation unit according to the determination result in the identification determination unit.
  • the linked information may be a store website, a service site, or the like, as well as an information page of a specific product.
  • the information page based on the information recorded by other users participating in the blockchain mentioned above and the information to be referred to (for example, the judgment result that the image data received by the identification judgment unit is a forgery of the product). If an alert is issued, an alert related to the result, information to guide the reporting window, etc.) may be output, or information such as the appropriate price of the specific product and the reason thereof based on multiple information. It is also possible to output.
  • the present invention can be used for user health management. That is, a specific image data of a part of the body of a specific user or a human or an animal and a predetermined information related to health management represented by the state of the part are linked in advance to generate an image from the user.
  • the input of data is accepted, the relevance of the received image data to the specific image data is determined using the image identification model, and the information related to health management linked according to the determination result is output. It is conceivable to use it for such services.
  • Example 2 there are other cases in which the present invention is used for user health management, and it can be applied to cases such as medication instruction. That is, an image of the packaged state of a specific drug or the drug itself is used as specific image data, and predetermined information related to the drug is linked and generated in advance, and input of image data related to the drug is accepted from the user. And, the received image data can be used for a service that determines the relationship with the image data using an image identification model and outputs information related to the linked drug according to the determination result. Conceivable.
  • the pharmacist may give instructions on how to take the prescribed drug at the time of dispensing, or information on how to take the prescribed drug may be described in the "medicine notebook" or the like and delivered.
  • the image identification model can be used. It is possible to provide timely and understandable information such as how to take the drug and precautions (whether or not the drug should be taken before meals, whether or not there is a possibility of becoming sleepy after taking the drug, etc.).
  • the present invention can also be used to examine the profile of a person. That is, when the specific image data of the face of a specific person and the predetermined information related to the profile of the person are linked in advance and generated, and the input of the face image data of the person is accepted from the user, the acceptance is received. It is conceivable to use the face image data for a service that determines the relationship with the face image data using an image identification model and outputs information related to the profile of the linked person according to the determination result. Be done.
  • the present invention can be used to support the purchase of products that are of concern on the street. That is, when the specific image data of a specific product and the details of the product and the predetermined information related to the sales destination are linked and generated in advance and the user receives the input of the image data of the product, the acceptance is received. It is conceivable to use the product image data for a service that determines the relationship with the product image data using an image identification model and outputs information related to the linked product according to the determination result.
  • the present invention can be used to examine detailed information of a subject. That is, specific image data of a specific object or place (object, etc.) and predetermined information related to the object, etc. (for example, name, place name, facility name, etc.) are linked and generated in advance, and the object is from the user.
  • predetermined information related to the object, etc. for example, name, place name, facility name, etc.
  • the relevance of the received image data to the image data is determined by using the image identification model, and a predetermined predetermined image data related to the linked object or the like is determined according to the determination result. It can be used for services that output information.
  • the configuration may be such that the name, place name, etc. are simply displayed and output, but by outputting the information to an external server or the like having another information retrieval function, the information retrieval using the information as a query.
  • There may be a configuration in which the processing is performed and the processing result is displayed and output to the user.
  • technical measures such as API linkage.
  • the present invention can be used for determining the authenticity of a product. That is, the specific image data of a specific product and the detailed shape, transparency, brightness, luminosity, color, size, presence / absence of scratches, their degree, location, and other visual features for determining the authenticity of the product.
  • Information predetermined information related to the owner of the product, detailed information about the product itself such as weight, material, etc. are linked in advance and generated, and the user inputs the image data of the product.
  • the service Upon acceptance, the service will determine the relevance of the accepted product image data to the product image data using the image identification model, and output information related to the linked product according to the determination result. It is conceivable to use it.
  • NFT Non-Fungible Token
  • the present invention can be used for calculating an appropriate price of a product including real estate in relation to the fifth embodiment. That is, the specific image data of a specific product, the shape, transparency, brightness, lightness, color, size, presence / absence of scratches and stains, and the degree of scratches and stains for calculating the appropriate price of the product, and images of the neighborhood of the real estate.
  • the product image data is concerned. It is conceivable to use the received product image data for a service that determines the relationship with the product image data using an image identification model and outputs information related to the linked product according to the determination result. Be done.
  • FIG. 3 is shown.
  • the figure is a schematic diagram showing an example of the configuration when each functional configuration of the image identification method of the present embodiment is collectively realized as one hardware.
  • Each device has a "CPU” 0301, a “storage device (storage medium)" 0302, a “main memory” 0303, an "input interface” 0304, and an “output interface” 0305 for executing various arithmetic processes.
  • a "network interface” 0306 and transmits / receives information to / from an external peripheral device such as a "touch panel” 0307 or a “display” 0308 via an input / output interface.
  • information is transmitted and received to and from an external device such as the "user terminal" 0309 via the network interface.
  • the specific aspect of this network interface may be wired or wireless, and the communication method may be direct or indirect. Therefore, it is also possible to adopt a so-called cloud computing format in which information is transmitted / received between a specific external device or a user of the device and a server managed by a third party associated with the device.
  • the link generation unit is composed of a computer program and computer hardware. Specifically, the CPU reads the "link generation program" 0311 from the storage device into the main memory and executes it, and receives input of specific image data and predetermined information. At the same time, a process for linking each is performed, and the process result is stored in a predetermined address of the main memory.
  • the input reception unit is composed of a computer program and computer hardware such as a camera. Specifically, the CPU reads the "input reception program" 0312 from the storage device into the main memory and executes it to receive the input of image data. The received image data is stored in a predetermined address of the main memory.
  • the identification determination unit is composed of a computer program and computer hardware. Specifically, the CPU reads the "identification determination program" 0313 from the storage device into the main memory together with the "image identification model” 0315, executes the identification determination unit, and executes the input reception program. Is performed to determine the relationship between the received image data and the predetermined specific image data, and the processing result is stored in the predetermined address of the main memory.
  • the link generation unit is composed of a computer program and computer hardware. Specifically, the CPU reads the "link destination information output program" 0314 from the storage device into the main memory and executes it, and is obtained by executing the identification determination program. According to the processing result, the processing to output the linked information by executing the link generation program is performed.
  • FIG. 4 is a diagram showing an example of a processing flow in the image identification method of the present embodiment.
  • the processing flow in the figure consists of the following steps. First, in step S0401, the specific image data and the predetermined information are linked (link generation step), and in step S0402, the input of the image data is accepted (input acceptance step).
  • step S0403 a process of determining the relationship between the received image data and the predetermined specific image data is performed using the image identification model. If the judgment result here is related, the information linked in the link generation step corresponding to the judgment result in the identification judgment step is output in step S0404 (link destination information output). Step). If the content is irrelevant, no further processing is performed. Of course, it may be configured to output the information that "the related information was not found".
  • the image identification system of the present embodiment is basically the same as the image identification system described in the first embodiment, but further includes an image data identification unit for specifying image data included in the moving image data, and an input reception unit. However, it has a video receiving means for inputting and accepting video data as image data, and the identification determination unit determines the relationship between the image data specified by the image data specifying unit and the predetermined specific image data. It has a further technical feature of having more means. In the following, the above-mentioned features different from the points mentioned in the first embodiment will be described in detail.
  • FIG. 5 is a diagram showing an example of a functional block of the system when the image identification method of the present embodiment is realized by one system including one or a plurality of computers.
  • the "image identification system" 0500 of the present embodiment includes a "link generation unit” 0501, an "input reception unit” 0502, an “identification determination unit” 0503, and “link destination information”. It has an output unit “0504" and an "image data specifying unit” 0505, and the input receiving unit further has the “moving image receiving means” 0512, and the identification determination unit further has the "moving image identifying means” 0513. Since the basic configuration is the same as the image identification system described with reference to FIG. 2 of the first embodiment, the following differences are the "image data specifying unit” 0505, the "video receiving means” 0512, and the “moving image”. The function of the identification means "0513 will be described.
  • the "video receiving means" 0512 is configured to receive input of moving image data as image data at the input receiving unit.
  • the video data may be data composed of a plurality of image frames, and the video data is generated by various formats, and the format is not particularly limited, and whether or not audio data is included is also included. It doesn't matter. However, in the present invention, it is not an essential component to use audio data for image identification.
  • the "image data specifying unit" 0505 is configured to specify the image data included in the moving image data. It means that when the input of the moving image data is accepted, the moving image data is cut out into image data of a predetermined unit, and the input of the cut out image data is received and specified in association with the moving image data. It is possible to cut out and specify all the frames of the moving image, but of course, the configuration may be such that an arbitrary selection by the user is accepted and only the arbitrarily selected frame is specified as the selected image data.
  • the image data included in the frame will be used for identification in a complex manner, and in that case, it is conceivable to use the composite image identification rule described in the first embodiment.
  • the "moving image identification means" 0513 is configured such that the identification determination unit determines the relationship between the image data specified by the image data identification unit and the predetermined specific image data. Specifically, the relationship between the specified image data and the specific image data is determined using the "image identification model" 0510.
  • each device constituting the image identification system of the present embodiment is basically the same as the hardware configuration of the image identification system of the first embodiment described with reference to FIG. Therefore, the following describes specific processes of the "image data specifying unit", the "video receiving means”, and the “video identifying means” that have not been described so far.
  • the video reception means is composed of a computer program and computer hardware, and when the input reception program is executed, the CPU reads the "video reception subprogram" from the storage device into the main memory and executes it as image data. It accepts the input of video data and stores it at a predetermined address in the main memory.
  • the image data identification unit is specifically composed of a computer program and computer hardware, and is obtained by the CPU reading the "video data identification program" from the storage device into the main memory and executing it, and executing the video reception subprogram. A process for specifying the image data included in the moving image data is performed, and the process result is stored in a predetermined address in the main memory.
  • the moving image identification means is composed of a computer program and computer hardware, and when the identification determination program is executed, the CPU reads a "video identification subprogram" from the storage device into the main memory and executes the image data identification program. A process of determining the relationship between the image data obtained by the execution and the predetermined specific image data is performed, and the result is stored in the predetermined address of the main memory.
  • FIG. 6 is a diagram showing an example of a processing flow in the image identification method of the present embodiment.
  • the processing flow in the figure consists of the following steps. First, in step S0601, the specific image data and predetermined information are linked (link generation step), and in step S0602, input of moving image data as image data is accepted (video receiving step).
  • step S0603 a process of specifying the image data included in the moving image data is performed (image data specifying step), and in step S0604, the image data received in the form of being specified from the moving image data and a predetermined value are specified by using the image identification model. Performs processing to determine the relevance to the specific image data of. If the judgment result here is related, the information linked in the link generation step is output according to the judgment result in the video identification step in step S0605 (link destination information output). Step). If the content is irrelevant, no further processing is performed. Of course, it may be configured to output the information that "the related information was not found".
  • the moving image identification system of the present embodiment is basically the same as the moving image identification system according to the first or second embodiment, but the input receiving unit also inputs and accepts object data in the virtual space as image data. Further technical in that it has a data receiving means, and the identification determination unit further has a virtual space data identification means for determining the relationship between the object data received by the virtual space data receiving means and the predetermined specific image data. It is equipped as a feature. In the following, the above-mentioned features different from the points mentioned in the first and second embodiments will be described in detail.
  • FIG. 7 is a diagram showing an example of a functional block of the system when the image identification method of the present embodiment is realized by one system including one or a plurality of computers.
  • the "image identification system" 0700 of the present embodiment includes a “link generation unit” 1001, an "input reception unit” 0702, an “identification determination unit” 0703, and “link destination information”.
  • the "output receiving unit” has a “virtual space data receiving means” 0712
  • the “identification determination unit” has a "virtual space data identifying means” 0713. Since the basic configuration is common to the image identification determination system described with reference to FIG. 2 of the first embodiment, the differences below are the “virtual space data receiving means” 0712 and the “virtual space data identifying means” 0713. The function of is explained.
  • the "virtual space data receiving means" 0712 is configured to receive input and receive object data in the virtual space as image data in the input receiving unit.
  • the object data in the virtual space is, for example, predetermined object data composed of two dimensions, three dimensions, or other multidimensional expressions expressed by using contents such as AR (augmented reality) and VR (virtual reality). As an example, it can be represented by characters, items, icons, and the like.
  • a configuration in which the object data displayed in the virtual space is selected and input can be considered. That is, by selecting the object data displayed in the content expressed through AR or VR by a predetermined method, the input of the selected object data is accepted.
  • the "virtual space data identification means" 0713 is configured in the identification determination unit to determine the relationship between the object data received by the virtual space data reception means and the predetermined specific image data.
  • the specific method of determining the relevance may be the same as the specific method of determining the relevance of the image data and the moving image data described so far.
  • the object data since the object data may be configured three-dimensionally, in the determination using the discriminative model, the relationship with the specific image data is determined based on the three-dimensional configuration.
  • each device constituting the image identification system of the present embodiment is basically the same as the hardware configuration of the image identification system of the first embodiment described with reference to FIG. Therefore, the specific processing of the "virtual space data receiving means" and the “virtual space data identification means” that have not been described so far will be described below.
  • the virtual space data reception means is composed of a computer program and computer hardware, and when the input reception program is executed, the CPU reads the "virtual space data reception subprogram" from the storage device into the main memory and executes the image. Object data in the virtual space is also input and accepted as data, and then stored at a predetermined address in the main memory.
  • the virtual space data identification means is composed of a computer program and computer hardware, and when the identification determination program is executed, the CPU reads the "virtual space data identification subprogram" from the storage device into the main memory and executes the virtual space data identification means. Performs a process of determining the relationship between the virtual spatial data obtained by executing the spatial data reception subprogram and the predetermined specific image data, and stores the result in the predetermined address of the main memory.
  • FIG. 8 is a diagram showing an example of a processing flow in the image identification system of the present embodiment.
  • the processing flow in the figure consists of the following steps. First, in step S0801, the specific image data and predetermined information are linked (link generation step), and in step S0802, input of virtual space data as image data is accepted (virtual space data reception step).
  • step S0803 a process of specifying the image data included in the virtual space data is performed (image data specifying step), and then in step S0804, the image identification model is used to specify from the received virtual space data. Performs a process of determining the relationship between the received image data and the predetermined specific image data. If the determination result here is related, the information linked in the link generation step is output according to the determination result in the virtual space data identification step as step S0805 (link). Destination information output step). If the content is irrelevant, no further processing is performed. Of course, it may be configured to output the information that "the related information was not found".
  • Embodiment 4 >> ⁇ Overview>
  • FIG. 9 is a diagram showing an example of a functional block of a mobile terminal for acquiring an image of the identification target in relation to the image identification method described in the first to third embodiments.
  • the "image identification terminal" 0900 of the present embodiment includes an “imaging function control unit” 0901, a “feature amount extraction unit” 0902, a “feature amount output unit” 0903, and “feature amount output unit” 0903. It has a predetermined information acquisition unit “0904" and a "predetermined information output unit” 0905.
  • the image identification terminal of the present embodiment is a mobile terminal composed of hardware and software, and is described below as long as it is a mobile phone, a smartphone, a tablet-type mobile terminal, or any other terminal device that can be connected to a portable network.
  • Other configurations that need to be a configuration for executing a program for executing the functions described in the above may be a general mobile terminal.
  • the mobile terminal of this embodiment holds an image identification model. As described in the first embodiment, the image identification model itself performs image identification processing as a program.
  • the "imaging function control unit" 0901 is configured to control the imaging function of the image identification terminal. Specifically, it can be realized by a camera, such as shooting a specific shooting area specified by the user, shooting after a certain period of time using the timer function, or shooting within a certain time using the continuous shooting function. It is conceivable to take multiple shots.
  • the "feature amount extraction unit" 0902 is configured to extract the feature amount of the image data captured by the image pickup function by using the image identification model.
  • An appropriate method can be considered as to how to extract the feature amount of the image data.
  • the feature amount is extracted by various other methods.
  • a configuration may be adopted in which the presence or absence of characters included in the image data or the content thereof is identified and the feature amount is extracted.
  • OCR optical character recognition system
  • the feature amount By extracting the feature amount by combining the character information and the captured image data, the identification accuracy of the image as the subject is improved, and the link is made with the feature amount with high accuracy. It can contribute to the acquisition of the prescribed information.
  • a configuration may be adopted in which one object is estimated using the plurality of images and the feature amount is extracted based on the estimation result.
  • the configuration is such that the shape of one three-dimensional object is estimated from a plurality of images taken in different directions, and the feature amount is extracted from the estimated shape. If this configuration is adopted, the identification accuracy of the image as the subject can be improved, and it is possible to contribute to the acquisition of predetermined information of the link destination with a highly accurate feature amount.
  • the mobile terminal may be further provided with a configuration for acquiring position information via an antenna or the like, and may be configured to extract features using the acquired position information in addition to the image identification model. ..
  • the position information of the mobile terminal or the user who operates the terminal is acquired through transmission / reception of information with a GPS (Global Positioning System) or other external system.
  • GPS Global Positioning System
  • the image data to be photographed is real estate such as a store or facility, or a product, person, service, etc. associated with the store, etc., the location information and the photographed image data are combined. Extracting the feature amount can also improve the identification accuracy of the image as the subject, and thus contribute to the acquisition of predetermined information of the link destination with the highly accurate feature amount.
  • the "feature amount output unit" 0903 is configured to output the extracted feature amount to an external server.
  • the extracted feature amount is not output together with, for example, captured image data, position information, or other data or information, and only the feature amount is output.
  • the reason for adopting the configuration to output to an external server is that the predetermined information is acquired with a light burden without performing the processing for associating the feature amount with the predetermined information on the mobile terminal. This is because the advantage of the mobile terminal of the present embodiment can be further utilized by avoiding applying a load.
  • the "predetermined information acquisition unit" 0904 is configured to acquire predetermined information identified in association with the feature amount output through the feature amount output unit.
  • the identification process between the feature amount and the predetermined information in the external server may be realized by an appropriate method, and is a design matter not directly related to the feature of the present invention.
  • the acquisition of the predetermined information may include a configuration for acquiring the URL or other information linked to the predetermined information in addition to the acquisition of the predetermined information itself.
  • the "predetermined information output unit" 0905 is configured to output the acquired predetermined information. As explained in the predetermined information acquisition unit, in addition to the method of displaying and outputting the predetermined information itself, the case of displaying and outputting the URL and other information linked to the predetermined information is also included. In this case, the predetermined information is specified through the link. A configuration that displays and outputs information is conceivable.
  • FIG. 10 is shown here.
  • the figure is a schematic diagram showing an example of the configuration of the mobile terminal of the present embodiment, and is a schematic diagram showing a “CPU” 1001 for executing various arithmetic processes, a “storage device (storage medium)” 1002, and a “main memory” 1003.
  • input interface 1004
  • output interface 1005
  • network interface 1006
  • send and receive information to and from external peripheral devices such as "camera” 1007 and “display” 1008 via input / output interface. I do. It also sends and receives information to and from an external device such as the "external server” 1009 via the network interface.
  • the image pickup function control unit is composed of a computer program and computer hardware, and the CPU reads the "imaging function control program" 1011 from the storage device into the main memory and executes it, and uses the camera or the like according to the user's instruction. Performs processing to control the image imaging function that was used.
  • the feature quantity extraction unit is composed of a computer program and computer hardware, and the CPU reads the "image identification model” 1015 and the “feature quantity extraction program” 1012 from the storage device into the main memory and executes them, and has an imaging function.
  • the image data captured by the computer is input to the image identification model, the feature amount obtained as the input result is extracted, and the feature amount is stored in a predetermined address of the main memory.
  • the feature amount output unit is composed of a computer program and computer hardware, and the CPU reads the "feature amount output program" 1013 from the storage device into the main memory and executes it, and externally specified in advance via the network.
  • the feature amount obtained by executing the feature amount extraction program is output to the server.
  • the predetermined information acquisition unit is composed of a computer program and computer hardware, and the CPU reads the "predetermined information acquisition program" 1014 from the storage device into the main memory and executes it, and the feature amount from the external server via the network.
  • the predetermined information identified in association with is acquired and stored at a predetermined address in the main memory.
  • the predetermined information output unit is specifically composed of a computer program and computer hardware, and is obtained by the CPU reading the "predetermined information output program" 1015 from the storage device into the main memory and executing the predetermined information acquisition program. The information is displayed and output in other modes.
  • FIG. 11 is a diagram showing an example of a processing flow in the image identification terminal of the present embodiment.
  • the processing flow in the figure consists of the following steps.
  • the image pickup function is activated to acquire image data (imaging function control step)
  • the feature amount of the image data captured by the image pickup function is extracted using the image identification model (feature amount extraction).
  • the extracted feature amount is output to the external server in step S1103 (feature amount output step)
  • the predetermined information identified in association with the output feature amount in step S1104 is acquired from the external server (step).
  • the predetermined information acquisition step) and the predetermined information acquired as step S1105 are output (predetermined information output step).
  • 0200 ... Image identification system, 0201 ... Link generation unit, 0202 ... Input reception unit, 0203 ... Identification judgment unit, 0204 ... Link destination information output unit, 0210 ... Image identification model

Abstract

【課題】商品情報を提供するための従来技術では、大量の情報を用いたリンク生成やリンクの利用については物理的その他多くの制約があった。 【課題を解決するための手段】一の画像データと特定のオブジェクトに関連した画像データである特定画像データとを識別するための画像識別モデルを用いる画像識別方法であって、特定画像データと所定情報とをリンクさせるためのリンク生成ステップと、画像データの入力を受け付ける入力受付ステップと、画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断する識別判断ステップと、識別判断ステップでの判断結果に応じて、リンク生成ステップにてリンクされた情報を出力するリンク先情報出力ステップと、をコンピュータを用いて実行する画像識別方法などを提案する。

Description

画像識別方法、画像識別プログラムが格納された記憶媒体及び画像識別システム
本発明は、日常生活において存在する屋内屋外の様々なアイコンをコード情報として利用するための画像識別方法、プログラムが格納された記憶媒体及びシステムに関する。
商品やサービスの管理（当該商品やサービスの内容の真正又は適正等の認証・識別を含む。）や決済には従来からコード情報を用いることが広く行われており、特にバーコードや二次元コードといったコード情報が汎用的に用いられている。そしてこれらのコード情報は、インターネットの発展に伴い、上記の用途にとどまらず、オンライン上での情報伝達などの手段としても広く用いられるようになっている。
なお、バーコードや二次元コード等のコード情報それ自体は、特定の情報へのアクセスを容易にするという意味において情報を間接的に表示出力する主体ということができる。ただし、それ自体視認したところで特段の情報を取得できるわけではないので、利用者にとってよりわかりやすい情報伝達方法が求められている。
具体的には、コード情報にとどまらず商品の画像をも画像取得し識別することで、当該商品に類似する商品の情報を利用者に提供するための技術が開示されている。当該技術においては、スーパー等の販売店で商品やサービスの説明や特典に関する情報を利用者に好適に提供することが可能になっている。
特開２０１９-２０４４４６
しかしながら、特許文献１に記載されている先行技術は、店舗内の商品や特定の形状の商品についてのみ適用可能な技術であり、その用途が限定されてしまっている。
また、特許文献１記載の技術では、店舗内の商品運搬用の籠やカードに設けられる情報処理端末にてすべての処理を実行しようとする技術であるため、対応できるリンク生成等の処理は端末の情報処理能力に依存することとなり、大量の情報を用いたリンク生成やリンクの利用については物理的その他多くの制約があった。
さらには、管理のために用いられる情報は、基本的にコード情報を付す管理者の管理する情報に依存することになり、それ以外の外部情報をも用いて管理を行うことは困難だった。
以上のような課題を解決すべく、本発明は、一の画像データと特定のオブジェクトに関連した画像データである特定画像データとを識別するための画像識別モデルを用いる画像識別方法であって、特定画像データと所定情報とをリンクさせるためのリンク生成ステップと、　画像データの入力を受け付ける入力受付ステップと、画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断する識別判断ステップと、識別判断ステップでの判断結果に応じて、リンク生成ステップにてリンクされた情報を出力するリンク先情報出力ステップと、をコンピュータを用いて実行する画像識別方法などを提案する。
また、当該発明を実行するために用いられるプログラムとして、撮像機能を起動するための撮像機能制御ステップと、画像識別モデルを用いて、撮像機能により撮像された画像データの特徴量を抽出する特徴量抽出ステップと、抽出した特徴量を外部サーバに出力する特徴量出力ステップと、前記出力した特徴量と紐づけて識別された所定情報を取得する所定情報取得ステップと、取得した所定情報を出力する所定情報出力ステップと、を携帯端末に実行させる画像識別プログラムが格納された記憶媒体なども提案する。
主に以上のような構成をとる本発明によって、商品の種類や形状とは関係なく、店舗の内装や外観、看板その他の画像を含む屋内屋外の様々なアイコンをコード情報として利用することで、顧客誘引や、商品やサービスの内容の認証・識別等のための仕組みを、端末の処理能力に過度に依存することなく提供することが可能になる。
本発明の概要を示す図 実施形態１の画像識別システムの機能ブロックの一例を示す図 実施形態１の画像識別システムの機能的な各構成をまとめて一のハードウェアとして実現した際の構成の一例を示す概略図 実施形態１の画像識別システムにおける処理の流れの一例を示す図 実施形態２の画像識別システムの機能ブロックの一例を示す図 実施形態２の画像識別システムにおける処理の流れの一例を示す図 実施形態３の画像識別システムの機能ブロックの一例を示す図 実施形態３の画像識別システムにおける処理の流れの一例を示す図 実施形態４の携帯端末の機能ブロックの一例を示す図 実施形態４の携帯端末の機能的な各構成をまとめて一のハードウェアとして実現した際の構成の一例を示す概略図 実施形態４の携帯端末における処理の流れの一例を示す図
まず図１を示す。図１は本発明の概要を示す図である。本発明はスマートフォンなどの携帯端末を用いて店舗のファサード（外観）のようなオブジェクトを撮影するなどして画像データを取得すると、当該オブジェクトを画像識別モデルを用いて解析し、当該画像データと関連する情報を取得することができる。同図ではある店舗の外観をスマートフォンで撮影してその画像データを外部のクラウドサーバに送信すると、当該サーバ内の画像識別モデルを用いて当該画像データが「Ａ」という店舗の外観であることを識別する。当該クラウドサーバでは、「Ａ」という店舗がカップケーキが有名なスイーツ店であることや、販売されているカップケーキの詳細な情報などが、あらかじめ「Ａ」という店舗の外観画像と紐づけて所定情報として保持されており、上記識別結果に基づいて所定情報をスマートフォンに送信する。このような構成を採用することで、ユーザは店舗「Ａ」の店名などがわからなくても、外観を撮影するだけで、同店舗の売りとなっている商品の情報を取得することができる。
以下、本発明の各実施形態について図面とともに説明する。まず実施形態と請求項の相互の関係は、以下のとおりである。まず、実施形態１は、主に請求項１、２、３、６、７などに対応する。実施形態２は、主に請求項４などに対応する。実施形態３は、主に請求項５などに対応する。実施形態４は、主に請求項８、９、１０、１１、１２などに対応する。なお、本発明はこれらの実施形態に何ら限定されるものではなく、技術常識に従って特許請求の範囲の各請求項に記載の技術的思想を有し、その要旨を逸脱しない範囲内において、様々な態様で実施し得る。
＜＜実施形態１＞＞
＜概要＞
図２は、本実施形態の画像識別方法を一又は複数のコンピュータからなる一のシステムにて実現する場合の当該システムの機能ブロックの一例を示す図である。同図において示されているように、本実施形態の「画像識別システム」０２００は、「リンク生成部」０２０１と、「入力受付部」０２０２と、「識別判断部」０２０３と、「リンク先情報出力部」０２０４と、を有する。
本実施形態の画像識別システムにおいては、一の画像データと商材に関連した画像データである商材画像データとを識別するための「画像識別モデル」０２１０を用いることを特徴とする。
なお、以下で詳しく説明する画像識別方法を実行するためのシステムは、その機能の一又は複数の機能を複数の装置にて実現するようにも構成され得るものであって、その機能ブロックは、いずれもハードウェア又はソフトウェアとして実現され得る。コンピュータを用いるものを例にすれば、ＣＰＵやメインメモリ、ＧＰＵ、ＴＰＵ、画像メモリ、バス、二次記憶装置（ハードディスクや不揮発性メモリ）、キーボードや操作ボタン、タッチパネル、タッチパネルをタッチするための電子ペンなどの各種入力デバイス、マイク、ディスプレイその他各種出力デバイス、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらのハードウェアを制御するためのドライバプログラムやその他のアプリケーションプログラムなどが挙げられる。
そしてメインメモリ上に展開したプログラムに従った演算処理によって、入力デバイスやその他インターフェースなどから入力されメモリやハードウェア上に保持されているデータなどが加工、蓄積されたり、前記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。ここで、上記プログラムは、モジュール化された複数のプログラムとして実現されてもよいし、２以上のプログラムを組み合わせて一のプログラムとして実現されても良い。クラウドコンピューティングの形式にて分散処理されてももちろんよいし、ＡＰＩ連携の形式にて複数の事業者間にまたがって提供される複数のプログラムによって実行処理されてもよい。
＜機能的構成＞
「リンク生成部」０２０１は、特定画像データと所定情報とをリンクさせるように構成されている。ここでいう特定画像データとは、特定のオブジェクトに関連した画像データであることを要し、どのような関連付けがなされるかは適宜設定可能である。例えば、特定のオブジェクトとしてはまず飲食店舗その他の建造物の正面外観（ファサード）その他の外観、看板、周辺施設との相対位置関係がわかる外観その他店舗を訪問することで取得可能な建造物や飲食物、商品の画像が特定画像データとして想定されうる。
また、特定画像データは、上記のような建造物や商品そのものの画像にとどまらず、それらの画像と別途の情報とを関連付けて構成されていてもよい。具体的な関連付けの一例としては、上記外景に含まれる特定の情報（建造物の名称、施設の名称、店舗の名称、商品名、サービス名、商品形状、商品の陳列形態）などを別途の入力等により予め記憶しておき、当該画像とそれらの情報とを紐付けることが考えられる。ここで画像のみならず当該画像に含まれる文字その他の情報をも用いてリンク生成の用に供することで、リンク先への遷移をしやすくすることができる。
ここで、一の所定情報とリンクされる特定画像データは、必ずしも一である必要はなく、すなわち複数の特定画像データと一の所定情報とがリンクされるように構成されていてもよい。一の施設を例にとると、当該施設の外観のうちファサードのほか斜めから見た画像、対抗する施設から見た画像、上空から見た画像、施設内部から見た外景画像など、当該施設を特定するために用いられうる画像をそれぞれ特定画像データとして所定情報とリンクさせることが考えられる。複数の画像を用いて所定情報とリンクさせる構成を採用することにより、後述する入力受付部にて不鮮明であったり、部分的な画像の入力を受け付けた場合であっても当該画像から所定情報へのリンクをするための識別処理を行ったりすることができるようになる。
リンク生成部において特定画像データは、所定情報とリンクさせるように構成される。ここでの所定情報とは、当該特定画像データと関連性があると思われる情報であれば特に制約はなく、例えば特定の施設に関する特定画像データと関連して、当該施設で行われるイベントの案内や、当該施設の歴史を解説する情報であってもよいし、当該施設で限定販売される商品の情報などであってもよい。また、当該特定画像データの撮影者ないし撮影ユーザに関する情報などであってももちろんよい。
所定情報は、特定のｗｅｂページ上にて表示されうるものであれば当該ｗｅｂページのＵＲＬと位置付けられることが可能であるし、所定のアプリを起動させるための情報であってもよい。すなわち、特定画像データと所定情報とをリンクさせる方法としては、特定のｗｅｂページへのリンクを生成する場合のほか種々のものが考えられ、特に限定はされない。このような構成を採用することによって、特定画像を取得しさえすれば、特段の検索処理などを行わずとも、当該画像と関連する情報を手軽に取得することができる。
なお、特定画像データと所定情報とのリンクの生成は、一のユーザによってのみ行うことができ、一の特定画像データにつき、複数のユーザがそれぞれ異なる所定情報とのリンクを生成することはできないようにすることが望ましい。つまり、特定画像データ、所定情報及びそれらのリンクはいずれも、一のユーザと関連付けられて保持される。いわゆるハッシュタグのように複数のユーザ間で共同利用が可能な態様にてリンクが生成できるようになると、当初ユーザによって意図された特定画像データと所定情報との関係性が不明確となり、情報発信の手段としての適性が揺らぐためである。
なお、そのような懸念を払しょくする観点からは、一のユーザと管理権限を同じくするもしくは分散管理するなど、ユーザ相互における処理過程が相互に確認可能な環境下であれば、複数のユーザによって特定画像データと所定情報とのリンクの作成を行うことも許容し得る。具体的には、特定のユーザ間で運用されうるブロックチェーンを用いることなどが想定される。
リンク生成部で生成されたリンクは、当該生成したユーザが管理することができ、当該リンクの有効期限の設定やリンク先となる所定情報の編集又は削除、所定情報とリンクさせる特定画像データの変更等の種々の処理を行うことができる。当該構成を採用することで、期間限定の情報発信に用いたり、最新情報に連動した情報発信を行ったりすることができるようになる。
「入力受付部」０２０２は、画像データの入力を受け付けるように構成されている。具体的な入力受付の態様は特に限定されない。一例としては、カメラで静止画又は動画を撮影することが考えられ、画像データは一の画像である場合に限定はされず、複数の画像データをまとめて一の画像データ群として相互に関連付けてその入力を受け付けてもよい。この場合、あらかじめ望ましい撮影角度や撮影距離などの情報を開示しておき、当該情報に基づいて撮影された複数点の画像データの入力を受け付けるように構成されることも考えられる。具体的には、撮影角度や撮影距離等を異にして撮影された複数点の施設の外観や内装、看板や展示品等の商品を撮影することが考えられ、当該処理によって施設や商品等の画像データの入力を受け付ける。
また、入力受付の別の一例として、ユーザによる能動的な処理を省力化する試みがあってもよい。具体的には、ドットプロジェクタや深度センサ、近接センサ、赤外線カメラなどのデバイスを一又は複数起動させ、被写対象の形状を種々の情報によって識別可能とし、それらの識別結果を画像データ化することも考えられる。当該構成によれば、画像データがもつ情報として、画像そのもののみならずその形状その他の情報もあわせて取得することができることから、ユーザにカメラの撮像処理を強いることなく画像データを取得することができ、ユーザのストレスを軽減することができる。
なおこの時、入力を受け付ける画像データとして、バーコードや二次元コードその他のコード情報が化体されたコードの画像は入力受付の対象から除外される。本発明は、コード情報を用いることなく利用者に簡便な処理で情報へのアクセス手段を提供するための技術に関するものであって、バーコードや二次元コードをあらかじめ用意し、当該コードを読み取るような処理は、本発明の構成からは除外される。
「識別判断部」０２０３は、画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断するように構成されている。具体的には、受け付けた画像データが、複数存在する特定画像データのうちどれかと関連性があるかどうかを判断し、受け付けた画像データからどのような所定情報へのリンクが可能かを識別できるようにする。
関連性の判断は「画像識別モデル」０２１０を用いて行うところ、まずこの画像識別モデルについては、初期データに基づいて学習を行うことで初期学習済モデルを生成することが考えられる。具体的には学習のために用いるノードと正解値を用意することになる。
一例をあげると、まず特定の施設の外景や内装、商品等の画像を初期データ（学習用データ）として用意し、それらの画像に関する種々の属性情報を入力ノードとして用いる。画像を識別するための正解値としては、当該属性情報などをもとに評価関数を用いて付与する。これらの情報を初期データとして組み合わせることで訓練データとし、畳み込みニューラルネットワークその他の形式とする機械学習を行うことで初期学習モデルを生成する。まずはこの初期学習モデルを画像識別モデルとして採用し、画像データを入力データとして画像識別処理を行うことが可能である。ちなみに、ここでは特定画像データと関連しない画像データに関するルール、すなわち非正解値を導くための評価関数その他のルールをあわせて保持してもよい。
なお、初期学習モデルに対しては、一の特定画像データに対して他の画像データを用いて追加学習を行い、複数の個別画像識別モデルを生成したうえで、それらを統合処理して汎用画像識別モデルを取得する構成も可能である。初期学習モデルでは、広く一般的な画像データに適用可能な画像識別モデルを生成することになるが、地域的な特徴、被写体としての特徴（施設か商品かなど）、天候や撮影時刻などの時期的な特徴その他画像取得時の特徴に合致するようなモデルとしての汎用性があるとは限らない。そこで統合処理として、複数の特徴に適用可能な個別画像識別モデルを複数生成し、それらを組み合わせることを可能とすることで、画像識別の精度を向上させることも可能である。
なおここで、画像データに複数の特定画像データが含まれるか否かを判断するための複数画像識別ルールを備え、識別判断部において、受け付けた画像データを複数画像識別ルールを用いて識別する複数識別判断手段を備えるような構成を採用してもよい。具体的には、入力を受け付けた画像データと関連する特徴を有する特定画像データが複数あるかどうかを複数画像識別ルールを用いて判断する。複数画像識別ルールの一例としては、当該入力を受け付けた画像データに付与された属性情報と同一の属性情報を有する特定画像情報があるかどうかを判断するルールとすることが考えられる。
また、一の画像データ中に複数のオブジェクトが写り込んでいる場合に、どのオブジェクトを特定画像データとして選択するかどうかもここでいう複数画像識別ルールに含まれうる。具体的には、写り込んでいるオブジェクトが画像データ全体に占める領域割合や、画像における配置位置その他の情報を用いて、一の画像のなかに複数の特定画像データがオブジェクトとして含まれていると判断される場合がありえ、そのような場合に複数画像識別ルールを用いて、一のオブジェクトを特定画像データとの識別のために用いる情報として採用するとの判断処理を行うことも可能である。当該構成を採用することにより、人込みや複数店舗が林立している場面の画像データの入力を受け付けた場合であっても、当該画像データから好適な所定情報にリーチすることができるようになる。
複数識別判断手段において複数の特定画像データが含まれると判断される場合、当該複数の画像データを複数の画像識別モデルを用いて識別することとなり、より具体的には、複数回の画像データの入力と識別結果の出力を通じて識別結果を判別する構成が考えられる。
例えば、夜間雨が降っている状況下で一の施設を斜めから撮影した画像の入力を受け付けた場合、当該画像を識別するため、例えば夜間撮影した画像を識別するための個別画像識別モデルと、降雨時に撮影した画像を識別するための個別画像識別モデルと、外部施設を撮影した画像を識別するための個別画像識別モデルを用いてそれぞれ画像識別を行うことが考えられる。これら複数の画像識別モデルを重畳的に用いて画像識別を行う構成を採用することで、識別精度の向上を実現可能である。
なお、ここまでは一の画像データに対し複数の特定画像データが対応しうる場合について説明したが、そのほかにも複数の画像データの入力を受け付けて、それらの画像データをすべて一の画像識別モデルに入力することで所定の特徴量を取得し、当該特徴量をもとに特定の画像識別モデルとの整合性を識別するような処理を行うことももちろん可能である。例えば、深度センサその他の各種センサを用いることで特徴量を取得することなども含まれうる。
また、入力受付部にて入力を受け付けた画像データに付随する情報である付随情報が含まれているかどうかを判断する付随情報判断部をさらに備えるとともに、識別判断部において、付随情報判断部にて付随情報が含まれると判断される場合に当該付随情報を用いて所定の特定画像データとの関連性を判断可能な付随情報利用判断手段をさらに有するような構成とすることも考えられる。
なおここで、識別判断部では、画像識別モデルに加え、利用者に対して所定の質問を出力し、当該質問に対する回答をも用いて所定の特定画像データとの関連性を判断するような構成を採用してもよい。具体的には、当該画像を取得した場所にかつて訪れたことがあるか否かや、画像取得時点の天気、当該画像の中に含まれる種々の要素のうち何に興味があるかなど、取得した画像の内容に関する質問や、画像取得時の天気や時間帯、過去訪問実績の有無等の外部情報に関する質問などを出力し、当該出力に対する回答を受け付ける構成が考えられる。
このような質問は、当該質問に対する回答例とともにあらかじめ画像識別モデルとともに保持されている。そして、画像識別モデルのみを用いて特定画像データとの関連性を判断しようとする場合に、当該質問への回答内容を用いて画像識別モデルを用いた演算処理の処理結果の精度をより高めることができるため、結果として受け付けた画像データと特定画像データとの関連性の判断精度を向上させることが可能になる。
ちなみに、識別判断部は、一のコンピュータにおいてその機能を実現する場合のほか、複数のコンピュータを介在させた分散処理を通じてその機能を実現することももちろん可能である。具体的には、特定又は不特定のコンピュータをネットワークを介して接続することで構成されるブロックチェーン上に特定画像データに関する情報を記録し、当該ブロックチェーンにアクセスすることで受け付けた画像データとの関連性の判断に好適と思われる情報を取得し、当該情報と画像識別モデルとを用いて所定の特定画像データとの関連性を判断する。当該構成を採用することにより、当該機能を利用する一のユーザが記録した情報にとどまらず、当該ブロックチェーンに参加する他のユーザが記録した情報をも用いることが可能になることから、より複雑かつ詳細、かつ精度の高い識別判断処理を提供可能とすることができる。
「リンク先情報出力部」０２０４は、識別判断部での判断結果に応じて、リンク生成部にてリンクされた情報を出力するように構成されている。リンクされた情報は、店舗のウェブサイトやサービスサイト等のほか、特定の商品の情報ページなどであってもよいことは上述のとおりである。そのほかにも、上述したブロックチェーンに参加する他のユーザが記録した情報に基づく情報ページや、参照すべき情報（例えば、識別判断部において、受け付けた画像データが商品の贋作であるとの判断結果が出た場合に、当該結果に関連したアラートや、通報窓口を案内する情報など）を出力してもよいし、複数の情報に基づいた、当該特定の商品の適正価額やその理由等の情報を出力することなども考えられる。
（実施例１）
以下では、本実施形態の画像識別システムを用いた実施例について、具体例を示して説明する。まず本発明は、ユーザの健康管理のために用いられることが可能である。すなわち、特定のユーザ又はヒト若しくは動物の身体の一部の部位の特定画像データと、当該部位の状態が表す健康管理に関連する所定の情報をあらかじめリンクして生成しておき、ユーザからある画像データの入力を受け付けると、当該受け付けた画像データにつき、画像識別モデルを用いて前記特定画像データとの関連性を判断し、その判断結果に応じてリンクされた健康管理に関連する情報を出力するようなサービスに用いることが考えられる。
このような構成を採用することにより、例えば、患部と思われる部位の画像を撮影することで、特段医療に関する知識や情報を持ち合わせていなくても、当該部位一般や撮影された部位の状態に応じた症例や、病名、当該患部の緩和や治療のために必要な対応等に関する情報を取得でき、適切な対処をとりやすくすることができる。
（実施例２）
ちなみに、ユーザの健康管理に際して本発明が用いられるケースはほかにも考えられ、例えば服薬指導のようなケースにも適用可能である。すなわち、特定の薬剤の包装された状態あるいは薬剤そのものの画像を特定画像データとし、当該薬剤に関連する所定の情報をあらかじめリンクして生成しておき、ユーザからある薬剤に関する画像データの入力を受け付けると、当該受け付けた画像データにつき、画像識別モデルを用いて前記画像データとの関連性を判断し、その判断結果に応じてリンクされた薬剤に関連する情報を出力するようなサービスに用いることが考えられる。
主に薬剤については、調剤の際に薬剤師によって服薬指導が行われたり、処方された薬剤の服薬方法等に関する情報を「おくすり手帳」などに記載して交付されたりすることがある。そのようななかでこのような構成を採用することにより、出先などお薬手帳などを持ち合わせていない状態で服薬すべき薬に関する情報を正確に確認しようとするとき、画像識別モデルを用いることで、当該薬剤の服用方法や注意点（服用すべきタイミングは食前か否か、服用後眠くなる可能性の有無等）などを適時に把握可能に提供することができる。
（実施例３）
また、本発明は人物のプロフィールを調べるために用いることが可能である。すなわち、特定の人物の顔の特定画像データと、当該人物のプロフィールに関連する所定の情報をあらかじめリンクして生成しておき、ユーザからある人物の顔画像データの入力を受け付けると、当該受け付けた顔画像データにつき、画像識別モデルを用いて前記顔画像データとの関連性を判断し、その判断結果に応じてリンクされた人物のプロフィールに関連する情報を出力するようなサービスに用いることが考えられる。
このような構成を採用することにより、長年会っておらず年齢等により見た目の印象が変わってしまった人についても、画像識別モデルを用いることで、当該人物が誰であるかを適格に識別し当該人物の情報を適時に提供することができる。また、テレビやインターネット等の画面上や、イベント等で見かけた芸能人やファッションモデル、スポーツ選手のように、名前はわからないがどんなプロフィールの持ち主であるかを知りたいと思ったときにも、当該システムを用いることで、適時にその人物の情報に接することができるようになる。
（実施例４）
また、本発明は街頭で気になった商品の購入支援のために用いることが可能である。すなわち、特定の商品の特定画像データと、当該商品の詳細や販売先に関連する所定の情報をあらかじめリンクして生成しておき、ユーザからある商品の画像データの入力を受け付けると、当該受け付けた商品画像データにつき、画像識別モデルを用いて前記商品画像データとの関連性を判断し、その判断結果に応じてリンクされた商品に関連する情報を出力するようなサービスに用いることが考えられる。
このような構成を採用することにより、テレビや映画などで写り込んだおしゃれな家具や洋服、街中で見かけたおしゃれな人が身に着けているアクセサリーや小物等を購入したいと思ったときに、当該商品の画像を取得することによって、手軽に当該商品の情報を取得し、その場で購入手続きまで完了させることができるようになる。
（実施例５）
また、本発明は被写体の詳細情報を調べるために用いることが可能である。すなわち、特定のモノや場所（モノ等）の特定画像データと、当該モノ等に関連する所定の情報（例えば名称や地名、施設名等）をあらかじめリンクして生成しておき、ユーザからあるモノ等の画像データの入力を受け付けると、当該受け付けた画像データにつき、画像識別モデルを用いて前記画像データとの関連性を判断し、その判断結果に応じてリンクされたモノ等に関連する所定の情報を出力するようなサービスに用いることが考えられる。
なおこの場合には、単に名称や地名等を表示出力する構成であってもよいが、当該情報を他の情報検索機能を有する外部サーバ等に出力することで、当該情報をクエリとする情報検索処理がおこなわれ、当該処理結果がユーザに対して表示出力されるような構成があってもよい。外部サーバとの情報の送受信を簡便にするために、ＡＰＩ連携などの技術的手段を講じることが考えられる。
このような構成を採用することにより、地名や施設名、動植物など見え覚えはあるが詳細はうろ覚えなモノ等について、画像識別モデルを用いることで、当該モノ等の名称を適格に識別し適時に提供することができる。また、外部サービスと連携する構成を可能にすることにより、本システム上で記録されている情報にとどまらず、様々な情報を提供することも可能となる。
（実施例６）
また、本発明は、商品の真贋判定のために用いることが可能である。すなわち、特定の商品の特定画像データと、当該商品の真贋を判断するための形状、透明度、輝度、光度、色彩、大きさ、傷の有無及びその程度や箇所その他の視覚的な特徴に関する詳細な情報や、当該商品の保有先等に関連する所定の情報、重さや素材・材料などの商品そのものに関する詳細な情報などをあらかじめリンクして生成しておき、ユーザからある商品の画像データの入力を受け付けると、当該受け付けた商品画像データにつき、画像識別モデルを用いて前記商品画像データとの関連性を判断し、その判断結果に応じてリンクされた商品に関連する情報を出力するようなサービスに用いることが考えられる。
このような構成を採用することにより、宝石や絵画、彫刻等の美術品であったり、トレーディングカードやアンティーク商品、有名人の使用した商品などのプレミアムの付いた商品であったりといった、高額で取引され贋作や粗悪品が流通し得る商品を取引（購入）したいと思ったときに、当該商品の画像を取得することによって、当該商品の情報を取得し、その場で真贋の確認をおこない安心して購入手続きできるようになる。
また、このような構成をブロックチェーンなどの分散型管理システムを用いて実現することにより、ＮＦＴ（Non-Fungible Token）の手法を用いた信頼性の高い商取引をオンライン上でストレスレスに実現することも可能となる。
（実施例７）
また、本発明は、実施例５に関連して、不動産を含む商品の適正価額の算定のために用いることが可能である。すなわち、特定の商品の特定画像データと、当該商品の適正価額を算定するための形状、透明度、輝度、光度、色彩、大きさ、傷や汚れの有無及びその程度や、不動産の近隣の画像その他の視覚的な特徴に関する詳細な情報や、当該商品の公開時期や保有先等に関連する所定の情報をあらかじめリンクして生成しておき、ユーザからある商品の画像データの入力を受け付けると、当該受け付けた商品画像データにつき、画像識別モデルを用いて前記商品画像データとの関連性を判断し、その判断結果に応じてリンクされた商品に関連する情報を出力するようなサービスに用いることが考えられる。
このような構成を採用することにより、宝石や絵画、彫刻等の美術品であったり、トレーディングカードやアンティーク商品、有名人の使用した商品などのプレミアムの付いた商品であったり、不動産のような高額で取引され、その経済的価値が日々変動し得ることから取引時点の適正価額が判断しづらいような商品を取引（購入）したいと思ったときに、当該商品の画像を取得することによって、当該商品の情報を取得し、当該情報に基づいた適正価額をその場で把握し、納得したうえで取引することができるようになる。
＜具体的な構成＞
ここで図３を示す。同図は本実施形態の画像識別方法の機能的な各構成をまとめて一のハードウェアとして実現した際の構成の一例を示す概略図である。各装置はいずれも、それぞれ各種演算処理を実行するための「ＣＰＵ」０３０１と、「記憶装置（記憶媒体）」０３０２と、「メインメモリ」０３０３と、「入力インターフェース」０３０４、「出力インターフェース」０３０５、「ネットワークインターフェース」０３０６と、を備え、入出力インターフェースを介して、例えば「タッチパネル」０３０７や「ディスプレイ」０３０８などの外部周辺装置と情報の送受信を行う。また、ネットワークインターフェースを介して「利用者端末」０３０９などの外部装置と情報の送受信を行う。このネットワークインターフェースの具体的な態様は有線、無線を問わず、また、通信方法も直接、間接を問わない。よって特定の外部装置ないし同装置の利用者と紐づけられた第三者の管理するサーバとの間で情報の送受信を行ういわゆるクラウドコンピューティングの形式を採用することも可能である。
記憶装置には以下で説明するような各種プログラムが格納されており、ＣＰＵはこれら各種プログラムをメインメモリのワーク領域内に読み出して展開、実行する。なお、これらの構成は、「システムバス」０３９９などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う（以上の構成の基本的な構成は、以下で説明する他の装置のいずれについても同様である。
（リンク生成部の具体的な構成）
リンク生成部は、コンピュータプログラムとコンピュータハードウェアにより構成され、具体的には、ＣＰＵが記憶装置から「リンク生成プログラム」０３１１をメインメモリに読み出して実行し、特定画像データ及び所定情報の入力を受け付けるとともに、それぞれをリンクさせるための処理を行い、当該処理結果をメインメモリの所定のアドレスに格納する。
（入力受付部の具体的な構成）
入力受付部は、コンピュータプログラムとカメラなどのコンピュータハードウェアにより構成され、具体的には、ＣＰＵが記憶装置から「入力受付プログラム」０３１２をメインメモリに読み出して実行し、画像データの入力を受け付け、当該受け付けた画像データをメインメモリの所定のアドレスに格納する。
（識別判断部の具体的な構成）
識別判断部は、コンピュータプログラムとコンピュータハードウェアにより構成され、具体的には、ＣＰＵが記憶装置から「識別判断プログラム」０３１３を「画像識別モデル」０３１５とともにメインメモリに読み出して実行し、入力受付プログラムの実行により受付けた画像データと所定の特定画像データとの関連性を判断する処理を行い、処理結果をメインメモリの所定のアドレスに格納する。
（リンク先情報出力部の具体的な構成）
リンク生成部は、コンピュータプログラムとコンピュータハードウェアにより構成され、具体的には、ＣＰＵが記憶装置から「リンク先情報出力プログラム」０３１４をメインメモリに読み出して実行し、識別判断プログラムの実行により得られた処理結果に応じて、リンク生成プログラムを実行したことによりリンクされた情報を出力する処理を行う。
＜処理の流れ＞
図４は、本実施形態の画像識別方法における処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初にステップＳ０４０１では、特定画像データと所定情報とをリンクさせる（リンク生成ステップ）とともに、ステップＳ０４０２では、画像データの入力を受け付ける（入力受付ステップ）。
次にステップＳ０４０３では、画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断する処理を行う。ここでの判断結果が関連性ありとの内容である場合には、ステップＳ０４０４にて、識別判断ステップでの判断結果に応じたリンク生成ステップにてリンクされた情報を出力する（リンク先情報出力ステップ）。関連性なしとの内容である場合には、その後の処理を行わない。「関連する情報が見つからなかった」旨の情報を出力するような構成にしてももちろんよい。
＜効果＞
以上の構成を採用する画像識別方法を利用することにより、商品の種類や形状とは関係なく、店舗の内装や外観、看板その他の画像を含む屋内屋外の様々なアイコンをコード情報として利用することで、顧客誘引や、商品やサービスの内容の認証・識別等のための仕組みを端末の処理能力に過度に依存することなく提供することが可能になる。
＜＜実施形態２＞＞
＜概要＞
本実施形態の画像識別システムは、基本的には実施形態１に記載の画像識別システムと同様であるが、動画データに含まれる画像データを特定する画像データ特定部をさらに有するとともに、入力受付部が、画像データとして動画データをも入力受付する動画受付手段を有し、識別判断部は、画像データ特定部にて特定された画像データと所定の特定画像データとの関連性を判断する動画識別手段をさらに有する点を更なる技術的特徴として備えている。以下では、実施形態１で言及した点とは異なる上記特徴について詳しく説明をする。
＜機能的構成＞
図５は、本実施形態の画像識別方法を一又は複数のコンピュータからなる一のシステムにて実現する場合の当該システムの機能ブロックの一例を示す図である。同図において示されているように、本実施形態の「画像識別システム」０５００は、「リンク生成部」０５０１と、「入力受付部」０５０２と、「識別判断部」０５０３と、「リンク先情報出力部」０５０４と、「画像データ特定部」０５０５と、を有し、入力受付部は「動画受付手段」０５１２を、識別判断部は「動画識別手段」０５１３をそれぞれさらに有する。基本的な構成は、実施形態１の図２を用いて説明した画像識別システムと共通するため、以下では相違点である「画像データ特定部」０５０５と、「動画受付手段」０５１２と、「動画識別手段」０５１３の機能について説明する。
「動画受付手段」０５１２は、入力受付部にて、画像データとして動画データをも入力受付するように構成されている。動画データが複数の画像フレームから構成されているデータ場合であればよく、動画データは種々のフォーマットによって生成されるものであってその形式に特に限定はなく、音声データが含まれているかどうかも問わない。但し、本発明においては音声データを画像識別のために用いることは必須の構成要素ではない。
「画像データ特定部」０５０５は、動画データに含まれる画像データを特定するように構成されている。動画データの入力を受け付けた際に、当該動画データを所定単位のフレームの画像データに切り出し、当該切り出された画像データの入力を動画データと関連付けて受け付けて特定することを意味する。動画のうちすべてのフレームを切り出して特定することも可能であるが、ユーザによる任意の選択を受け付けて、当該任意選択されたフレームのみを選択画像データとして特定する構成であってももちろんよい。
なお、複数のフレームを選択することも可能である。この場合には、当該フレームに含まれる画像データを複合的に識別のために用いることになり、その場合には実施形態１で説明した複合画像識別ルールを用いることなどが考えられる。
「動画識別手段」０５１３は、識別判断部にて、画像データ特定部にて特定された画像データと所定の特定画像データとの関連性を判断するように構成されている。具体的には、特定された画像データと特定画像データとの関連性を「画像識別モデル」０５１０を用いて判断する。
＜具体的な構成＞
本実施形態の画像識別システムを構成する各装置のハードウェア構成は、基本的には、図３を用いて説明した実施形態１の画像識別システムにおけるハードウェア構成と同様である。そこで以下については、これまで説明していない「画像データ特定部」、「動画受付手段」、「動画識別手段」の具体的な処理について説明する。
（動画受付手段の具体的な構成）
動画受付手段は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、入力受付プログラムを実行する際にＣＰＵが記憶装置から「動画受付サブプログラム」をメインメモリに読み出して実行し、画像データとして動画データの入力を受付けてメインメモリの所定のアドレスに格納する。
（画像データ特定部の具体的な構成）
画像データ特定部は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、ＣＰＵが記憶装置から「動画データ特定プログラム」をメインメモリに読み出して実行し、動画受付サブプログラムの実行により得られた動画データに含まれる画像データを特定する処理を行い、当該処理結果をメインメモリの所定のアドレスに格納する。
（動画識別手段の具体的な構成）
動画識別手段は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、識別判断プログラムの実行に際してＣＰＵが記憶装置から「動画識別サブプログラム」をメインメモリに読み出して実行し、画像データ特定プログラムの実行により得られた画像データと所定の特定画像データとの関連性を判断する処理を行い、その結果をメインメモリの所定のアドレスに格納する。
＜処理の流れ＞
図６は、本実施形態の画像識別方法における処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初にステップＳ０６０１では、特定画像データと所定情報とをリンクさせる（リンク生成ステップ）とともに、ステップＳ０６０２では、画像データとして動画データの入力を受け付ける（動画受付ステップ）。
次にステップＳ０６０３では、動画データに含まれる画像データを特定する処理を行い（画像データ特定ステップ）、ステップＳ０６０４では、画像識別モデルを用いて、動画データから特定するかたちで受け付けた画像データと所定の特定画像データとの関連性を判断する処理を行う。ここでの判断結果が関連性ありとの内容である場合には、ステップＳ０６０５で、動画識別ステップでの判断結果に応じた、リンク生成ステップにてリンクされた情報を出力する（リンク先情報出力ステップ）。関連性なしとの内容である場合には、その後の処理を行わない。「関連する情報が見つからなかった」旨の情報を出力するような構成にしてももちろんよい。
＜効果＞
本実施形態の動画識別システムを用いることにより、実施形態１の動画識別システムとは異なり、動的な情報をも踏まえた多様かつ詳細な情報提供が可能になる。
＜＜実施形態３＞＞
＜概要＞
本実施形態の動画識別システムは、基本的には実施形態１又は２に記載の動画識別システムと同様であるが、入力受付部が、画像データとして仮想空間におけるオブジェクトデータをも入力受付する仮想空間データ受付手段を有し、識別判断部が、仮想空間データ受付手段にて受け付けたオブジェクトデータと所定の特定画像データとの関連性を判断する仮想空間データ識別手段をさらに有する点を更なる技術的特徴として備えている。以下では、実施形態１及び２で言及した点とは異なる上記特徴について詳しく説明をする。
＜機能的構成＞
図７は、本実施形態の画像識別方法を一又は複数のコンピュータからなる一のシステムにて実現する場合の当該システムの機能ブロックの一例を示す図である。同図において示されているように、本実施形態の「画像識別システム」０７００は、「リンク生成部」１００１と、「入力受付部」０７０２と、「識別判断部」０７０３と、「リンク先情報出力部」０７０４と、を有し、「入力受付部」は「仮想空間データ受付手段」０７１２を、「識別判断部」は「仮想空間データ識別手段」０７１３とを有する。基本的な構成は、実施形態１の図２を用いて説明した画像識別定システムと共通するため、以下では相違点である「仮想空間データ受付手段」０７１２と、「仮想空間データ識別手段」０７１３の機能について説明する。
「仮想空間データ受付手段」０７１２は、入力受付部において、画像データとして仮想空間におけるオブジェクトデータをも入力受付するように構成されている。仮想空間におけるオブジェクトデータとは、例えば、ＡＲ（拡張現実）やＶＲ（仮想現実）などのコンテンツを用いて表現される二次元又は三次元その他多次元にて構成される所定のオブジェクトデータであり、一例としてはキャラクターやアイテム、アイコンなどで表現されることが考えられる。
具体的な入力受付手段は、仮想空間において表示されるオブジェクトデータの選択入力により受け付けられる構成が考えられる。すなわち、ＡＲやＶＲを通じて表現されるコンテンツにおいて表示されるオブジェクトデータを、所定の方法により選択することで、当該選択されたオブジェクトデータの入力を受け付ける、といった具合である。
「仮想空間データ識別手段」０７１３は、識別判断部において、仮想空間データ受付手段にて受け付けたオブジェクトデータと所定の特定画像データとの関連性を判断するように構成されている。具体的な関連性判断の方法は、これまで説明した画像データや動画データの関連性判断の具体的な方法と同様であってよい。ただ、オブジェクトデータが立体的に構成されている場合があることから、識別モデルを用いた判断においては、当該立体的な構成をもって特定画像データとの関連性を判断することになる。
＜具体的な構成＞
本実施形態の画像識別システムを構成する各装置のハードウェア構成は、基本的には、図３を用いて説明した実施形態１の画像識別システムにおけるハードウェア構成と同様である。そこで以下については、これまで説明していない「仮想空間データ受付手段」「仮想空間データ識別手段」の具体的な処理について説明する。
（仮想空間データ受付手段の具体的な構成）
仮想空間データ受付手段は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、入力受付プログラムの実行に際してＣＰＵが記憶装置から「仮想空間データ受付サブプログラム」をメインメモリに読み出して実行し、画像データとして仮想空間におけるオブジェクトデータをも入力受付けたうえで、メインメモリの所定のアドレスに格納する。
（仮想空間データ識別手段の具体的な構成）
仮想空間データ識別手段は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、識別判断プログラムの実行に際してＣＰＵが記憶装置から「仮想空間データ識別サブプログラム」をメインメモリに読み出して実行し、仮想空間データ受付サブプログラムの実行により得られた仮想空間データと所定の特定画像データとの関連性を判断する処理を行い、その結果をメインメモリの所定のアドレスに格納する。
＜処理の流れ＞
図８は、本実施形態の画像識別システムにおける処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初にステップＳ０８０１では、特定画像データと所定情報とをリンクさせる（リンク生成ステップ）とともに、ステップＳ０８０２では、画像データとして仮想空間データの入力を受け付ける（仮想空間データ受付ステップ）。
次にステップＳ０８０３では、仮想空間データに含まれる画像データを特定する処理を行い（画像データ特定ステップ）、次にステップＳ０８０４では、画像識別モデルを用いて、受け付けた仮想空間データから特定するかたちで受け付けた画像データと所定の特定画像データとの関連性を判断する処理を行う。ここでの判断結果が関連性ありとの内容である場合には、、ステップＳ０８０５として、仮想空間データ識別ステップでの判断結果に応じて、リンク生成ステップにてリンクされた情報を出力する（リンク先情報出力ステップ）。関連性なしとの内容である場合には、その後の処理を行わない。「関連する情報が見つからなかった」旨の情報を出力するような構成にしてももちろんよい。
＜効果＞
本実施形態の画像識別システムを用いることにより、実施形態１又は２の画像識別システムとは異なり、ＡＲやＶＲといった仮想空間で表現される種々の情報についても、適時に関連する情報を取得し、その提供を受けることが可能になる。
＜＜実施形態４＞＞
＜概要＞
ここまでは、画像識別をするための一連のシステム、方法及びプログラムに関する発明について実施形態及び実施例を用いて説明してきたが、本発明においては、当該画像識別について、外部装置との間で情報の送受信を行うことにより、携帯端末上で処理結果を確認可能に実現することも可能である。そこで本実施形態では、実施形態１で説明した技術的特徴を基本的な特徴としつつ、上記特徴について説明する。
図９は、実施形態１ないし３までで説明した画像識別方法に関連して、当該識別対象の画像を取得するための携帯端末の機能ブロックの一例を示す図である。同図において示されているように、本実施形態の「画像識別端末」０９００は、「撮像機能制御部」０９０１と、「特徴量抽出部」０９０２と、「特徴量出力部」０９０３と、「所定情報取得部」０９０４と、「所定情報出力部」０９０５と、を有する。
なお、本実施形態の画像識別端末はハードウェア及びソフトウェアにて構成される携帯端末であって、携帯電話やスマートフォン、タブレット型携帯端末その他可搬型のネットワークに接続可能な端末装置であれば、以下で述べる機能を実行するためのプログラムを実行するための構成である必要があるほかの構成については一般的な携帯端末であってよい。
なお本実施形態の携帯端末には、画像識別モデルが保持されている。画像識別モデルは実施形態１で説明したように、それ自体がプログラムとして画像識別処理を行う。
＜機能的構成＞
「撮像機能制御部」０９０１は、画像識別端末の撮像機能を制御するように構成されている。具体的には、カメラによって実現可能であり、ユーザの指定する特定の撮影領域を撮影したり、タイマー機能を使って一定時間の経過後に撮影をしたり、連写機能を使って一定時間内に複数回の撮影をしたりすることなどが考えられる。
「特徴量抽出部」０９０２は、画像識別モデルを用いて、撮像機能により撮像された画像データの特徴量を抽出するように構成されている。どのような態様にて画像データの特徴量を抽出するかについては適宜の方法が考えられ、一の画像データのみを用いる場合、複数の画像データを用いる場合、動画データを用いる場合、画像データに加え所定の質問を出力し当該質問への回答内容をも踏まえる場合、その他種々の方法により特徴量を抽出する。
ここで画像データから特徴量を抽出する際には、当該画像データに含まれる文字の有無又はその内容を識別して特徴量を抽出するような構成を採用してもよい。具体的には例えば、ＯＣＲ（光学文字認識システム）その他のプログラムを実行することにより画像データに文字が含まれるか否か、含まれる場合の文字の内容を識別する。撮影対象となる画像データに文字が含まれている場合には、当該文字が撮影対象の商品名・サービス名・施設名・人物名などであったり、当該撮影対象に関連する名称等である場合も少なくなかったりすることから、当該文字情報と撮影された画像データとを組み合わせて特徴量を抽出することで、被写体となっている画像の識別精度を向上させ、もって精度の高い特徴量をもってリンク先の所定情報取得に資することができる。
次に複数の画像データを用いる場合には、例えば、複数の画像を用いて一のオブジェクトを推定し、当該推定結果に基づいて特徴量を抽出するような構成を採用してもよい。具体的に言えば、撮影された向きの異なる複数の画像から、一の立体的なオブジェクトの形状を推定し、当該推定された形状から特徴量を抽出するような構成である。当該構成を採用すれば、被写体となっている画像の識別精度を向上させ、もって精度の高い特徴量をもってリンク先の所定情報取得に資することができる。
なおさらに、携帯端末ではアンテナ等を介して位置情報をも取得する構成をさらに備えておき、画像識別モデルに加え、取得した位置情報をも用いて特徴量を抽出するように構成されてもよい。具体的には例えば、ＧＰＳ（全地球測位システム）その他の外部システムと情報の送受信を通じて当該携帯端末ないし端末を操作するユーザの位置情報を取得する。撮影対象となる画像データが、店舗や施設などのような不動産又は、当該店舗等と関連付けられている商品や人物、サービス等である場合には、位置情報と撮影された画像データとを組み合わせて特徴量を抽出することでもまた、被写体となっている画像の識別精度を向上させ、もって精度の高い特徴量をもってリンク先の所定情報取得に資することができる。
「特徴量出力部」０９０３は、抽出した特徴量を外部サーバに出力するように構成されている。ここでは、抽出した特徴量は、例えば撮影された画像データや位置情報、その他のデータ又は情報とともに出力されず、特徴量のみを出力する構成をすることが望ましい。外部サーバに出力する構成を採用するのは、特徴量と所定情報の紐づけのための処理を携帯端末で行わず軽負担にて所定情報を取得する点にあるので、ここで情報の送受信に負荷をかけることは避けた方が、より本実施形態の携帯端末の利点を生かせるからである。
「所定情報取得部」０９０４は、前記特徴量出力部を通じて出力した特徴量と紐づけて識別された所定情報を取得するように構成されている。外部サーバにおける特徴量と所定情報との識別処理については、適宜の方法によって実現されてよく、本発明の特徴とは直接関係のない設計事項である。いっぽう所定情報の取得については、所定情報そのものの取得のほか、所定情報とリンクされたＵＲＬその他の情報を取得する構成も含まれてよい。
「所定情報出力部」０９０５は、取得した所定情報を出力するように構成されている。所定情報取得部にて説明したように、所定情報そのものを表示出力する方法のほか、当該所定情報とリンクされたＵＲＬその他の情報を表示出力場合も含まれ、この場合には、当該リンクを通じて所定情報を表示出力する構成が考えられる。
＜具体的な構成＞
ここで図１０を示す。同図は本実施形態の携帯端末の構成の一例を示す概略図であり、各種演算処理を実行するための「ＣＰＵ」１００１と、「記憶装置（記憶媒体）」１００２と、「メインメモリ」１００３と、「入力インターフェース」１００４、「出力インターフェース」１００５、「ネットワークインターフェース」１００６と、を備え、入出力インターフェースを介して、例えば「カメラ」１００７や「ディスプレイ」１００８などの外部周辺装置と情報の送受信を行う。また、ネットワークインターフェースを介して「外部サーバ」１００９などの外部装置と情報の送受信を行う。
記憶装置には以下で説明するような各種プログラムが格納されており、ＣＰＵはこれら各種プログラムをメインメモリのワーク領域内に読み出して展開、実行する。なお、これらの構成は、「システムバス」１０９９などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う（以上の構成の基本的な構成は、以下で説明する他の装置のいずれについても同様である。
（撮像機能制御部の具体的な構成）
撮像機能制御部は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、ＣＰＵが記憶装置から「撮像機能制御プログラム」１０１１をメインメモリに読み出して実行し、ユーザの指示に従い、カメラ等を用いた画像撮像機能を制御する処理を行う。
（特徴量抽出部の具体的な構成）
特徴量抽出部は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、ＣＰＵが記憶装置から「画像識別モデル」１０１５及び「特徴量抽出プログラム」１０１２をメインメモリに読み出して実行し、撮像機能により撮像された画像データを画像識別モデルに入力し、当該入力結果として得られる特徴量を抽出し、メインメモリの所定のアドレスに格納する。
（特徴量出力部の具体的な構成）
特徴量出力部は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、ＣＰＵが記憶装置から「特徴量出力プログラム」１０１３をメインメモリに読み出して実行し、ネットワークを介してあらかじめ指定された外部サーバに対して、特徴量抽出プログラムの実行により得られた特徴量を出力する。
（所定情報取得部の具体的な構成）
所定情報取得部は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、ＣＰＵが記憶装置から「所定情報取得プログラム」１０１４をメインメモリに読み出して実行し、ネットワークを介して外部サーバから特徴量と紐づけて識別された所定情報を取得しメインメモリの所定のアドレスに格納する。
（所定情報出力部の具体的な構成）
所定情報出力部は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、ＣＰＵが記憶装置から「所定情報出力プログラム」１０１５をメインメモリに読み出して実行し、所定情報取得プログラムの実行により得られた情報を表示その他の態様により出力する。
＜処理の流れ＞
図１１は、本実施形態の画像識別端末における処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初にステップＳ１１０１では撮像機能を起動させ画像データを取得し（撮像機能制御ステップ）、ステップＳ１１０２では、画像識別モデルを用いて、撮像機能により撮像された画像データの特徴量を抽出（特徴量抽出ステップ）した後、ステップＳ１１０３では抽出した特徴量を外部サーバに出力する（特徴量出力ステップ）、その後ステップＳ１１０４で前記出力した特徴量と紐づけて識別された所定情報を外部サーバから取得する（所定情報取得ステップ）と、ステップＳ１１０５として取得した所定情報を出力する（所定情報出力ステップ）。
＜効果＞
以上の構成を採用する携帯端末を利用することにより、自端末内で特徴量と所定情報との紐づけのための処理負荷をかけることなく、低負荷で画像識別結果をユーザに提供することができる。
０２００・・・画像識別システム、０２０１・・・リンク生成部、０２０２・・・入力受付部、０２０３・・・識別判断部、０２０４・・・リンク先情報出力部、０２１０・・・画像識別モデル

Claims (12)

  1. 一の画像データと特定のオブジェクトに関連した画像データである特定画像データとを識別するための画像識別モデルを用いる画像識別方法であって、
    特定画像データと所定情報とをリンクさせるためのリンク生成ステップと、
    画像データの入力を受け付ける入力受付ステップと、
    画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断する識別判断ステップと、
    識別判断ステップでの判断結果に応じて、リンク生成ステップにてリンクされた情報を出力するリンク先情報出力ステップと、
    をコンピュータを用いて実行する画像識別方法。
  2. 画像データに複数の特定画像データが含まれるか否かを判断するための複数画像識別ルールを備え、
    識別判断ステップは、受け付けた画像データを複数画像識別ルールを用いて識別する複数識別判断サブステップをさらに有する請求項１に記載の画像識別方法。
  3. 入力受付ステップにて取得した画像データに付随する情報である付随情報が含まれているかどうかを判断する付随情報判断ステップをさらに有し、
    識別判断ステップは、付随情報判断ステップにて付随情報が含まれると判断される場合に当該付随情報を用いて所定の特定画像データとの関連性を判断可能な付随情報利用判断サブステップをさらに有する請求項１又は２に記載の画像識別方法。
  4. 入力受付ステップは、画像データとして動画データをも入力受付する動画受付サブステップを有し、
    動画データに含まれる画像データを特定する画像データ特定ステップを有するとともに、
    識別判断ステップは、画像データ特定ステップにて特定された画像データと所定の特定画像データとの関連性を判断する動画識別サブステップをさらに有する
    請求項１から３のいずれか一に記載の画像識別方法。
  5. 入力受付ステップは、画像データとして仮想空間におけるオブジェクトデータをも入力受付する仮想空間データ受付サブステップを有し、
    識別判断ステップは、仮想空間データ受付サブステップにて受け付けたオブジェクトデータと所定の特定画像データとの関連性を判断する仮想空間データ識別サブステップをさらに有する請求項１から４のいずれか一に記載の画像識別方法。
  6. 一の画像データと特定のオブジェクトに関連した画像データである特定画像データとを識別するための画像識別モデルを用いる画像識別プログラムであって、
    特定画像データと所定情報とをリンクさせるためのリンク生成ステップと、
    画像データの入力を受け付ける入力受付ステップと、
    画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断する識別判断ステップと、
    識別判断ステップでの判断結果に応じて、リンク生成ステップにてリンクされた情報を出力するリンク先情報出力ステップと、
    をコンピュータに実行させる画像識別プログラムが格納された記憶媒体。
  7. 一の画像データと特定のオブジェクトに関連した画像データである特定画像データとを識別するための画像識別モデルを用いる画像識別システムであって、
    特定画像データと所定情報とをリンクさせるためのリンク生成部と、
    画像データの入力を受け付ける入力受付部と、
    画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断する識別判断部と、
    識別判断部での判断結果に応じて、リンク生成部にてリンクされた情報を出力するリンク先情報出力部と、
    を有する画像識別システム。
  8. 撮像機能を起動するための撮像機能制御ステップと、
    画像識別モデルを用いて、撮像機能により撮像された画像データの特徴量を抽出する特徴量抽出ステップと、
    抽出した特徴量を外部サーバに出力する特徴量出力ステップと、
    前記出力した特徴量と紐づけて識別された所定情報を取得する所定情報取得ステップと、
    取得した所定情報を出力する所定情報出力ステップと、
    を携帯端末に実行させる画像識別プログラムが格納された記憶媒体。
  9. 特徴量抽出ステップは、画像データに含まれる文字の有無又はその内容を識別して特徴量を抽出する文字識別サブステップを有する請求項８に記載の画像識別プログラムが格納された記憶媒体。
  10. 携帯端末の位置情報を取得する位置情報取得ステップをさらに有し、
    特徴量抽出ステップは、画像識別モデルに加え、取得した位置情報をも用いて特徴量を抽出する位置情報利用サブステップを有する請求項８又は９に記載の画像識別プログラムが格納された記憶媒体。
  11. 特徴量抽出ステップは、複数の画像データを用いて特徴量を抽出する複数画像利用サブステップをさらに有する請求項８から１０のいずれか一に記載の画像識別プログラムが格納された記憶媒体。
  12. 複数画像利用サブステップは、複数の画像を用いて一のオブジェクトを推定し、当該推定結果に基づいて特徴量を抽出することを特徴とする請求項１１に記載の画像識別プログラムが格納された記憶媒体。
PCT/JP2021/034439 2020-10-10 2021-09-19 画像識別方法、画像識別プログラムが格納された記憶媒体及び画像識別システム WO2022075051A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020171588A JP2023166637A (ja) 2020-10-10 2020-10-10 画像識別方法、画像識別プログラム及び画像識別システム
JP2020-171588 2020-10-10

Publications (1)

Publication Number Publication Date
WO2022075051A1 true WO2022075051A1 (ja) 2022-04-14

Family

ID=81126824

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034439 WO2022075051A1 (ja) 2020-10-10 2021-09-19 画像識別方法、画像識別プログラムが格納された記憶媒体及び画像識別システム

Country Status (2)

Country Link
JP (1) JP2023166637A (ja)
WO (1) WO2022075051A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018084890A (ja) * 2016-11-22 2018-05-31 サイジニア株式会社 情報処理装置、情報処理方法、およびプログラム
KR20200093295A (ko) * 2019-01-28 2020-08-05 강원대학교산학협력단 가상현실 기반의 전시회 컨텐츠 제공 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018084890A (ja) * 2016-11-22 2018-05-31 サイジニア株式会社 情報処理装置、情報処理方法、およびプログラム
KR20200093295A (ko) * 2019-01-28 2020-08-05 강원대학교산학협력단 가상현실 기반의 전시회 컨텐츠 제공 방법

Also Published As

Publication number Publication date
JP2023166637A (ja) 2023-11-22

Similar Documents

Publication Publication Date Title
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
JP7038543B2 (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
CN109643527A (zh) 用于零售环境仿真的虚拟现实平台
CN106462979A (zh) 时尚偏好分析
CN106127552B (zh) 一种虚拟场景显示方法、装置及系统
CN111512119A (zh) 增强现实、计算机视觉和数字售票系统
KR101756840B1 (ko) 촬영 이미지를 이용한 의사 전달 방법 및 장치
KR20140119291A (ko) 미러월드 마케팅 플랫폼 기반 증강현실 장바구니 시스템
CN107092435A (zh) 基于商标图形识别并互动的方法及系统
JP2019117437A (ja) 物品特定装置、物品特定方法、及びプログラム
US11810247B2 (en) Technologies for rendering items within a user interface using various rendering effects
US11232511B1 (en) Computer vision based tracking of item utilization
CN113359986A (zh) 增强现实数据展示方法、装置、电子设备及存储介质
US20160042233A1 (en) Method and system for facilitating evaluation of visual appeal of two or more objects
JP2019079439A (ja) コンピュータプログラム、表示装置、表示方法、画像出力装置、画像出力方法、画像表示システム
KR20080054945A (ko) 코디네이팅을 통한 상품 중개 시스템 및 그 중개방법
KR20200084706A (ko) 온라인 쇼핑몰 홈페이지 서비스 시스템
KR20110125866A (ko) 증강현실을 통한 정보제공 방법 및 장치
WO2022075051A1 (ja) 画像識別方法、画像識別プログラムが格納された記憶媒体及び画像識別システム
JP6975312B2 (ja) 不正推定システム、不正推定方法、及びプログラム
JP6510116B2 (ja) 仮想オブジェクトの表示システムを用いた顧客把握システム、顧客把握システムプログラム及び顧客把握方法
EP2816520A1 (en) A method for interchanging data between the three-demensional shopping platform and the external platform
CN114219578A (zh) 无人服装售卖方法、装置、终端及存储介质
KR102335918B1 (ko) 빅 데이터와 인공 지능 알고리즘을 통한 고객 개인 맞춤형 패션 디자인 판매용 디지털 사이니지
CN113609319A (zh) 商品搜索方法、装置和设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877352

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21877352

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP