WO2022201233A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2022201233A1
WO2022201233A1 PCT/JP2021/011656 JP2021011656W WO2022201233A1 WO 2022201233 A1 WO2022201233 A1 WO 2022201233A1 JP 2021011656 W JP2021011656 W JP 2021011656W WO 2022201233 A1 WO2022201233 A1 WO 2022201233A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
estimation
image processing
processing device
product
Prior art date
Application number
PCT/JP2021/011656
Other languages
English (en)
French (fr)
Inventor
莉佳 椙本
茉優 沖山
皓志 桝冨
卓生 大角
洋平 廣瀬
Original Assignee
日本電気株式会社
Ｎｅｃネクサソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, Ｎｅｃネクサソリューションズ株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/011656 priority Critical patent/WO2022201233A1/ja
Priority to US18/282,845 priority patent/US20240303990A1/en
Priority to JP2023508155A priority patent/JPWO2022201233A1/ja
Publication of WO2022201233A1 publication Critical patent/WO2022201233A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Definitions

  • the present invention relates to an image processing device, an image processing method, and a program.
  • Japanese Patent Application Laid-Open No. 2002-200002 describes using image data extracted from a photographed image of an actual product or a catalog, or a moving image such as a television image, as a search key.
  • Patent document 2 describes that images of products sourced from various advertising media such as magazines, leaflets, pamphlets, posters, TV commercials, advertising videos, and web advertisements are used as search keys.
  • the inventor of the present invention thought that in order to estimate the degree of influence, it is necessary to estimate the shooting target when a person generates an image including a product.
  • One example of the purpose of the present invention is to estimate a photographing target when a person generates an image including a product.
  • an image acquiring means for acquiring an image of an object to be photographed, in which a product is included in a part of the area; estimating means for processing the image to generate object estimation data indicating an estimation result of the type of the photographing object; output means for outputting based on the estimated target data;
  • An image processing apparatus is provided.
  • the computer an image acquisition process for acquiring an image that is a photographed image of a photographing target and that includes a product in a part of the area; an estimation process for processing the image to generate object estimation data indicating an estimation result of the type of the imaging object; an output process for performing an output based on the estimated target data;
  • An image processing method is provided for performing
  • the computer an image acquisition process for acquiring an image that is a photographed image of a photographing target and that includes a product in a part of the area; an estimation process for processing the image to generate object estimation data indicating an estimation result of the type of the imaging object; an output process for performing an output based on the estimated target data;
  • a program is provided that causes the
  • the present invention it is possible to estimate the photographing target when a person generates an image containing a product.
  • FIG. 1 is a diagram for explaining a usage environment of an image processing apparatus according to an embodiment;
  • FIG. It is a figure showing an example of functional composition of an image processing device. It is a figure for demonstrating the 1st example of the estimation process which an estimation part performs.
  • FIG. 10 is a diagram for explaining a second example of estimation processing performed by an estimation unit;
  • FIG. 10 is a diagram for explaining a second example of estimation processing performed by an estimation unit;
  • FIG. 11 is a diagram for explaining a third example of estimation processing performed by an estimation unit;
  • FIG. 11 is a diagram for explaining a fourth example of estimation processing performed by an estimation unit; It is a figure which shows an example of the information which the human information storage part has memorize
  • FIG. 10 is a diagram showing a second example of information output by the output unit; It is a figure which shows the hardware structural example of an image processing apparatus. 4 is a flowchart showing an example of processing performed by an image processing apparatus together with processing performed by a terminal;
  • FIG. 1 is a diagram for explaining the usage environment of the image processing device 10 according to the embodiment.
  • the image processing device 10 is used together with the terminal 20 .
  • the terminal 20 is, for example, a portable terminal such as a smartphone or a tablet terminal, and is operated by a person.
  • the terminal 20 transmits the image to the image processing device 10 according to this operation.
  • This image is generated by photographing an object to be photographed, and includes products in a part of the area.
  • An example of an object to be photographed is a product (actual product) arranged in a real space such as a store, and a medium containing an image of the product.
  • Examples of media include printed materials such as magazines and advertisements, screens displayed on displays based on broadcasts, screens displayed on displays based on SNS (Social networking service), and screens displayed on displays based on e-mails. This is the screen that is displayed.
  • Printed materials also include advertisements placed around town.
  • the image that the terminal 20 transmits to the image processing device 10 may be a still image or a moving image.
  • the image processing device 10 When the image processing device 10 acquires an image from the terminal 20, the image processing device 10 processes this image to generate data indicating the result of estimating the type of the shooting target (hereinafter referred to as target estimation data). Further, the image processing apparatus 10 performs output based on this target estimation data. This output may be the target estimation data itself. Further, when there are multiple terminals 20 and multiple target estimation data are generated, the output unit 130 may output the result of statistically processing the target estimation data.
  • the image processing device 10 processes the image acquired from the terminal 20 to estimate the product included in the image. Then, the image processing apparatus 10 executes at least part of the processing for causing the user of the terminal 20 to purchase the product.
  • the terminal 20 may have a shooting function. In this case, the terminal 20 may generate an image to be transmitted to the image processing device 10 .
  • FIG. 2 is a diagram showing an example of the functional configuration of the image processing device 10. As shown in FIG.
  • the image processing apparatus 10 includes an image acquisition section 110 , an estimation section 120 and an output section 130 .
  • the image acquisition unit 110 acquires an image from the terminal 20. This image contains products in some areas, as described above.
  • the estimation unit 120 generates the above-described target estimation data by processing the image acquired by the image acquisition unit 110 .
  • the estimation unit 120 generates target estimation data by processing the area around the product in the image.
  • the estimation unit 120 generates target estimation data by processing a plurality of frame images included in the moving image. Details of the target estimation data generation process will be described later with reference to other drawings.
  • the estimation unit 120 processes the image acquired by the image acquisition unit 110 to estimate the product included in this image. At this time, the estimation unit 120 may further estimate products similar to this product (hereinafter referred to as similar products).
  • This estimation result includes, for example, at least one of the product name and product code (for example, JAN code). Note that this estimation processing may be performed, for example, by feature amount matching, or may be performed using a model generated using machine learning.
  • the estimating unit 120 performs at least part of the processing necessary for the user of the terminal 20 to purchase this product and/or similar products as necessary.
  • An example of this process is to identify an online shop and/or a physical store where this product and/or similar products can be purchased, and provide information identifying this online shop and/or physical store (hereinafter referred to as purchase assistance information). It is to transmit to the terminal 20 .
  • the purchase assistance information may include the URL or link of the online shop, or may include information indicating the location of the physical store (eg, address and/or map). Further, the purchase assistance information may include advertisement information or coupon information regarding the product estimated by the estimation unit 120 and/or similar products.
  • the estimation unit 120 uses at least one of the above-described estimation result, that is, the product name and the product code, when identifying the online shop and/or the physical store.
  • the estimation unit 120 stores information indicating the estimation result in the human information storage unit 150 in association with the user of the terminal 20 . Details of the information stored in the human information storage unit 150 will be described later using other drawings.
  • the human information storage unit 150 may be part of the image processing device 10 or may be located outside the image processing device 10 .
  • the output unit 130 outputs based on the target estimation data. As noted above, this output may be the target estimation data itself. Also, when there are multiple terminals 20 , the estimation unit 120 generates target estimation data for each of the multiple terminals 20 . In this case, the output unit 130 may generate output data by statistically processing the plurality of target estimation data. In this case, an example of the output data is data (hereinafter referred to as first relevance data) indicating the relevance between the attribute information of the user of each of the plurality of terminals 20 and the target estimation data. User attribute information for each of the plurality of terminals 20 is stored in the personal information storage unit 150 . By using the first relevance data, it is possible to specify preferred imaging targets by age group (or gender), for example. A specific example of the output performed by the output unit 130 will be described later using other drawings.
  • the image processing device 10 further includes a purchase result acquisition unit 140 .
  • the purchase result acquisition unit 140 acquires information indicating whether or not the product included in the image acquired by the image acquisition unit 110 has been purchased (hereinafter referred to as purchase result information).
  • the purchase result acquisition unit 140 acquires purchase result information from the terminal 20, for example, but may acquire purchase result information from another device (for example, a server that manages an online shop or a physical store). Information acquired by the purchase result acquisition unit 140 is stored in the personal information storage unit 150 .
  • the output unit 130 outputs data indicating the relationship between the target estimation data and the purchase result information (hereinafter referred to as second relationship data). At this time, the output unit 130 uses information stored in the human information storage unit 150 . The user of the image processing apparatus 10 can recognize to what extent the photographed object is associated with the purchase by using the second relevance data.
  • FIG. 3 is a diagram for explaining a first example of estimation processing performed by the estimation unit 120.
  • the object to be photographed is the screen displayed on the display based on radio waves or online broadcasting. This display may be used as a television or as a digital signage.
  • the user of the terminal 20 causes the terminal 20 to photograph the screen of this display.
  • the terminal 20 may generate a still image or may generate a moving image.
  • the image generated by the terminal 20 may include the frame of the display, or may include only the screen of the display without the frame.
  • the estimating unit 120 determines that the imaging target is the display by detecting the frame of the display.
  • the estimating unit 120 determines that the imaging target is the display when the image includes scanning lines specific to the display.
  • the estimation unit 120 processes this moving image to determine the type of content displayed on the display (for example, advertisements played on TV broadcasts, or broadcasted on digital signage). advertisements) can also be specified. The estimating unit 120 can also identify the imaging target by this.
  • the estimation unit 120 detects the feature amount of the portion outside the display in the image, and performs matching processing on this feature amount to determine the position of the display.
  • a location for example, indoors or outdoors
  • FIG. 4 is a diagram for explaining a second example of estimation processing performed by the estimation unit 120.
  • the object to be photographed is the actual product.
  • the terminal 20 preferably generates moving images.
  • the estimation unit 120 determines that the object to be photographed is the actual product if at least a part of the surroundings of the product has changed, and that the object to be photographed is a printed matter such as a magazine if the surroundings of the product have not changed. judge there is.
  • the edge of the magazine may appear in the printed matter generated by the terminal 20 .
  • the estimating unit 120 detects this edge, the estimating unit 120 determines that the object to be photographed is the printed matter.
  • the estimating unit 120 can identify the place where the printed matter is placed (for example, whether it is indoors or outdoors) by processing the portion outside the printed matter in the image. .
  • FIG. 6 is a diagram for explaining a third example of estimation processing performed by the estimation unit 120.
  • the imaging target is the screen displayed on the display based on the SNS. In this case, this screen has a screen configuration unique to that SNS. By detecting the presence or absence of this screen configuration, the estimating unit 120 can identify that the imaging target is the SNS and the service name of the SNS.
  • FIG. 7 is a diagram for explaining a fourth example of estimation processing performed by the estimation unit 120.
  • the object to be photographed is the screen displayed on the display based on the e-mail.
  • this screen has a screen configuration unique to e-mail. By detecting the presence or absence of this screen configuration, the estimation unit 120 can identify that the subject to be photographed is the e-mail.
  • FIG. 8 is a diagram showing an example of information stored in the human information storage unit 150 of the image processing device 10.
  • the personal information storage unit 150 stores identification information (hereinafter referred to as personal identification information) assigned to each person, attribute information, and history information in association with each other. .
  • Attribute information includes the person's name, gender, and age, but may include other information.
  • the history information includes the result of analysis by the estimation unit 120 of the image sent from the terminal 20 by the person.
  • the analysis result of the estimating unit 120 includes the photographing target and the product name and/or product code.
  • the history information also includes information indicating whether or not the product estimated by the estimation unit 120 has been purchased.
  • the history information may further include information specifying the date and time of purchase of the product, and the online shop or physical store where the product was sold.
  • FIG. 9 is a diagram showing a first example of information output by the output unit 130 of the image processing device 10.
  • the output unit 130 outputs first relevance data.
  • the first relevance data indicates the relevance between the user attribute information of each of the plurality of terminals 20 and the target estimation data, as described above.
  • the first relevance data indicates, by attribute, the number of times a photographing target is used for retrieval by a person having that attribute.
  • the information shown in this figure may be by product name or product code, or may be by product category.
  • the product category may be a large category such as clothes and food, or a small category such as coats and shirts.
  • FIG. 10 is a diagram showing a second example of information output by the output unit 130 of the image processing device 10.
  • the output unit 130 outputs the second relevance data.
  • the second relevance data indicates the relevance between the target estimation data and the purchase result information, as described above.
  • the second relevance data indicates the number of times of use of the photographed object used by the person who has purchased the product for each attribute of the person.
  • the information shown in this figure may also be sorted by product name or product code, or by product category.
  • FIG. 11 is a diagram showing a hardware configuration example of the image processing apparatus 10. As shown in FIG.
  • the image processing apparatus 10 has a bus 1010 , a processor 1020 , a memory 1030 , a storage device 1040 , an input/output interface 1050 and a network interface 1060 .
  • the bus 1010 is a data transmission path for the processor 1020, the memory 1030, the storage device 1040, the input/output interface 1050, and the network interface 1060 to exchange data with each other.
  • the method of connecting processors 1020 and the like to each other is not limited to bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main memory implemented by RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by a HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
  • the storage device 1040 stores program modules that implement each function of the image processing apparatus 10 (for example, the image acquisition unit 110, the estimation unit 120, the output unit 130, and the purchase result acquisition unit 140). Each function corresponding to the program module is realized by the processor 1020 reading each program module into the memory 1030 and executing it.
  • the storage device 1040 also functions as the human information storage unit 150 .
  • the input/output interface 1050 is an interface for connecting the image processing apparatus 10 and various input/output devices.
  • a network interface 1060 is an interface for connecting the image processing apparatus 10 to a network.
  • This network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network).
  • a method for connecting the network interface 1060 to the network may be a wireless connection or a wired connection.
  • Image processing device 10 may communicate with terminal 20 via network interface 1060 .
  • FIG. 12 is a flowchart showing an example of processing performed by the image processing device 10 together with processing performed by the terminal 20.
  • FIG. 12 is a flowchart showing an example of processing performed by the image processing device 10 together with processing performed by the terminal 20.
  • the user of the terminal 20 finds an item of interest, the user causes the terminal 20 to generate an image including the item (step S10).
  • an example of an object to be photographed by the terminal 20 is as explained using FIG.
  • the terminal 20 then transmits the captured image to the image processing device 10 .
  • the terminal 20 also transmits the personal identification information of the user to the image processing device 10 (step S20).
  • the image acquisition unit 110 of the image processing device 10 acquires the image transmitted from the terminal 20.
  • the estimation unit 120 then processes this image to estimate the imaging target (step S30).
  • An example of the processing performed here is as described with reference to FIGS. 2 to 7.
  • the estimating unit 120 also identifies products and/or similar products included in the image by processing this image (step S40). The estimating unit 120 then identifies an online shop and/or physical store where this product and/or similar product can be purchased, and generates information on this online shop and/or physical store, that is, purchase assistance information (step S50). . The estimation unit 120 then transmits this purchase assistance information to the terminal 20 (step S60).
  • the estimating unit 120 also associates information (for example, at least one of a product name and a product code) indicating the imaging target estimated in step S30 and the product and/or similar product specified in step S40 with each other to obtain human information. Store in the storage unit 150 . At this time, the estimation unit 120 associates these pieces of information with the person identification information transmitted in step S20 (step S70).
  • information for example, at least one of a product name and a product code
  • the terminal 20 Upon acquiring the purchase assistance information from the image processing device 10, the terminal 20 displays this purchase assistance information on the display (step S80). The user of the terminal 20 uses this purchase assistance information when purchasing a product.
  • the terminal 20 also generates information indicating whether or not the product has been purchased (hereinafter referred to as purchase result information) (step S90), and transmits this purchase result information to the image processing apparatus 10 together with the person identification information. (Step S100).
  • the purchase result information includes information specifying the date and time of purchase and the online shop or physical store where the product was sold, as required.
  • the purchase result acquisition unit 140 of the image processing device 10 stores the purchase result information transmitted from the terminal 20 as a part of the history information of the person information storage unit 150 . At this time, the purchase result acquisition unit 140 associates the purchase result information with the person identification information transmitted in step S100 (step S110).
  • the output unit 130 of the image processing device 10 After that, the output unit 130 of the image processing device 10 generates and outputs output data at the necessary timing.
  • the image processing apparatus 10 estimates a shooting target when a person generates an image including a product. Therefore, by using this estimation result, it is possible to estimate the degree of influence of the actual product or the medium providing the product image on the consumer's behavior. This degree of influence is indicated by, for example, the above-described first relevance data and second relevance data.
  • An image processing device comprising: 2. In the image processing device described in 1 above, The image processing device, wherein the estimating means generates the target estimation data by processing a region around the product in the image. 3.
  • the image acquisition means acquires a moving image as the image
  • the image processing device wherein the estimation means generates the target estimation data by processing a plurality of frame images included in the moving image. 4.
  • the types of the shooting targets include screens displayed on the display based on broadcasting, screens displayed on the display based on SNS (Social networking service), screens displayed on the display based on e-mail, printed materials, and real An image processing device including at least one of the products arranged in space. 5.
  • the image is generated by a terminal
  • the image acquisition means acquires the images from the plurality of terminals
  • the estimation means generates the target estimation data for each of the plurality of terminals
  • the image processing device, wherein the output means outputs first relevance data indicating relevance between the user attribute information of each of the plurality of terminals and the target estimation data. 6.
  • the image processing device, wherein the estimating means further estimates the product and/or a similar product similar to the product by processing the image. 7. 6.
  • the image processing device further comprising purchase result acquisition means for acquiring purchase result information indicating whether or not the product and/or the similar product has been purchased;
  • the image processing device wherein the output means outputs second relevance data indicating relevance between the estimated target data and the purchase result information.
  • the computer an image acquisition process for acquiring an image that is a photographed image of a photographing target and that includes a product in a part of the area; an estimation process for processing the image to generate object estimation data indicating an estimation result of the type of the imaging object; an output process for performing an output based on the estimated target data;
  • An image processing method that performs 9.
  • the image processing method wherein in the estimation process, the computer generates the target estimation data by processing a region around the product in the image. 10.
  • the computer is obtaining a moving image as the image in the image acquisition;
  • An image processing method wherein in the estimation process, the target estimation data is generated by processing a plurality of frame images included in the moving image.
  • the types of the shooting targets include screens displayed on the display based on broadcasting, screens displayed on the display based on SNS (Social networking service), screens displayed on the display based on e-mail, printed materials, and real An image processing method including at least one of the commodities arranged in space. 12.
  • the image is generated by a terminal
  • the computer is acquiring the images from the plurality of terminals in the image acquisition process; generating the target estimation data for each of the plurality of terminals in the estimation process;
  • the image processing method wherein, in the output process, first relevance data indicating relevance between user attribute information of each of the plurality of terminals and the target estimation data is output.
  • An image processing method wherein, in the estimation process, the computer further processes the image to estimate the product and/or similar products similar to the product. 14.
  • the computer is further performing purchase result acquisition processing for acquiring purchase result information indicating whether the product and/or the similar product has been purchased;
  • the image processing method wherein in the output process, second relevance data indicating relevance of the estimated target data and the purchase result information is output.
  • an image acquisition process for acquiring an image that is a photographed image of a photographing target and that includes a product in a part of the area; an estimation process for processing the image to generate object estimation data indicating an estimation result of the type of the imaging object; an output process for performing an output based on the estimated target data; A program that allows you to do 16.
  • the image acquisition function acquires a moving image as the image;
  • the estimation function generates the target estimation data by processing a plurality of frame images included in the moving image.
  • the types of the shooting targets include screens displayed on the display based on broadcasting, screens displayed on the display based on SNS (Social networking service), screens displayed on the display based on e-mail, printed materials, and real A program including at least one of the commodities arranged in space. 19.
  • the image is generated by a terminal
  • the image acquisition function acquires the images from the plurality of terminals
  • the estimation function generates the target estimation data for each of the plurality of terminals
  • the program, wherein the output function outputs first relevance data indicating relevance between user attribute information of each of the plurality of terminals and the target estimation data.
  • the estimating function further includes a program for estimating the product and/or similar products similar to the product by processing the image. 21. 20.
  • image processing device 20 terminal 110 image acquisition unit 120 estimation unit 130 output unit 140 purchase result acquisition unit 150 human information storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

画像処理装置（１０）は、画像取得部（１１０）、推定部（１２０）、及び出力部（１３０）を備えている。画像取得部（１１０）は、端末（２０）から画像を取得する。この画像は、一部の領域に商品を含んでいる。推定部（１２０）は、画像取得部（１１０）が取得した画像を処理することにより、撮影対象の種類の推定結果を示す対象推定データを生成する。例えば推定部（１２０）は、画像のうち商品の周囲の領域を処理することにより、対象推定データを生成する。出力部（１３０）は、対象推定データに基づいた出力を行う。

Description

画像処理装置、画像処理方法、及びプログラム
　本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
　近年、ユーザは、商品を含む画像を検索キーとして、その商品に関する情報を検索することができる。例えば特許文献１には、現物の商品やカタログを撮影した画像、又はテレビ映像などの動画像から切り出された画像データを検索キーとして用いることが記載されている。また特許文献２には、雑誌、チラシ、パンフレット、ポスター、テレビＣＭ、広告動画、Ｗｅｂ広告などの各種広告メディアを出所とした商品の画像を検索キーとして用いることが記載されている。
国際公開第２０１１／０４９２０９号 特開２０１７－３３１５７号公報
　商品を含む画像を消費者に提供する媒体は複数ある。また、消費者は、現物を撮影した画像を検索に用いることもある。一方、現物や画像の媒体のそれぞれが消費者の行動に与える影響度は、マーケティングの観点で重要な指標になる。本発明者は、この影響度を推定するためには、人が商品を含む画像を生成した時の撮影対象を推定する必要がある、と考えた。本発明の目的の一例は、人が商品を含む画像を生成した時の撮影対象を推定することにある。
　本発明によれば、撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得手段と、
　前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定手段と、
　前記対象推定データに基づいた出力を行う出力手段と、
を備える画像処理装置が提供される。
　本発明によれば、コンピュータが、
　撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得処理と、
　前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定処理と、
　前記対象推定データに基づいた出力を行う出力処理と、
を行う画像処理方法が提供される。
　本発明によれば、コンピュータに、
　撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得処理と、
　前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定処理と、
　前記対象推定データに基づいた出力を行う出力処理と、
を行わせるプログラムが提供される。
　本発明によれば、人が商品を含む画像を生成した時の撮影対象を推定できる。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態に係る画像処理装置の使用環境を説明するための図である。 画像処理装置の機能構成の一例を示す図である。 推定部が行う推定処理の第１例を説明するための図である。 推定部が行う推定処理の第２例を説明するための図である。 推定部が行う推定処理の第２例を説明するための図である。 推定部が行う推定処理の第３例を説明するための図である。 推定部が行う推定処理の第４例を説明するための図である。 人情報記憶部が記憶している情報の一例を示す図である。 出力部が出力する情報の第１例を示す図である。 出力部が出力する情報の第２例を示す図である。 画像処理装置のハードウェア構成例を示す図である。 画像処理装置が行う処理の一例を、端末が行う処理と共に示すフローチャートである。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
　図１は、実施形態に係る画像処理装置１０の使用環境を説明するための図である。画像処理装置１０は、端末２０と共に使用される。
　端末２０は、例えばスマートフォンやタブレット端末などの携帯型の端末であり、人によって操作される。端末２０は、この操作に従って、画像を画像処理装置１０に送信する。この画像は、撮影対象を撮影することにより生成されており、一部の領域に商品を含んでいる。撮影対象の一例は、店舗などの実空間に配置された商品（現物）、及びその商品の画像を含む媒体である。ここで媒体の一例は、雑誌や広告などの印刷物、放送に基づいてディスプレイに表示された画面、ＳＮＳ（Social networking service）に基づいてディスプレイに表示された画面、及び電子メールに基づいてディスプレイに表示された画面である。印刷物には、街中に配置された広告も含む。なお、端末２０が画像処理装置１０に送信する画像は、静止画であってもよいし、動画であってもよい。
　画像処理装置１０は、端末２０から画像を取得すると、この画像を処理することにより、撮影対象の種類の推定結果を示すデータ（以下、対象推定データと記載）を生成する。また画像処理装置１０は、この対象推定データに基づいた出力を行う。この出力は、対象推定データそのものでもよい。また、端末２０が複数あり、対象推定データが複数生成されている場合、出力部１３０は、対象推定データを統計処理した結果を出力してもよい。
　また画像処理装置１０は、端末２０から取得した画像を処理することにより、その画像に含まる商品を推定する。そして画像処理装置１０は、その商品を端末２０のユーザに購入させるための処理の少なくとも一部を実行する。
　なお、端末２０は、撮影機能を有していてもよい。この場合、端末２０は、画像処理装置１０に送信する画像を生成してもよい。
　図２は、画像処理装置１０の機能構成の一例を示す図である。画像処理装置１０は、画像取得部１１０、推定部１２０、及び出力部１３０を備えている。
　画像取得部１１０は、端末２０から画像を取得する。この画像は、上記したように、一部の領域に商品を含んでいる。
　推定部１２０は、画像取得部１１０が取得した画像を処理することにより、上記した対象推定データを生成する。例えば推定部１２０は、画像のうち商品の周囲の領域を処理することにより、対象推定データを生成する。また、画像が動画の場合、推定部１２０は、動画に含まれる複数のフレーム画像を処理することにより、対象推定データを生成する。対象推定データの生成処理の詳細については、他の図を用いて後述する。
　また、推定部１２０は、画像取得部１１０が取得した画像を処理することにより、この画像に含まれている商品を推定する。この際、推定部１２０は、この商品に類似する商品（以下、類似商品と記載）をさらに推定してもよい。この推定結果は、例えば商品名及び商品コード（例えばＪＡＮコード）の少なくとも一方を含んでいる。なお、この推定処理は、例えば特徴量マッチングにより行われてもよいし、機械学習を用いて生成されたモデルを用いて行われてもよい。
　そして推定部１２０は、必要に応じて、この商品及び／又は類似商品を端末２０のユーザが購入するために必要な処理の少なくとも一部を行う。この処理の一例は、この商品及び／又は類似商品を購入可能なオンラインショップ及び／又は実店舗を特定し、このオンラインショップ及び／又は実店舗を特定する情報（以下、購入補助情報と記載）を端末２０に送信することである。購入補助情報は、オンラインショップのＵＲＬ又はリンクを含んでいてもよいし、実店舗の位置を示す情報（例えば住所及び／又は地図）を含んでいてもよい。さらに購入補助情報は、推定部１２０が推定した商品及び／又は類似商品に関する広告情報又はクーポン情報を含んでいてもよい。推定部１２０は、オンラインショップ及び／又は実店舗を特定する際、上記した推定結果、すなわち商品名及び商品コードの少なくとも一方を用いる。
　なお、推定部１２０は、推定結果を示す情報を、端末２０のユーザに紐づけて人情報記憶部１５０に記憶する。人情報記憶部１５０が記憶している情報の詳細は、他の図を用いて後述する。人情報記憶部１５０は、画像処理装置１０の一部であってもよいし、画像処理装置１０の外部に位置していてもよい。
　出力部１３０は、対象推定データに基づいた出力を行う。上記したように、この出力は、対象推定データそのものでもよい。また、端末２０が複数ある場合、推定部１２０は、複数の端末２０別に対象推定データを生成する。この場合、出力部１３０は、これら複数の対象推定データを統計処理することにより、出力データを生成してもよい。この場合、出力データの一例は、複数の端末２０それぞれの使用者の属性情報と対象推定データの関連性を示すデータ（以下、第１関連性データと記載）である。複数の端末２０それぞれの使用者の属性情報は、人情報記憶部１５０に記憶されている。第１関連性データを用いると、例えば年齢層別（又は性別）に、好まれる撮影対象を特定できる。出力部１３０が行う出力の具体例については、他の図を用いて後述する。
　画像処理装置１０は、さらに購入結果取得部１４０を備えている。購入結果取得部１４０は、画像取得部１１０が取得した画像に含まれている商品が購入されたか否かを示す情報（以下、購入結果情報と記載）を取得する。購入結果取得部１４０は、例えば端末２０から購入結果情報を取得するが、他の装置（例えばオンラインショップ又は実店舗を管理するサーバ）から購入結果情報を取得してもよい。購入結果取得部１４０が取得した情報は、人情報記憶部１５０に記憶される。
　そして出力部１３０は、対象推定データと購入結果情報の関連性を示すデータ（以下、第２関連性データと記載）を出力する。この際、出力部１３０は、人情報記憶部１５０に記憶された情報を用いる。画像処理装置１０のユーザは、第２関連性データを用いることにより、撮影対象がどの程度購入に結び付いているかを認識することができる。
　図３は、推定部１２０が行う推定処理の第１例を説明するための図である。本図に示す例において、撮影対象は電波又はオンラインによる放送に基づいてディスプレイに表示された画面である。このディスプレイは、テレビとして用いられていてもよいし、デジタルサイネージとして用いられていてもよい。端末２０のユーザは、このディスプレイに商品を含む画像が表示された場合、端末２０にこのディスプレイの画面を撮影させる。端末２０は、静止画を生成してもよいし、動画を生成してもよい。端末２０が生成した画像には、ディスプレイの枠が写っている場合もあれば、この枠が写っておらず、ディスプレイの画面のみが写っている場合もある。前者の場合、推定部１２０は、ディスプレイの枠を検知することにより、撮影対象はディスプレイであると判断する。また、後者の場合、推定部１２０は、ディスプレイに特有の走査線が画像に含まれている場合に、撮影対象はディスプレイであると判断する。
　また、端末２０が動画を生成していた場合、推定部１２０は、この動画を処理することにより、ディスプレイに表示されているコンテンツの種類（例えばテレビ放送で流れた広告、又はデジタルサイネージで流れた広告）を特定することもできる。推定部１２０は、これによっても撮影対象を特定できる。
　また、推定部１２０は、画像にディスプレイの縁が含まれていた場合、画像のうちディスプレイより外側の部分の特徴量を検出し、この特徴量をマッチング処理することにより、ディスプレイが配置されている場所（例えば屋内か屋外か）を特定できる。
　図４は、推定部１２０が行う推定処理の第２例を説明するための図である。本図に示す例において、撮影対象は現物の商品である。この場合、端末２０は、動画を生成しているのが好ましい。そして推定部１２０は、商品の周囲の少なくとも一部に変化があった場合、撮影対象は現物の商品であると判断し、商品の周囲に変化がなかった場合、撮影対象は雑誌などの印刷物であると判断する。
　なお、図５に示すように、撮影対象が印刷物の場合、端末２０が生成した印刷物に雑誌の縁が写っていることもある。推定部１２０は、この縁を検知した場合、撮影対象は印刷物であると判断する。
　また、推定部１２０は、画像に印刷物の縁が含まれていた場合、画像のうち印刷物より外側の部分を処理することにより、印刷物が配置されている場所（例えば屋内か屋外か）を特定できる。
　図６は、推定部１２０が行う推定処理の第３例を説明するための図である。本図に示す例において、撮影対象は、ＳＮＳに基づいてディスプレイに表示された画面である。この場合、この画面は、そのＳＮＳに特有の画面構成を有している。推定部１２０は、この画面構成の有無を検出することにより、撮影対象がＳＮＳであること、及びそのＳＮＳのサービス名も特定できる。
　図７は、推定部１２０が行う推定処理の第４例を説明するための図である。本図に示す例において、撮影対象は、電子メールに基づいてディスプレイに表示された画面である。この場合、この画面は、電子メールに特有の画面構成を有している。推定部１２０は、この画面構成の有無を検出することにより、撮影対象が電子メールであることを特定できる。
　図８は、画像処理装置１０の人情報記憶部１５０が記憶している情報の一例を示す図である。本図に示す例において、人情報記憶部１５０は、人別に、その人に割り振られた識別情報（以下、人識別情報と記載）、属性情報、及び履歴情報を互いに対応付けて記憶している。
　属性情報は、その人の氏名、性別、及び年齢を含んでいるが、他の情報を含んでいてもよい。
　履歴情報は、その人が端末２０から送ってきた画像を推定部１２０が解析した結果を含んでいる。推定部１２０の解析結果は、撮影対象、並びに商品名及び／又は商品コードを含んでいる。また履歴情報は、推定部１２０が推定した商品が購入されたか否かを示す情報も含んでいる。なお、履歴情報は、さらに、商品の購入日時、及び商品を販売したオンラインショップ又は実店舗を特定する情報を含んでいてもよい。
　図９は、画像処理装置１０の出力部１３０が出力する情報の第１例を示す図である。本図に示す例において、出力部１３０は、第１関連性データを出力する。第１関連性データは、上記したように、複数の端末２０それぞれの使用者の属性情報と対象推定データの関連性を示している。本図に示す例において、第１関連性データは、属性別に、その属性を有する人が検索に用いた撮影対象の利用回数を示している。本図に示す情報は、商品名又は商品コード別になっていてもよいし、商品のカテゴリ別になっていてもよい。ここで商品のカテゴリは、例えば服、食品などの大分類でもよいし、コート、シャツなどの小分類でもよい。
　図１０は、画像処理装置１０の出力部１３０が出力する情報の第２例を示す図である。本図に示す例において、出力部１３０は、第２関連性データを出力する。第２関連性データは、上記したように、対象推定データと購入結果情報の関連性を示している。本図に示す例において、第２関連性データは、商品を購入するに至った人が用いた撮影対象の利用回数を、人の属性別に示している。本図に示す情報も、商品名又は商品コード別になっていてもよいし、商品のカテゴリ別になっていてもよい。
　図１１は、画像処理装置１０のハードウェア構成例を示す図である。画像処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像処理装置１０の各機能（例えば画像取得部１１０、推定部１２０、出力部１３０、及び購入結果取得部１４０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は人情報記憶部１５０としても機能する。
　入出力インタフェース１０５０は、画像処理装置１０と各種入出力機器とを接続するためのインタフェースである。
　ネットワークインタフェース１０６０は、画像処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。画像処理装置１０は、ネットワークインタフェース１０６０を介して端末２０と通信してもよい。
　図１２は、画像処理装置１０が行う処理の一例を、端末２０が行う処理と共に示すフローチャートである。
　端末２０のユーザは、興味を持った商品を見つけた場合、端末２０に、その商品を含む画像を生成させる（ステップＳ１０）。ここで、端末２０による撮影対象の一例は、図１を用いて説明した通りである。そして端末２０は、撮影した画像を画像処理装置１０に送信する。この際、端末２０は、ユーザの人識別情報も画像処理装置１０に送信する（ステップＳ２０）。
　画像処理装置１０の画像取得部１１０は、端末２０から送信された画像を取得する。そして推定部１２０は、この画像を処理することにより、撮影対象を推定する（ステップＳ３０）。ここで行われる処理の一例は、図２～図７を用いて説明した通りである。
　また推定部１２０は、この画像を処理することにより、画像に含まれている商品及び／又は類似商品を特定する（ステップＳ４０）。そして推定部１２０は、この商品及び／又は類似商品を購入可能なオンラインショップ及び／又は実店舗を特定し、このオンラインショップ及び／又は実店舗に関する情報、すなわち購入補助情報を生成する（ステップＳ５０）。そして推定部１２０は、この購入補助情報を端末２０に送信する（ステップＳ６０）。
　また推定部１２０は、ステップＳ３０で推定された撮影対象、並びにステップＳ４０で特定された商品及び／又は類似商品を示す情報（例えば商品名及び商品コードの少なくとも一方）を、互いに紐づけて人情報記憶部１５０に記憶させる。この際、推定部１２０は、これらの情報を、ステップＳ２０で送信された人識別情報に紐づける（ステップＳ７０）。
　端末２０は、画像処理装置１０から購入補助情報を取得すると、この購入補助情報をディスプレイに表示する（ステップＳ８０）。端末２０の利用者は、商品を購入する場合、この購入補助情報を用いる。
　また、端末２０は、商品が購入されたか否かを示す情報（以下、購入結果情報と記載）を生成して（ステップＳ９０）、この購入結果情報を人識別情報と共に画像処理装置１０に送信する（ステップＳ１００）。購入結果情報は、必要に応じて、購入日時、並びに商品を販売したオンラインショップ又は実店舗を特定する情報を含んでいる。
　そして画像処理装置１０の購入結果取得部１４０は、端末２０から送信されてきた購入結果情報を人情報記憶部１５０の履歴情報の一部として記憶させる。この際、購入結果取得部１４０は、購入結果情報を、ステップＳ１００で送信された人識別情報に紐づける（ステップＳ１１０）。
　その後、必要なタイミングで、画像処理装置１０の出力部１３０は出力データを生成して出力する。
　以上、本実施形態によれば、画像処理装置１０は、人が商品を含む画像を生成した時の撮影対象を推定する。したがって、この推定結果を用いると、現物の商品や商品画像を提供した媒体が消費者の行動に与えた影響度を推定することができる。この影響度は、例えば、上記した第１関連性データ及び第２関連性データで示される。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
　１．撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得手段と、
　前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定手段と、
　前記対象推定データに基づいた出力を行う出力手段と、
を備える画像処理装置。
２．上記１に記載の画像処理装置において、
　前記推定手段は、前記画像のうち前記商品の周囲の領域を処理することにより、前記対象推定データを生成する、画像処理装置。
３．上記１又は２に記載の画像処理装置において、
　前記画像取得手段は前記画像として動画を取得し、
　前記推定手段は、前記動画に含まれる複数のフレーム画像を処理することにより、前記対象推定データを生成する、画像処理装置。
４．上記１～３のいずれか一項に記載の画像処理装置において、
　前記撮影対象の種類は、放送に基づいてディスプレイに表示された画面、ＳＮＳ（Social networking service）に基づいてディスプレイに表示された画面、電子メールに基づいてディスプレイに表示された画面、印刷物、及び実空間に配置された前記商品の少なくとも一つを含む、画像処理装置。
５．上記１～４のいずれか一項に記載の画像処理装置において、
　前記画像は端末によって生成されており、
　前記画像取得手段は、複数の前記端末から前記画像を取得し、
　前記推定手段は、前記複数の端末別に前記対象推定データを生成し、
　前記出力手段は、前記複数の端末それぞれの使用者の属性情報と前記対象推定データの関連性を示す第１関連性データを出力する、画像処理装置。
６．上記１～５のいずれか一項に記載の画像処理装置において、
　前記推定手段は、さらに、前記画像を処理することにより、前記商品及び／又は前記商品に類似する類似製品を推定する画像処理装置。
７．上記６に記載の画像処理装置において、
　前記商品及び／または前記類似製品が購入されたか否かを示す購入結果情報を取得する購入結果取得手段をさらに備え、
　前記出力手段は、前記対象推定データと前記購入結果情報の関連性を示す第２関連性データを出力する、画像処理装置。
８．コンピュータが、
　　撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得処理と、
　　前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定処理と、
　　前記対象推定データに基づいた出力を行う出力処理と、
を行う画像処理方法。
９．上記８に記載の画像処理方法において、
　前記コンピュータは、前記推定処理において、前記画像のうち前記商品の周囲の領域を処理することにより、前記対象推定データを生成する、画像処理方法。
１０．上記８又は９に記載の画像処理方法において、
　前記コンピュータは、
　　前記画像取得において、前記画像として動画を取得し、
　　前記推定処理において、前記動画に含まれる複数のフレーム画像を処理することにより、前記対象推定データを生成する、画像処理方法。
１１．上記８～１０のいずれか一項に記載の画像処理方法において、
　前記撮影対象の種類は、放送に基づいてディスプレイに表示された画面、ＳＮＳ（Social networking service）に基づいてディスプレイに表示された画面、電子メールに基づいてディスプレイに表示された画面、印刷物、及び実空間に配置された前記商品の少なくとも一つを含む、画像処理方法。
１２．上記８～１１のいずれか一項に記載の画像処理方法において、
　前記画像は端末によって生成されており、
　前記コンピュータは、
　　前記画像取得処理において、複数の前記端末から前記画像を取得し、
　　前記推定処理において、前記複数の端末別に前記対象推定データを生成し、
　　前記出力処理において、前記複数の端末それぞれの使用者の属性情報と前記対象推定データの関連性を示す第１関連性データを出力する、画像処理方法。
１３．上記８～１２のいずれか一項に記載の画像処理方法において、
　前記コンピュータは、前記推定処理において、さらに、前記画像を処理することにより、前記商品及び／又は前記商品に類似する類似製品を推定する画像処理方法。
１４．上記１３に記載の画像処理方法において、
　前記コンピュータは、
　　前記商品及び／または前記類似製品が購入されたか否かを示す購入結果情報を取得する購入結果取得処理をさらに行い、
　前記出力処理において、前記対象推定データと前記購入結果情報の関連性を示す第２関連性データを出力する、画像処理方法。
１５．コンピュータに、
　　撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得処理と、
　　前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定処理と、
　　前記対象推定データに基づいた出力を行う出力処理と、
を行わせるプログラム。
１６．上記１５に記載のプログラムにおいて、
　前記推定機能は、前記画像のうち前記商品の周囲の領域を処理することにより、前記対象推定データを生成する、プログラム。
１７．上記１５又は１６に記載のプログラムにおいて、
　前記画像取得機能は前記画像として動画を取得し、
　前記推定機能は、前記動画に含まれる複数のフレーム画像を処理することにより、前記対象推定データを生成する、プログラム。
１８．上記１５～１７のいずれか一項に記載のプログラムにおいて、
　前記撮影対象の種類は、放送に基づいてディスプレイに表示された画面、ＳＮＳ（Social networking service）に基づいてディスプレイに表示された画面、電子メールに基づいてディスプレイに表示された画面、印刷物、及び実空間に配置された前記商品の少なくとも一つを含む、プログラム。
１９．上記１５～１８のいずれか一項に記載のプログラムにおいて、
　前記画像は端末によって生成されており、
　前記画像取得機能は、複数の前記端末から前記画像を取得し、
　前記推定機能は、前記複数の端末別に前記対象推定データを生成し、
　前記出力機能は、前記複数の端末それぞれの使用者の属性情報と前記対象推定データの関連性を示す第１関連性データを出力する、プログラム。
２０．上記１５～１９のいずれか一項に記載のプログラムにおいて、
　前記推定機能は、さらに、前記画像を処理することにより、前記商品及び／又は前記商品に類似する類似製品を推定するプログラム。
２１．上記２０に記載のプログラムにおいて、
　前記コンピュータに、さらに、前記商品及び／または前記類似製品が購入されたか否かを示す購入結果情報を取得する購入結果取得機能を持たせ、
　前記出力機能は、前記対象推定データと前記購入結果情報の関連性を示す第２関連性データを出力する、プログラム。
１０　　　　画像処理装置
２０　　　　端末
１１０　　　　画像取得部
１２０　　　　推定部
１３０　　　　出力部
１４０　　　　購入結果取得部
１５０　　　　人情報記憶部

Claims (9)

  1. 　撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得手段と、
    　前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定手段と、
    　前記対象推定データに基づいた出力を行う出力手段と、
    を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記推定手段は、前記画像のうち前記商品の周囲の領域を処理することにより、前記対象推定データを生成する、画像処理装置。
  3. 　請求項１又は２に記載の画像処理装置において、
    　前記画像取得手段は前記画像として動画を取得し、
    　前記推定手段は、前記動画に含まれる複数のフレーム画像を処理することにより、前記対象推定データを生成する、画像処理装置。
  4. 　請求項１～３のいずれか一項に記載の画像処理装置において、
    　前記撮影対象の種類は、放送に基づいてディスプレイに表示された画面、ＳＮＳ（Social networking service）に基づいてディスプレイに表示された画面、電子メールに基づいてディスプレイに表示された画面、印刷物、及び実空間に配置された前記商品の少なくとも一つを含む、画像処理装置。
  5. 　請求項１～４のいずれか一項に記載の画像処理装置において、
    　前記画像は端末によって生成されており、
    　前記画像取得手段は、複数の前記端末から前記画像を取得し、
    　前記推定手段は、前記複数の端末別に前記対象推定データを生成し、
    　前記出力手段は、前記複数の端末それぞれの使用者の属性情報と前記対象推定データの関連性を示す第１関連性データを出力する、画像処理装置。
  6. 　請求項１～５のいずれか一項に記載の画像処理装置において、
    　前記推定手段は、さらに、前記画像を処理することにより、前記商品及び／又は前記商品に類似する類似製品を推定する画像処理装置。
  7. 　請求項６に記載の画像処理装置において、
    　前記商品及び／または前記類似製品が購入されたか否かを示す購入結果情報を取得する購入結果取得手段をさらに備え、
    　前記出力手段は、前記対象推定データと前記購入結果情報の関連性を示す第２関連性データを出力する、画像処理装置。
  8. 　コンピュータが、
    　　撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得処理と、
    　　前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定処理と、
    　　前記対象推定データに基づいた出力を行う出力処理と、
    を行う画像処理方法。
  9. 　コンピュータに、
    　　撮影対象を撮影した画像であって、一部の領域に商品を含んでいる画像を取得する画像取得処理と、
    　　前記画像を処理することにより、前記撮影対象の種類の推定結果を示す対象推定データを生成する推定処理と、
    　　前記対象推定データに基づいた出力を行う出力処理と、
    を行わせるプログラム。
PCT/JP2021/011656 2021-03-22 2021-03-22 画像処理装置、画像処理方法、及びプログラム WO2022201233A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/011656 WO2022201233A1 (ja) 2021-03-22 2021-03-22 画像処理装置、画像処理方法、及びプログラム
US18/282,845 US20240303990A1 (en) 2021-03-22 2021-03-22 Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP2023508155A JPWO2022201233A1 (ja) 2021-03-22 2021-03-22

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/011656 WO2022201233A1 (ja) 2021-03-22 2021-03-22 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2022201233A1 true WO2022201233A1 (ja) 2022-09-29

Family

ID=83395330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/011656 WO2022201233A1 (ja) 2021-03-22 2021-03-22 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240303990A1 (ja)
JP (1) JPWO2022201233A1 (ja)
WO (1) WO2022201233A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085392A (ja) * 2004-09-15 2006-03-30 Xing Inc テレビショッピング方法、テレビショッピングシステム、端末装置及び中央装置
JP2014197253A (ja) * 2013-03-29 2014-10-16 株式会社日本総合研究所 通信販売処理装置、通信販売処理方法および通信販売処理プログラム
US10650442B2 (en) * 2012-01-13 2020-05-12 Amro SHIHADAH Systems and methods for presentation and analysis of media content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085392A (ja) * 2004-09-15 2006-03-30 Xing Inc テレビショッピング方法、テレビショッピングシステム、端末装置及び中央装置
US10650442B2 (en) * 2012-01-13 2020-05-12 Amro SHIHADAH Systems and methods for presentation and analysis of media content
JP2014197253A (ja) * 2013-03-29 2014-10-16 株式会社日本総合研究所 通信販売処理装置、通信販売処理方法および通信販売処理プログラム

Also Published As

Publication number Publication date
JPWO2022201233A1 (ja) 2022-09-29
US20240303990A1 (en) 2024-09-12

Similar Documents

Publication Publication Date Title
Taherdoost et al. Marketing vs E-marketing
US20200265463A1 (en) Digital Media Environment for Analysis of Components of Digital Content
KR101710733B1 (ko) 객체 식별을 이용하는 타깃화된 광고
CN103518215A (zh) 用于以跨设备上下文输入为基础的电视观众验证的系统和方法
JP5236762B2 (ja) 広告表示装置、広告表示方法、広告表示プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体
CN107220848B (zh) 一种广告展示方法和装置
JP2016218821A (ja) 販売情報利用装置、販売情報利用方法、およびプログラム
WO2016095638A1 (zh) 在用户设备及网络设备处用于提供直达服务的方法及装置
CN112396456A (zh) 广告推送方法、装置、存储介质以及终端
JP2020086658A (ja) 情報処理装置、情報処理システム、情報処理方法および類否判断方法
JP2016009416A (ja) 販売促進システム、販売促進管理装置および販売促進管理プログラム
JP7110738B2 (ja) 情報処理装置、プログラム及び情報処理システム
CN104954826B (zh) 多媒体文件的生成方法及装置
CN112418994B (zh) 商品的导购方法、装置、电子设备及存储介质
JP5767413B1 (ja) 情報処理システム、情報処理方法、および情報処理プログラム
WO2022201233A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US10915938B2 (en) Including instructions upon item procurement
US20230114462A1 (en) Selective presentation of an augmented reality element in an augmented reality user interface
JP6905615B1 (ja) 拡張現実システム
JP7355035B2 (ja) 処理装置、処理方法及びプログラム
CN114842115A (zh) 生成商品主图的方法及电子设备
JP6829391B2 (ja) 情報処理装置、情報配信方法、及び情報配信プログラム
JP2018147137A (ja) 画像生成プログラム、画像生成装置、画像生成方法、広告編集プログラム、広告編集装置及び広告編集方法
Rane et al. Digital food menu application for restaurants based on augmented reality
JP7488484B2 (ja) 情報処理装置、情報配信方法、及び情報配信プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21932847

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18282845

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023508155

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21932847

Country of ref document: EP

Kind code of ref document: A1