JP6432182B2 - サービス提供装置、方法、及びプログラム - Google Patents

サービス提供装置、方法、及びプログラム Download PDF

Info

Publication number
JP6432182B2
JP6432182B2 JP2014136746A JP2014136746A JP6432182B2 JP 6432182 B2 JP6432182 B2 JP 6432182B2 JP 2014136746 A JP2014136746 A JP 2014136746A JP 2014136746 A JP2014136746 A JP 2014136746A JP 6432182 B2 JP6432182 B2 JP 6432182B2
Authority
JP
Japan
Prior art keywords
image
product
mark
determination
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014136746A
Other languages
English (en)
Other versions
JP2016015019A (ja
Inventor
壮吉 藤田
壮吉 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014136746A priority Critical patent/JP6432182B2/ja
Priority to US14/750,205 priority patent/US9836799B2/en
Publication of JP2016015019A publication Critical patent/JP2016015019A/ja
Application granted granted Critical
Publication of JP6432182B2 publication Critical patent/JP6432182B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Description

本発明は、サービス提供装置、方法、及びプログラムに関する。
近年、カメラ等で撮像した撮像画像に画像処理を実行して、撮像画像から通常とは異なる事態の発生を自動的に検知したり、撮像画像内に特定の対象物が含まれるか否かを判定したりする手法の開発が進められている。一般的にこうした画像判定では、撮像画像と、判定の基準となる対象物の画像（判定用画像）との特徴量を比較する手法が用いられる。
しかし、例えば屋外等で撮像した撮像画像では、判定の対象物に照射される光の照度が変化する等、撮像画像の撮像条件と判定用画像の撮像条件とが異なる場合があり、そのため、異常事態の検知精度及び対象物の判定精度が落ちることがある。
従って、従来では、まず撮像画像の輝度データに基づいて、予め定めた輝度データと撮像画像の特徴量との関係から、撮像画像の特徴量の基準データを求める。そして、求めた基準データと撮像画像から得られた特徴量との差分を比較することで、明るさが変化する状況下で撮像された撮像画像であっても、撮像画像から通常とは異なる事態の発生を自動的に検知する監視装置が提案されている。
特開平９−３２２１５１号公報
更に最近では、スマートフォン等の情報機器に対して、撮像した画像に様々な加工及び修正を手軽に実行することができるソフトウエア等が提供されており、撮像画像の背景を除去する等の加工が施された撮像画像が増加しつつある。
従って、同じ対象物を撮像した撮像画像であっても、対象物を撮像する際の角度及び露光量等の撮像条件、及び撮像画像に対する画像処理により、撮像画像に含まれる対象物の表示態様が変化し、撮像画像に対象物は含まれていないと誤認識される場合がある。
一つの側面として、本発明は、撮像画像に対象物が含まれるか否かを判定する精度の向上を図ることを目的とする。
一つの態様では、プログラムは、コンピュータに、商品に付されるマークの画像に変形処理を実行して変形画像を生成する。そして、プログラムは、生成した変形画像を、撮像画像にマークが付された商品が含まれるか否かの判定に利用可能な判定用画像として提供することを実行させる。
一つの側面として、撮像画像に対象物が含まれるか否かを判定する精度の向上を図ることができる。
図１は、撮像画像の一例を示す図である。 図２は、サービス提供システムの一例を示す図である。 図３は、画像の類似性を判定する処理の一例を示す図である。 図４は、判定用画像のデータベース構造の一例を示す図である。 図５は、コンピュータで実現するサービス提供システムの一例を示す図である。 図６は、第１実施形態に係るサービス提供システムの判定用画像生成処理の流れの一例を示すフローチャートである。 図７は、変形処理の一例を示す図である。 図８は、変形処理の一例を示す図である。 図９は、第１実施形態に係るサービス提供システムの判定処理の流れの一例を示すフローチャートである。 図１０は、第２実施形態に係るサービス提供システムの判定用画像生成処理の流れの一例を示すフローチャートである。 図１１は、商品の立体モデルを回転させる変形処理の一例を示す図である。 図１２は、商品の立体モデルの変形処理の一例を示す図である。 図１３は、第２実施形態に係るサービス提供システムの判定処理の流れの一例を示すフローチャートである。
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
近年、個人や企業のコミュニティ手段として、何らかの結びつきを有するコミュニティ間で情報を共有するソーシャルネットワーキングサービス（SNS：social networking service）が活発に利用される。ＳＮＳでは、テキスト、画像、音声等を用いてコミュニティ間で情報拡散が行われるため、企業にとって重要な広告媒体の一つとして認識されつつある。それに伴い、ＳＮＳを利用した、商品の販売促進を目的としたキャンペーンが実施される機会が増加している。
そこで本実施形態では、例えば、ユーザが、あるメーカーが販売する商品を撮像した画像をＳＮＳに投稿すると、画像に商品が含まれるか否かを判定し、商品が含まれる画像を投稿したユーザにプレゼント等を提供するシステム例について説明する。なお、キャンペーン対象の商品種類に制限はないが、ここでは一例として、飲料メーカーが販売する缶入り飲料である商品Ａをキャンペーン対象の商品として説明する。
ところで、こうしたキャンペーンを実施するには、ユーザがＳＮＳに投稿した図１に示すような撮像画像の中に、商品Ａを表すマークが含まれているか否かを判定する必要がある。図１からもわかるように、商品Ａは様々なアングルから撮像される場合があり、また、商品Ａのマークは缶の側面に沿って表示されている上、缶を手で持つ等の行為によりマーク全体が撮像されず、マークの一部が欠けた状態で撮像される場合がある。
また、例えば飲料メーカーが、商品Ａのマークを表示した宣伝用の旗を写した画像をＳＮＳに投稿したユーザにもプレゼントを提供するとした場合、風等の影響により旗の形態が変化することから、商品Ａのマークが歪んだ状態で撮像される場合がある。こうしたマークの歪みは、撮像画像を撮像するカメラのレンズに広角レンズ、又は魚眼レンズを装着した場合にも生ずる場合がある。
このように、同じマークであっても様々な状態で撮像されることから、撮像画像に商品Ａのマークが含まれているか否かを判定することが困難になることが多い。
なお、図１の例では、撮像画像における商品Ａの位置を明示するため、商品Ａを矩形で囲んだが、ユーザがＳＮＳに投稿した撮像画像に商品Ａを囲む矩形は存在しない。また、ここで言うマークは、商品Ａの販売元のメーカーを識別するマーク、商品Ａを識別するマーク、キャンペーンマーク等、商品Ａに表示されたマークであれば何れのマークであってもよい。また、マークはテキストであっても図案であってもよく、また、テキストと図案が結合して１つのマークを表すものであってもよい。
また、近年ではスマートフォン等の情報機器に対して、撮像した画像に様々な加工をすることができるソフトウエア等が提供されているため、ユーザが画像処理を施した撮像画像をＳＮＳに投稿する機会も増加している。
画像処理には、例えば、画像の回転、拡大縮小、色の変更、画像のぼかし、背景除去、及び画像の質感を変えて特定の演出効果を高めたエフェクト処理等、元の撮像画像を加工する様々な処理が含まれる。なお、画像のぼかしはソフトブラーとも称される。
エフェクト処理の具体例として、画像の輪郭を抽出して漫画風に加工する処理、及び画像全体をぼかした上で画像周辺部の輝度を画像中央部の輝度より低くし、かつ、彩度及びコントラストを実際の値より高く設定したトイカメラ風に加工する処理等がある。その他、時間の経過を演出するため画像をセピア色に加工したヴィンテージ風、コントラスト差を強調したポップアート風に加工する処理等、特定の演出効果を引き出すために行われる様々な画像処理がエフェクト処理に含まれる。
従って、商品Ａのマークを含む撮像画像であっても、当該撮像画像に画像処理が施されている場合、撮像画像に商品Ａのマークが含まれているか否かを判定することが困難になることが多い。
そこで、以下に示す実施形態では、撮像条件が異なったり、画像処理が施されたりした様々な撮像画像から、予め定めた対象物が含まれるか否かを精度よく判定するための判定用画像を生成するシステムについて説明する。
（第１実施形態）
図２は、本実施形態に係るサービス提供システム１０の一例を示した図である。
サービス提供システム１０は、サービス提供装置２０、ユーザ端末３０、ソーシャルネットワーキングサービスサーバ４０（以下、ＳＮＳサーバ４０という）、及びサービス依頼端末５０が通信回線６０により接続されたシステムである。なお、本実施形態に係る通信回線６０はインターネット回線として説明するが、通信回線６０の種別はこれに限定されるものではない。例えば、通信回線６０は専用回線であっても、社内ＬＡＮ等のイントラネット回線であってもよい。また、通信回線６０は有線、無線、又は有線と無線との混在の何れの形態で構築されていてもよい。
ユーザ端末３０は、ユーザが商品Ａの写った撮像画像をＳＮＳに投稿するための端末である。ユーザ端末３０は、ＰＣ（Personal Computer）、ノートＰＣ、タブレット型端末、及びスマートフォン等、通信回線６０を介してＳＮＳサーバ４０へ撮像画像のデータを送信する機能を有する情報機器であれば、何れの情報機器であってもよい。
ＳＮＳサーバ４０は、ユーザ端末３０から送信された撮像画像を記憶するサーバであり、撮像画像を送信したユーザが設定したセキュリティーポリシーに基づいて、撮像画像の公開先等を管理する。
サービス依頼端末５０は、例えば、商品Ａのキャンペーンを実施する飲料メーカーに設置され、商品Ａのキャンペーンに必要な情報を、後述するサービス提供装置２０との間で相互に送受信する。サービス提供装置２０との間のデータ送受信にはサービス依頼端末５０に予め実装されているブラウザが用いられるが、サービス提供装置２０を管理する管理者が提供する専用アプリケーションを用いてもよい。なお、サービス依頼端末５０の設置場所はキャンペーンを実施する企業内に限られず、状況に応じてどのような場所に設置してもよいことは言うまでもない。
また、ユーザ端末３０、ＳＮＳサーバ４０、及びサービス依頼端末５０の各々は、通信回線６０に複数接続される形態であってもよい。
サービス提供装置２０は、通信部２１、提供部２２、判定部２３、及びドキュメントデータベース２４を含む。以降、ドキュメントデータベース２４を単にデータベース２４と称す。
通信部２１は、サービス提供装置２０を通信回線６０に接続し、ユーザ端末３０、ＳＮＳサーバ４０、及びサービス依頼端末５０等の情報機器との間で相互に必要なデータを送受信する。
具体的には、通信部２１は受付部２５及び出力部２６を含み、受付部２５はユーザ端末３０、ＳＮＳサーバ４０、及びサービス依頼端末５０からデータを受け付ける。また、出力部２６は、必要に応じてサービス提供装置２０に含まれるデータをユーザ端末３０、ＳＮＳサーバ４０、及びサービス依頼端末５０へ出力する。
例えば、商品Ａのキャンペーン準備として、飲料メーカーがサービス依頼端末５０から商品Ａのマークの画像を、通信回線６０を介してサービス提供装置２０の受付部２５へ送信する。なお、サービス依頼端末５０からサービス提供装置２０へ送信される商品Ａのマークの画像を、他の画像と区別するため“登録画像”と称す。また、サービス依頼端末５０からサービス提供装置２０へ送信される登録画像は静止画、動画の何れであってもよいが、一例として本実施形態に係る登録画像は静止画とする。
また、受付部２５は、サービス依頼端末５０から商品Ａの色、大きさ、形状、素材、及び用途等の商品Ａに関する情報、並びに登録画像に対して実行したい変形処理の指示を含んだ付加情報を受け付けることができる。商品Ａの形状とは、例えば商品Ａを眺めた際の形状が球形なのか、円柱形なのかといった情報であり、商品Ａの素材とは、例えば商品Ａの表面が金属なのか、プラスチックなのかといった情報である。また、商品Ａの用途とは、例えば主な使用場所、主に使用される時間帯、持ち運び可能か否かといった可搬性に関する内容等、商品Ａの利用ケースに関する情報である。また、登録画像に対して実行したい変形処理の指示とは、例えば登録画像に対してぼかし処理を実行したいとか、背景を除去したい等の画像処理の指示をいう。
なお、サービス依頼端末５０は上記に示した付加情報の各項目をすべて受付部２５へ送信する必要はなく、例えば、商品Ａの形状のみを受付部２５へ送信するようにしてもよい。
提供部２２は生成部２７を含み、生成部２７は受付部２５が受け付けた登録画像に変形処理を実行して変形画像を生成する。
具体的には、生成部２７は画像の回転、拡大縮小等を実行する各種の画像処理アルゴリズムを予め含み、例えば、受付部２５で受け付けた付加情報に基づいて登録画像に画像処理を実行することで登録画像の変形画像を生成する。
そして、生成部２７は公知の特徴抽出アルゴリズムを用いて、登録画像と生成した変形画像との特徴量を算出する。
本実施形態に係る生成部２７では、特徴抽出アルゴリズムの一例としてBRISK（Binary Robust Invariant Scalable Keypoints）が用いられるが、生成部２７で用いられる特徴抽出アルゴリズムはこれに限定されない。例えば、商品Ａは傾けた状態で用いられることが多いという付加情報を受け付けた場合、傾斜した物体を含む画像の特徴抽出を得意とする特徴抽出アルゴリズムを用いる等してもよい。
なお、BRISKとは、画像の離れた２点の輝度差に着目するというBRIEF（Binary Robust Independent Elementary Features）にスケール不変性と回転不変性を導入した特徴抽出アルゴリズムである。BRISKは、画像からスケールや回転に不変な特徴量を抽出する代表的な特徴抽出アルゴリズムであるSIFT（Scale Invariant Feature Transform）やSURF（Supped Up Robust Feature）に比べて、スケールや回転に変動がある画像から精度よく特徴量を抽出する。
図３は、登録画像及び変形画像の各々から抽出した特徴量に基づいて、生成部２７で実施される登録画像及び変形画像の類似性を判定する処理の一例を示した図である。
今、特徴抽出アルゴリズムによって抽出された変形画像の特徴量ａが、＾ａ＝［ａ０，・・・，ａＮ］のベクトル量で示され、変形処理前の登録画像の特徴量ｂが、＾ｂ＝［ｂ０，・・・，ｂＮ］のベクトル量で示されるものとする。ここで、Ｎ＋１（０≦Ｎ≦∞）は特徴量の次元数を表し、記号“＾”はベクトルを表す。
この際、生成部２７は２つの画像の各々から抽出した特徴量の距離を算出して、算出された距離の値が予め定めた閾値（類似判定閾値Ｓ１）以下となる場合に、登録画像と変形画像とは類似した画像であると判定する。なお、本実施形態に係る生成部２７では、画像の類似度を示す特徴量の距離として、例えば、（１）式に示したＬ２距離とも称されるユークリッド距離を用いる。
ここでｄＬ２（＾ａ，＾ｂ）は特徴量ａ及び特徴量ｂの間のＬ２距離を表す。従って、ｄＬ２（＾ａ，＾ｂ）の値が小さくなるに従って、登録画像と変形画像との類似度が増す。
なお、画像間の類似度の判定はＬ２距離を用いた方法に限られない。例えば、各々の画像から抽出した、特徴抽出に適した箇所である特徴点の特徴量をベクトル空間に写像し、各々の画像の特徴点のベクトル分布を統計的手法及び機械学習等を用いて比較することで、登録画像と変形画像との類似度を判定するようにしてもよい。
また、例えば、（２）式で示されるＬｐ距離等、画像間の類似度の判定には、画像の類似度を定量的に示すことができる何れの指標であっても用いることができる。
ここでｄＬｐ（＾ａ，＾ｂ）は特徴量ａ及び特徴量ｂの間のＬｐ距離を表す。
そして、生成部２７は、算出したＬ２距離が類似判定閾値Ｓ１以下の場合、すなわち登録画像と変形画像とが類似している場合、登録画像と変形画像とが類似しなくなるまで、登録画像に対して変形処理を行う。
一方、算出したＬ２距離が類似判定閾値Ｓ１より大きい場合、すなわち登録画像と変形画像とが類似していない場合、生成部２７は登録画像に対する変形処理を終了する。
このようにして、生成部２７は登録画像から互いの画像の特徴量の差が類似判定閾値Ｓ１を超える変形画像を生成する。
提供部２２は、生成部２７が生成した変形画像を、ユーザがＳＮＳサーバ４０に投稿した撮像画像に登録画像で示されるマークが付された商品Ａが含まれるか否かの判定に利用可能な判定用画像として後述するデータベース２４に記憶して、判定部２３へ提供する。
データベース２４には、提供部２２から提供された商品Ａに対する判定用画像が記憶される。また、データベース２４には、例えばMongoDBに代表されるドキュメントデータベースが用いられる。MongoDBは、コレクション毎に複数のドキュメントを有し、各ドキュメントでは判定用画像の構造やデータ型に応じて自由なフィールドを定義することができるドキュメントデータベースである。MongoDBは、従来のRDB（Relational Database）と比較して、記憶する判定用画像の増加に伴うデータベースの分散化が容易であり、いわゆるビッグデータの管理に適したデータベースである。
図４は、判定用画像のデータベース構造の一例を示した図である。なお、図４において“／／”に続いて記載された表記は、対応するフィールドの内容を説明したコメントである。
本実施形態に係るデータベース２４には、例えば主キー、保存時刻、撮像者情報、撮像された物体情報、特徴抽出アルゴリズム情報、画像の特徴量、変形画像生成の判定アルゴリズム、画像に適用したエフェクト情報、及び画像格納先等が含まれる。
なお、本実施形態に係るデータベース２４では判定用画像を記憶するためMongoDBを使用したが、使用するデータベースはこれに限定されず、他の種類のデータベースを用いてもよい。また、データベースを使用せずに、例えばＮＴＦＳ（NT File System）のような公知のファイルシステムを利用するようにしてもよい。
一方、受付部２５は、商品Ａのキャンペーン期間中にＳＮＳサーバ４０に投稿された撮像画像を受け付ける。
判定部２３は、受付部２５から撮像画像を受け取り、生成部２７と同じ特徴抽出アルゴリズムを用いて撮像画像の特徴量を抽出する。そして、判定部２３は、撮像画像の特徴量と、データベース２４に記憶される商品Ａの判定用画像の特徴量とから、例えば（１）式に従って画像の類似度を示すＬ２距離を算出する。そして、判定部２３は、算出したＬ２距離と類似判定閾値Ｓ１を比較することで、撮像画像内に登録画像で示されるマークが付された商品Ａが含まれるか否かを判定する。
出力部２６は、判定部２３での判定結果に応じて、例えば商品Ａが含まれた撮像画像を投稿したユーザへ、プレゼントの応募フォームにリンクするＵＲＬ等の商品Ａのキャンペーンに関する情報を記載したメール等を出力する。なお、受付部２５は、ＳＮＳサービス毎に予め用意されたＡＰＩ（Application Programming Interface）を用いることで、ＳＮＳサーバ４０で管理される撮像画像と、メールアドレス等の撮像画像の提供元を特定する情報とを取得することができる。
次に、図５に、サービス提供システム１０に含まれるサービス提供装置２０、ユーザ端末３０、ＳＮＳサーバ４０、及びサービス依頼端末５０を、コンピュータで実現可能な一例としてのコンピュータシステム１００を示す。
サービス提供システム１０としての図５に示すコンピュータシステム１００は、サービス提供装置２０としてのコンピュータ２００を含む。更に、コンピュータシステム１００は、ユーザ端末３０としてのコンピュータ３００、ＳＮＳサーバ４０としてのコンピュータ４００、サービス依頼端末５０としてのコンピュータ５００を含む。
コンピュータ２００は、ＣＰＵ２０２、メモリ２０４、及び不揮発性の記憶部２０６を含む。ＣＰＵ２０２、メモリ２０４、及び不揮発性の記憶部２０６は、バス２０８を介して互いに接続される。また、コンピュータ２００は、キーボード及びマウス等の入力部２１０、並びにディスプレイ等の表示部２１２を備え、入力部２１０及び表示部２１２はバス２０８に接続される。また、コンピュータ２００は、記録媒体２３２に対して読み書きするためのＩＯ２１４を備え、ＩＯ２１４はバス２０８に接続される。更に、コンピュータ２００は、通信回線６０に接続するためのインタフェースを含む通信ＩＦ（Interface）２１６を備え、通信ＩＦ２１６もバス２０８に接続される。なお、記憶部２０６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。
記憶部２０６には、コンピュータ２００を図２に示すサービス提供装置２０として機能させるためのサービス提供プログラム２１８、類似判定情報格納領域２２８、及びデータベース格納領域２３０が記憶される。記憶部２０６に記憶されたサービス提供プログラム２１８は、通信プロセス２２０、提供プロセス２２２、及び判定プロセス２２４を含む。
ＣＰＵ２０２は、サービス提供プログラム２１８を記憶部２０６から読み出してメモリ２０４に展開し、サービス提供プログラム２１８が有する各プロセスを実行する。また、ＣＰＵ２０２は、類似判定情報格納領域２２８に含まれる類似判定情報を類似判定閾値Ｓ１としてメモリ２０４に展開する。また、ＣＰＵ２０２は、データベース格納領域２３０に含まれるデータベースを構成する情報をメモリ２０４に展開し、データベース２４を構成する。
ＣＰＵ２０２がサービス提供プログラム２１８を記憶部２０６から読み出してメモリ２０４に展開し、サービス提供プログラム２１８を実行することで、コンピュータ２００が図２に示すサービス提供装置２０として動作する。また、ＣＰＵ２０２が通信プロセス２２０を実行することで、コンピュータ２００が図２に示す受付部２５及び出力部２６を含む通信部２１として動作する。また、ＣＰＵ２０２が提供プロセス２２２を実行することで、コンピュータ２００が図２に示す生成部２７を含む提供部２２として動作する。更に、ＣＰＵ２０２が判定プロセス２２４を実行することで、コンピュータ２００が図２に示す判定部２３として動作する。
なお、サービス提供装置２０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit)等で実現することも可能である。
次に、本実施形態に係るサービス提供装置２０の作用を説明する。本実施形態に係るサービス提供装置２０は、データベース２４に商品Ａの判定用画像が記憶されていない場合に、判定用画像生成処理を実行する。
図６は、本実施形態に係る判定用画像生成処理の流れの一例を示したフローチャートである。
まず、ステップＳ１０では、判定用画像生成処理を実行するために必要な初期化処理を実行する。具体的には、生成部２７はメモリ２０４に展開された類似判定閾値Ｓ１を取得する。
ステップＳ２０では、受付部２５はサービス依頼端末５０から商品Ａの登録画像を受信したか否かを判定する。否定判定の場合には、登録画像を受信するまでステップＳ２０の処理を繰り返す。一方、肯定判定の場合には、受信した登録画像と登録画像の複製とをメモリ２０４の予め定めた領域に保存する。なお、登録画像に付加情報が付加されている場合には、受付部２５は更に登録画像と付加情報とを関連づけて、登録画像及び付加情報をメモリ２０４の予め定めた領域に保存する。
ステップＳ３０では、生成部２７は、ステップＳ２０の処理で受信した登録画像に対して変形処理を実行する。登録画像に対して実行する変形処理の内容は、登録画像に関連付けられた付加情報がある場合には、当該付加情報の内容に基づいて決定される。
例えば、商品Ａの形状は円柱形、素材は金属で主に手に持って屋外で用いられるという付加情報の場合、商品Ａの形状が円柱形であり、手に持って使用されるということから、生成部２７は商品Ａのマークの一部が欠けた状態で撮像される傾向があると判断する。また、商品Ａの素材は金属で主に屋外で利用されるという付加情報から、生成部２７は商品Ａのマークに光が反射した状態で撮像される傾向があると判断する。
以上の判断結果から、生成部２７はステップＳ２０の処理で受信した登録画像に対して、登録画像を円柱形の側面に沿って湾曲させ、一部が欠けたように見える画像処理を行う。そして生成部２７は、画像処理を行った登録画像に対して、更に太陽光があたった際の色合い及び明るさを表現するエフェクト処理を行う。
なお、生成部２７は、付加情報によって指定された内容と、当該内容が指定された際に登録画像に対して実行する変形処理と、の対応を規定した対応表を予め備えており、生成部２７は対応表を参照することで、登録画像に実行する変形処理の内容を決定する。なお、生成部２７で登録画像に対して実行する変形処理の内容に制限はなく、様々な公知の変形処理が実行される。
例えば、商品Ａを照らす光源の種類により、商品Ａに照射される光量及び光の波長等が変わり商品Ａの明るさや色合いが変化することから、付加情報には撮像時の天候や、太陽、蛍光灯、またはろうそく等といった光源の種類が指定される場合もある。この場合、生成部２７は対応表を参照して、こうした商品Ａの周囲を照らす光源、すなわち環境光源に関する情報に対応した変形処理を登録画像に実行する。
図７は、生成部２７で登録画像に対して実行する変形処理の一例を示した図である。生成部２７は付加情報の指定内容に応じて、ぼかし、背景除去、歪み、きらめき加工、天候や環境光に応じた加工、トイカメラ等の特徴的なカメラの画像に特有の加工、ポップアート風、漫画風、及びヴィンテージ風等、様々な変形処理を登録画像に実行する。
ステップＳ４０では、生成部２７は、BRISK法を用いてステップＳ３０の処理で生成した変形画像の特徴量＾ａ、及びステップＳ２０の処理でメモリ２０４に保存した登録画像の複製の特徴量＾ｂを各々の画像から抽出する。
そして、生成部２７は、変形画像の特徴量＾ａと登録画像の複製の特徴量＾ｂから、（１）式に従ってお互いの画像の類似度を示すＬ２距離ｄＬ２（＾ａ，＾ｂ）を算出する。
ステップＳ５０では、ステップＳ４０の処理で算出したＬ２距離ｄＬ２（＾ａ，＾ｂ）が、ステップＳ１０の処理で取得した類似判定閾値Ｓ１より大きいか否か、すなわち変形画像と登録画像とが類似していないか否かを判定する。
ここで変形画像と登録画像とが類似するということは、換言すれば、当該変形画像を用いても、変形処理前の登録画像を用いてＳＮＳに投稿された撮像画像に商品Ａが含まれるか否か判定した場合の判定精度と同等程度の判定精度しか得られないことになる。また、前述したように、ＳＮＳに投稿される撮像画像は撮像条件が異なったり、様々な画像処理が施されたりする場合があるため、これらを考慮していない登録画像に類似した変形画像では、撮像画像に商品Ａが含まれるか否かを精度よく判定することができない。
従って、本ステップの判定が否定判定の場合、すなわち変形画像と登録画像とが類似している場合にはステップＳ６０へ移行する。そして、ステップＳ６０において生成部２７は、ステップＳ３０の処理で生成した変形画像に対して、付加情報の内容に応じた変形処理を更に実行し、ステップＳ３０の処理で生成した変形画像に比べて変形の度合いが増した変形画像を生成する。そしてステップＳ４０に移行し、ステップＳ４０〜Ｓ６０の処理を繰り返すことで、生成部２７は、登録画像の特徴量との差が類似判定閾値Ｓ１より大きい特徴量を有する変形画像を生成する。
一方、ステップＳ５０の判定処理で肯定判定となった場合には、ステップＳ７０へ移行する。ステップＳ７０では、提供部２２は、ステップＳ５０の判定処理で登録画像と類似していないと判定された変形画像を判定用画像として、メモリ２０４の予め定めた領域に保存する。
以上により、判定用画像生成処理を終了する。
なお、ステップＳ２０の処理で受信した登録画像に付加情報が付加されていない場合には、生成部２７は商品Ａの種類に共通する一般的特徴に従って、予め定めた変形処理を登録画像に実行すればよい。例えば、商品Ａが缶入り飲料であれば、円柱形の側面に登録画像が表示される場合が一般的であり、登録画像全体が写るように撮像されるケースは稀であると考えられるため、登録画像の一部が欠けた変形処理を実行する。
また、ステップＳ３０の処理では、登録画像に関連付けられた付加情報の内容に基づいて登録画像に変形処理を実行した。しかし、例えば背景除去等の予め定めた変形処理を実行する前処理を登録画像に対して行い、前処理終了後の登録画像に対して、付加情報の内容に基づいた変形処理を実行するようにしてもよい。なお、前処理で実行する変形処理は背景除去に限られない。例えば、前処理を行わない場合と比較して登録画像の特徴量がより正確に抽出されるような変形処理が実行される。
図８は、登録画像に前処理を行った上で、判定用画像を生成する流れの一例を示した図である。図８に示した例では、前処理で飛行機のマークを表した登録画像の背景を除去し、背景が除去された登録画像に対してステップＳ３０以降の各処理を実行することで判定用画像が生成される。ただし、ステップＳ５０の処理において、ステップＳ３０の処理で生成した変形画像と特徴量を比較する画像は、ステップＳ２０の処理で受信した登録画像ではなく、前処理終了後の登録画像となる。
この場合、前処理で登録画像を一旦変形することで、前処理を行わない場合と比較して登録画像の特徴量がより正確に抽出される場合があることから、ステップＳ５０の判定処理において、より正確に変形画像との特徴量の差を判定することができる。すなわち、前処理を実行しない場合と比較して、登録画像と変形画像との類似度をより正確に判定して登録画像に類似しない変形画像を判定用画像とすることができる。従って、このようにして生成された判定用画像を用いることで、ＳＮＳに投稿された撮像画像に商品Ａが含まれるか否かをより精度よく判定することができる。
図９は、図６に示した判定用画像生成処理の終了後、商品Ａのキャンペーン期間中にサービス提供装置２０において実行される判定処理の流れの一例を示したフローチャートである。
まず、ステップＳ１００では、受付部２５はＳＮＳサーバ４０を参照し、ＳＮＳサーバ４０に投稿された撮像画像があるか否かを判定する。否定判定の場合にはＳ１００の処理を繰り返し、継続してＳＮＳサーバ４０を参照する。一方、肯定判定の場合には、ＳＮＳサーバ４０から撮像画像を１枚取得して、メモリ２０４の予め定めた領域に保存すると共に、ステップＳ１１０へ移行する。この際、受付部２５は、取得した撮像画像を投稿したユーザを一意に示す識別情報、例えばメールアドレスを、ＳＮＳサーバ４０を管理する管理者等から提供されたＡＰＩを用いて取得し、撮像画像と関連付けてメモリ２０４に保存する。
ステップＳ１１０では、判定部２３は、データベース２４から商品Ａの判定用画像を、その判定用画像の特徴量と共に取得する。
ステップＳ１２０では、判定部２３は、例えば、ステップＳ１１０の処理で取得した判定用画像の大きさを変えながら撮像画像を走査することで画像のマッチングを行う。そして、判定部２３は、判定用画像と最も類似すると判定された撮像画像の領域の特徴量を、生成部２７で用いられたものと同じ特徴抽出アルゴリズムを用いて算出する。
そして、判定部２３は、本ステップで抽出した撮像画像の特徴量と、ステップＳ１１０の処理で取得した判定用画像の特徴量とから、例えば（１）式に従ってお互いの画像の類似度を示すＬ２距離を算出する。なお、ここでは撮像画像と判定用画像とのＬ２距離を算出したが、Ｌ２距離以外の画像の類似度を示す指標を算出するようにしてもよい。
そして、ステップＳ１３０では、判定部２３はメモリ２０４に展開された類似判定閾値Ｓ１を取得し、ステップＳ１２０で算出したＬ２距離が類似判定閾値Ｓ１以下か否かを判定する。本ステップの判定結果が肯定判定の場合、すなわち撮像画像に商品Ａの判定用画像と類似する領域が含まれると判定された場合にはステップＳ１５０へ移行する。
ステップＳ１５０では、撮像画像の一部と商品Ａの判定用画像とが類似することから、判定部２３は、撮像画像に商品Ａの画像が含まれていると判定する。
そして、ステップＳ１６０では、判定部２３は出力部２６に対して、撮像画像を投稿したユーザへプレゼントの応募フォームにリンクするＵＲＬ等の商品Ａのキャンペーンに関する情報を記載したメールを出力するよう依頼する。出力部２６は、判定部２３からの依頼に基づいてメールを作成し、ステップＳ１００の処理で取得した、撮像画像を投稿したユーザのメールアドレス宛に作成したメールを出力し、図９に示した判定処理を終了する。
一方、ステップＳ１３０の判定処理において否定判定となった場合にはステップＳ１４０へ移行する。そして、ステップＳ１４０では、判定部２３は撮像画像には商品Ａの画像が含まれていないと判定し、図９に示した判定処理を終了する。
なお、図９に示した判定処理は、商品Ａのキャンペーン期間中、繰り返し実行される。
判定処理の結果、サービス提供装置２０からのメールを受信したユーザは、例えば、メールに記載されたＵＲＬにアクセスして応募フォームに必要事項を入力することで、飲料メーカーからプレゼントをもらえる等の特典を得ることができる。
なお、図９に示した判定処理では、撮像画像に商品Ａの画像が含まれると判定される度に、撮像画像を投稿したユーザへメールを送信したが、メールの送信タイミングはこれに限定されない。例えば、メールをメモリ２０４に保存しておき、商品Ａのキャンペーン期間終了後に、撮像画像を投稿したユーザへメールを送信するようにしてもよい。
また、サービス提供装置２０は、判定部２３での判定結果及び撮像画像の提供元を特定する情報を、商品Ａのキャンペーン実施元である飲料メーカーのサービス依頼端末５０へ出力するようにしてもよい。この場合、飲料メーカーはＳＮＳを利用する商品Ａの顧客情報を収集することができる。
このように、本実施形態に係るサービス提供装置２０は商品Ａの色、大きさ、形状、素材、及び用途等を含んだ付加情報に基づいて、撮像画像に含まれる商品Ａの撮像条件の傾向及び撮像画像に施される画像処理の傾向に応じた判定用画像を生成することができる。また、付加情報がない場合であっても、商品Ａの種類に共通する一般的特徴に応じて予め定めた変形処理を登録画像に実行することで、撮像画像に含まれる商品Ａの撮像条件の傾向及び撮像画像に施される画像処理の傾向に応じた判定用画像を生成することができる。更に、判定用画像は登録画像の特徴量との差異が類似判定閾値Ｓ１より大きくなるように変形処理される。従って、変形処理を行わないで登録画像をそのまま判定用画像として用いた場合と比較して、撮像画像に商品Ａが含まれるか否かを精度よく判定することができる。
（第２実施形態）
次に、第２実施形態について説明する。なお、第２実施形態に係るサービス提供システムは、図２に示した第１実施形態に係るサービス提供システム１０と同様である。従って、第２実施形態に係るサービス提供システムは、図５に示した第１実施形態に係るコンピュータシステム１００と同様のコンピュータシステムによって実現することができる。
ただし、図２においてサービス提供装置２０をサービス提供装置２０Ａ、生成部２７を生成部２７Ａ、判定部２３を判定部２３Ａ、及び提供部２２を提供部２２Ａと読み替える。また、図５においてコンピュータ２００をコンピュータ２００Ａ、提供プロセス２２２を提供プロセス２２２Ａ、判定プロセス２２４を判定プロセス２２４Ａ、サービス提供プログラム２１８をサービス提供プログラム２１８Ａにそれぞれ読み替えるものとする。
ここでは、第１実施形態と同一の部分には同一の符号を付して説明を省略し、第１実施形態と異なる部分を中心に説明する。
本実施形態に係るサービス提供装置２０Ａでは、第１実施形態に示した付加情報に加え、更にサービス依頼端末５０から登録画像が付される商品Ａの立体モデルデータを受け付ける。そして、サービス提供装置２０は、立体モデルデータに基づいて商品Ａの立体モデルを形成し、形成した立体モデル上に登録画像を貼り付けた変形画像を生成する。
そのため、生成部２７Ａは、立体モデルの生成、回転、加工等、立体モデルに対する画像処理を行うための公知のアルゴリズムを含んでいるものとする。
次に、本実施形態に係るサービス提供装置２０Ａの作用を説明する。本実施形態に係るサービス提供装置２０Ａは、データベース２４に商品Ａの判定用画像が記憶されていない場合に、判定用画像生成処理を実行する。図１０は、本実施形態に係る判定用画像生成処理の流れの一例を示したフローチャートである。
まず、ステップＳ２００では、判定用画像生成処理を実行するために必要な初期化処理を実行する。具体的には、生成部２７Ａはメモリ２０４に展開された類似判定閾値Ｓ１を取得する。
ステップＳ２１０では、受付部２５はサービス依頼端末５０から商品Ａの登録画像及び商品Ａの立体モデルデータを含む付加情報を受信したか否かを判定する。否定判定の場合には、登録画像及び付加情報を受信するまでステップＳ２１０の処理を繰り返す。一方、肯定判定の場合には、受付部２５は受信した登録画像をメモリ２０４の予め定めた領域に保存すると共に、登録画像と付加情報とを関連づけてメモリ２０４の予め定めた領域に保存する。
ステップＳ２２０では、生成部２７Ａは、ステップＳ２１０の処理で受け付けた立体モデルデータから、商品Ａの立体モデルを形成する。そして、生成部２７Ａは形成した商品Ａの立体モデルの表面に沿って、ステップＳ２１０の処理で受け付けた登録画像を貼り付ける画像処理を行う。なお、立体モデルにおける登録画像の貼り付け位置は、例えば付加情報としてサービス依頼端末５０から指定してもよい。そして、生成部２７Ａは、予め定めた位置から立体モデルを見た場合の画像を変形画像として生成する。
図１１に示す変形画像１は、本ステップによって生成された変形画像の一例を示した画像である。図１１に示す変形画像１では、球体を表す立体モデルの表面に沿って登録画像であるマーク“ＡＢＣ”が付された変形画像が示されている。
ステップＳ２３０では、生成部２７Ａは、ステップＳ２２０で生成した変形画像を基準画像として、メモリ２０４の予め定めた領域に保存する。
そして、ステップＳ２４０では、生成部２７Ａは、立体モデルを何れかの方向に予め定めた量だけ回転させ、ステップＳ２２０の処理で立体モデルを見た位置と同じ位置から立体モデルを見た場合の画像を変形画像として生成する。なお、立体モデルの回転方向、回転量は、例えば付加情報としてサービス依頼端末５０から指定してもよく、付加情報による指定がない場合には、生成部２７Ａは予め定めた方向に予め定めた回転量だけ立体モデルを回転させる。
なお、変形画像の回転量に制限はないが、できるだけ少ない回転量に設定したほうがより多くの変形画像を生成することができるため好ましい。
図１１に示す変形画像２は、変形画像１に対応した立体モデルを図面左方向に回転させて生成した変形画像である。立体モデルを見る位置は固定されているため、立体モデルの回転と共に登録画像“ＡＢＣ”の表示位置も変化する。
ステップＳ２５０では、生成部２７Ａは、立体モデルがステップＳ２３０の処理で設定した基準画像に対応した位置から１回転したか否かを判定する。生成部２７Ａは、ステップＳ２３０の処理で設定した基準画像に対応した位置からの累積回転量に基づいて、立体モデルが１回転したか否かを判定することができる。なお、図１１に示す変形画像Ｍは、立体モデルが１回転した後の状態を示す変形画像である。そして、本ステップの判定処理が否定判定である場合にはステップＳ２６０へ移行する。
ステップＳ２６０では、生成部２７Ａは例えばBRISK法を用いてステップＳ２４０の処理で生成した回転後の変形画像の特徴量＾ａ、及び現在設定されている基準画像の特徴量＾ｂを取得する。
そして、生成部２７Ａは、回転後の変形画像の特徴量＾ａと基準画像の特徴量＾ｂから、例えば（１）式に従ってお互いの画像の類似度を示すＬ２距離ｄＬ２（＾ａ，＾ｂ）を算出する。
ステップＳ２７０では、生成部２７ＡはステップＳ２６０で算出したＬ２距離ｄＬ２（＾ａ，＾ｂ）が、ステップＳ２００の処理で取得した類似判定閾値Ｓ１より大きいか否か、すなわち回転後の変形画像と基準画像とが類似していないか否かを判定する。ここで、回転後の変形画像と基準画像とが類似するということは、換言すれば、現在の基準画像を用いれば、ステップＳ２４０の処理で生成した回転後の変形画像を商品Ａであると判定することができることを意味する。
従って、否定判定の場合、すなわち回転後の変形画像と基準画像とが類似している場合には、現在の回転後の変形画像を新たな基準画像とすることなくステップＳ２４０へ移行する。
一方、ステップＳ２７０の判定処理で肯定判定となった場合には、ステップＳ２８０へ移行する。ここで、回転後の変形画像と基準画像とが類似しないということは、換言すれば、同じ商品Ａが写った画像であっても、異なるアングルで商品Ａが表示された回転後の変形画像からは商品Ａの特徴を抽出することができないことを意味する。
従って、ステップＳ２８０では、生成部２７Ａは、現在の基準画像の代わりに、現在の基準画像と類似しないと判定された回転後の変形画像を新たな基準画像として設定し、ステップＳ２４０へ移行する。そして、ステップＳ２４０〜Ｓ２８０の処理を繰り返すことにより、商品Ａの立体モデルを回転させながら、互いの画像の特徴量の差が類似判定閾値Ｓ１を超える商品Ａの基準画像を生成する。
一方、ステップＳ２５０の判定処理で肯定判定となった場合、すなわち、商品Ａの立体モデルが１回転した場合にはステップＳ２９０へ移行する。
ステップＳ２９０では、提供部２２Ａは、ステップＳ２３０及びステップＳ２８０の処理で生成部２７Ａが生成した全ての基準画像を判定用画像として、メモリ２０４の予め定めた領域に保存する。なお、ステップＳ２３０の処理で基準画像が生成されることから、判定用画像は少なくとも１枚以上存在することになる。
以上により、判定用画像生成処理を終了する。
このように、本実施形態に係る判定用画像生成処理では、立体モデルを回転させ擬似的に商品Ａを複数のアングルから見た場合の判定用画像を生成することができる。また、各々の判定用画像は互いに類似していないため、判定用画像の枚数をより少なくすることができる。
なお、本実施形態に係る判定用画像生成処理では、立体モデルを１方向に回転させる例を示したが、立体モデルをあらゆる方向に回転させながら商品Ａを複数のアングルから見た場合の判定用画像を生成するようにしてもよい。この場合、より様々なアングルで表示された商品Ａの判定用画像が得られるため、立体モデルを１方向に回転させて生成した判定用画像と比較して、撮像画像に含まれる商品Ａを、より精度よく抽出するための判定用画像を生成することができる。
また、本実施形態に係る判定用画像生成処理では、登録画像が付された商品Ａの立体モデル全体の画像を判定用画像として生成したが、立体モデルの回転と共に表示アングルが異なるよう変形処理が実行された登録画像のみを判定用画像として生成してもよい。
しかしながら、商品Ａの立体モデルの画像を判定用画像とした場合、商品Ａのマークだけでなく商品Ａの形状からも撮像画像に商品Ａが含まれるか否かを判定することができる。従って、立体モデル上の登録画像のみを判定用画像とした場合と比較して、ＳＮＳに投稿された撮像画像に判定対象となる商品Ａが含まれるか否かを精度よく判定することができる。
また、本実施形態に係る判定用画像生成処理のステップＳ２２０の処理では、第１実施形態における図６に示したステップＳ３０での処理と同様に、付加情報の内容に従って、登録画像が付された商品Ａの立体モデルに対して変形処理を行ってもよい。
図１２は、登録画像が付された商品Ａの立体モデルに対する変形処理の一例を示した図である。図１２に示すように、例えば、立体モデルに付加情報で指定された位置から指定された種類の環境光源を当てたり、立体モデルの表面上の質感を付加情報で指定された素材に応じて変更したりしてもよい。こうした変形処理を実行した商品Ａの変形画像は、撮像画像に含まれる商品Ａの画像により類似することから、撮像画像に含まれる商品Ａを、より精度よく抽出するための判定用画像を生成することができる。
また、本実施形態に係る判定用画像生成処理ではステップＳ２８０の処理において、回転後の変形画像と基準画像との特徴量の距離の差が類似判定閾値Ｓ１より大きくなった場合に、回転後の変形画像と比較する基準画像を順次更新するようにした。しかし、回転後の変形画像と比較する基準画像を更新せずに、毎回ステップＳ２３０の処理で設定した基準画像と比較することで、判定用画像を生成するようにしてもよい。
この場合、例えば、ステップＳ２８０の処理で生成部２７Ａは、現在の基準画像と類似しないと判定された回転後の変形画像をメモリ２０４に保存する。そして、生成部２７Ａは、ステップＳ２８０の処理を実行する度に、ステップＳ２７０の判定処理に用いる類似判定閾値Ｓ１の値を変化させる。例えば、互いの画像の特徴量の差が類似判定閾値Ｓ１を超える判定用画像を生成には、仮に類似判定閾値Ｓ１の値をＫとすれば、ステップＳ２８０の処理を実行する度に類似判定閾値Ｓ１の値をＫ、（Ｋ×２）、（Ｋ×３）、・・・と変化させればよい。
そして、ステップＳ２９０の処理において、提供部２２Ａは、ステップＳ２３０の処理で設定された基準画像、及びステップＳ２８０の処理でメモリ２０４に保存された回転後の変形画像を判定用画像とすればよい。
また、本実施形態に係る判定用画像生成処理では、商品Ａの立体モデルデータをサービス依頼端末５０から受け付ける例を示した。しかし、サービス提供装置２０Ａで立体モデルデータを予め用意しておき、サービス依頼端末５０から使用する立体モデルデータを選択するようにしてもよい。この場合、メーカーにおいて商品Ａの立体モデルデータを用意する手間を省くことができる。
また、本実施形態に係る判定用画像生成処理では、生成部２７Ａで登録画像を貼り付けた商品Ａの立体モデルを作成した上で当該立体モデルを回転させて、商品Ａを複数のアングルから見た場合の判定用画像を生成した。しかし、商品Ａを複数のアングルから見た場合の判定用画像を生成する方法はこれに限られない。
例えば、サービス提供装置２０を管理する管理者が提供する専用アプリケーションをインストールした端末（撮像端末）から送られてくる、商品Ａの周囲を１回転して撮像したリアルタイム画像を受け付けるようにしてもよい。なお、専用アプリケーションには撮像中の画像をリアルタイムでサービス提供装置２０へ送信する機能が含まれており、例えば、サービス依頼端末５０を撮像端末として利用してもよい。また、リアルタイム画像は撮像の時系列順に、昇順のフレーム番号が付された複数のフレームを含み、各々のフレームに対応した画像の集まりによって動画が構成されているものとする。
この場合、受付部２５は、撮像端末から撮像開始及び撮像終了の指示を受け付け、撮像開始の指示によってリアルタイム画像の取得を開始する。そして、生成部２７Ａはリアルタイム画像から取得した１フレーム目の画像を基準画像に設定した後、２フレーム以降の画像を１フレームずつ順次取得し、基準画像の特徴量と取得したフレームの画像の特徴量を比較する。そして、生成部２７Ａは、各々の特徴量の差が類似判定閾値Ｓ１より大きい場合に、取得したフレームの画像を新たな基準画像とする。以降、生成部２７Ａは、次に取得したフレームの画像と新たな基準画像との特徴量の差を判定し、リアルタイム画像から新たな基準画像を抽出する処理を撮像終了の指示を受け付けるまで繰り返し実行すればよい。そして、提供部２２Ａは、このようにして得られた基準画像の各々を判定用画像として提供する。
なお、生成部２７Ａは、各フレームの画像に対して付加情報によって指定された変形処理を実行してから各フレームの画像の特徴量を比較するようにしてもよい。
図１３は、図１０に示した判定用画像生成処理の終了後、商品Ａのキャンペーン期間中にサービス提供装置２０において実行される判定処理の流れの一例を示したフローチャートである。
まず、ステップＳ３００では、受付部２５はＳＮＳサーバ４０を参照し、ＳＮＳサーバ４０に投稿されたユーザの撮像画像があるか否かを判定する。否定判定の場合にはＳ３００の処理を繰り返し、継続してＳＮＳサーバ４０を参照する。一方、肯定判定の場合には、ＳＮＳサーバ４０から撮像画像を取得して、メモリ２０４の予め定めた領域に保存すると共に、ステップＳ３１０へ移行する。この際、受付部２５は、取得した撮像画像を投稿したユーザを一意に示す識別情報、例えばメールアドレスを、ＳＮＳサーバ４０を管理する管理者等から提供されたＡＰＩを用いて取得し、撮像画像と関連付けてメモリ２０４に保存する。
ステップＳ３１０では、判定部２３Ａは、データベース２４に記憶される商品Ａの判定用画像のうち、まだ取得していない判定用画像があるか否かを判定し、肯定判定の場合にはステップＳ３３０へ移行する。
ステップＳ３３０では、判定部２３Ａは、データベース２４からまだ取得していない判定用画像を、その判定用画像の特徴量と共に取得する。
そして、ステップＳ３４０では、判定部２３Ａは、例えば、ステップＳ３３０の処理で取得した判定用画像の大きさを変えながらステップＳ３００の処理で受け付けた撮像画像を走査することで画像のマッチングを行う。そして、判定部２３Ａは、判定用画像と最も類似すると判定された撮像画像の領域の特徴量を、生成部２７Ａで用いられたものと同じ特徴抽出アルゴリズムを用いて算出する。
そして、判定部２３Ａは、本ステップで算出した撮像画像の特徴量と、ステップＳ３３０の処理で取得した判定用画像の特徴量とから、例えば（１）式に従ってお互いの画像の類似度を示すＬ２距離を算出する。
ステップＳ３５０では、判定部２３Ａはメモリ２０４に展開された類似判定閾値Ｓ１を取得し、ステップＳ３４０で算出したＬ２距離が類似判定閾値Ｓ１以下か否かを判定する。否定判定の場合、すなわち、撮像画像に商品Ａの判定用画像と類似する領域は含まれていないと判定された場合にはステップＳ３１０へ移行し、撮像画像に商品Ａの別の判定用画像と類似した領域があるか否かを判定する処理を繰り返す。また、本ステップの判定結果が肯定判定の場合、すなわち撮像画像に商品Ａの判定用画像と類似する領域が含まれると判定された場合にはステップＳ３６０へ移行する。
ステップＳ３６０では、撮像画像の一部と商品Ａの判定用画像とが類似することから、判定部２３Ａは、撮像画像に商品Ａが含まれていると判定する。
そして、ステップＳ３７０では、判定部２３Ａは出力部２６に対して、撮像画像を投稿したユーザへプレゼントの応募フォームにリンクするＵＲＬ等の商品Ａのキャンペーンに関する情報を記載したメールを出力するよう依頼する。出力部２６は、判定部２３Ａからの依頼に基づいてメールを作成し、ステップＳ３００の処理で取得した、撮像画像を投稿したユーザのメールアドレス宛に作成したメールを出力し、図１３に示した判定処理を終了する。
一方、ステップＳ３１０の判定処理において否定判定となった場合、すなわち、撮像画像には商品Ａの何れの判定用画像とも類似する領域がないと判定された場合にはステップＳ３２０へ移行する。そして、ステップＳ３２０では、判定部２３Ａは撮像画像には商品Ａが含まれていないと判定し、図１３に示した判定処理を終了する。
このように、本実施形態に係る判定処理では、図１０に示した判定用画像生成処理によって生成された、複数のアングルで表示された商品Ａの判定用画像を用いて判定処理を実行する。従って、１つのアングルで表示された判定用画像を用いて判定処理を実行する場合と比較して、撮像画像に判定対象物である商品Ａが含まれるか否かを精度よく判定することができる。
以上、実施形態を用いて開示の技術を説明したが、開示の技術は上記実施形態に記載の範囲には限定されない。開示の技術の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も開示の技術の技術的範囲に含まれる。例えば、開示の技術の要旨を逸脱しない範囲で処理の順序を変更してもよい。
また、実施形態ではサービス提供プログラム２１８、２１８Ａが記憶部２０６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係るサービス提供プログラムは、コンピュータ読取可能な記録媒体に記録されている形態で提供することも可能である。例えば、開示の技術に係るサービス提供プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、及びＵＳＢメモリ等の可搬型記録媒体に記録されている形態で提供することも可能である。また、開示の技術に係るサービス提供プログラムは、フラッシュメモリ等の半導体メモリ等に記録されている形態で提供することも可能である。
また、第１実施形態及び第２実施形態では、サービス提供装置２０、２０Ａを、ＳＮＳを利用した商品の販売促進キャンペーンに適用し、ＳＮＳに投稿された画像にキャンペーン対象の商品が含まれているかを判定する例について説明した。
しかし、サービス提供装置２０、２０Ａが適用される場面は、上記の例に限られない。
例えば、サービス提供装置２０、２０Ａは、ＳＮＳに投稿された画像を利用したマーケティングサービスに利用することができる。
以下では説明を簡略化するため、サービス提供装置２０をマーケティングサービスに利用する事例について説明するが、サービス提供装置２０Ａも同様の事例に適用することができる。
まず、サービス提供装置２０は、図６に示した判定用画像生成処理を実行して、マーケティングサービスの対象となる商品（分析対象商品）の判定用画像を生成する。なお、分析対象商品は複数あってもよく、この場合、分析対象商品毎に判定用画像が生成される。
そして、サービス提供装置２０はＳＮＳサーバ４０に投稿された撮像画像を取得し、図９に示した判定処理を実行して撮像画像に分析対象商品が含まれているか否かを判定する。
そして、撮像画像に分析対象商品が含まれている場合には、当該撮像画像から更に分析対象商品を撮像した際の関連情報を取得する。なお、取得する関連情報の内容に制限はなく、撮像画像から取得可能な情報が含まれる。
例えば、関連情報には撮像画像に含まれる分析対象商品の数、撮像画像の大きさに対して分析対象商品が占める割合、撮像場所が屋内なのか屋外なのかといった撮像環境、及び撮像時の天候等が含まれる。また、例えば、時間の経過を演出するために画像をセピア風にしたり、また、イラスト風にしたりといった、撮像画像に施されている加工の種類を取得するようにしてもよい。更には、分析対象商品と一緒に写っている人の数、推定年齢、笑っているのか怒っているのかといった感情、及び正装しているのかそれともカジュアルな服装なのかといったファッションに関する情報を取得するようにしてもよい。
更には、図９に示したステップＳ１２０及び図１３に示したステップＳ３４０の処理で実行される画像のマッチングに関する情報を関連情報に含めてもよい。画像のマッチングに関する情報とは、例えば、撮像画像のどの位置で、どの程度の大きさに変更したどの判定用画像と類似すると判定されたかといった情報をいう。
そして、サービス提供装置２０は取得した分析対象商品の関連情報に基づいて、例えば、いつどのような場所でどういった人が分析対象商品を使用する傾向にあるのかといった、分析対象商品の販売促進等に有益な情報を分析する。そして、分析結果を、マーケティングサービスの依頼元であるメーカーのサービス依頼端末５０へ送信する。
この際、サービス提供装置２０は分析結果と併せて関連情報をサービス依頼端末５０へ送信してもよく、また、撮像画像から取得した関連情報だけをサービス依頼端末５０へ送信し、サービス依頼端末５０で関連情報に基づいた分析を実施するようにしてもよい。
また、サービス提供装置２０は、関連情報に基づいて分析対象商品を分析する際、撮像画像と共にＳＮＳサーバ４０に投稿されたテキスト、及びメーカーから提供された分析対象商品の販売データ等、他の情報と組み合わせて分析するようにしてもよい。
このように、サービス提供装置２０は、メーカーに対して商品の販売促進に関する情報を提供することができる。
更に、サービス提供装置２０、２０Ａを、ＳＮＳに投稿された画像を利用したアクティブサポートサービスに利用する事例について説明する。アクティブサポートサービスには、例えば商品が含まれた画像を分析し、分析対象の画像が多くの人に好感を持って受け入れられる画像、すなわち人気が出そうな画像であれば当該画像を転送して、メーカーに対するユーザの好感度を高める等のサービスが含まれる。
アクティブサポートサービスも前述したマーケティングサービスと同様の方法により撮像画像にアクティブサポートの対象となる商品（サポート対象商品）が含まれているか否かを判定する。
そして、撮像画像にサポート対象商品が含まれている場合には、当該撮像画像は人気が出そうな画像か否かの分析を行う。当該分析では、例えば撮像画像に写っている人の感情、動物の有無、撮像画像に施されている変形処理の内容等、複数の評価項目について分析を行い、評価項目毎にスコアを設定する。例えば、撮像画像に写っている人が笑っていれば、怒っている場合よりも高いスコアを設定する。そして、評価項目毎のスコアを集計し、予め定めたスコア以上となる撮像画像を人気が出そうな画像と判定する。
この場合、アクティブサポートサービスを依頼したメーカーの商品が写った撮像画像のうち、人気の出そうな撮像画像をインターネット上に広めることができる。従って、サービス提供装置２０はメーカーに対して、メーカーに対するユーザの好感度を高めるためのサービスを提供することができる。
また、実施形態に開示したサービス提供装置２０、２０Ａは、単一のコンピュータ２００、２００Ａ上で実現されるものとして説明した。しかし、プロセスを異なるコンピュータで実行し、各々のコンピュータを通信回線６０で接続した分散処理の形態で、サービス提供装置２０、２０Ａを実現するようにしてもよい。
この場合、提供プロセス２２２、２２２Ａは、通信回線６０を介して、それぞれ判定プロセス２２４、２２４Ａを実行するコンピュータに判定用画像を提供する。
また、各実施形態では、撮像画像をＳＮＳサーバ４０から取得したが、撮像画像の取得先はＳＮＳサーバ４０に限らず、掲示板及びホームページ等、通信回線６０に接続された不特定多数のユーザ端末３０のユーザに撮像画像を公開するサーバであってもよい。
また、第１実施形態及び第２実施形態では、登録画像をメーカーから受け付ける形態を示したが、メーカーからの依頼を受けて、サービス提供装置２０、２０Ａを管理するサービス提供者が登録画像を用意するようにしてもよい。
以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
コンピュータに、
商品に付されるマークの画像に変形処理を実行して変形画像を生成し、
生成した前記変形画像を、撮像画像に前記マークが付された商品が含まれるか否かの判定に利用可能な判定用画像として提供する、
ことを実行させることを特徴とするプログラム。
（付記２）
コンピュータに、
商品に付されるマークの画像に変形処理を実行して得られた変形画像を記憶部に記憶し、
前記記憶部に記憶された前記変形画像を用いて、取得した撮像画像に前記マークが付された商品が含まれるか否かを判定する、
ことを実行させることを特徴とするプログラム。
（付記３）
前記変形画像は、前記マークの画像の特徴量との差が所定の基準を超える特徴量を有する、
付記１又は付記２記載のプログラム。
（付記４）
前記変形画像は、前記マークの画像に対して前記変形処理を実行した画像の特徴量との差が所定の基準を超える特徴量を有する、
付記１又は付記２記載のプログラム。
（付記５）
前記変形処理の内容を決定するための情報を受け付け、前記情報に基づいて、前記変形画像を生成する、
付記３又は付記４記載のプログラム。
（付記６）
前記情報は、前記マークが付された商品の形状を特定する情報である、
付記５記載のプログラム。
（付記７）
前記情報は、前記マークが付された商品の素材を特定する情報である、
付記５又は付記６記載のプログラム。
（付記８）
前記情報は、前記マークが付された商品に照射される環境光源の種類を特定する情報である、
付記５〜付記７の何れか１項に記載のプログラム。
（付記９）
前記情報は、前記マークの画像に実行する画像処理の内容を示した情報である、
付記５〜付記８の何れか１項に記載のプログラム。
（付記１０）
前記情報は、前記マークが付される商品の立体モデルに関する情報であり、
前記立体モデルに付された前記マークの画像の中から基準となる基準画像を設定し、前記マークが付された商品の立体モデルを回転させ、前記基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークの画像を取得すると共に、当該取得した前記マークの画像を新たな基準画像に設定して、更に前記マークが付された商品の立体モデルを回転させ、前記新たな基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークの画像を取得する処理を繰り返すことで得られた基準画像の各々を、前記情報に基づいた変形画像とする、
付記５〜付記９の何れか１項に記載のプログラム。
（付記１１）
前記情報は、前記マークが付される商品の立体モデルに関する情報であり、
前記マークが付された商品の立体モデルの画像の中から基準となる基準画像を設定し、前記マークが付された商品の立体モデルを回転させ、前記基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークが付された立体モデルの画像を取得すると共に、当該取得した前記マークが付された商品の立体モデルの画像を新たな基準画像に設定して、更に前記マークが付された商品の立体モデルを回転させ、前記新たな基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークが付された商品の立体モデルの画像を取得する処理を繰り返すことで得られた基準画像の各々を、前記情報に基づいた変形画像とする、
付記５〜付記９の何れか１項に記載のプログラム。
（付記１２）
前記撮像画像は、インターネットから取得される画像である、
付記１〜付記１１の何れか１項に記載のプログラム。
（付記１３）
前記判定の結果、前記撮像画像に前記マークが付された商品が含まれると判定された場合、前記撮像画像の提供元を特定し、特定した前記提供元にメッセージを出力する、
付記２〜付記１２の何れか１項に記載のプログラム。
（付記１４）
前記判定の結果、前記撮像画像に前記マークが付された商品が含まれると判定された場合、前記撮像画像の提供元を特定する情報を出力する、
付記１３記載のプログラム。
（付記１５）
コンピュータに、
商品に付されるマークの画像に変形処理を実行して変形画像を生成し、
生成した前記変形画像を、撮像画像に前記マークが付された商品が含まれるか否かの判定に利用可能な判定用画像として提供する、
ことを含む処理を実行させるサービス提供方法。
（付記１６）
コンピュータに、
商品に付されるマークの画像に変形処理を実行して得られた変形画像を記憶部に記憶し、
前記記憶部に記憶された前記変形画像を用いて、取得した撮像画像に前記マークが付された商品が含まれるか否かを判定する、
ことを含む処理を実行させるサービス提供方法。
（付記１７）
前記変形画像は、前記マークの画像の特徴量との差が所定の基準を超える特徴量を有する、
付記１５又は付記１６記載のサービス提供方法。
（付記１８）
前記変形画像は、前記マークの画像に対して前記変形処理を実行した画像の特徴量との差が所定の基準を超える特徴量を有する、
付記１５又は付記１６記載のサービス提供方法。
（付記１９）
前記変形処理の内容を決定するための情報を受け付け、前記情報に基づいて、前記変形画像を生成する、
付記１７又は付記１８記載のサービス提供方法。
（付記２０）
前記情報は、前記マークが付された商品の形状を特定する情報である、
付記１９記載のサービス提供方法。
（付記２１）
前記情報は、前記マークが付された商品の素材を特定する情報である、
付記１９又は付記２０記載のサービス提供方法。
（付記２２）
前記情報は、前記マークが付された商品に照射される環境光源の種類を特定する情報である、
付記１９〜付記２１の何れか１項に記載のサービス提供方法。
（付記２３）
前記情報は、前記マークの画像に実行する画像処理の内容を示した情報である、
付記１９〜付記２２の何れか１項に記載のサービス提供方法。
（付記２４）
前記情報は、前記マークが付される商品の立体モデルに関する情報であり、
前記立体モデルに付された前記マークの画像の中から基準となる基準画像を設定し、前記マークが付された商品の立体モデルを回転させ、前記基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークの画像を取得すると共に、当該取得した前記マークの画像を新たな基準画像に設定して、更に前記マークが付された商品の立体モデルを回転させ、前記新たな基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークの画像を取得する処理を繰り返すことで得られた基準画像の各々を、前記情報に基づいた変形画像とする、
付記１９〜付記２３の何れか１項に記載のサービス提供方法。
（付記２５）
前記情報は、前記マークが付される商品の立体モデルに関する情報であり、
前記マークが付された商品の立体モデルの画像の中から基準となる基準画像を設定し、前記マークが付された商品の立体モデルを回転させ、前記基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークが付された立体モデルの画像を取得すると共に、当該取得した前記マークが付された商品の立体モデルの画像を新たな基準画像に設定して、更に前記マークが付された商品の立体モデルを回転させ、前記新たな基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークが付された商品の立体モデルの画像を取得する処理を繰り返すことで得られた基準画像の各々を、前記情報に基づいた変形画像とする、
付記１９〜付記２３の何れか１項に記載のサービス提供方法。
（付記２６）
前記撮像画像は、インターネットから取得される画像である、
付記１５〜付記２５の何れか１項に記載のサービス提供方法。
（付記２７）
前記判定の結果、前記撮像画像に前記マークが付された商品が含まれると判定された場合、前記撮像画像の提供元を特定し、特定した前記提供元にメッセージを出力する、
付記１６〜付記２６の何れか１項に記載のサービス提供方法。
（付記２８）
前記判定の結果、前記撮像画像に前記マークが付された商品が含まれると判定された場合、前記撮像画像の提供元を特定する情報を出力する、
付記２７記載のサービス提供方法。
（付記２９）
商品に付されるマークの画像に変形処理を実行して変形画像を生成する生成部と、
前記生成部により生成した前記変形画像を、撮像画像に前記マークが付された商品が含まれるか否かの判定に利用可能な判定用画像として提供する提供部と、
を備えたサービス提供装置。
（付記３０）
商品に付されるマークの画像に変形処理を実行して生成された変形画像を記憶部に記憶する生成部と、
前記記憶部に記憶された前記変形画像を用いて、取得した撮像画像に前記マークが付された商品が含まれるか否かを判定する判定部と、
を備えたサービス提供装置。
（付記３１）
前記生成部により生成された前記変形画像は、前記マークの画像の特徴量との差が所定の基準を超える特徴量を有する、
付記２９又は付記３０記載のサービス提供装置。
（付記３２）
前記生成部により生成された前記変形画像は、前記マークの画像に対して前記変形処理を実行した画像の特徴量との差が所定の基準を超える特徴量を有する、
付記２９又は付記３０記載のサービス提供装置。
（付記３３）
前記変形処理の内容を決定するための情報を受け付ける受付部を更に備え、
前記生成部は、前記情報に基づいて前記変形画像を生成する、
付記３１又は付記３２記載のサービス提供装置。
（付記３４）
前記受付部により受け付けられた前記情報は、前記マークが付された商品の形状を特定する情報である、
付記３３記載のサービス提供装置。
（付記３５）
前記受付部により受け付けられた前記情報は、前記マークが付された商品の素材を特定する情報である、
付記３３又は付記３４記載のサービス提供装置。
（付記３６）
前記受付部により受け付けられた前記情報は、前記マークが付された商品に照射される環境光源の種類を特定する情報である、
付記３３〜付記３５の何れか１項に記載のサービス提供装置。
（付記３７）
前記受付部により受け付けられた前記情報は、前記マークの画像に実行する画像処理の内容を示した情報である、
付記３３〜付記３６の何れか１項に記載のサービス提供装置。
（付記３８）
前記受付部により受け付けられた前記情報は、前記マークが付される商品の立体モデルに関する情報であり、
前記生成部は、前記立体モデルに付された前記マークの画像の中から基準となる基準画像を設定し、前記マークが付された商品の立体モデルを回転させ、前記基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークの画像を取得すると共に、当該取得した前記マークの画像を新たな基準画像に設定して、更に前記マークが付された商品の立体モデルを回転させ、前記新たな基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークの画像を取得する処理を繰り返すことで得られた基準画像の各々を、前記情報に基づいた変形画像とする、
付記３３〜付記３７の何れか１項に記載のサービス提供装置。
（付記３９）
前記受付部により受け付けられた前記情報は、前記マークが付される商品の立体モデルに関する情報であり、
前記生成部は、前記マークが付された商品の立体モデルの画像の中から基準となる基準画像を設定し、前記マークが付された商品の立体モデルを回転させ、前記基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークが付された立体モデルの画像を取得すると共に、当該取得した前記マークが付された商品の立体モデルの画像を新たな基準画像に設定して、更に前記マークが付された商品の立体モデルを回転させ、前記新たな基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークが付された商品の立体モデルの画像を取得する処理を繰り返すことで得られた基準画像の各々を、前記情報に基づいた変形画像とする、
付記３３〜付記３７の何れか１項に記載のサービス提供装置。
（付記４０）
前記撮像画像は、インターネットから取得される画像である、
付記２９〜付記３９の何れか１項に記載のサービス提供装置。
（付記４１）
前記判定部による前記判定の結果、前記撮像画像に前記マークが付された商品が含まれると判定された場合、前記撮像画像の提供元を特定し、特定した前記提供元にメッセージを出力する出力部を更に備えた、
付記３０〜付記４０の何れか１項に記載のサービス提供装置。
（付記４２）
前記出力部は、前記判定部による前記判定の結果、前記撮像画像に前記マークが付された商品が含まれると判定された場合、前記撮像画像の提供元を特定する情報を出力する
付記４１記載のサービス提供装置。
（付記４３）
コンピュータに、
商品に付されるマークの画像に変形処理を実行して変形画像を生成し、
生成した前記変形画像を、撮像画像に前記マークが付された商品が含まれるか否かの判定に利用可能な判定用画像として提供する、
ことを含む処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記４４）
コンピュータに、
商品に付されるマークの画像に変形処理を実行して得られた変形画像を記憶部に記憶し、
前記記憶部に記憶された前記変形画像を用いて、取得した撮像画像に前記マークが付された商品が含まれるか否かを判定する、
ことを含む処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
１０ サービス提供システム
２０、２０Ａ サービス提供装置
２１ 通信部
２２、２２Ａ 提供部
２３、２３Ａ 判定部
２４ ドキュメントデータベース（データベース）
２５ 受付部
２６ 出力部
２７、２７Ａ 生成部
３０ ユーザ端末
４０ ソーシャルネットワーキングサービスサーバ（ＳＮＳサーバ）
５０ サービス依頼端末
６０ 通信回線
１００ コンピュータシステム
２００、２００Ａ コンピュータ
２０２ ＣＰＵ
２０４ メモリ
２０６ 記憶部
２０８ バス
２１８、２１８Ａ サービス提供プログラム
２２０ 通信プロセス
２２２、２２２Ａ 提供プロセス
２２４、２２４Ａ 判定プロセス
２２８ 類似判定情報格納領域
２３０ データベース格納領域
２３２ 記録媒体

Claims (18)

  1. コンピュータに、
    商品に付されるマークの画像に変形処理を実行して、前記マークの画像の特徴量との差が所定の基準を超える特徴量を有する変形画像を生成し、
    生成した前記変形画像を、撮像画像に前記マークが付された商品が含まれるか否かの判定に利用可能な判定用画像として提供する、
    ことを実行させることを特徴とするプログラム。
  2. コンピュータに、
    商品に付されるマークの画像に変形処理を実行した画像の特徴量との差が所定の基準を超える特徴量を有する変形画像を生成し、
    生成した前記変形画像を、撮像画像に前記マークが付された商品が含まれるか否かの判定に利用可能な判定用画像として提供する、
    ことを実行させることを特徴とするプログラム。
  3. コンピュータに、
    商品に付されるマークの画像に変形処理を実行した画像の特徴量との差が所定の基準を超える特徴量を有する変形画像を記憶部に記憶し、
    前記記憶部に記憶された前記変形画像を用いて、取得した撮像画像に前記マークが付された商品が含まれるか否かを判定する、
    ことを実行させることを特徴とするプログラム。
  4. コンピュータに、
    商品に付されるマークの画像に変形処理を実行して得られた、前記マークの画像の特徴量との差が所定の基準を超える特徴量を有する変形画像を記憶部に記憶し、
    前記記憶部に記憶された前記変形画像を用いて、取得した撮像画像に前記マークが付された商品が含まれるか否かを判定する、
    ことを実行させることを特徴とするプログラム。
  5. コンピュータに、前記変形処理の内容を決定するための情報を受け付け、前記情報に基づいて、前記変形画像を生成する、ことを実行させることを特徴とする請求項１〜請求項４のいずれか１項記載のプログラム。
  6. 前記情報は、前記マークが付された商品の形状を特定する情報である、
    請求項５記載のプログラム。
  7. 前記情報は、前記マークが付された商品の素材を特定する情報である、
    請求項５又は請求項６記載のプログラム。
  8. 前記情報は、前記マークが付された商品に照射される環境光源の種類を特定する情報である、
    請求項５〜請求項７の何れか１項に記載のプログラム。
  9. 前記情報は、前記マークの画像に実行する画像処理の内容を示した情報である、
    請求項５〜請求項８の何れか１項に記載のプログラム。
  10. 前記情報は、前記マークが付される商品の立体モデルに関する情報であり、
    コンピュータに、前記立体モデルに付された前記マークの画像の中から基準となる基準画像を設定し、前記マークが付された商品の立体モデルを回転させ、前記基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークの画像を取得すると共に、当該取得した前記マークの画像を新たな基準画像に設定して、更に前記マークが付された商品の立体モデルを回転させ、前記新たな基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークの画像を取得する処理を繰り返すことで得られた基準画像の各々を、前記情報に基づいた変形画像とする、ことを実行させることを特徴とする請求項５〜請求項９の何れか１項に記載のプログラム。
  11. 前記情報は、前記マークが付される商品の立体モデルに関する情報であり、
    コンピュータに、前記マークが付された商品の立体モデルの画像の中から基準となる基準画像を設定し、前記マークが付された商品の立体モデルを回転させ、前記基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークが付された立体モデルの画像を取得すると共に、当該取得した前記マークが付された商品の立体モデルの画像を新たな基準画像に設定して、更に前記マークが付された商品の立体モデルを回転させ、前記新たな基準画像の特徴量との差が前記所定の基準を超えるアングルで前記マークが付された商品の立体モデルの画像を取得する処理を繰り返すことで得られた基準画像の各々を、前記情報に基づいた変形画像とする、ことを実行させることを特徴とする請求項５〜請求項９の何れか１項に記載のプログラム。
  12. 前記撮像画像は、インターネットから取得される画像である、
    請求項１〜請求項１１の何れか１項に記載のプログラム。
  13. 前記判定の結果、前記撮像画像に前記マークが付された商品が含まれると判定された場合、前記撮像画像の提供元を特定し、特定した前記提供元にメッセージを出力する、
    請求項３〜請求項１２の何れか１項に記載のプログラム。
  14. 前記判定の結果、前記撮像画像に前記マークが付された商品が含まれると判定された場合、前記撮像画像の提供元を特定する情報を出力する、
    請求項１３記載のプログラム。
  15. コンピュータに、
    商品に付されるマークの画像に変形処理を実行して、前記マークの画像の特徴量との差が所定の基準を超える特徴量を有する変形画像を生成し、
    生成した前記変形画像を、撮像画像に前記マークが付された商品が含まれるか否かの判定に利用可能な判定用画像として提供する、
    ことを含む処理を実行させるサービス提供方法。
  16. コンピュータに、
    商品に付されるマークの画像に変形処理を実行して得られた、前記マークの画像の特徴量との差が所定の基準を超える特徴量を有する変形画像を記憶部に記憶し、
    前記記憶部に記憶された前記変形画像を用いて、取得した撮像画像に前記マークが付された商品が含まれるか否かを判定する、
    ことを含む処理を実行させるサービス提供方法。
  17. 商品に付されるマークの画像に変形処理を実行して、前記マークの画像の特徴量との差が所定の基準を超える特徴量を有する変形画像を生成する生成部と、
    生成した前記変形画像を、撮像画像に前記マークが付された商品が含まれるか否かの判定に利用可能な判定用画像として提供する提供部と、
    を備えたサービス提供装置。
  18. 商品に付されるマークの画像に変形処理を実行して得られた、前記マークの画像の特徴量との差が所定の基準を超える特徴量を有する変形画像を記憶する記憶部と、
    前記記憶部に記憶された前記変形画像を用いて、取得した撮像画像に前記マークが付された商品が含まれるか否かを判定する判定部と、
    を備えたサービス提供装置。
JP2014136746A 2014-07-02 2014-07-02 サービス提供装置、方法、及びプログラム Expired - Fee Related JP6432182B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014136746A JP6432182B2 (ja) 2014-07-02 2014-07-02 サービス提供装置、方法、及びプログラム
US14/750,205 US9836799B2 (en) 2014-07-02 2015-06-25 Service provision program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014136746A JP6432182B2 (ja) 2014-07-02 2014-07-02 サービス提供装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016015019A JP2016015019A (ja) 2016-01-28
JP6432182B2 true JP6432182B2 (ja) 2018-12-05

Family

ID=55017329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014136746A Expired - Fee Related JP6432182B2 (ja) 2014-07-02 2014-07-02 サービス提供装置、方法、及びプログラム

Country Status (2)

Country Link
US (1) US9836799B2 (ja)
JP (1) JP6432182B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891019B2 (en) * 2016-02-29 2021-01-12 Huawei Technologies Co., Ltd. Dynamic thumbnail selection for search results
JP7043755B2 (ja) 2017-08-29 2022-03-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
JP2023086017A (ja) * 2021-12-09 2023-06-21 ユニ・チャーム株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05236341A (ja) 1992-02-19 1993-09-10 Mitsubishi Electric Corp 映像信号処理方式
JP3195537B2 (ja) 1996-05-29 2001-08-06 中国電力株式会社 監視装置とその装置を使用した監視方法
JP4331392B2 (ja) 2000-10-18 2009-09-16 日本放送協会 照明環境仮想変換装置
JP2002236941A (ja) * 2001-02-09 2002-08-23 Minolta Co Ltd 電子カタログシステム、電子カタログシステムに用いられるサーバ、プログラム、および記録媒体
JP3842233B2 (ja) * 2003-03-25 2006-11-08 ファナック株式会社 画像処理装置及びロボットシステム
JP2005038402A (ja) * 2003-06-27 2005-02-10 Ricoh Co Ltd 画像データの不正使用調査サービス提供システム、装置、方法、プログラム、及び記録媒体
CN100363932C (zh) * 2004-05-26 2008-01-23 鸿富锦精密工业（深圳）有限公司 点云三维处理系统及方法
JP4162003B2 (ja) 2005-12-08 2008-10-08 株式会社日立製作所 画像記憶装置、監視システム、記憶媒体
JP4835325B2 (ja) 2006-08-25 2011-12-14 富士通株式会社 画像位置計測方法、画像位置計測装置、および画像位置計測プログラム
US9058615B2 (en) * 2007-10-02 2015-06-16 Elady Limited Product evaluation system and product evaluation method
CN101470802B (zh) * 2007-12-28 2012-05-09 清华大学 物体检测装置和方法
JP5117280B2 (ja) 2008-05-22 2013-01-16 富士フイルム株式会社 撮像装置、撮像方法、再生装置および再生方法
US20100095326A1 (en) * 2008-10-15 2010-04-15 Robertson Iii Edward L Program content tagging system
JP4625860B2 (ja) * 2008-10-29 2011-02-02 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、制御プログラム、記録媒体
US8004576B2 (en) * 2008-10-31 2011-08-23 Digimarc Corporation Histogram methods and systems for object recognition
JP5573131B2 (ja) * 2009-12-01 2014-08-20 日本電気株式会社 映像識別子抽出装置および方法、映像識別子照合装置および方法、ならびにプログラム
JP2011175386A (ja) * 2010-02-23 2011-09-08 Pasuko:Kk ボトリング製品検索装置
US8861864B2 (en) * 2010-03-11 2014-10-14 Qualcomm Incorporated Image feature detection based on application of multiple feature detectors
WO2012026039A1 (ja) * 2010-08-27 2012-03-01 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置
WO2012127611A1 (ja) * 2011-03-22 2012-09-27 富士通株式会社 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置
US8855421B2 (en) * 2011-04-25 2014-10-07 Fuji Xerox Co., Ltd. Methods and apparatuses for Embedded Media Marker identification
JP5664478B2 (ja) * 2011-06-30 2015-02-04 富士通株式会社 物体認識支援装置，プログラムおよび方法
JP5733158B2 (ja) * 2011-11-02 2015-06-10 富士通株式会社 認識支援装置、認識支援方法、およびプログラム
KR20140108558A (ko) * 2011-12-19 2014-09-11 인텔 코오퍼레이션 스마트 장치 지원 상거래
US8606645B1 (en) * 2012-02-02 2013-12-10 SeeMore Interactive, Inc. Method, medium, and system for an augmented reality retail application
US20130226711A1 (en) * 2012-02-29 2013-08-29 Google Inc. Monetizing images in publishing networks
US9167314B2 (en) * 2012-05-21 2015-10-20 Video Expressions LLC Embedding information in an image
US9129548B2 (en) * 2012-11-15 2015-09-08 Apple Inc. Ambient light sensors with infrared compensation
US9275278B2 (en) * 2013-02-15 2016-03-01 Fuji Xerox Co., Ltd. Systems and methods for implementing and using off-center embedded media markers
JP6089830B2 (ja) * 2013-03-18 2017-03-08 富士通株式会社 映像特徴生成システム、映像特徴生成方法、映像特徴生成プログラム、映像照合システム、映像照合方法、映像照合プログラム
US9188482B2 (en) * 2013-04-18 2015-11-17 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical sensor with special discrimination
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
KR20150003573A (ko) * 2013-07-01 2015-01-09 한국전자통신연구원 영상 패턴 검출 방법 및 그 장치
US9140444B2 (en) * 2013-08-15 2015-09-22 Medibotics, LLC Wearable device for disrupting unwelcome photography
US9367939B2 (en) * 2013-10-22 2016-06-14 Nokia Technologies Oy Relevance based visual media item modification
US20150134492A1 (en) * 2013-11-11 2015-05-14 Apple Inc. Coordinated image manipulation
ES2752728T3 (es) * 2014-02-10 2020-04-06 Geenee Gmbh Sistemas y métodos para el reconocimiento basado en características de imagen

Also Published As

Publication number Publication date
US9836799B2 (en) 2017-12-05
US20160005177A1 (en) 2016-01-07
JP2016015019A (ja) 2016-01-28

Similar Documents

Publication Publication Date Title
US9036905B2 (en) Training classifiers for deblurring images
US9542736B2 (en) Evaluating image sharpness
US8712157B2 (en) Image quality assessment
JP5621897B2 (ja) 処理方法、コンピュータプログラム及び処理装置
JP6365024B2 (ja) サービス提供装置、方法、及びプログラム
US20210312523A1 (en) Analyzing facial features for augmented reality experiences of physical products in a messaging system
US11521334B2 (en) Augmented reality experiences of color palettes in a messaging system
CN103988202A (zh) 基于索引和搜索的图像吸引力
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
US11915305B2 (en) Identification of physical products for augmented reality experiences in a messaging system
US20210312678A1 (en) Generating augmented reality experiences with physical products using profile information
US20230214913A1 (en) Product cards provided by augmented reality content generators
CN111062426A (zh) 一种建立训练集的方法、装置、电子设备以及介质
WO2021203118A1 (en) Identification of physical products for augmented reality experiences in a messaging system
US20230214912A1 (en) Dynamically presenting augmented reality content generators based on domains
JP6432182B2 (ja) サービス提供装置、方法、及びプログラム
WO2023129999A1 (en) Api to provide product cards
JP2016103759A (ja) 画像処理装置、画像処理方法、及びプログラム
CN109902759B (zh) 图片集描述方法及装置
US10198791B2 (en) Automatic correction of facial sentiment of portrait images
CN114511702A (zh) 一种基于多尺度分权注意力的遥感图像分割方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180521

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180904

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181022

R150 Certificate of patent or registration of utility model

Ref document number: 6432182

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees