JP6365024B2 - サービス提供装置、方法、及びプログラム - Google Patents

サービス提供装置、方法、及びプログラム Download PDF

Info

Publication number
JP6365024B2
JP6365024B2 JP2014136745A JP2014136745A JP6365024B2 JP 6365024 B2 JP6365024 B2 JP 6365024B2 JP 2014136745 A JP2014136745 A JP 2014136745A JP 2014136745 A JP2014136745 A JP 2014136745A JP 6365024 B2 JP6365024 B2 JP 6365024B2
Authority
JP
Japan
Prior art keywords
image
captured
captured images
captured image
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014136745A
Other languages
English (en)
Other versions
JP2016015018A (ja
Inventor
壮吉 藤田
壮吉 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014136745A priority Critical patent/JP6365024B2/ja
Priority to US14/750,341 priority patent/US9691004B2/en
Publication of JP2016015018A publication Critical patent/JP2016015018A/ja
Application granted granted Critical
Publication of JP6365024B2 publication Critical patent/JP6365024B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、サービス提供装置、方法、及びプログラムに関する。
近年、カメラ等で撮像した撮像画像に特定の対象物が含まれるか否かを判定する手法の開発が進められている。一般的にこうした画像判定では、撮像画像と、判定の基準となる対象物の画像（判定用画像）との間でマッチングを実行し、撮像画像に対象物が含まれるか否かを判定する手法が用いられる。
通常、撮像画像に含まれる対象物の大きさ及び表示アングルは、判定用画像の大きさ及び表示アングルと異なる場合が多い。
従って、撮像画像の一部をマッチング範囲として設定し、設定したマッチング範囲をサイズ変更及び回転することで、撮像画像に特定の対象物が含まれるか否かを判定する手法が提案されている。
特開２００８−５２５９８号公報
このように、同じ対象物を撮像した撮像画像であっても、対象物を撮像する際のアングル及び距離等の撮像条件により、撮像画像に含まれる対象物の見え方が変化し、撮像画像に対象物は含まれていないと誤認識される可能性がある。
一つの側面として、本発明は、撮像画像に対象物が含まれることを判定するための判定用画像のデータ量の適正化を図ることを目的とする。
一つの態様では、プログラムは、コンピュータに、ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出することを実行させる。更にプログラムは、コンピュータに、抽出した１または複数の撮像画像を、前記１または複数の撮像画像と異なる他の撮像画像にある物体が含まれるか否かの判定に利用可能な判定用画像として提供することを実行させる。
一つの側面として、撮像画像に対象物が含まれることを判定するための判定用画像のデータ量の適正化を図ることができる。
図１は、撮像画像の一例を示す図である。 図２は、撮像アングルの差異による物体の見え方の違いを説明するための図である。 図３は、サービス提供システムの一例を示す図である。 図４は、基準画像の抽出処理の一例を示す図である。 図５は、判定用画像のデータベース構造の一例を示す図である。 図６は、判定用画像のデータベース構造の一例を示す図である。 図７は、コンピュータで実現するサービス提供システムの一例を示す図である。 図８は、判定用画像生成処理の流れの一例を示す図である。 図９は、第１実施形態に係るサービス提供システムの判定用画像生成処理の流れの一例を示すフローチャートである。 図１０は、第１実施形態に係るサービス提供システムの判定用画像生成処理の実行結果の一例を示す図である。 図１１は、第１実施形態に係るサービス提供システムの判定処理の流れの一例を示すフローチャートである。 図１２は、第２実施形態に係るサービス提供システムの判定用画像生成処理の流れの一例を示すフローチャートである。 図１３は、第２実施形態に係るサービス提供システムの判定用画像生成処理の実行結果の一例を示す図である。 図１４は、第２実施形態に係るサービス提供システムの判定処理の流れの一例を示すフローチャートである。
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
近年、個人や企業のコミュニティ手段として、何らかの結びつきを有するコミュニティ間で情報を共有するソーシャルネットワーキングサービス（SNS：social networking service）が活発に利用される。ＳＮＳでは、テキスト、画像、音声等を用いてコミュニティ間で情報拡散が行われるため、企業にとって重要な広告媒体の一つとして認識されつつある。それに伴い、ＳＮＳを利用した、商品の販売促進を目的としたキャンペーンが実施される機会が増加している。
そこで本実施形態では、例えば、ユーザが、あるメーカーが販売する商品を撮像した画像をＳＮＳに投稿すると、画像に商品が含まれるか否かを判定し、商品が写った画像を投稿したユーザにプレゼント等を提供するシステム例について説明する。なお、キャンペーン対象の商品種類に制限はないが、ここでは一例として、飲料メーカーが販売する缶入り飲料である商品Ａをキャンペーン対象の商品として説明する。
ところで、こうしたキャンペーンを実施するには、ユーザがＳＮＳに投稿した図１に示すような撮像画像の中に、商品Ａが含まれているか否かを判定する必要がある。図１からもわかるように、商品Ａは様々なアングルから撮像される場合があり、同じ商品Ａであっても撮像アングルが異なると、撮像画像に商品Ａが含まれているか否かを判定することが困難になることが多い。
なお、図１の例では、撮像画像における商品Ａの位置を明示するため、商品Ａを矩形で囲んだが、ユーザがＳＮＳに投稿した撮像画像に商品Ａを囲む矩形は存在しない。
図２は、同一物体を異なるアングルで撮像した場合の見え方の相違について、彫刻像を用いてわかりやすく説明した図である。画像Ａは彫刻像を正面から撮像した画像であり、画像Ｂは同じ彫刻像を側面から撮像した画像である。この様に、同じ彫刻像であっても撮像のアングルが異なれば彫刻像に照射される光の加減等により色彩が変化したり、彫刻像の形状及び配置等が異なったりするため、公知の特徴抽出アルゴリズムを用いて各々の画像から抽出した特徴量も異なる。従って、商品Ａの撮像条件が異なれば、撮像画像に写る商品Ａを商品Ａでないと誤判定する場合が考えられる。
そこで、撮像画像に写った物体が商品Ａか否かを判定するための基準となる予め用意された判定用画像の特徴量と、撮像画像に写る商品Ａの特徴量との差異が大きくても商品Ａと判定するように、商品Ａと判定する特徴量の差異の許容範囲を大きく設定したとする。しかし、この様な設定を行った場合、逆に今度は、商品Ａと異なる商品を商品Ａであると誤判定する場合が考えられ、誤判定を減少させる有効な手法とはいい難い。
そこで、撮像アングルを様々に変化させて撮像した複数の判定用画像を予め用意しておき、判定用画像の各々の特徴量と、撮像画像に写る商品Ａの特徴量とを比較することで、前述した誤認識を防止する手法が考えられる。
しかしながら、この場合、１つの撮像画像に対して複数の判定用画像との間で画像の類似度を各々計算する必要があるため、判定用画像の枚数が増加するに従って計算量が増加してしまうという問題が発生する。従って、できるだけ少ない枚数の判定用画像を用いて画像の類似性を判定すればよいことはわかるが、どういったアングルから撮像した判定用画像を何枚用意すればよいかは不明である。
そこで、以下の各実施形態では、より少ない枚数で撮像画像に対象物が含まれることを判定するための判定用画像を作成するシステムについて説明する。
（第１実施形態）
図３は、本実施形態に係るサービス提供システム１０の一例を示した図である。
サービス提供システム１０は、サービス提供装置２０、ユーザ端末３０、ソーシャルネットワーキングサービスサーバ４０（以下、ＳＮＳサーバ４０という）、及びサービス依頼端末５０が通信回線６０により接続されたシステムである。なお、本実施形態に係る通信回線６０はインターネット回線として説明するが、通信回線６０の種別はこれに限定されるものではない。例えば、通信回線６０は専用回線であっても、社内ＬＡＮ等のイントラネット回線であってもよい。また、通信回線６０は有線、無線、又は有線と無線との混在の何れの形態で構築されていてもよい。
ユーザ端末３０は、ユーザが商品Ａの写った撮像画像をＳＮＳに投稿するための端末である。ユーザ端末３０は、ＰＣ（Personal Computer）、ノートＰＣ、タブレット型端末、及びスマートフォン等、通信回線６０を介してＳＮＳサーバ４０へ撮像画像のデータを送信する機能を有する情報機器であれば、何れの情報機器であってもよい。
ＳＮＳサーバ４０は、ユーザ端末３０から送信された撮像画像を記憶するサーバであり、撮像画像を送信したユーザが設定したセキュリティーポリシーに基づいて、撮像画像の公開先等を管理する。
サービス依頼端末５０は、例えば、商品Ａのキャンペーンを実施する飲料メーカーに設置され、商品Ａのキャンペーンに必要な情報を、後述するサービス提供装置２０との間で相互に送受信する。サービス提供装置２０との間のデータ送受信にはサービス依頼端末５０に予め実装されているブラウザが用いられるが、サービス提供装置２０を管理する管理者が提供する専用アプリケーションを用いてもよい。なお、サービス依頼端末５０の設置場所はキャンペーンを実施する企業内に限られず、状況に応じてどのような場所に設置してもよいことは言うまでもない。
また、ユーザ端末３０、ＳＮＳサーバ４０、及びサービス依頼端末５０の各々は、通信回線６０に複数接続される形態であってもよい。
サービス提供装置２０は、通信部２１、提供部２２、判定部２３、及びドキュメントデータベース２４を含む。なお、以降、ドキュメントデータベース２４をデータベース２４と記載する。
通信部２１は、サービス提供装置２０を通信回線６０に接続し、ユーザ端末３０、ＳＮＳサーバ４０、及びサービス依頼端末５０等の情報機器との間で相互に必要なデータを送受信する。
具体的には、通信部２１は受付部２５及び出力部２６を含み、受付部２５はユーザ端末３０、ＳＮＳサーバ４０、及びサービス依頼端末５０から画像等のデータを受け付ける。また、出力部２６は、必要に応じてサービス提供装置２０に含まれるデータをユーザ端末３０、ＳＮＳサーバ４０、及びサービス依頼端末５０へ出力する。
例えば、商品Ａのキャンペーン準備として、飲料メーカーがサービス依頼端末５０から商品Ａの周囲を少なくとも３６０度以上移動しながら撮像した画像（登録画像）を、通信回線６０を介してサービス提供装置２０の受付部２５へ送信する。受付部２５は、商品Ａを異なる複数のアングルから撮像した登録画像を受け付ける。なお、サービス依頼端末５０からサービス提供装置２０へ送信する登録画像は静止画、動画の何れであってもよいが、一例として本実施形態に係る登録画像は動画とする。なお、登録画像は撮像の時系列順に１フレーム〜Ｍフレーム（Ｍは自然数）までのフレーム番号が付された複数の撮像画像を含み、各々のフレームに対応した撮像画像の集まりによって動画が構成されているものとする。
提供部２２は抽出部２７を含み、抽出部２７は受付部２５が受け付けた登録画像から、ユーザがＳＮＳサーバ４０に投稿した撮像画像に商品Ａが含まれるか否かの判定に利用される撮像画像を抽出する。
まず、抽出部２７における画像の抽出について具体的に説明する。図４は、抽出部２７における撮像画像の抽出処理の一例を示した図である。
抽出部２７は、まず、受付部２５から受け付けた登録画像に含まれる任意のフレームの撮像画像を基準画像に設定する。そして、抽出部２７は、基準画像と異なるフレームの撮像画像を基準画像の候補画像として、基準画像及び候補画像の各々から公知の同一特徴抽出アルゴリズムを用いて特徴量を抽出する。
本実施形態に係る抽出部２７では、特徴抽出アルゴリズムの一例としてBRISK（Binary Robust Invariant Scalable Keypoints）が用いられるが、抽出部２７で用いられる特徴抽出アルゴリズムはこれに制限されない。例えば、キャンペーン対象となる商品の撮像条件、例えば商品を傾けた形態で撮像されることが多かったり、屋外で撮像されることが多かったりといった条件に応じて、回転した画像の特徴抽出を得意とする特徴抽出アルゴリズムを用いる等してもよい。
なお、BRISKとは、画像の離れた２点の輝度差に着目するというBRIEF（Binary Robust Independent Elementary Features）にスケール不変性と回転不変性を導入した特徴抽出アルゴリズムである。BRISKは、画像からスケールや回転に不変な特徴量を抽出する代表的な特徴抽出アルゴリズムであるSIFT（Scale Invariant Feature Transform）やSURF（Supped Up Robust Feature）に比べて、スケールや回転に変動がある画像から精度よく特徴量を抽出する。
また、特徴抽出アルゴリズムによって抽出された候補画像の特徴量ａが、＾ａ＝［ａ０，・・・，ａＮ］のベクトル量で示され、基準画像の特徴量ｂが、＾ｂ＝［ｂ０，・・・，ｂＮ］のベクトル量で示されるものとする。ここで、Ｎ＋１（０≦Ｎ≦∞）は特徴量の次元数を表し、記号“＾”はベクトルを表す。
この際、抽出部２７は２つの画像の各々から抽出した特徴量の距離を算出して、算出された距離の値が予め定めた閾値（類似判定閾値Ｓ１）以下となる場合に、基準画像と候補画像とは類似した画像であると判定する。なお、本実施形態に係る抽出部２７では、画像の類似度を示す特徴量の距離として、例えば、（１）式に示したＬ２距離とも称されるユークリッド距離を用いる。
ここでｄＬ２（＾ａ，＾ｂ）は特徴量ａ及び特徴量ｂの間のＬ２距離を表す。従って、ｄＬ２（＾ａ，＾ｂ）の値が小さくなるに従って、基準画像と候補画像との類似度が増す。
なお、画像間の類似度の判定はＬ２距離を用いた方法に限られない。例えば、各々の画像から抽出した、特徴抽出に適した箇所である特徴点の特徴量をベクトル空間に写像し、各々の画像の特徴点のベクトル分布を統計的手法及び機械学習等を用いて比較することで、基準画像と候補画像との類似度を判定するようにしてもよい。
また、例えば（２）式で示されるＬｐ距離等、画像間の類似度の判定には、画像の類似度を定量的に示すことができる何れの指標であっても用いることができる。
ここでｄＬｐ（＾ａ，＾ｂ）は特徴量ａ及び特徴量ｂの間のＬｐ距離を表す。
そして、抽出部２７は、算出したＬ２距離が類似判定閾値Ｓ１以下の場合、すなわち基準画像と候補画像とが類似している場合、登録画像からまだ候補画像として選択していないフレームの画像を新たな候補画像として選択する。そして、基準画像と新たな候補画像との間で、前述した類似度の判定を繰り返す。
一方、算出したＬ２距離が類似判定閾値Ｓ１より大きい場合、すなわち基準画像と候補画像とが類似していない場合、抽出部２７は候補画像を新たな基準画像に設定する。そして、登録画像からまだ候補画像として選択していないフレームの画像を新たな候補画像として選択し、新たな基準画像と新たな候補画像との間で、前述した類似度の判定を繰り返す。
このようにして、抽出部２７は登録画像から互いの画像の特徴量の差が類似判定閾値Ｓ１を超える基準画像を抽出する。
提供部２２は、抽出部２７が抽出した少なくとも１枚以上の基準画像を、ユーザがＳＮＳサーバ４０に投稿した撮像画像に商品Ａが含まれるか否かの判定に利用される判定用画像として後述するデータベース２４に記憶して、後述する判定部２３へ提供する。
データベース２４には、提供部２２から提供された商品Ａに対する少なくとも１枚以上の判定用画像が記憶される。また、データベース２４には、例えばMongoDBに代表されるドキュメントデータベースが用いられる。MongoDBは、コレクション毎に複数のドキュメントを有し、各ドキュメントでは判定用画像の構造やデータ型に応じて自由なフィールドを定義することができるドキュメントデータベースである。MongoDBでは、従来のRDB（Relational Database）と比較して、記憶する判定用画像の増加に伴うデータベースの分散化が容易であり、いわゆるビッグデータの管理に適したデータベースである。
図５及び図６は、各々の図に示された異なる判定用画像のデータベース構造の一例を示した図である。なお、図５及び図６において“／／”に続いて記載された表記は、対応するフィールドの内容を説明したコメントである。
本実施形態に係るデータベース２４には、例えば主キー、保存時刻、撮像者情報、撮像された物体情報、使用した特徴抽出アルゴリズム情報、画像の特徴量、基準画像の判定アルゴリズム、画像に適用したエフェクト情報、及び画像格納先等が含まれる。
図５及び図６に示すデータベース構造において、図５と図６との間で異なる部分は、図６の点線で囲んだフィールドの部分であり、この場合、データベースの主キー、保存時刻、画像の特徴量、及び画像格納先が異なっている。
なお、本実施形態に係るデータベース２４では判定用画像を記憶するためMongoDBを使用したが、使用するデータベースはこれに限定されず、他の種類のデータベースを用いてもよい。また、データベースを使用せずに、例えばＮＴＦＳ（NT File System）のような公知のファイルシステムを利用するようにしてもよい。
一方、受付部２５は、商品Ａのキャンペーン期間中にＳＮＳサーバ４０に投稿された撮像画像を受け付ける。
判定部２３は、受付部２５から撮像画像を受け取り、抽出部２７と同じ特徴抽出アルゴリズムを用いて撮像画像の特徴量を抽出する。そして、判定部２３は、撮像画像の特徴量と、データベース２４に記憶される商品Ａの判定用画像の各々の特徴量とから、例えば（１）式に従って画像の類似度を示すＬ２距離を算出する。そして、判定部２３は、算出したＬ２距離と類似判定閾値Ｓ１を比較することで、撮像画像に商品Ａが含まれるか否かを判定する。
出力部２６は、判定部２３での判定結果に応じて、例えば商品Ａが含まれた撮像画像を投稿したユーザのユーザ端末３０へ、プレゼントの応募フォームにリンクするＵＲＬ等の商品Ａのキャンペーンに関する情報を記載したメール等を出力する。この際、出力部２６は、判定部２３での判定結果及び撮像画像の提供元を特定する情報を、商品Ａのキャンペーン実施元である飲料メーカーのサービス依頼端末５０へ出力するようにしてもよい。なお、受付部２５は、ＳＮＳサービス毎に予め用意されたＡＰＩ（Application Programming Interface）を用いることで、ＳＮＳサーバ４０で管理される撮像画像と、メールアドレス等の撮像画像の提供元を特定する情報とを取得することができる。
次に、図７に、サービス提供システム１０に含まれるサービス提供装置２０、ユーザ端末３０、ＳＮＳサーバ４０、及びサービス依頼端末５０を、コンピュータで実現可能な一例としてのコンピュータシステム１００を示す。
サービス提供システム１０としての図７に示すコンピュータシステム１００は、サービス提供装置２０としてのコンピュータ２００を含む。更に、コンピュータシステム１００は、ユーザ端末３０としてのコンピュータ３００、ＳＮＳサーバ４０としてのコンピュータ４００、及びサービス依頼端末５０としてのコンピュータ５００を含む。
コンピュータ２００は、ＣＰＵ２０２、メモリ２０４、及び不揮発性の記憶部２０６を含む。ＣＰＵ２０２、メモリ２０４、及び不揮発性の記憶部２０６は、バス２０８を介して互いに接続される。また、コンピュータ２００は、キーボード及びマウス等の入力部２１０、並びにディスプレイ等の表示部２１２を備え、入力部２１０及び表示部２１２はバス２０８に接続される。またコンピュータ２００は、記録媒体２３２に対して読み書きするためのＩＯ２１４がバス２０８に接続される。更に、コンピュータ２００は、通信回線６０に接続するためのインタフェースを含む通信ＩＦ（Interface）２１６を備え、通信ＩＦ２１６もバス２０８に接続される。なお、記憶部２０６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。
記憶部２０６には、コンピュータ２００を図３に示すサービス提供装置２０として機能させるためのサービス提供プログラム２１８、類似判定情報格納領域２２８、及びデータベース格納領域２３０が記憶される。記憶部２０６に記憶されたサービス提供プログラム２１８は、通信プロセス２２０、提供プロセス２２２、及び判定プロセス２２４を含む。
ＣＰＵ２０２は、サービス提供プログラム２１８を記憶部２０６から読み出してメモリ２０４に展開し、サービス提供プログラム２１８が有する各プロセスを実行する。また、ＣＰＵ２０２は、類似判定情報格納領域２２８に含まれる類似判定情報を類似判定閾値Ｓ１としてメモリ２０４に展開する。また、ＣＰＵ２０２は、データベース格納領域２３０に含まれるデータベースを構成する情報をメモリ２０４に展開し、データベース２４を構成する。
ＣＰＵ２０２がサービス提供プログラム２１８を記憶部２０６から読み出してメモリ２０４に展開し、サービス提供プログラム２１８を実行することで、コンピュータ２００が図３に示すサービス提供装置２０として動作する。また、ＣＰＵ２０２が通信プロセス２２０を実行することで、コンピュータ２００が図３に示す受付部２５及び出力部２６を含む通信部２１として動作する。また、ＣＰＵ２０２が提供プロセス２２２を実行することで、コンピュータ２００が図３に示す抽出部２７を含む提供部２２として動作する。更に、ＣＰＵ２０２が判定プロセス２２４を実行することで、コンピュータ２００が図３に示す判定部２３として動作する。
なお、サービス提供装置２０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit)等で実現することも可能である。
次に、本実施形態に係るサービス提供装置２０の作用を説明する。本実施形態に係るサービス提供装置２０は、データベース２４に商品Ａの判定用画像が記憶されていない場合に、判定用画像生成処理を実行する。
図８は判定用画像生成処理の流れの一例を模式的に表した図である。図８に示すように、例えば、メーカーの担当者が位置Ｘ→位置Ｙ→位置Ｚ→位置Ｘの順に商品の周囲を少なくとも３６０度以上移動しながら撮像した登録画像を受付部２５で受け付ける。そして、抽出部２７は、登録画像の中から互いに類似していない少なくとも１つ以上の画像、図８の例では基準画像Ａ〜基準画像Ｃを抽出し、提供部２２は抽出部２７が抽出した基準画像を判定用画像としてデータベース２４へ記憶する。
図９は、図８で概略的に説明した判定用画像生成処理の流れの一例を示したフローチャートである。
まず、ステップＳ１０では、判定用画像生成処理を実行するために必要な初期化処理を実行する。具体的には、抽出部２７はメモリ２０４に展開された類似判定閾値Ｓ１を取得する。
ステップＳ２０では、受付部２５はサービス依頼端末５０から商品Ａの登録画像を受信したか否かを判定する。否定判定の場合には、登録画像を受信するまでステップＳ２０の処理を繰り返す。一方、肯定判定の場合には、受信した登録画像をメモリ２０４の予め定めた領域に保存し、ステップＳ３０へ移行する。
ステップＳ３０では、抽出部２７は、ステップＳ２０の処理で受信した登録画像に含まれる最初のフレーム、すなわち１フレーム目に対応した撮像画像を抽出し、基準画像として設定する。この際、抽出部２７は、登録画像から抽出した撮像画像のフレーム番号をメモリ２０４の予め定めた領域に保存する。
ステップＳ４０では、抽出部２７は、メモリ２０４に保存したフレーム番号に１を加算した値を、次に登録画像から抽出する撮像画像のフレーム番号として更新する。
ステップＳ５０では、抽出部２７は、ステップＳ４０の処理で更新したフレーム番号の撮像画像を登録画像から抽出し、撮像画像の抽出に成功したか否かを判定する。そして、肯定判定の場合にはステップＳ６０へ移行する。なお、登録画像から登録画像に含まれる最終フレーム番号を超えたフレーム番号の撮像画像を抽出しようとした場合、画像の抽出に失敗する。
ステップＳ６０では、抽出部２７はBRISK法を用いてステップＳ５０の処理で登録画像から抽出した撮像画像、すなわち候補画像の特徴量＾ａ、及び現在設定されている基準画像の特徴量＾ｂを各々の画像から抽出する。なお、前述したように、抽出部２７で用いられる特徴抽出アルゴリズムはBRISK法に制限されず、公知の特徴抽出アルゴリズムを用いることができる。
そして、抽出部２７は、候補画像の特徴量＾ａと基準画像の特徴量＾ｂから、（１）式に従ってお互いの画像の類似度を示すＬ２距離ｄＬ２（＾ａ，＾ｂ）を算出する。なお、前述したように、抽出部２７で用いられる画像の類似度を示す指標はＬ２距離に制限されず、画像の類似度を定量的に示すことができる他の指標を用いることができる。
なお、候補画像及び基準画像から特徴量を抽出する前に、候補画像及び基準画像に対して、例えば背景除去等の画像に対するエフェクト処理を実行するようにしてもよい。この場合、各々の画像から商品Ａの背景が除去されるため、商品Ａの画像の特徴量を精度よく抽出することができる。
ステップＳ７０では、抽出部２７はステップＳ６０で算出したＬ２距離ｄＬ２（＾ａ，＾ｂ）が、ステップＳ１０の処理で取得した類似判定閾値Ｓ１より大きいか否か、すなわち候補画像と基準画像とが類似していないか否かを判定する。ここで、候補画像と基準画像とが類似すると判定されるということは、換言すれば、現在の基準画像を用いれば、基準画像と異なるアングルから撮像された候補画像を、基準画像に類似した画像であると判定できることを意味する。従って、否定判定の場合、すなわち候補画像と基準画像とが類似している場合には、判定対象の候補画像を基準画像とすることなくステップＳ４０へ移行する。
一方、ステップＳ７０の判定処理で肯定判定となった場合には、ステップＳ８０へ移行する。ここで、候補画像と基準画像とが類似しないと判定されるということは、換言すれば、現在の基準画像では、同じ商品Ａが写った候補画像であっても候補画像から商品Ａの特徴を抽出することができないことを意味する。これは、撮像アングル等、異なる撮像条件で基準画像及び候補画像が撮像されているため、同じ商品Ａの画像であっても画像から抽出される特徴量が類似判定閾値Ｓ１を超えて異なるためである。
従って、ステップＳ８０では、抽出部２７は、現在の基準画像の替わりに、現在の基準画像と類似しないと判定された候補画像を新たな基準画像として設定し、ステップＳ４０へ移行する。そして、ステップＳ４０〜Ｓ８０の処理を繰り返すことにより、商品Ａの周囲に沿った何れかの方向から撮像した商品Ａの撮像画像に対して、当該撮像画像の特徴量との差分が類似判定閾値Ｓ１を超える商品Ａの基準画像を取得する。
一方、ステップＳ５０の判定処理で否定処理となった場合、すなわち、登録画像から全ての基準画像を抽出し終えた場合には、ステップＳ９０へ移行する。
ステップＳ９０では、提供部２２は、ステップＳ３０及びステップＳ８０の処理で抽出部２７が設定した全ての基準画像を判定用画像として、メモリ２０４の予め定めた領域に保存する。なお、ステップＳ３０の処理で１フレーム目の画像を基準画像として設定するため、判定用画像は少なくとも１枚以上存在する。
以上により、判定用画像生成処理を終了する。
なお、ステップＳ５０の処理では撮像画像の抽出に成功したか否かによって、登録画像から全ての基準画像を抽出し終えたか否かを判定した。しかし、他の方法によって判定してもよい。例えば、予め登録画像に含まれる撮像画像の最終フレーム番号を取得し、ステップＳ４０の処理で更新したフレーム番号が最終フレーム番号以下か否かを判定するようにしてもよい。
また、図９に示した判定用画像生成処理ではステップＳ８０の処理において、候補画像と基準画像との特徴量の距離の差が類似判定閾値Ｓ１より大きくなった場合に、候補画像と比較する基準画像を順次更新するようにした。しかし、候補画像と比較する基準画像を更新せずに、毎回ステップＳ３０の処理で設定した基準画像と比較することで、判定用画像を生成するようにしてもよい。
この場合、例えば、ステップＳ８０の処理で抽出部２７は、現在の基準画像と類似しないと判定された候補画像をメモリ２０４に保存すると共に、ステップＳ８０の処理を実行する度に、ステップＳ７０の判定処理に用いる類似判定閾値Ｓ１の値を変化させる。例えば、互いの画像の特徴量の差が類似判定閾値Ｓ１を超える判定用画像を生成には、仮に類似判定閾値Ｓ１の値をＫとすれば、ステップＳ８０の処理を実行する度に類似判定閾値Ｓ１の値をＫ、（Ｋ×２）、（Ｋ×３）、・・・と変化させればよい。
そして、ステップＳ９０の処理において、提供部２２は、ステップＳ３０の処理で設定された基準画像、及びステップＳ８０の処理でメモリ２０４に保存された候補画像を判定用画像とすればよい。
図１０は、図９に示した判定用画像生成処理の結果、登録画像から抽出された判定用画像の例を示した図である。図１０の例では、判定用画像Ａ〜判定用画像Ｄの４つの画像が登録画像から抽出されている。判定用画像生成処理によって抽出された判定用画像Ａ〜判定用画像Ｄは、互いに画像の特徴量の差異が類似判定閾値Ｓ１より大きい画像となる。
図１１は、図９に示した判定用画像生成処理の終了後、商品Ａのキャンペーン期間中にサービス提供装置２０において実行される判定処理の流れの一例を示したフローチャートである。
まず、ステップＳ１００では、受付部２５はＳＮＳサーバ４０を参照し、ＳＮＳサーバ４０に投稿されたユーザの撮像画像があるか否かを判定する。否定判定の場合にはＳ１００の処理を繰り返し、継続してＳＮＳサーバ４０を参照する。一方、肯定判定の場合には、ＳＮＳサーバ４０から撮像画像を取得して、メモリ２０４の予め定めた領域に保存すると共に、ステップＳ１２０へ移行する。この際、受付部２５は、取得した撮像画像を投稿したユーザを一意に示す識別情報、例えばメールアドレスを、ＳＮＳサーバ４０を管理する管理者等から提供されたＡＰＩを用いて取得し、撮像画像と関連付けてメモリ２０４に保存する。
ステップＳ１２０では、判定部２３は、データベース２４に記憶される商品Ａの判定用画像のうち、まだ取得していない判定用画像があるか否かを判定し、肯定判定の場合にはステップＳ１４０へ移行する。
ステップＳ１４０では、判定部２３は、データベース２４からまだ取得していない判定用画像を、その判定用画像の特徴量と共に取得する。
そして、ステップＳ１５０では、判定部２３は、ステップＳ１４０の処理で取得した判定用画像の大きさを変えながら、ステップＳ１００の処理で取得した撮像画像を走査することで画像のマッチングを行う。そして、判定部２３は、判定用画像と最も類似すると判定された撮像画像の領域の特徴量を、抽出部２７で用いられたものと同じ特徴抽出アルゴリズムを用いて算出する。
そして、判定部２３は、本ステップで抽出した撮像画像の特徴量と、ステップＳ１４０の処理で取得した判定用画像の特徴量とから、例えば（１）式に従ってお互いの画像の類似度を示すＬ２距離を算出する。なお、ここでは撮像画像と判定用画像とのＬ２距離を算出したが、Ｌ２距離以外の画像の類似度を示す指標を算出するようにしてもよい。
ステップＳ１６０では、判定部２３はメモリ２０４に展開された類似判定閾値Ｓ１を取得し、ステップＳ１５０で算出したＬ２距離が類似判定閾値Ｓ１以下か否かを判定する。否定判定の場合、すなわち、撮像画像に商品Ａの判定用画像と類似する領域は含まれていないと判定された場合にはステップＳ１２０へ移行し、ステップＳ１２０〜Ｓ１６０の処理を繰り返して、撮像画像に商品Ａの判定用画像と類似した領域があるか判定する。また、本ステップの判定結果が肯定判定の場合、すなわち撮像画像に商品Ａの判定用画像と類似する領域が含まれると判定された場合にはステップＳ１７０へ移行する。
ステップＳ１７０では、撮像画像の一部と商品Ａの判定用画像とが類似することから、判定部２３は、撮像画像に商品Ａが含まれていると判定する。
そして、ステップＳ１８０では、判定部２３は出力部２６に対して、撮像画像を投稿したユーザへプレゼントの応募フォームにリンクするＵＲＬ等の商品Ａのキャンペーンに関する情報を記載したメールを出力するよう依頼する。出力部２６は、判定部２３からの依頼に基づいてメールを作成し、ステップＳ１００の処理で取得した、撮像画像を投稿したユーザのメールアドレス宛に作成したメールを出力し、図１１に示した判定処理を終了する。
一方、ステップＳ１２０の判定処理において否定判定となった場合、すなわち撮像画像には商品Ａの何れの判定用画像とも類似する領域がないと判定された場合にはステップＳ１３０へ移行する。そして、ステップＳ１３０では、判定部２３は撮像画像には商品Ａが含まれていないと判定し、図１１に示した判定処理を終了する。
なお、図１１に示した判定処理は、商品Ａのキャンペーン期間中、繰り返し実行される。
判定処理の結果、サービス提供装置２０からのメールを受信したユーザ端末３０のユーザは、例えば、メールに記載されたＵＲＬにアクセスして応募フォームに必要事項を入力することで、飲料メーカーからプレゼントをもらえる等の特典を得ることができる。
なお、図１１に示した判定処理では、撮像画像に商品Ａが含まれると判定される度に、撮像画像を投稿したユーザへメールを送信したが、メールの送信タイミングはこれに限定されない。例えば、メールをメモリ２０４に保存しておき、商品Ａのキャンペーン期間終了後に、撮像画像を投稿したユーザへメールを送信するようにしてもよい。
このように、サービス提供装置２０は、互いに画像の特徴量の差異が類似判定閾値Ｓ１より大きくなる画像を、撮像画像に商品Ａが含まれるか否かを判定する際の判定用画像として用いることができる。従って、より少ない判定用画像の枚数で撮像画像から撮像条件が異なる商品Ａを精度よく抽出することができる。
なお、上記ではサービス依頼端末５０から受け付ける登録画像を、商品Ａの周囲を少なくとも３６０度以上移動しながら撮像した画像と説明したが、登録画像は商品Ａをあらゆるアングルから撮像した画像であってもよい。この場合、撮像画像に含まれる商品Ａを、より精度よく抽出するための判定用画像を生成することができる。
また、本実施形態に係るサービス提供装置２０は、登録画像として予め商品Ａを撮像した撮像済みの画像を用いたが、登録画像はこうした画像に限定されない。例えば、サービス提供装置２０を管理する管理者が提供する専用アプリケーションをインストールした端末（撮像端末）から送られてくる、商品Ａの周囲を１回転して撮像したリアルタイム画像を登録画像としてもよい。なお、サービス依頼端末５０を撮像端末として利用してもよい。
この場合、受付部２５は、撮像端末から撮像開始及び撮像終了の指示を受け付け、撮像開始の指示によって登録画像の取得を開始する。そして、図９のステップＳ４０で抽出部２７は１フレームずつ画像を取得し、ステップＳ５０の処理において、撮像端末から撮像終了の指示を受け付けたか否かを判断して、撮像終了の指示を受け付けた場合にステップＳ９０へ移行し判定用画像生成処理を終了する。
また、撮像端末から撮像終了の指示を受け付けずに、商品Ａの画像の撮像者が商品Ａの周囲を移動し、再び撮像開始地点に戻ったタイミングで判定用画像生成処理を終了してもよい。この場合、例えば、ステップＳ４０の処理で撮像端末から受け付けた画像の特徴量と、ステップＳ３０の処理で設定した基準画像の特徴量を比較して、各々の特徴量の差が予め定めた値以下となった場合に、再び撮像開始地点に戻ったと判定すればよい。
（第２実施形態）
次に、第２実施形態について説明する。なお、第２実施形態に係るサービス提供システムは、図３に示した第１実施形態に係るサービス提供システム１０と同様である。従って、第２実施形態に係るサービス提供システムは、図７に示した第１実施形態に係るコンピュータシステム１００と同様のコンピュータシステムによって実現することができる。ただし、図３においてサービス提供装置２０をサービス提供装置２０Ａ、抽出部２７を抽出部２７Ａ、及び判定部２３を判定部２３Ａと読み替える。また、図７においてコンピュータ２００をコンピュータ２００Ａ、提供プロセス２２２を提供プロセス２２２Ａ、判定プロセス２２４を判定プロセス２２４Ａ、サービス提供プログラム２１８をサービス提供プログラム２１８Ａにそれぞれ読み替えるものとする。
ここでは、第１実施形態と同一の部分には同一の符号を付して説明を省略し、第１実施形態と異なる部分を中心に説明する。
第１実施形態に係る抽出部２７では、基準画像及び候補画像から公知の特徴抽出アルゴリズムを用いて各々の特徴量を抽出し、特徴量の距離によって候補画像を新たな基準画像に設定するか否かを判定するようにした。
一方、本実施形態に係る抽出部２７Ａでは、クラスタリングアルゴリズムを用いて候補画像を分類することで基準画像を設定する。クラスタリングとは、類似している画像は特徴空間上で空間的にまとまって存在しているという性質を利用して画像を分類する画像処理の一種である。
抽出部２７Ａで用いられるクラスタリングアルゴリズムに制限はなく、例えばNearest Neighbor法等の公知のクラスタリングアルゴリズムを用いることができる。
Nearest Neighbor法では、予め任意の数のクラスを作成し、各々のクラスに対してクラスを代表する代表ベクトル値、例えば特徴量を割り当てる。そして、各々の候補画像から得られるベクトル値、例えば特徴量と、代表ベクトル値との距離が最も小さく、かつ、当該距離が類似判定閾値Ｓ１以下となるクラスに候補画像を分類する。なお、候補画像の特徴量に最も近いクラスの代表ベクトルとの距離が類似判定閾値Ｓ１より大きい場合には、当該候補画像の特徴量をクラスの代表ベクトル値とした、新たなクラスを作成する。そして、各クラスから１枚ずつ選択された画像の各々が基準画像となる。
また、第２実施形態に係る判定部２３Ａも、抽出部２７Ａと同じクラスタリングアルゴリズムを用いて、撮像画像を判定用画像の特徴量を代表ベクトル値とする各クラスに分類する。この際、判定部２３Ａは、撮像画像を何れかのクラスに分類できた場合には、撮像画像に商品Ａが含まれていると判定し、何れのクラスにも分類できない場合には、撮像画像に商品Ａが含まれていないと判定する。
次に、本実施形態に係るサービス提供装置２０Ａの作用を説明する。本実施形態に係るサービス提供装置２０Ａは、データベース２４に商品Ａの判定用画像が記憶されていない場合に、判定用画像生成処理を実行する。
図１２は、本実施形態に係る判定用画像生成処理の流れの一例を示したフローチャートである。図１２に示したフローチャートが、図９に示した第１実施形態に係る判定用画像生成処理のフローチャートと異なる点は、ステップＳ１０の初期化処理がステップＳ１５の初期化処理に置き換わり、ステップＳ３０の処理が削除された点である。更に、ステップＳ６０の処理がステップＳ５５の処理に置き換わると共に、ステップＳ７０の処理がステップＳ６５の処理に置き換わっている。
まず、ステップＳ１５では、抽出部２７Ａはメモリ２０４に展開された類似判定閾値Ｓ１を取得すると共に、予めメモリ２０４に展開された任意の数のクラスにおける代表ベクトル値を取得する。なお、各クラスの代表ベクトル情報は記憶部２０６に記憶され、ＣＰＵ２０２は判定用画像生成処理の開始に先立ち、各クラスの代表ベクトル情報を代表ベクトル値としてメモリ２０４に展開しているものとする。また、各クラスの代表ベクトル値は、例えば互いに類似判定閾値Ｓ１の３倍より大きい差異を有している。
そして、ステップＳ５５では、抽出部２７Ａは、候補画像の特徴量を抽出し、例えば前述したNearest Neighbor法等の公知のクラスタリングアルゴリズムを用いて、候補画像をクラスに分類する。
具体的には前述したように、候補画像の特徴量と、ステップＳ１５の処理で取得した代表ベクトル値との距離が最も近く、かつ、類似判定閾値Ｓ１以下となるクラスに候補画像を分類する。そして、候補画像の特徴量に最も近いクラスの代表ベクトルとの距離が類似判定閾値Ｓ１より大きい場合には、当該候補画像の特徴量をクラスの代表ベクトル値とした新たなクラスを作成し、この新たなクラスに候補画像を分類する。
なお、候補画像から特徴量を抽出する前に、候補画像に対して、例えば背景除去等の画像に対するエフェクト処理を実行するようにしてもよい。この場合、候補画像から商品Ａの背景が除去されるため、商品Ａの画像の特徴量を精度よく抽出することができる。
ステップＳ６５では、抽出部２７Ａは、ステップＳ５５の処理でクラスに分類された候補画像が、分類先のクラスにおける唯一の候補画像か否かを判定する。そして、肯定判定の場合はステップＳ８０へ移行し、この分類先のクラスにおける唯一の候補画像を基準画像として設定する。
一方、否定判定の場合はステップＳ４０へ移行し、更新したフレーム番号の候補画像を各クラスに分類する処理を繰り返す。
このようにして、抽出部２７Ａはクラスタリングアルゴリズムを用いても、登録画像から互いに画像の差異が類似判定閾値Ｓ１より大きい画像を判定用画像として抽出することができる。
図１３は、図１２に示した判定用画像生成処理の結果、登録画像から抽出された判定用画像の例を示した図である。図１３の例では、クラスＡ〜クラスＤの４つのクラス毎に、登録画像から判定用画像が抽出されている。判定用画像生成処理によって抽出された各クラスの判定用画像は、互いに画像の差異が類似判定閾値Ｓ１より大きい画像となる。
図１４は、図１２に示した判定用画像生成処理の終了後、商品Ａのキャンペーン期間中にサービス提供装置２０Ａにおいて実行される判定処理の流れの一例を示したフローチャートである。
図１４に示したフローチャートが、図１１に示した第１実施形態に係る判定処理のフローチャートと異なる点は、ステップＳ１１０の処理が追加された点である。また、図１１のステップＳ１２０、Ｓ１４０、Ｓ１５０、及びＳ１６０の各処理が、ステップＳ１１５及びＳ１２５の処理に置き換わった点である。
ステップＳ１１０では、判定部２３Ａは、ステップＳ１００の処理で取得した撮像画像の特徴量を、抽出部２７Ａで用いられたものと同じ特徴抽出アルゴリズムを用いて算出する。
ステップＳ１１５では、判定部２３Ａは、ステップＳ１１０の処理で取得した撮像画像の特徴量に基づいて、撮像画像を判定用画像によって代表される各クラスに分類する。この際、判定部２３Ａは、例えば抽出部２７Ａにおいて登録画像から基準画像を抽出する際に用いたNearest Neighbor法を用いて、撮像画像を各クラスに分類する。なお、判定部２３Ａにおいて用いられるクラスタリングアルゴリズムはNearest Neighbor法に限定されず、公知のクラスタリングアルゴリズムを用いることができる。
ステップＳ１２５では、判定部２３Ａは、撮像画像を何れかのクラスに分類できたか否かを判定し、否定判定の場合にはステップＳ１３０に移行し、肯定判定の場合にはステップＳ１７０へ移行する。
このように、サービス提供装置２０Ａは、互いに画像の差異が類似判定閾値Ｓ１より大きくなる画像を、撮像画像に商品Ａが含まれるか否かを判定する際の判定用画像として用いることができる。従って、より少ない判定用画像の枚数で撮像画像から撮像条件が異なる商品Ａを精度よく抽出することができる。
なお、本実施形態に係るサービス提供装置２０Ａも、第１実施形態に係るサービス提供装置２０と同様に、登録画像として予め商品Ａを撮像した撮像済みの画像を用いずに、撮像端末から送られてくる、商品Ａの撮像中のリアルタイム画像を用いることができる。
以上、実施形態を用いて開示の技術を説明したが、開示の技術は上記実施形態に記載の範囲には限定されない。開示の技術の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も開示の技術の技術的範囲に含まれる。例えば、開示の技術の要旨を逸脱しない範囲で処理の順序を変更してもよい。
また、上記ではサービス提供プログラム２１８、２１８Ａが記憶部２０６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係るサービス提供プログラムは、コンピュータ読取可能な記録媒体に記録されている形態で提供することも可能である。例えば、開示の技術に係るサービス提供プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、及びＵＳＢメモリ等の可搬型記録媒体に記録されている形態で提供することも可能である。また、開示の技術に係るサービス提供プログラムは、フラッシュメモリ等の半導体メモリ等に記録されている形態で提供することも可能である。
以上、第１実施形態及び第２実施形態では、サービス提供装置２０、２０Ａを、ＳＮＳを利用した商品の販売促進キャンペーンに適用し、ＳＮＳに投稿された画像にキャンペーン対象の商品が含まれているかを判定する例について説明した。
しかし、サービス提供装置２０、２０Ａが適用される場面は、上記の例に限られない。
例えば、サービス提供装置２０、２０Ａは、ＳＮＳに投稿された画像を利用したマーケティングサービスに利用することができる。
以下では説明を簡略化するため、サービス提供装置２０をマーケティングサービスに利用する事例について説明するが、サービス提供装置２０Ａも同様の事例に適用することができる。
まず、サービス提供装置２０は、図９に示した判定用画像生成処理を実行して、マーケティングサービスの対象となる商品（分析対象商品）の判定用画像を生成する。なお、分析対象商品は複数あってもよく、この場合、分析対象商品毎に判定用画像が生成される。
そして、サービス提供装置２０はＳＮＳサーバ４０に投稿された撮像画像を取得し、図１１に示した判定処理を実行して撮像画像に分析対象商品が含まれているか否かを判定する。
そして、撮像画像に分析対象商品が含まれている場合には、当該撮像画像から更に分析対象商品を撮像した際の関連情報を取得する。なお、取得する関連情報の内容に制限はなく、撮像画像から取得可能な情報が含まれる。
例えば、関連情報には撮像画像に含まれる分析対象商品の数、撮像画像の大きさに対して分析対象商品が占める割合、撮像場所が屋内なのか屋外なのかといった撮像環境、及び撮像時の天候等が含まれる。また、例えば、時間の経過を演出するために画像をセピア風にしたり、また、イラスト風にしたりといった、撮像画像に施されている加工の種類を取得するようにしてもよい。また、分析対象商品と一緒に写っている人の数、推定年齢、笑っているのか怒っているのかといった感情、及び正装しているのかそれともカジュアルな服装なのかといったファッションに関する情報を取得するようにしてもよい。
更には、図１１に示したステップＳ１５０の処理で実行される画像のマッチングに関する情報を関連情報に含めてもよい。画像のマッチングに関する情報とは、例えば、撮像画像のどの位置で、どの程度の大きさに変更したどの判定用画像と類似すると判定されたかといった情報をいう。
そして、サービス提供装置２０は取得した分析対象商品の関連情報に基づいて、例えば、いつどのような場所でどういった人が分析対象商品を使用する傾向にあるのかといった、分析対象商品の販売促進等に有益な情報を分析する。そして、分析結果を、マーケティングサービスの依頼元であるメーカーのサービス依頼端末５０へ送信する。
この際、サービス提供装置２０は分析結果と併せて関連情報をサービス依頼端末５０へ送信してもよく、また、撮像画像から取得した関連情報だけをサービス依頼端末５０へ送信し、サービス依頼端末５０で関連情報に基づいた分析を実施するようにしてもよい。
また、サービス提供装置２０は、関連情報に基づいて分析対象商品を分析する際、撮像画像と共にＳＮＳサーバ４０に投稿されたテキスト、及びメーカーから提供された分析対象商品の販売データ等、他の情報と組み合わせて分析するようにしてもよい。
このように、サービス提供装置２０は、メーカーに対して商品の販売促進に関する情報を提供することができる。
更に、サービス提供装置２０、２０Ａを、ＳＮＳに投稿された画像を利用したアクティブサポートサービスに利用する事例について説明する。アクティブサポートサービスには、例えば、商品が含まれた画像を分析し、多くの人に好感を持って受け入れられる画像、すなわち人気が出そうな画像であれば当該画像を転送して、メーカーに対するユーザの好感度を高める等のサービスが含まれる。
アクティブサポートサービスでも、前述したマーケティングサービスと同様の方法により、撮像画像にアクティブサポートの対象となる商品（サポート対象商品）が含まれているか否かを判定する。
そして、撮像画像にサポート対象商品が含まれている場合には、当該撮像画像は人気が出そうな画像か否かの分析を行う。この分析では、例えば撮像画像に写っている人の感情、動物の有無、撮像画像に施されている変形処理の内容等、複数の評価項目について分析を行い、評価項目毎にスコアを設定する。例えば、撮像画像に写っている人が笑っていれば、怒っている場合よりも高いスコアを設定する。そして、評価項目毎のスコアを集計し、予め定めたスコア以上となる撮像画像を人気が出そうな画像と判定する。
アクティブサポートサービスを依頼したメーカーの商品が写った人気の出そうな画像をインターネット上に広めることができるため、サービス提供装置２０はメーカーに対して、メーカーに対するユーザの好感度を高めるためのサービスを提供することができる。
また、実施形態に開示したサービス提供装置２０、２０Ａは、単一のコンピュータ２００、２００Ａ上で実現されるものとして説明した。しかし、プロセスを異なるコンピュータで実行し、各々のコンピュータを通信回線６０で接続した分散処理の形態で、サービス提供装置２０、２０Ａを実現するようにしてもよい。
この場合、提供プロセス２２２、２２２Ａは、通信回線６０を介して、判定プロセス２２４、２２４Ａを実行するコンピュータに判定用画像を提供する。
また、各実施形態では、撮像画像をＳＮＳサーバ４０から取得したが、撮像画像の取得先はＳＮＳサーバ４０に限らず、掲示板及びホームページ等、通信回線６０に接続された不特定多数のユーザ端末３０のユーザに撮像画像を公開するサーバであってもよい。
また、各実施形態では、登録画像をメーカーから受け付ける形態を示したが、メーカーからの依頼を受けて、サービス提供装置２０、２０Ａを管理するサービス提供者が登録画像を撮像するようにしてもよい。
以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
コンピュータに、
ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出し、
抽出した前記１または複数の撮像画像を、撮像画像に前記ある物体が含まれるか否かの判定に利用可能な判定用画像として提供する、
ことを実行させることを特徴とするプログラム。
（付記２）
コンピュータに、
ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出して記憶部に記憶し、
前記複数の撮像画像と異なる他の撮像画像の特徴量と、前記記憶部に記憶した前記１または複数の撮像画像の特徴量との比較を行ない、前記複数の撮像画像と異なる他の撮像画像に前記ある物体が含まれるか否かを判定する、
ことを実行させることを特徴とするプログラム。
（付記３）
前記複数の撮像画像と異なる他の撮像画像は、インターネットから取得される画像である、
付記２記載のプログラム。
（付記４）
前記ある物体を含むと判定された前記複数の撮像画像と異なる他の撮像画像の提供元を特定し、特定した前記提供元にメッセージを出力する、
付記２又は付記３記載のプログラム。
（付記５）
前記判定の結果、前記ある物体を含むと判定された前記複数の撮像画像と異なる他の撮像画像の提供元を特定する情報を出力する、
付記４記載のプログラム。
（付記６）
前記異なる複数のアングルから撮像して得られた複数の撮像画像の中から基準となる基準撮像画像を設定すると共に、前記基準撮像画像の特徴量との差が前記所定の基準を超える撮像画像を抽出し、当該抽出した撮像画像を新たな基準撮像画像に設定して、前記新たな基準撮像画像の特徴量との差が前記所定の基準を超える撮像画像を更に抽出する、
付記１〜付記５の何れか１項に記載のプログラム。
（付記７）
前記異なる複数のアングルから撮像して得られた複数の撮像画像を、各々に割り当てられた代表ベクトルの差が所定の基準を超える複数のクラスに分類し、前記複数のクラスの各々から１つずつ撮像画像を抽出する、
付記１〜付記５の何れか１項に記載のプログラム。
（付記８）
前記異なる複数のアングルから撮像して得られた複数の撮像画像の各々は、前記ある物体の背景が除去された撮像画像である、
付記１〜付記７の何れか１項に記載のプログラム。
（付記９）
コンピュータに、
ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出し、
抽出した前記１または複数の撮像画像を、撮像画像に前記ある物体が含まれるか否かの判定に利用可能な判定用画像として提供する、
ことを含む処理を実行させるサービス提供方法。
（付記１０）
コンピュータに、
ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出して記憶部に記憶し、
前記複数の撮像画像と異なる他の撮像画像の特徴量と、前記記憶部に記憶した前記１または複数の撮像画像の特徴量との比較を行ない、前記複数の撮像画像と異なる他の撮像画像に前記ある物体が含まれるか否かを判定する、
ことを含む処理を実行させるサービス提供方法。
（付記１１）
前記複数の撮像画像と異なる他の撮像画像は、インターネットから取得される画像である、
付記１０記載のサービス提供方法。
（付記１２）
前記ある物体を含むと判定された前記複数の撮像画像と異なる他の撮像画像の提供元を特定し、特定した前記提供元にメッセージを出力する、
付記１０又は付記１１記載のサービス提供方法。
（付記１３）
前記判定の結果、前記ある物体を含むと判定された前記複数の撮像画像と異なる他の撮像画像の提供元を特定する情報を出力する、
付記１２記載のサービス提供方法。
（付記１４）
前記異なる複数のアングルから撮像して得られた複数の撮像画像の中から基準となる基準撮像画像を設定すると共に、前記基準撮像画像の特徴量との差が前記所定の基準を超える撮像画像を抽出し、当該抽出した撮像画像を新たな基準撮像画像に設定して、前記新たな基準撮像画像の特徴量との差が前記所定の基準を超える撮像画像を更に抽出する、
付記９〜付記１３の何れか１項に記載のサービス提供方法。
（付記１５）
前記異なる複数のアングルから撮像して得られた複数の撮像画像を、各々に割り当てられた代表ベクトルの差が所定の基準を超える複数のクラスに分類し、前記複数のクラスの各々から１つずつ撮像画像を抽出する、
付記９〜付記１３の何れか１項に記載のサービス提供方法。
（付記１６）
前記異なる複数のアングルから撮像して得られた複数の撮像画像の各々は、前記ある物体の背景が除去された撮像画像である、
付記９〜付記１５の何れか１項に記載のサービス提供方法。
（付記１７）
ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出する抽出部と、
前記抽出部により抽出した前記１または複数の撮像画像を、撮像画像に前記ある物体が含まれるか否かの判定に利用可能な判定用画像として提供する提供部と、
を備えたサービス提供装置。
（付記１８）
ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出して記憶部に記憶する抽出部と、
前記複数の撮像画像と異なる他の撮像画像の特徴量と、前記抽出部により前記記憶部に記憶した前記１または複数の撮像画像の特徴量との比較を行ない、前記複数の撮像画像と異なる他の撮像画像に前記ある物体が含まれるか否かを判定する判定部と、
を備えたサービス提供装置。
（付記１９）
前記複数の撮像画像と異なる他の撮像画像は、インターネットから取得される画像である、
付記１８記載のサービス提供装置。
（付記２０）
前記ある物体を含むと判定された前記複数の撮像画像と異なる他の撮像画像の提供元を特定し、特定した前記提供元にメッセージを出力する出力部を更に備えた、
付記１８又は付記１９記載のサービス提供装置。
（付記２１）
前記出力部は、前記判定の結果、前記ある物体を含むと判定された前記複数の撮像画像と異なる他の撮像画像の提供元を特定する情報を出力する、
付記２０記載のサービス提供装置。
（付記２２）
前記抽出部は、前記異なる複数のアングルから撮像して得られた複数の撮像画像の中から基準となる基準撮像画像を設定すると共に、前記基準撮像画像の特徴量との差が前記所定の基準を超える撮像画像を抽出し、当該抽出した撮像画像を新たな基準撮像画像に設定して、前記新たな基準撮像画像の特徴量との差が前記所定の基準を超える撮像画像を更に抽出する、
付記１７〜付記２１の何れか１項に記載のサービス提供装置。
（付記２３）
前記抽出部は、前記異なる複数のアングルから撮像して得られた複数の撮像画像を、各々に割り当てられた代表ベクトルの差が所定の基準を超える複数のクラスに分類し、前記複数のクラスの各々から１つずつ撮像画像を抽出する、
付記１７〜付記２１の何れか１項に記載のサービス提供装置。
（付記２４）
前記異なる複数のアングルから撮像して得られた複数の撮像画像の各々は、前記ある物体の背景が除去された撮像画像である、
付記１７〜付記２３の何れか１項に記載のサービス提供装置。
（付記２５）
コンピュータに、
ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出し、
抽出した前記１または複数の撮像画像を、撮像画像に前記ある物体が含まれるか否かの判定に利用可能な判定用画像として提供する、
ことを含む処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記２６）
コンピュータに、
ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出して記憶部に記憶し、
前記複数の撮像画像と異なる他の撮像画像の特徴量と、前記記憶部に記憶した前記１または複数の撮像画像の特徴量との比較を行ない、前記複数の撮像画像と異なる他の撮像画像に前記ある物体が含まれるか否かを判定する、
ことを含む処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
１０ サービス提供システム
２０、２０Ａ サービス提供装置
２１ 通信部
２２ 提供部
２３、２３Ａ 判定部
２４ ドキュメントデータベース部
２５ 受付部
２６ 出力部
２７、２７Ａ 抽出部
３０ ユーザ端末
４０ ソーシャルネットワーキングサービスサーバ（ＳＮＳサーバ）
５０ サービス依頼端末
６０ 通信回線
１００ コンピュータシステム
２００、２００Ａ コンピュータ
２０２ ＣＰＵ
２０４ メモリ
２０６ 記憶部
２０８ バス
２１８、２１８Ａ サービス提供プログラム
２２０ 通信プロセス
２２２、２２２Ａ 提供プロセス
２２４、２２４Ａ 判定プロセス
２２８ 類似判定情報格納領域
２３０ データベース格納領域
２３２ 記録媒体

Claims (12)

  1. コンピュータに、
    ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出し、
    抽出した前記１または複数の撮像画像を、前記１または複数の撮像画像と異なる他の撮像画像に前記ある物体が含まれるか否かの判定に利用可能な判定用画像として提供する、
    ことを実行させることを特徴とするプログラム。
  2. コンピュータに、
    ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出して記憶部に記憶し、
    前記複数の撮像画像と異なる他の撮像画像の特徴量と、前記記憶部に記憶した前記１または複数の撮像画像の特徴量との比較を行ない、前記複数の撮像画像と異なる他の撮像画像に前記ある物体が含まれるか否かを判定する、
    ことを実行させることを特徴とするプログラム。
  3. 前記複数の撮像画像と異なる他の撮像画像は、インターネットから取得される画像である、
    請求項２記載のプログラム。
  4. コンピュータに、前記ある物体を含むと判定された前記複数の撮像画像と異なる他の撮像画像の提供元を特定し、特定した前記提供元にメッセージを出力する、ことを実行させることを特徴とする請求項２又は請求項３記載のプログラム。
  5. コンピュータに、前記判定の結果、前記ある物体を含むと判定された前記複数の撮像画像と異なる他の撮像画像の提供元を特定する情報を出力する、ことを実行させることを特徴とする請求項４記載のプログラム。
  6. コンピュータに、前記異なる複数のアングルから撮像して得られた複数の撮像画像の中から基準となる基準撮像画像を設定すると共に、前記基準撮像画像の特徴量との差が前記所定の基準を超える撮像画像を抽出し、当該抽出した撮像画像を新たな基準撮像画像に設定して、前記新たな基準撮像画像の特徴量との差が前記所定の基準を超える撮像画像を更に抽出することにより、前記１または複数の撮像画像を抽出する、ことを実行させることを特徴とする請求項１〜請求項５の何れか１項に記載のプログラム。
  7. 前記異なる複数のアングルから撮像して得られた複数の撮像画像を、各々に割り当てられた代表ベクトルの差が所定の基準を超える複数のクラスに分類し、前記複数のクラスの各々から１つずつ撮像画像を抽出することにより、前記１または複数の撮像画像を抽出する、ことを実行させることを特徴とする請求項１〜請求項５の何れか１項に記載のプログラム。
  8. 前記異なる複数のアングルから撮像して得られた複数の撮像画像の各々は、前記ある物体の背景が除去された撮像画像である、
    請求項１〜請求項７の何れか１項に記載のプログラム。
  9. コンピュータに、
    ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出し、
    抽出した前記１または複数の撮像画像を、前記１または複数の撮像画像と異なる他の撮像画像に前記ある物体が含まれるか否かの判定に利用可能な判定用画像として提供する、
    ことを含む処理を実行させるサービス提供方法。
  10. コンピュータに、
    ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出して記憶部に記憶し、
    前記複数の撮像画像と異なる他の撮像画像の特徴量と、前記記憶部に記憶した前記１または複数の撮像画像の特徴量との比較を行ない、前記複数の撮像画像と異なる他の撮像画像に前記ある物体が含まれるか否かを判定する、
    ことを含む処理を実行させるサービス提供方法。
  11. ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出する抽出部と、
    前記抽出部により抽出した前記１または複数の撮像画像を、前記１または複数の撮像画像と異なる他の撮像画像に前記ある物体が含まれるか否かの判定に利用可能な判定用画像として提供する提供部と、
    を備えたサービス提供装置。
  12. ある物体について異なる複数のアングルから撮像して得られた複数の撮像画像の中から他の撮像画像の特徴量との差が所定の基準を超える特徴量を有する１または複数の撮像画像を抽出して記憶部に記憶する抽出部と、
    前記複数の撮像画像と異なる他の撮像画像の特徴量と、前記抽出部により前記記憶部に記憶した前記１または複数の撮像画像の特徴量との比較を行ない、前記複数の撮像画像と異なる他の撮像画像に前記ある物体が含まれるか否かを判定する判定部と、
    を備えたサービス提供装置。
JP2014136745A 2014-07-02 2014-07-02 サービス提供装置、方法、及びプログラム Expired - Fee Related JP6365024B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014136745A JP6365024B2 (ja) 2014-07-02 2014-07-02 サービス提供装置、方法、及びプログラム
US14/750,341 US9691004B2 (en) 2014-07-02 2015-06-25 Device and method for service provision according to prepared reference images to detect target object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014136745A JP6365024B2 (ja) 2014-07-02 2014-07-02 サービス提供装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016015018A JP2016015018A (ja) 2016-01-28
JP6365024B2 true JP6365024B2 (ja) 2018-08-01

Family

ID=55017328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014136745A Expired - Fee Related JP6365024B2 (ja) 2014-07-02 2014-07-02 サービス提供装置、方法、及びプログラム

Country Status (2)

Country Link
US (1) US9691004B2 (ja)
JP (1) JP6365024B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6365024B2 (ja) * 2014-07-02 2018-08-01 富士通株式会社 サービス提供装置、方法、及びプログラム
JP6770709B2 (ja) * 2016-09-08 2020-10-21 富士ゼロックス株式会社 機械学習用モデル生成装置及びプログラム。
CN110651276A (zh) * 2017-03-17 2020-01-03 纽拉拉股份有限公司 标注和标记用于深度神经网络和神经网络应用的数据流的在线增量实时学习
EP3622438A4 (en) 2017-05-09 2021-03-10 Neurala, Inc. SYSTEMS AND METHODS FOR CONTINUOUS LEARNING LIMITED IN MEMORY IN CONTINUING APPLICATIONS OF ARTIFICIAL INTELLIGENCE AND DEEP LEARNING THROUGH NETWORKED COMPUTING EDGES
US11763546B1 (en) 2017-07-26 2023-09-19 Vizit Labs, Inc. Systems and methods for managing computer memory for scoring images or videos using selective web crawling
US11417085B2 (en) 2017-07-26 2022-08-16 Vizit Labs, Inc. Systems and methods for automating benchmark generation using neural networks for image or video selection

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3821558B2 (ja) 1997-10-27 2006-09-13 日本電信電話株式会社 映像情報一斉付加方法およびその方法を記録した記録媒体
JP3941808B2 (ja) 2004-10-28 2007-07-04 株式会社日立製作所 動画像の変化点検出方法及び装置
US8369570B2 (en) * 2005-09-28 2013-02-05 Facedouble, Inc. Method and system for tagging an image of an individual in a plurality of photos
JP4835325B2 (ja) 2006-08-25 2011-12-14 富士通株式会社 画像位置計測方法、画像位置計測装置、および画像位置計測プログラム
JP2007149095A (ja) 2006-11-24 2007-06-14 Hitachi Ltd 動画像の変化点検出方法及び装置
JP2011039974A (ja) * 2009-08-18 2011-02-24 Kddi Corp 画像検索方法およびシステム
US20110213681A1 (en) * 2010-02-03 2011-09-01 Mohammad Shahid Delivering enhanced content to broadcast media receivers with internet connection and enhancing user experience
US20140129326A1 (en) * 2011-03-04 2014-05-08 Gary Paul Munitz Method and apparatus for advertising using social media
JP5664478B2 (ja) * 2011-06-30 2015-02-04 富士通株式会社 物体認識支援装置，プログラムおよび方法
US9191713B2 (en) * 2011-09-02 2015-11-17 William R. Burnett Method for generating and using a video-based icon in a multimedia message
US8869198B2 (en) * 2011-09-28 2014-10-21 Vilynx, Inc. Producing video bits for space time video summary
JP5733158B2 (ja) * 2011-11-02 2015-06-10 富士通株式会社 認識支援装置、認識支援方法、およびプログラム
US20130226711A1 (en) * 2012-02-29 2013-08-29 Google Inc. Monetizing images in publishing networks
US8988556B1 (en) * 2012-06-15 2015-03-24 Amazon Technologies, Inc. Orientation-assisted object recognition
US20160012498A1 (en) * 2012-09-12 2016-01-14 Chachi Prasad System and method for identifying, verifying and communicating about oem products using unique identifiers
JP2017516245A (ja) * 2014-04-11 2017-06-15 アドビジュアル インコーポレイテッド ユーザカスタマイズされた広告の表示のための方法およびシステム
JP6365024B2 (ja) * 2014-07-02 2018-08-01 富士通株式会社 サービス提供装置、方法、及びプログラム
US9129027B1 (en) * 2014-08-28 2015-09-08 Jehan Hamedi Quantifying social audience activation through search and comparison of custom author groupings

Also Published As

Publication number Publication date
US20160005175A1 (en) 2016-01-07
US9691004B2 (en) 2017-06-27
JP2016015018A (ja) 2016-01-28

Similar Documents

Publication Publication Date Title
JP6365024B2 (ja) サービス提供装置、方法、及びプログラム
US9430719B2 (en) System and method for providing objectified image renderings using recognition information from images
US10007928B2 (en) Dynamic presentation of targeted information in a mixed media reality recognition system
US20180109484A1 (en) Generating a Conversation in a Social Network Based on Mixed Media Object Context
US9036905B2 (en) Training classifiers for deblurring images
US8897505B2 (en) System and method for enabling the use of captured images through recognition
US7809192B2 (en) System and method for recognizing objects from images and identifying relevancy amongst images and information
US7809722B2 (en) System and method for enabling search and retrieval from image files based on recognized information
US10949702B2 (en) System and a method for semantic level image retrieval
US10380461B1 (en) Object recognition
US20240143654A1 (en) Systems and methods for determining whether to modify content
Yang et al. ICDAR2017 robust reading challenge on text extraction from biomedical literature figures (DeTEXT)
JP6432182B2 (ja) サービス提供装置、方法、及びプログラム
JP2015097036A (ja) 推薦画像提示装置及びプログラム
JP5967036B2 (ja) 画像検索システム、情報処理装置及びプログラム
CN117786556A (zh) 用户画像的构建方法、用户画像模型的训练方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180618

R150 Certificate of patent or registration of utility model

Ref document number: 6365024

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees