JP2024085336A - 情報処理プログラム、情報処理方法、および情報処理装置 - Google Patents

情報処理プログラム、情報処理方法、および情報処理装置 Download PDF

Info

Publication number
JP2024085336A
JP2024085336A JP2022199826A JP2022199826A JP2024085336A JP 2024085336 A JP2024085336 A JP 2024085336A JP 2022199826 A JP2022199826 A JP 2022199826A JP 2022199826 A JP2022199826 A JP 2022199826A JP 2024085336 A JP2024085336 A JP 2024085336A
Authority
JP
Japan
Prior art keywords
relationship
customer
product
information
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022199826A
Other languages
English (en)
Inventor
駿 木幡
Shun Kobata
高史 菊地
Takashi Kikuchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2022199826A priority Critical patent/JP2024085336A/ja
Priority to EP23195671.5A priority patent/EP4386652A1/en
Priority to US18/464,396 priority patent/US20240203125A1/en
Publication of JP2024085336A publication Critical patent/JP2024085336A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】小売店などに訪れた人物が商品を購入する際に示す行動、いわゆる購買行動を分析することにより、コンバージョン率を改善する取り組みがある。しかしながら、そもそも同一の商品であっても、商品が配置される棚などの場所によって顧客がとる行動が変わる場合がある。【解決手段】情報処理プログラムは、店内を撮影した映像を取得し、取得した映像を分析することで、映像の中から、店内に配置された商品を含む第１の領域と、商品を購入する対象の顧客を含む第２の領域と、商品および顧客の相互作用を識別した関係性とを特定し、特定された関係性に基づいて、商品が配置される場所の注目度を示す注目情報を生成し、生成された注目情報を表示装置に出力させる処理をコンピュータに実行させる。【選択図】図１２

Description

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。
小売店などに訪れた人物が商品を購入する際に示す行動、いわゆる購買行動を分析することにより、コンバージョン率を改善する取り組みがある。例えば、衣類を販売する店舗で、商品比較が５回未満の人物は商品を購入する傾向が高く、逆に５回以上の人物は商品を購入せずに離脱する傾向が高い場合に、接客時に試着数を５点未満に誘導することで、コンバージョン率を向上させることができる可能性がある。
特開２０２２－１６５４８３号公報
しかしながら、そもそも同一の商品であっても、商品が配置される棚などの場所によって顧客がとる行動が変わる場合がある。換言すると、商品が配置される場所によって顧客が購買行動をとり易い場所と、とり難い場所とがあると考えられる。そのため、商品が配置される場所の違いによる顧客の購買行動を分析することが、コンバージョン率の改善に繋がると考えられる。
１つの側面では、商品が配置される場所の違いによる顧客の購買行動をより正確に分析できる情報処理プログラム、情報処理方法、および情報処理装置を提供することを目的とする。
１つの態様において、情報処理プログラムは、店内を撮影した映像を取得し、取得した映像を分析することで、映像の中から、店内に配置された商品を含む第１の領域と、商品を購入する対象の顧客を含む第２の領域と、商品および顧客の相互作用を識別した関係性とを特定し、特定された関係性に基づいて、商品が配置される場所の注目度を示す注目情報を生成し、生成された注目情報を表示装置に出力させる処理をコンピュータに実行させる。
１つの側面では、商品が配置される場所の違いによる顧客の購買行動をより正確に分析できる。
図１は、本実施形態にかかる情報処理システムの構成例を示す図である。 図２は、本実施形態にかかる情報処理装置１０の構成例を示す図である。 図３は、本実施形態にかかるカメラ設置ＤＢ１４に記憶される情報の例を示す図である。 図４は、本実施形態にかかる商品ＤＢ１５に記憶される情報の例を示す図である。 図５は、本実施形態にかかる商品配置場所の領域の例を示す図である。 図６は、本実施形態にかかる会計登録ＤＢ１６に記憶される情報の例を示す図である。 図７は、本実施形態にかかる注目ＤＢ１８に記憶される情報の例を示す図である。 図８は、ＨＯＩＤによる関係性の特定を説明する図である。 図９は、顧客の追跡を説明する図である。 図１０は、本実施形態にかかる店内画像からの人物抽出および追跡の例を示す図である。 図１１は、本実施形態にかかる店員／顧客判定の例を示す図である。 図１２は、本実施形態にかかる注目情報出力処理の流れを示すフローチャートである。 図１３は、情報処理装置１０のハードウェア構成例を説明する図である。 図１４は、会計機１００のハードウェア構成例を説明する図である。
以下に、本実施形態に係る情報処理プログラム、情報処理方法、および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
まず、本実施形態を実施するための情報処理システムについて説明する。図１は、本実施形態にかかる情報処理システムの構成例を示す図である。図１に示すように、情報処理システム１は、情報処理装置１０と、会計機１００－１～１００－ｍ、およびカメラ装置２００－１～２００－ｎとが、ネットワーク５０を介して相互に通信可能に接続されるシステムである。なお、ｍおよびｎは任意の自然数であり、会計機１００－１～１００－ｍ、およびカメラ装置２００－１～２００－ｎ、およびを、以下、それぞれ、まとめて「会計機１００」、および「カメラ装置２００」という場合がある。
ネットワーク５０には、有線や無線を問わず、例えば、小売店などの店内で利用されるイントラネットなどの各種通信網を採用できる。また、ネットワーク５０は、単一のネットワークではなく、例えば、イントラネットとインターネットとがゲートウェイなどネットワーク装置やその他の装置（図示せず）を介して構成されてよい。なお、小売店などの“店内”という表現は、屋内に限定されず、小売店などの敷地内の屋外を含んでよい。
情報処理装置１０は、例えば、小売店などの店内に設置され、店舗スタッフや管理者などによって使用されるデスクトップＰＣ（Personal Computer）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。または、情報処理装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドコンピュータ装置であってもよい。
情報処理装置１０は、例えば、カメラ装置２００によって小売店などの店内の各売場やレジエリアなど所定の撮影範囲を撮影した映像を、カメラ装置２００から受信する。なお、当該映像は、厳密には、カメラ装置２００によって撮像される複数の撮像画像、すなわち、動画の一連のフレームで構成される。
また、情報処理装置１０は、例えば、既存の物体検知技術を用いて、カメラ装置２００によって撮影される映像から、店内に配置された商品や、店舗に滞在する顧客を抽出する。また、情報処理装置１０は、例えば、顧客が、商品を短時間または長時間見る、商品に触る、商品を把持する、商品に座るなどといった、商品と顧客との相互作用を識別した関係性を特定する。または、情報処理装置１０は、例えば、特定された関係性に基づいて、商品が配置される棚などの場所の注目度を示す注目情報を生成し、表示装置に出力させる。また、情報処理装置１０は、例えば、商品を把持するなど、顧客が示した関係性の種類を特定し、関係性の種類ごとの実績数を計数して、当該注目情報に対応付けて表示装置に出力させることもできる。なお、当該表示装置は、情報処理装置１０が備える装置であってもよいし、外付けの装置であってもよいし、ネットワーク５０を介して情報処理装置１０と通信可能に接続される他の情報処理装置が備える装置であってもよい。
また、情報処理装置１０は、例えば、映像から抽出した顧客を追跡し、さらに映像を分析することで追跡した顧客が利用した会計機１００を特定する。また、情報処理装置１０は、例えば、特定した会計機１００から取得した登録情報に基づいて、顧客が所定の関係性を示した店内での場所に配置された商品の購入数を特定する。そして、情報処理装置１０は、例えば、店内で商品が配置された場所ごとに、特定した購入数を、商品が配置される場所の注目度を示す注目情報に対応付けて表示装置に出力させる。
そして、店舗スタッフなどは、表示装置に出力された注目情報を分析することで、例えば、顧客が商品を把持するなど、所定の関係性を示した、商品が配置される棚などの場所によって、実際に購入数が変わるかなどを分析できる。換言すると、店舗スタッフなどは、注目情報を用いて、同一の商品であっても、商品を配置する場所を変えると商品の購入数が変わるかなどを分析できる。
また、情報処理装置１０は、例えば、機械学習モデルを用いて、映像から抽出された人物が店員か顧客かを判定し、顧客を特定できる。これにより、情報処理装置１０は、処理対象や分析対象から店員を除外できる。
なお、図１では、情報処理装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。
会計機１００は、例えば、店員が操作して購入商品の情報を登録するレジ端末、または顧客自身が操作して購入商品の情報を登録するセルフレジ端末である。顧客は、例えば、会計機１００を介して登録された購入商品の情報に基づいて、現金やクレジットカード、電子マネーなどによって、購入商品の代金の支払いを行う。また、会計機１００は、例えば、登録された購入商品の情報を、登録情報として情報処理装置１０に送信する。なお、会計機という呼称は一例であり、その他に、例えば、Self checkout、automated checkout、self-checkout machine、およびself-check-out registerなどとも呼ばれてよい。
カメラ装置２００は、例えば、小売店などの店内の各売場やレジエリアに設置される監視カメラである。カメラ装置２００によって撮影された映像は、情報処理装置１０に送信される。また、カメラ装置２００によって撮像される各商品や売場エリアには、各商品や売場エリアを特定するための座標などの位置情報が割り当てられており、例えば、情報処理装置１０は、カメラ装置２００から受信した映像から各商品や売場エリアを特定できる。
（情報処理装置１０の機能構成）
次に、情報処理装置１０の機能構成について説明する。図２は、本実施形態にかかる情報処理装置１０の構成例を示す図である。図２に示すように、情報処理装置１０は、通信部１１、記憶部１２、および制御部２０を有する。
通信部１１は、カメラ装置２００など、他の装置との間の通信を制御する処理部であり、例えば、ネットワークインタフェースカードなどの通信インタフェースである。
記憶部１２は、各種データや、制御部２０が実行するプログラムを記憶する機能を有し、例えば、メモリやハードディスクなどの記憶装置により実現される。記憶部１２は、撮像ＤＢ１３、カメラ設置ＤＢ１４、商品ＤＢ１５、会計登録ＤＢ１６、モデルＤＢ１７、および注目ＤＢ１８などを記憶する。なお、ＤＢは、データベース（Data Base）の略称である。
撮像ＤＢ１３は、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像を記憶する。カメラ装置２００によって撮像された複数の撮像画像、すなわち映像は、カメラ装置２００から随時送信され、情報処理装置１０によって受信され撮像ＤＢ１３に記憶される。
カメラ設置ＤＢ１４は、例えば、カメラ装置２００の各々が設置される場所を特定するための情報を記憶する。ここで記憶される情報は、例えば、管理者などにより予め設定されてよい。図３は、本実施形態にかかるカメラ設置ＤＢ１４に記憶される情報の例を示す図である。図３に示すように、カメラ設置ＤＢ１４には、例えば、「カメラＩＤ、設置場所」などの各情報が対応付けられて記憶される。ここで記憶される「カメラＩＤ」には、例えば、カメラ装置２００の各々を一意に識別するための識別子などの情報が設定され、「設置場所」には、例えば、カメラ装置２００の各々が設置される場所を特定するための情報が設定される。図３の例では、ベビー用品売場にカメラＩＤ＝１のカメラが設置され、会計機ＡのあるレジエリアにカメラＩＤ＝１０１のカメラが設置される例が示されている。
図２の説明に戻り、商品ＤＢ１５は、例えば、各売場に配置される商品に関する情報を記憶する。ここで記憶される情報も、例えば、管理者などにより予め設定されてよい。図４は、本実施形態にかかる商品ＤＢ１５に記憶される情報の例を示す図である。図４に示すように、商品ＤＢ１５には、例えば、「商品ＩＤ、商品名、配置場所、領域座標」などの各情報が対応付けられて記憶される。ここで記憶される「商品ＩＤ」には、例えば、各商品を一意に識別するための識別子などの情報が設定され、「商品名」には、例えば、各商品の名称が設定される。また、「配置場所」には、例えば、各商品が配置される場所を特定するための情報が設定される。なお、例えば、「配置場所」に、カメラ設置ＤＢ１４の「設置場所」と同一の情報を設定することで、各商品および各商品が配置される場所と、カメラ装置２００の各々およびカメラ装置２００が設置される場所とを紐付けることができる。また、「領域座標」には、例えば、カメラ装置２００によって撮像される撮像画像上の各商品が配置される場所の画素の位置情報が設定されてよい。当該位置情報について、図５を用いてより具体的に説明する。
図５は、本実施形態にかかる商品配置場所の領域の例を示す図である。図５は、カメラ装置２００によって撮像された、ある売り場の撮像画像２５１を示す図である。撮像画像２５１には、各商品が配置される場所を含む領域Ａ～Ｃが含まれる。図５に示すような、撮像画像２５１上の各領域の位置情報、例えば、各領域の各頂点の座標を商品ＤＢ１５の「領域座標」に設定しておくことで、情報処理装置１０は、各商品が配置される場所をより細かく特定できる。なお、図５を用いて、複数の商品配置場所を含む撮像画像２５１を説明したが、例えば、カメラ装置２００によって１つの商品配置場所を撮像するようにしてもよい。この場合、カメラ装置２００によって撮像される撮像画像ごとに商品配置場所が定まるため、商品ＤＢ１５には「領域座標」が記憶されなくてよい。
図２の説明に戻り、会計登録ＤＢ１６は、例えば、会計機１００を介して登録された購入商品に関する情報を記憶する。会計機１００を介して登録された購入商品に関する情報は、会計機１００から随時送信され、情報処理装置１０によって受信され会計登録ＤＢ１６に記憶される。図６は、本実施形態にかかる会計登録ＤＢ１６に記憶される情報の例を示す図である。図６に示すように、会計登録ＤＢ１６には、例えば、「会計機ＩＤ、顧客ＩＤ、購入商品ＩＤ、購入数」などの各情報が対応付けられて記憶される。ここで記憶される「会計機ＩＤ」には、例えば、会計機１００を一意に識別するための識別子などの情報が設定される。また、「顧客ＩＤ」は、情報処理装置１０によって映像から抽出されて追跡された顧客であって、会計機１００を利用した顧客を一意に示す識別子などの情報が設定される。また、「購入商品ＩＤ」には、例えば、購入商品の各々を一意に識別するための識別子などの情報が設定される。なお、例えば、「購入商品ＩＤ」に、商品ＤＢ１５の「商品ＩＤ」と同一の情報を設定することで、商品ＤＢ１５と会計登録ＤＢ１６とを紐付けることができる。また、「購入数」には、例えば、購入商品の点数が設定される。
図２の説明に戻り、モデルＤＢ１７は、例えば、店内の撮像画像から、商品や顧客を含む領域と、商品および顧客の関係性とを特定するための機械学習モデルに関する情報や、当該モデルを構築するためのモデルパラメータを記憶する。当該機械学習モデルは、例えば、カメラ装置２００によって店内を撮影した映像、すなわち撮像画像を入力データ、ならびに商品および顧客を含む領域と、商品および顧客の関係性の種類とを正解ラベルとして機械学習により生成される。なお、商品および顧客の関係性の種類とは、例えば、顧客が、商品を短時間または長時間見る、商品に触る、商品を把持する、商品に座るなどであってよいが、これらに限定されない。また、商品や顧客を含む領域は、例えば、撮像画像上でそれらの領域を矩形で囲むバウンディングボックス（Bbox）であってよい。
また、モデルＤＢ１７は、例えば、店内の撮像画像から特定された人物が店員か顧客かを判定するための機械学習モデルに関する情報や、当該モデルを構築するためのモデルパラメータを記憶してよい。当該機械学習モデルは、例えば、カメラ装置２００によって店内を撮影した映像から抽出された人物の部分画像を入力データ、および当該人物が店員か顧客かを示す情報を正解ラベルとして機械学習により生成される。
なお、商品および顧客の関係性などを特定するための機械学習モデルと、人物が店員か顧客かを判定するための機械学習モデルとを区別するため、以下、それぞれ、「商品／顧客関係性特定モデル」、および「店員／顧客判定モデル」という場合がある。また、商品／顧客関係性特定モデルや店員／顧客判定モデルは、情報処理装置１０によって訓練され生成されてもよいし、別の情報処理装置によって訓練され生成されてもよい。
注目ＤＢ１８は、例えば、商品が配置される棚などの場所の注目度を示す注目情報を記憶する。図７は、本実施形態にかかる注目ＤＢ１８に記憶される情報の例を示す図である。ここで記憶される注目情報は、例えば、特定部２２によって特定された商品と顧客との関係性などの情報に基づいて生成部２３により生成され設定されてよい。図７に示すように、注目ＤＢ１８には、例えば、「商品ＩＤ、商品名、配置場所、関係性、実績数、購入数」などの各情報が対応付けられて記憶される。ここで記憶される「商品ＩＤ」には、例えば、各商品を一意に識別するための識別子などの情報が設定され、「商品名」には、例えば、各商品の名称が設定される。また、「配置場所」には、例えば、各商品が配置された場所を特定するための情報が設定される。また、「関係性」には、例えば、特定された商品と顧客との関係性の種類が設定される。また、「実績数」には、例えば、顧客が示した関係性の種類ごとの実績数が設定される。また、「購入数」には、例えば、所定の配置場所に配置され、顧客が所定の関係性を示した商品の購入数が設定される。より具体的には、図７の例では、各配置場所に配置された新生児用ミルクに対して把持するという関係性を示した各顧客が追跡され、各顧客が利用した会計機１００を介して登録された購入商品に関する情報に基づいて購入数が設定される。
図７の例では、ベビー用品売り場に配置された新生児用ミルクに対して各顧客が２１回把持するという関係性を示し、購入数が１９個であったことが示される。また、粉末ドリンク売り場に配置された新生児用ミルクに対しては、各顧客が３回把持するという関係性を示し、購入数が２個であったことが示される。なお、図７の例では、商品が新生児用ミルクであるため、購入するためには商品を把持するという関係性が示されることを前提として、把持するという関係性が示された場合の購入数のみを設定している。しかしながら、商品によっては、例えば、大型商品などの場合は顧客が把持することなく店員に注文して購入される場合もある。そのため、把持するという関係性以外の関係性を示した顧客を追跡し、把持するという関係性以外の関係性の購入数が設定されてもよい。
なお、記憶部１２に記憶される上記情報はあくまでも一例であり、記憶部１２は、上記情報以外にも様々な情報を記憶できる。
制御部２０は、情報処理装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部２０は、取得部２１、特定部２２、生成部２３、出力部２４を備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。
取得部２１は、例えば、カメラ装置２００によって店内を撮影した映像を撮像ＤＢ１３から取得する。なお、カメラ装置２００によって店内を撮影した映像は、随時、カメラ装置２００によって情報処理装置１０に送信され、情報処理装置１０によって受信され、撮像ＤＢ１３に記憶される。
特定部２２は、取得部２１が取得した映像を分析することで、映像の中から、店内に配置された商品を含む第１の領域と、商品を購入する対象の顧客を含む第２の領域と、商品および顧客の相互作用を識別した関係性とを特定する。このような特定処理は、例えば、取得部２１が取得した映像を、上述した機械学習モデルである商品／顧客関係性特定モデルに入力することで、当該第１の領域と、当該第２の領域と、当該関係性とを特定する処理を含んでよい。また、商品／顧客関係性特定モデルは、第１の領域の情報と、第２の領域の情報と、第１のクラスと第２のクラスとの相互作用と、を識別するように訓練されたＨＯＩＤ（Human Object Interaction Detection）用のモデルであってよい。ここで、第１の領域の情報は、商品を含む物体を示す第１のクラスおよび物体が出現する領域を示す情報であってよく、第２の領域の情報は、商品を購入する人物を示す第２のクラスおよび人物が出現する領域を示す情報であってよい。ＨＯＩＤについて、図８を用いて、より具体的に説明する。
図８は、ＨＯＩＤによる関係性の特定を説明する図である。図８に示すように、特定部２２は、店内の撮像画像である画像データをＨＯＩＤ用の機械学習モデルに入力し、出力結果を取得する。当該出力結果は、図８に示すように、例えば、人物のBbox２６１、人物のクラス名、物体のBbox２６２、物体のクラス名、人物と物体の相互作用の確率値、および人物と物体の相互作用のクラス名などである。
図２の説明に戻り、特定部２２は、例えば、特定された関係性と、特定された関係性が示された場合の顧客の位置に基づいて、店内での商品が配置される所定の場所での、顧客のそれぞれが示した関係性の種類を特定する。このような特定処理において、関係性の種類は、例えば、図８を用いて説明したＨＯＩＤ用の機械学習モデルから出力される、人物と物体の相互作用の確率値、および人物と物体の相互作用のクラス名などに基づいて、特定できる。より具体的には、例えば、特定部２２は、ＨＯＩＤ用の機械学習モデルから出力される、人物と物体の相互作用の確率値が最も高い相互作用のクラス名が示す関係性の種類を、当該人物が物体に対して示した関係性の種類として特定する。一例では、特定部２２は、ベビー用品売り場の撮像画像をＨＯＩＤ用の機械学習モデルに入力した出力結果から、撮像画像に写った人物である顧客が、物体である新生児用ミルクを、「把持する」ことを関係性の種類として特定する。また、別の例では、特定部２２は、粉末ドリンク売り場の撮像画像をＨＯＩＤ用の機械学習モデルに入力した出力結果から、顧客が、新生児用ミルクを、「短時間見る」ことを関係性の種類として特定する。
また、特定部２２は、例えば、所定の場所での、顧客が示した関係性の種類ごとの実績数を計数する。より具体的には、例えば、特定部２２は、ベビー用品売り場で顧客が新生児用ミルクに対して示した関係性の種類として特定された、「短時間見る」、「長時間見る」、「把持する」などの実績数、すなわちそれぞれの特定回数を計数する。このように計数した実績数により、例えば、ベビー用品売り場では新生児用ミルクを把持された回数が多かったが、粉末ドリンク売り場ではほとんど把持されず、短時間見られた回数が多かっただけだった、などといった分析が可能となる。
また、特定部２２は、例えば、所定の関係性と、所定の関係性が示された場合の顧客の位置とに基づいて、顧客が商品を把持した店内での場所を特定する。そして、特定部２２は、例えば、映像に含まれる顧客を追跡し、当該映像を分析することで、追跡した顧客が利用した会計機１００を特定する。顧客の追跡について、図９を用いて、より具体的に説明する。
図９は、顧客の追跡を説明する図である。図９に示すように、特定部２２は、店舗の入口や、各売場、レジエリアや出口など各所に設置されたカメラ装置２００によって撮像された複数の画像データから人物を抽出し、抽出した人物から同一人物を特定し、人物ごとに追跡を行う。画像データからの人物抽出および追跡について、図１０を用いて、より具体的に説明する。
図１０は、本実施形態にかかる店内画像からの人物抽出および追跡の例を示す図である。図１０に示すように、特定部２２は、例えば、YOLO（YOU Only Look Once）、SSD（Single Shot Multibox Detector）、RCNN（Region Based Convolutional Neural Networks）など既存の検出アルゴリズムを用いて店内画像から人物を抽出する。店内画像は、カメラ装置２００によって撮像された各画像データであり、図１０に示すように、例えば、画像データから抽出された人物は、画像上でその領域を矩形で囲むBboxによって示される。
また、図１０の上段に示すように、店内画像から複数の人物が抽出されることは当然あり得る。そのため、特定部２２は、図１０の下段に示すように、例えば、複数の画像データ、すなわち複数のフレーム間の人物のBboxの類似度に基づいて、フレーム間で同一人物を特定する。同一人物の特定には、例えば、TLD（Tracking Learning Detection）やKCF（Kernelized Correlation Filters）などの既存の追跡アルゴリズムが用いられてよい。
図２の説明に戻り、さらに、特定部２２は、例えば、特定した会計機１００から取得した登録情報に基づいて、顧客が所定の関係性を示した店内での場所に配置された商品の購入数を特定する。なお、当該登録情報は、会計機１００を介して登録された購入商品に関する情報であり、随時、会計機１００によって情報処理装置１０に送信され、情報処理装置１０によって受信され、会計登録ＤＢ１６に記憶される。このように特定された購入数により、例えば、ベビー用品売り場で顧客に把持された新生児用ミルクは購入されたか否かなどといった分析が可能となる。また、ベビー用品売り場で顧客が新生児用ミルクを把持した実績数と、購入数とを比較することにより、ベビー用品売り場で把持された新生児用ミルクがどれくらい購入されたかなどといった分析が可能となる。
また、特定部２２は、例えば、上述した機械学習モデルである店員／顧客判定モデルを用いて、映像から抽出された人物が店員か顧客かを判定し、顧客を特定できる。これにより、情報処理装置１０は、処理対象や分析対象から店員を除外し、情報処理装置１０の処理負荷を軽減できる。店員か顧客かの判定処理について、図１１を用いて、より具体的に説明する。
図１１は、本実施形態にかかる店員／顧客判定の例を示す図である。図１１の左側に示すように、訓練フェーズにおいて、情報処理装置１０は、映像から抽出された人物の部分画像を入力データ、店員か顧客かを示す情報を正解ラベルとして店員／顧客判定モデルを訓練して生成する。入力データの人物の部分画像は、人物の領域を矩形で囲むBbox内の画像であってよい。また、店員／顧客判定モデルには、例えば、ニューラルネットワーク（NN：Neural Network）が用いられてよい。
次に、図１１の右側に示すように、判定フェーズにおいて、情報処理装置１０は、訓練フェーズで訓練された店員／顧客判定モデルに、カメラ装置２００の映像から抽出した人物の部分画像を入力し、当該人物が店員か顧客かを判定する。なお、図１１の例では、入力された部分画像の人物は店員であると判定されたことを示している。
図２の説明に戻り、生成部２３は、例えば、特定部２２によって特定された、商品および顧客の相互作用を識別した関係性に基づいて、商品が配置される場所の注目度を示す注目情報を生成する。生成部２３によって生成される注目情報の一例は、図７に示すような注目ＤＢ１８に記憶される情報である。
出力部２４は、例えば、生成部２３によって生成された注目情報を表示装置に出力させる。また、出力部２４は、例えば、図７に示すような、顧客が示した商品と顧客との関係性の種類ごとに計数された実績数と、当該関係性が示された所定の場所とを対応付けた注目情報を表示装置に出力させてよい。特に、出力部２４は、例えば、図７に示すような、商品が配置される場所ごとに、顧客が商品を把持したことを示す関係性の実績数を対応付けた注目情報を表示装置に出力させることができる。さらに、出力部２４は、例えば、図７に示すような、店内での商品が配置された場所ごとに、顧客が所定の関係性を示した店内での場所に配置された商品の購入数を対応付けた注目情報を表示装置に出力させることもできる。
（処理の流れ）
次に、情報処理装置１０によって実行される注目情報出力処理の流れを説明する。図１２は、本実施形態にかかる注目情報出力処理の流れを示すフローチャートである。
まず、図１２に示すように、情報処理装置１０は、例えば、カメラ装置２００によって小売店の店内など所定の撮影範囲が撮影された映像を撮像ＤＢ１３から取得する（ステップＳ１０１）。なお、カメラ装置２００によって撮影された映像はカメラ装置２００から情報処理装置１０に随時送信され、撮像ＤＢ１３に記憶される。
次に、情報処理装置１０は、例えば、ステップＳ１０１で取得した映像を商品／顧客関係性特定モデルに入力することで、映像から、商品を含む領域と、顧客を含む領域と、商品および顧客の関係性とを特定する（ステップＳ１０２）。なお、商品や顧客を含む領域は、例えば、映像上の商品や顧客を矩形で囲むBboxであってよい。また、商品および顧客の関係性は、例えば、顧客が、商品を“短時間見る”、“長時間見る”、商品に“触る”、商品を“把持する”、商品に“座る”などであってよい。
次に、情報処理装置１０は、例えば、ステップＳ１０２で特定した商品および顧客の関係性に基づいて、商品が配置される場所の注目度を示す注目情報を生成する（ステップＳ１０３）。ステップＳ１０３で生成される注目情報の一例は、図７に示すような注目ＤＢ１８に記憶される情報であってよい。
次に、情報処理装置１０は、例えば、ステップＳ１０３で生成した注目情報を表示装置に出力させる（ステップＳ１０４）。ステップＳ１０４の実行後、図１２に示す注目情報出力処理は終了する。
そして、店舗スタッフなどは、表示装置に出力された注目情報を分析することで、例えば、顧客が商品を把持するなど、所定の関係性を示した、商品が配置される棚などの場所によって、実際に購入数が変わるかなどを分析できる。換言すると、店舗スタッフなどは、注目情報を用いて、同一の商品であっても、商品を配置する場所を変えると商品の購入数が変わるかなどを分析できる。
（効果）
上述したように、情報処理装置１０は、店内を撮影した映像を取得し、取得した映像を分析することで、映像の中から、店内に配置された商品を含む第１の領域と、商品を購入する対象の顧客を含む第２の領域と、商品および顧客の相互作用を識別した関係性とを特定し、特定された関係性に基づいて、商品が配置される場所の注目度を示す注目情報を生成し、生成された注目情報を表示装置に出力させる。
このようにして、情報処理装置１０は、店内を撮影した映像から商品と顧客との関係性を特定し、特定した関係性に基づいて商品の配置場所の注目情報を生成して出力する。これにより、商品が配置される場所の違いによる顧客の購買行動をより正確に分析できる。
また、情報処理装置１０は、特定された関係性と、特定された関係性が示された場合の顧客の位置に基づいて、店内での商品が配置される所定の場所での、顧客のそれぞれが示した関係性の種類を特定し、所定の場所での、顧客が示した関係性の種類ごとの実績数を計数し、計数された実績数と所定の場所とを対応付けた注目情報を表示装置に出力させる。
これにより、商品が配置される場所の違いによる顧客の購買行動をより正確に分析できる。
また、情報処理装置１０は、特定された関係性と、特定された関係性が示された場合の顧客の位置に基づいて、場所ごとに、顧客が商品を把持したことを示す関係性を特定し、場所ごとに、顧客が商品を把持したことを示す関係性の実績数を計数し、場所ごとに、計数された実績数を対応付けた注目情報を表示装置に出力させる。
これにより、商品が配置される場所の違いによる顧客の購買行動をより正確に分析できる。
また、情報処理装置１０は、所定の関係性と、所定の関係性が示された場合の顧客の位置とに基づいて、顧客が商品を把持した店内での場所を特定し、映像に含まれる顧客を追跡し、映像を分析することで、追跡した顧客が利用した会計機を特定し、特定した会計機から取得した登録情報に基づいて、顧客が所定の関係性を示した店内での場所に配置された商品の購入数を特定し、店内での商品が配置された場所ごとに、購入数を対応付けた注目情報を表示装置に出力させる。
これにより、商品が配置される場所の違いによる顧客の購買行動をより正確に分析できる。
また、情報処理装置１０によって実行される、第１の領域と、第２の領域と、関係性とを特定する処理は、取得した映像を機械学習モデルに入力することで、第１の領域と、第２の領域と、関係性とを特定する処理を含み、機械学習モデルは、商品を含む物体を示す第１のクラスおよび物体が出現する領域を示す第１の領域の情報と、商品を購入する人物を示す第２のクラスおよび人物が出現する領域を示す第２の領域の情報と、第１のクラスと第２のクラスとの相互作用と、を識別するように訓練されたＨＯＩＤ用のモデルである。
これにより、商品が配置される場所の違いによる顧客の購買行動をより正確に分析できる。
（システム）
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。
また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
（ハードウェア）
図１３は、情報処理装置１０のハードウェア構成例を説明する図である。図１３に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１３に示した各部は、バスなどで相互に接続される。
通信装置１０ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。
プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図２などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、取得部２１、特定部２２、生成部２３、出力部２４などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、特定部２２などと同様の処理を実行するプロセスを実行する。
このように情報処理装置１０は、図２に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他の情報処理装置がプログラムを実行する場合や、情報処理装置１０と他の情報処理装置とこれらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。
また、図２に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto-Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
図１４は、会計機１００のハードウェア構成例を説明する図である。図１４に示すように、会計機１００は、通信装置１００ａ、ＨＤＤ１００ｂ、メモリ１００ｃ、プロセッサ１００ｄ、入力装置１００ｅ、出力装置１００ｆを有する。また、図１４に示した各部は、バスなどで相互に接続される。
通信装置１００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１００ｂは、会計機１００の各機能を動作させるプログラムやデータを記憶する。
プロセッサ１００ｄは、会計機１００の各機能の処理を実行するプログラムをＨＤＤ１００ｂなどから読み出してメモリ１００ｃに展開することで、会計機１００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、会計機１００が有する各処理部と同様の機能を実行する。
このように、会計機１００は、会計機１００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、会計機１００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで会計機１００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、会計機１００によって実行されることに限定されるものではない。例えば、他の情報処理装置がプログラムを実行する場合や、会計機１００と他の情報処理装置とが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。
また、会計機１００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
入力装置１００ｅは、プロセッサ１００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、会計機１００はさらに表示装置を備え、入力装置１００ｅによって検知される入力操作は、当該表示装置に対するタッチ操作であってよい。入力装置１００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。
出力装置１００ｆは、プロセッサ１００ｄによって実行されるプログラムから出力されるデータを会計機１００に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、会計機１００が表示装置を備える場合、会計機１００は出力装置１００ｆを備えなくてもよい。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）店内を撮影した映像を取得し、
取得した前記映像を分析することで、前記映像の中から、前記店内に配置された商品を含む第１の領域と、前記商品を購入する対象の顧客を含む第２の領域と、前記商品および前記顧客の相互作用を識別した関係性とを特定し、
特定された前記関係性に基づいて、前記商品が配置される場所の注目度を示す注目情報を生成し、
生成された前記注目情報を表示装置に出力させる
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
（付記２）特定された前記関係性と、特定された前記関係性が示された場合の前記顧客の位置に基づいて、前記店内での前記商品が配置される所定の場所での、前記顧客のそれぞれが示した前記関係性の種類を特定し、
前記所定の場所での、前記顧客が示した前記関係性の種類ごとの実績数を計数し、
計数された前記実績数と前記所定の場所とを対応付けた前記注目情報を前記表示装置に出力させる
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。
（付記３）特定された前記関係性と、特定された前記関係性が示された場合の前記顧客の位置に基づいて、前記場所ごとに、前記顧客が前記商品を把持したことを示す前記関係性を特定し、
前記場所ごとに、前記顧客が前記商品を把持したことを示す前記関係性の実績数を計数し、
前記場所ごとに、計数された前記実績数を対応付けた前記注目情報を前記表示装置に出力させる
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。
（付記４）所定の関係性と、前記所定の関係性が示された場合の顧客の位置とに基づいて、前記顧客が商品を把持した店内での場所を特定し、
映像に含まれる前記顧客を追跡し、
前記映像を分析することで、追跡した前記顧客が利用した会計機を特定し、
特定した前記会計機から取得した登録情報に基づいて、前記顧客が前記所定の関係性を示した前記店内での場所に配置された前記商品の購入数を特定し、
前記店内での前記商品が配置された場所ごとに、前記購入数を対応付けた注目情報を表示装置に出力させる
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。
（付記５）前記第１の領域と、前記第２の領域と、前記関係性とを特定する処理は、
取得した前記映像を機械学習モデルに入力することで、前記第１の領域と、前記第２の領域と、前記関係性とを特定する
処理を含み、
前記機械学習モデルは、前記商品を含む物体を示す第１のクラスおよび前記物体が出現する領域を示す前記第１の領域の情報と、前記商品を購入する人物を示す第２のクラスおよび前記人物が出現する領域を示す前記第２の領域の情報と、前記第１のクラスと前記第２のクラスとの相互作用と、を識別するように訓練されたＨＯＩＤ用のモデルである
ことを特徴とする付記１に記載の情報処理プログラム。
（付記６）店内を撮影した映像を取得し、
取得した前記映像を分析することで、前記映像の中から、前記店内に配置された商品を含む第１の領域と、前記商品を購入する対象の顧客を含む第２の領域と、前記商品および前記顧客の相互作用を識別した関係性とを特定し、
特定された前記関係性に基づいて、前記商品が配置される場所の注目度を示す注目情報を生成し、
生成された前記注目情報を表示装置に出力させる
処理をコンピュータが実行することを特徴とする情報処理方法。
（付記７）特定された前記関係性と、特定された前記関係性が示された場合の前記顧客の位置に基づいて、前記店内での前記商品が配置される所定の場所での、前記顧客のそれぞれが示した前記関係性の種類を特定し、
前記所定の場所での、前記顧客が示した前記関係性の種類ごとの実績数を計数し、
計数された前記実績数と前記所定の場所とを対応付けた前記注目情報を前記表示装置に出力させる
処理を前記コンピュータが実行することを特徴とする付記６に記載の情報処理方法。
（付記８）特定された前記関係性と、特定された前記関係性が示された場合の前記顧客の位置に基づいて、前記場所ごとに、前記顧客が前記商品を把持したことを示す前記関係性を特定し、
前記場所ごとに、前記顧客が前記商品を把持したことを示す前記関係性の実績数を計数し、
前記場所ごとに、計数された前記実績数を対応付けた前記注目情報を前記表示装置に出力させる
処理を前記コンピュータが実行することを特徴とする付記６に記載の情報処理方法。
（付記９）所定の関係性と、前記所定の関係性が示された場合の顧客の位置とに基づいて、前記顧客が商品を把持した店内での場所を特定し、
映像に含まれる前記顧客を追跡し、
前記映像を分析することで、追跡した前記顧客が利用した会計機を特定し、
特定した前記会計機から取得した登録情報に基づいて、前記顧客が前記所定の関係性を示した前記店内での場所に配置された前記商品の購入数を特定し、
前記店内での前記商品が配置された場所ごとに、前記購入数を対応付けた注目情報を表示装置に出力させる
処理を前記コンピュータが実行することを特徴とする付記６に記載の情報処理方法。
（付記１０）前記第１の領域と、前記第２の領域と、前記関係性とを特定する処理は、
取得した前記映像を機械学習モデルに入力することで、前記第１の領域と、前記第２の領域と、前記関係性とを特定する
処理を含み、
前記機械学習モデルは、前記商品を含む物体を示す第１のクラスおよび前記物体が出現する領域を示す前記第１の領域の情報と、前記商品を購入する人物を示す第２のクラスおよび前記人物が出現する領域を示す前記第２の領域の情報と、前記第１のクラスと前記第２のクラスとの相互作用と、を識別するように訓練されたＨＯＩＤ用のモデルである
ことを特徴とする付記６に記載の情報処理方法。
（付記１１）店内を撮影した映像を取得し、
取得した前記映像を分析することで、前記映像の中から、前記店内に配置された商品を含む第１の領域と、前記商品を購入する対象の顧客を含む第２の領域と、前記商品および前記顧客の相互作用を識別した関係性とを特定し、
特定された前記関係性に基づいて、前記商品が配置される場所の注目度を示す注目情報を生成し、
生成された前記注目情報を表示装置に出力させる
処理を実行する制御部を有することを特徴とする情報処理装置。
（付記１２）特定された前記関係性と、特定された前記関係性が示された場合の前記顧客の位置に基づいて、前記店内での前記商品が配置される所定の場所での、前記顧客のそれぞれが示した前記関係性の種類を特定し、
前記所定の場所での、前記顧客が示した前記関係性の種類ごとの実績数を計数し、
計数された前記実績数と前記所定の場所とを対応付けた前記注目情報を前記表示装置に出力させる
処理を前記制御部が実行することを特徴とする付記１１に記載の情報処理装置。
（付記１３）特定された前記関係性と、特定された前記関係性が示された場合の前記顧客の位置に基づいて、前記場所ごとに、前記顧客が前記商品を把持したことを示す前記関係性を特定し、
前記場所ごとに、前記顧客が前記商品を把持したことを示す前記関係性の実績数を計数し、
前記場所ごとに、計数された前記実績数を対応付けた前記注目情報を前記表示装置に出力させる
処理を前記制御部が実行することを特徴とする付記１１に記載の情報処理装置。
（付記１４）所定の関係性と、前記所定の関係性が示された場合の顧客の位置とに基づいて、前記顧客が商品を把持した店内での場所を特定し、
映像に含まれる前記顧客を追跡し、
前記映像を分析することで、追跡した前記顧客が利用した会計機を特定し、
特定した前記会計機から取得した登録情報に基づいて、前記顧客が前記所定の関係性を示した前記店内での場所に配置された前記商品の購入数を特定し、
前記店内での前記商品が配置された場所ごとに、前記購入数を対応付けた注目情報を表示装置に出力させる
処理を前記制御部が実行することを特徴とする付記１１に記載の情報処理装置。
（付記１５）前記第１の領域と、前記第２の領域と、前記関係性とを特定する処理は、
取得した前記映像を機械学習モデルに入力することで、前記第１の領域と、前記第２の領域と、前記関係性とを特定する
処理を含み、
前記機械学習モデルは、前記商品を含む物体を示す第１のクラスおよび前記物体が出現する領域を示す前記第１の領域の情報と、前記商品を購入する人物を示す第２のクラスおよび前記人物が出現する領域を示す前記第２の領域の情報と、前記第１のクラスと前記第２のクラスとの相互作用と、を識別するように訓練されたＨＯＩＤ用のモデルである
ことを特徴とする付記１１に記載の情報処理装置。
（付記１６）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた情報処理装置であって、プロセッサは、
店内を撮影した映像を取得し、
取得した前記映像を分析することで、前記映像の中から、前記店内に配置された商品を含む第１の領域と、前記商品を購入する対象の顧客を含む第２の領域と、前記商品および前記顧客の相互作用を識別した関係性とを特定し、
特定された前記関係性に基づいて、前記商品が配置される場所の注目度を示す注目情報を生成し、
生成された前記注目情報を表示装置に出力させる
処理を実行することを特徴とする情報処理装置。
１ 情報処理システム
１０ 情報処理装置
１０ａ 通信装置
１０ｂ ＨＤＤ
１０ｃ メモリ
１０ｄ プロセッサ
１１ 通信部
１２ 記憶部
１３ 撮像ＤＢ
１４ カメラ設置ＤＢ
１５ 商品ＤＢ
１６ 会計登録ＤＢ
１７ モデルＤＢ
１８ 注目ＤＢ
２０ 制御部
２１ 取得部
２２ 特定部
２３ 生成部
２４ 出力部
５０ ネットワーク
１００ 会計機
２００ カメラ装置
２５１ 撮像画像
２６１ 人物のBbox
２６２ 物体のBbox

Claims (7)

  1. 店内を撮影した映像を取得し、
    取得した前記映像を分析することで、前記映像の中から、前記店内に配置された商品を含む第１の領域と、前記商品を購入する対象の顧客を含む第２の領域と、前記商品および前記顧客の相互作用を識別した関係性とを特定し、
    特定された前記関係性に基づいて、前記商品が配置される場所の注目度を示す注目情報を生成し、
    生成された前記注目情報を表示装置に出力させる
    処理をコンピュータに実行させることを特徴とする情報処理プログラム。
  2. 特定された前記関係性と、特定された前記関係性が示された場合の前記顧客の位置に基づいて、前記店内での前記商品が配置される所定の場所での、前記顧客のそれぞれが示した前記関係性の種類を特定し、
    前記所定の場所での、前記顧客が示した前記関係性の種類ごとの実績数を計数し、
    計数された前記実績数と前記所定の場所とを対応付けた前記注目情報を前記表示装置に出力させる
    処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
  3. 特定された前記関係性と、特定された前記関係性が示された場合の前記顧客の位置に基づいて、前記場所ごとに、前記顧客が前記商品を把持したことを示す前記関係性を特定し、
    前記場所ごとに、前記顧客が前記商品を把持したことを示す前記関係性の実績数を計数し、
    前記場所ごとに、計数された前記実績数を対応付けた前記注目情報を前記表示装置に出力させる
    処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
  4. 所定の関係性と、前記所定の関係性が示された場合の顧客の位置とに基づいて、前記顧客が商品を把持した店内での場所を特定し、
    映像に含まれる前記顧客を追跡し、
    前記映像を分析することで、追跡した前記顧客が利用した会計機を特定し、
    特定した前記会計機から取得した登録情報に基づいて、前記顧客が前記所定の関係性を示した前記店内での場所に配置された前記商品の購入数を特定し、
    前記店内での前記商品が配置された場所ごとに、前記購入数を対応付けた注目情報を表示装置に出力させる
    処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
  5. 前記第１の領域と、前記第２の領域と、前記関係性とを特定する処理は、
    取得した前記映像を機械学習モデルに入力することで、前記第１の領域と、前記第２の領域と、前記関係性とを特定する
    処理を含み、
    前記機械学習モデルは、前記商品を含む物体を示す第１のクラスおよび前記物体が出現する領域を示す前記第１の領域の情報と、前記商品を購入する人物を示す第２のクラスおよび前記人物が出現する領域を示す前記第２の領域の情報と、前記第１のクラスと前記第２のクラスとの相互作用と、を識別するように訓練されたＨＯＩＤ（Human Object Interaction Detection）用のモデルである
    ことを特徴とする請求項１に記載の情報処理プログラム。
  6. 店内を撮影した映像を取得し、
    取得した前記映像を分析することで、前記映像の中から、前記店内に配置された商品を含む第１の領域と、前記商品を購入する対象の顧客を含む第２の領域と、前記商品および前記顧客の相互作用を識別した関係性とを特定し、
    特定された前記関係性に基づいて、前記商品が配置される場所の注目度を示す注目情報を生成し、
    生成された前記注目情報を表示装置に出力させる
    処理をコンピュータが実行することを特徴とする情報処理方法。
  7. 店内を撮影した映像を取得し、
    取得した前記映像を分析することで、前記映像の中から、前記店内に配置された商品を含む第１の領域と、前記商品を購入する対象の顧客を含む第２の領域と、前記商品および前記顧客の相互作用を識別した関係性とを特定し、
    特定された前記関係性に基づいて、前記商品が配置される場所の注目度を示す注目情報を生成し、
    生成された前記注目情報を表示装置に出力させる
    処理を実行する制御部を有することを特徴とする情報処理装置。
JP2022199826A 2022-12-14 2022-12-14 情報処理プログラム、情報処理方法、および情報処理装置 Pending JP2024085336A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022199826A JP2024085336A (ja) 2022-12-14 2022-12-14 情報処理プログラム、情報処理方法、および情報処理装置
EP23195671.5A EP4386652A1 (en) 2022-12-14 2023-09-06 Information processing program, information processing method, and information processing device
US18/464,396 US20240203125A1 (en) 2022-12-14 2023-09-11 Information processing program, information processing method, and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022199826A JP2024085336A (ja) 2022-12-14 2022-12-14 情報処理プログラム、情報処理方法、および情報処理装置

Publications (1)

Publication Number Publication Date
JP2024085336A true JP2024085336A (ja) 2024-06-26

Family

ID=87933675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022199826A Pending JP2024085336A (ja) 2022-12-14 2022-12-14 情報処理プログラム、情報処理方法、および情報処理装置

Country Status (3)

Country Link
US (1) US20240203125A1 (ja)
EP (1) EP4386652A1 (ja)
JP (1) JP2024085336A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
US11810067B2 (en) * 2019-12-31 2023-11-07 Grabango Co. Digitally managed shelf space marketplace
JP2022165483A (ja) 2021-04-20 2022-11-01 コニカミノルタ株式会社 検出装置、検出システム、検出方法、および検出プログラム

Also Published As

Publication number Publication date
US20240203125A1 (en) 2024-06-20
EP4386652A1 (en) 2024-06-19

Similar Documents

Publication Publication Date Title
JP7009389B2 (ja) 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
US11663571B2 (en) Inventory management computer system
US8429016B2 (en) Generating an alert based on absence of a given person in a transaction
KR20200022341A (ko) 무인 상점 관리 방법 및 시스템
JP2016146026A (ja) 顧客分析方法及び分析装置
JP2024008245A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
US20240193995A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
KR20230060452A (ko) 행동 판정 프로그램, 행동 판정 방법 및 행동 판정 장치
KR20240101455A (ko) 정보 처리 프로그램, 정보 처리 방법 및 정보 처리 장치
JP7318753B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
US20220092614A1 (en) Information processing apparatus and information processing method
JP2024085336A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7318684B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7318683B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
WO2023032000A1 (ja) 処理装置、処理方法及びプログラム
US20240193573A1 (en) Storage medium and information processing device
US20230097352A1 (en) Non-transitory computer-readable recording medium, notification method, and information processing device
US20230005267A1 (en) Computer-readable recording medium, fraud detection method, and fraud detection apparatus
US20230093938A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
US20220092573A1 (en) Portable terminal and information processing method for a portable terminal
WO2021171553A1 (ja) 処理装置、処理方法及びプログラム
JP2024008708A (ja) 判定プログラム、判定方法、および判定装置
JP2024089580A (ja) 情報出力プログラム、情報出力方法及び情報処理装置
JP2024089579A (ja) アラート出力プログラム、アラート出力方法及び情報処理装置
JP2024082190A (ja) 情報処理プログラム、情報処理方法および情報処理装置