TWI779343B - 狀態識別方法、裝置、電子設備及電腦可讀儲存介質 - Google Patents

狀態識別方法、裝置、電子設備及電腦可讀儲存介質 Download PDF

Info

Publication number
TWI779343B
TWI779343B TW109129387A TW109129387A TWI779343B TW I779343 B TWI779343 B TW I779343B TW 109129387 A TW109129387 A TW 109129387A TW 109129387 A TW109129387 A TW 109129387A TW I779343 B TWI779343 B TW I779343B
Authority
TW
Taiwan
Prior art keywords
display
target user
display area
state
attention
Prior art date
Application number
TW109129387A
Other languages
English (en)
Other versions
TW202127319A (zh
Inventor
孫賀然
李佳寧
程玉文
任小兵
賈存迪
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202127319A publication Critical patent/TW202127319A/zh
Application granted granted Critical
Publication of TWI779343B publication Critical patent/TWI779343B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本公開提供了一種狀態識別方法、裝置、電子設備及電腦可讀儲存介質。作為一個示例，所述方法包括：獲取分別在多個展示區域採集的視訊畫面；識別出現在視訊畫面中的目標用戶的狀態；所述狀態包括目標用戶分別在各個展示區域的停留狀態、關注狀態以及情緒狀態中的至少兩種；控制終端設備顯示用於描述目標用戶分別在各個展示區域的狀態的顯示介面。

Description

狀態識別方法、裝置、電子設備及電腦可讀儲存介質
本公開涉及電腦技術領域，具體而言，涉及狀態識別方法、裝置、電子設備及儲存介質。 [相關申請的交叉引用] 本專利申請要求於2019年12月31日提交的、申請號為2019114163416的中國專利申請的優先權，該申請的全文以引用的方式併入本文中。
在諸如超市等購物門店、展覽館等展會場所中，通常會在各個展示區域展示各式各樣的物品，以供用戶購買或者參觀。用戶對各展示區域中物品的感興趣程度，是很多門店或展會所關注的問題之一。然而，由於門店或展會的人流特點多體現在人群密集且用戶活動軌跡處於無規律狀態，這使得對用戶對各展示區域中物品的感興趣程度的分析更加困難。
有鑑於此，本公開至少提供一種狀態識別方案。
第一方面，本公開提供了一種狀態識別方法，包括：獲取分別在多個展示區域採集的多個視訊畫面；識別出現在所述視訊畫面中的目標用戶的狀態；所述狀態包括所述目標用戶分別在各個所述展示區域的停留狀態、關注狀態以及情緒狀態中的至少兩種；控制終端設備顯示用於描述所述目標用戶分別在各個所述展示區域的狀態的顯示介面。
上述方法中，可以透過對採集的視訊畫面進行識別，得到目標用戶的狀態資料，基於目標用戶的至少兩種狀態資料，控制終端設備顯示用於描述目標用戶分別在各個展示區域的狀態的顯示介面，顯示的目標用戶的各個區域的狀態的顯示介面，可以直觀反映出目標用戶對展示區域展示的物體的感興趣程度，進而能夠以較為精準的用戶行為資訊作為參考來制定展示區域對應的展示方案。
一種可能的實施方式中，所述停留狀態包括停留時長和/或停留次數；所述識別出現在所述視訊畫面中的目標用戶的狀態，包括：針對每一所述展示區域，獲取所述展示區域對應的多個視訊畫面中出現所述目標用戶的目標視訊畫面的採集時間點；基於所述目標視訊畫面的採集時間點，確定所述目標用戶每次進入所述展示區域的開始時間；基於所述目標用戶每次進入所述展示區域的開始時間，確定所述目標用戶在所述展示區域的停留次數和/或停留時長。
上述方法中，透過基於目標用戶每次進入展示區域的開始時間，確定目標用戶在展示區域的停留次數和/或停留時長，得到停留狀態，為確定目標用戶對展示區域展示的物體的感興趣程度提供了資料支持。
一種可能的實施方式中，所述基於所述目標用戶每次進入所述展示區域的開始時間，確定所述目標用戶在所述展示區域的停留次數和/或停留時長，包括：在所述目標用戶接連兩次進入所述展示區域的開始時間之間的間隔超過第一時長的情況下，確定所述目標用戶在所述展示區域停留一次，和/或將所述間隔作為所述目標用戶在所述展示區域停留一次的停留時長。
透過上述方式可以將目標用戶在展示區域未有效停留的情況篩除，使得得到的停留狀態較為準確，以便較準確的反映目標用戶對展示區域展示的物體的感興趣程度。
一種可能的實施方式中，所述關注狀態包括關注時長和/或關注次數；所述識別出現在所述視訊畫面中的目標用戶的狀態，包括針對每一所述展示區域，獲取所述展示區域對應的多個視訊畫面中出現所述目標用戶的目標視訊畫面的採集時間點，以及所述目標視訊畫面中所述目標用戶的人臉朝向資料；在檢測到所述人臉朝向資料指示所述目標用戶關注所述展示區域的展示物體的情況下，將所述目標視訊畫面對應的採集時間點確定為所述目標用戶觀看所述展示物體的開始時間；基於確定的所述目標用戶多次觀看所述展示物體的開始時間，確定所述目標用戶在所述展示區域的關注次數和/或關注時長。
上述方法中，透過基於目標用戶每次進入展示區域的開始時間，確定目標用戶在展示區域的關注次數和/或關注時長，得到關注狀態，為確定目標用戶對展示區域展示的物體的感興趣程度提供了資料支持。
一種可能的實施方式中，所述基於確定的所述目標用戶多次觀看所述展示物體的開始時間，確定所述目標用戶在所述展示區域的關注次數和/或關注時長，包括：在所述目標用戶接連兩次觀看所述展示物體的開始時間之間的間隔超過第二時長的情況下，確定所述目標用戶關注所述展示區域一次，和/或將所述間隔作為所述用戶關注所述展示區域一次的關注時長。
透過上述方式將目標用戶觀看展示物體時長較短（在目標用戶觀看展示物體時長較短時，認為所述目標用戶未關注展示物體）的情況篩除，使得得到的關注狀態較為準確，以便較準確的反映目標用戶對展示區域展示的物體的感興趣程度。
一種可能的實施方式中，所述人臉朝向資料包括人臉的俯仰角和偏航角；在所述俯仰角處於第一角度範圍內、且所述偏航角處於第二角度範圍內的情況下，確定所述人臉朝向資料指示所述目標用戶關注所述展示區域的展示物體。
透過上述方式，確定目標用戶是否關注展示區域的展示物體，可以有效排除目標用戶出現在展示區域範圍內停留，但是未觀看展示物體的情況，提高識別率。
一種可能的實施方式中，所述目標用戶在每一所述展示區域中的情緒狀態包括以下至少一種：所述目標用戶停留在所述展示區域的總停留時長內出現最多的表情標簽；所述目標用戶關注所述展示區域的總關注時長內出現最多的表情標簽；所述展示區域對應的當前視訊畫面中所述目標用戶的表情標簽。
上述方法中，確定目標用戶在對應的展示區域中的表情標簽，可以基於情緒狀態中的表情標簽確定用戶對展示區域展示的物體的感興趣程度，例如，若表情標簽為開心時，則感興趣程度較高，若表情標簽為平靜時，則感興趣程度較低，進而使得結合情緒狀態，確定目標用戶對展示區域展示的物體的感興趣程度較準確。
一種可能的實施方式中，控制終端設備顯示用於描述所述目標用戶分別在各個所述展示區域的狀態的顯示介面，包括：基於所述目標用戶在各個所述展示區域的停留狀態和情緒狀態，控制所述終端設備顯示與各個所述展示區域分別對應的具有不同顯示狀態的顯示區域；或者，基於所述目標用戶在各個所述展示區域的關注狀態和情緒狀態，控制所述終端設備顯示與各個所述展示區域分別對應的具有不同顯示狀態的顯示區域。
一種可能的實施方式中，每個顯示區域用特定圖形表示；所述展示區域對應的所述特定圖形的顯示尺寸與所述關注時長或所述關注次數呈正比，所述展示區域對應的所述特定圖形的顏色與所述情緒狀態相匹配；或者，所述停留狀態表示所述目標用戶在所述展示區域的停留時長或停留次數，所述展示區域對應的所述特定圖形的顯示尺寸與所述停留時長或停留次數呈正比，所述展示區域對應的所述特定圖形的顏色與所述情緒狀態相匹配。
上述方法中，透過確定表徵對應顯示區域的特定圖形的尺寸以及表徵對應顯示區域的特定圖形的顏色，實現用不同尺寸和/或不同顏色的特定圖形，表示不同的顯示區域，使得終端設備顯示對應的具有不同顯示狀態的顯示區域時，較為直觀及靈活，具有對比性。
一種可能的實施方式中，還包括：在所述控制終端設備顯示用於描述所述目標用戶分別在各個所述展示區域的狀態的顯示介面之前，獲取用於觸發所述顯示介面的觸發操作。
一種可能的實施方式中，所述獲取用於觸發所述顯示介面的觸發操作，包括：控制所述終端設備的顯示介面顯示姿態提示框，所述姿態提示框中包括姿態描述內容；獲取並識別目標用戶展示的用戶姿態；在所述用戶姿態與所述姿態描述內容所記錄的姿態一致的情況下，確認獲取到用於觸發所述顯示介面的觸發操作。
上述方法中，可以在檢測到目標用戶展示的用戶姿態與姿態描述內容所記錄的姿態一致時，控制終端設備顯示目標用戶分別在各個展示區域的狀態的顯示介面，增加了用戶與設備之間的交互，提高了顯示的靈活性。
一種可能的實施方式中，還包括：在獲取分別在多個展示區域採集的視訊畫面之後，針對每一所述展示區域，獲取所述展示區域對應的多個視訊畫面中出現所述目標用戶的目標視訊畫面的採集時間點；基於各個展示區域對應的所述採集時間點，確定所述目標用戶在各個所述展示區域的移動軌跡資料；基於所述移動軌跡資料，控制所述終端設備顯示所述目標用戶在各個所述展示區域的移動軌跡路線。
上述實施方式中，可以結合得到的目標用戶的移動軌跡路線，較準確的確定目標用戶對展示區域展示的物體的感興趣程度，例如，若移動軌跡路線中，目標用戶多次移動至展示區域一，則確認目標用戶對展示區域一展示的物體的感興趣程度較高。
第二方面，本公開提供了一種狀態識別裝置，包括：視訊畫面獲取模組，用於獲取分別在多個展示區域採集的多個視訊畫面；狀態識別模組，用於識別出現在所述視訊畫面中的目標用戶的狀態；所述狀態包括所述目標用戶分別在各個所述展示區域的停留狀態、關注狀態以及情緒狀態中的至少兩種；控制模組，用於控制終端設備顯示用於描述所述目標用戶分別在各個所述展示區域的狀態的顯示介面。
第三方面，本公開提供一種電子設備，包括：處理器和儲存器，所述儲存器儲存有所述處理器可執行的機器可讀指令，所述機器可讀指令被所述處理器執行時，使所述處理器執行如上述第一方面或任一實施方式所述的狀態識別方法。
第四方面，本公開提供一種電腦可讀儲存介質，所述電腦可讀儲存介質上儲存有電腦程式，所述電腦程式被處理器運行時，使所述處理器執行如上述第一方面或任一實施方式所述的狀態識別方法。
為使本公開的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。
為使本公開實施例的目的、技術方案和優點更加清楚，下面將結合本公開實施例中的附圖，對本公開實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本公開一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本公開實施例的組件可以以各種不同的配置來佈置和設計。因此，以下對在附圖中提供的本公開的實施例的詳細描述並非旨在限制要求保護的本公開的範圍，而是僅僅表示本公開的選定實施例。基於本公開的實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬本公開保護的範圍。
為便於對本公開實施例進行理解，首先對本公開實施例所公開的一種狀態識別方法進行詳細介紹。
本公開實施例提供的狀態識別方法可應用於伺服器，或者應用於支持顯示功能的終端設備。伺服器可以是本地伺服器也可以是雲端伺服器等，終端設備可以是智能手機、平板電腦、個人數位處理（Personal Digital Assistant，PDA）、智能電視等，本公開對此並不限定。
在本公開實施例應用於伺服器時，本公開中的資料可以是從終端設備和/或攝像設備中獲取的，控制顯示介面的顯示狀態，可以是透過向終端設備下發控制指令，來實現對終端設備的顯示介面的顯示狀態的控制。
圖1為本公開實施例所提供的一種狀態識別方法的流程示意圖，其中，所述方法包括以下幾個步驟。
S101，獲取分別在多個展示區域採集的視訊畫面。
S102，識別出現在視訊畫面中的目標用戶的狀態；所述狀態包括目標用戶分別在各個展示區域的停留狀態、關注狀態以及情緒狀態中的至少兩種。
S103，控制終端設備顯示用於描述目標用戶分別在各個展示區域的狀態的顯示介面。
基於上述步驟，透過對採集的視訊畫面進行識別，得到目標用戶的狀態資料，基於目標用戶的至少兩種狀態資料，控制終端設備顯示用於描述目標用戶分別在各個展示區域的狀態的顯示介面，顯示的目標用戶的各個區域的狀態的顯示介面，可以直觀反映出目標用戶對展示區域展示的物體的感興趣程度，進而能夠以較為精準的用戶行為資訊作為參考來制定展示區域對應的展示方案。
以下對步驟S101~S103分別進行說明。
針對步驟S101，本公開實施例中，可以在每個展示區域中部署至少一個攝像設備，獲取每個展示區域部署的至少一個攝像設備採集的視訊畫面。其中，伺服器或終端設備可以實時獲取攝像設備採集的視訊畫面，也可以從本地儲存的視訊資料中獲取攝像設備採集的視訊畫面，還可以從雲端儲存的視訊資料中獲取攝像設備採集的視訊畫面。
其中，所述展示區域可以為展示場所中設置的展示物體的區域，比如會場或展覽館的展廳或展區等，或者，所述展示區域還可以為線下購物門店中展示不同種類物體的售賣區域等。
針對步驟S102，本公開實施例中，基於採集的視訊畫面，可以透過影像識別技術識別出現在視訊畫面中的目標用戶的狀態。停留狀態是指目標用戶停留在對應的展示區域的狀態，比如停留狀態包括停留時長、停留次數等；關注狀態是指目標用戶關注對應的展示區域的狀態，比如關注狀態包括關注時長、關注次數等；情緒狀態是指目標用戶在對應的展示區域時的情緒的狀態，比如情緒狀態包括開心、平靜等表情標簽。
所述公開實施例中，目標用戶可以為每一出現在視訊畫面中的用戶；也可以為根據用戶的資訊確定的目標用戶，例如，目標用戶可以為預設時間段內出入展示場所或實體店的頻次較高的用戶，或者，目標用戶還可以為用戶等級滿足要求的用戶，比如VIP用戶等；還可以為根據設置的條件從多個用戶中選擇一用戶作為目標用戶，例如，設置的條件可以為性別：女，年齡：xx-xx；身高：xx釐米等。其中，目標用戶的選擇可以根據實際應用場景進行確定。
一種可能的實施方式中，停留狀態包括停留時長和/或停留次數。
參見圖2所示，識別出現在視訊畫面中的目標用戶的狀態，包括步驟S201～S203。
S201，針對每一展示區域，獲取展示區域對應的多個視訊畫面中出現目標用戶的目標視訊畫面的採集時間點。
S202，基於目標視訊畫面的採集時間點，確定目標用戶每次進入展示區域的開始時間。
S203，基於目標用戶每次進入展示區域的開始時間，確定目標用戶在展示區域的停留次數和/或停留時長。
示例性的，採集時間點為目標用戶出現在目標視訊畫面時對應的時間，例如，目標用戶出現在目標視訊畫面時的時間資訊為11:30:00、11:30:20、11:32:30，則採集時間點可以為11:30:00（即11點30分00秒）、11:30:20、11:32:30。具體的，可以將目標用戶出現在目標視訊畫面的採集時間點，作為目標用戶每次進入展示區域的開始時間，比如開始時間可以為11:30:00、11:30:20、11:32:30。
還可以設置間隔時間門檻值，並在檢測到下一個採集時間點（下文稱為目標採集時間點）與相鄰的前一個採集時間點之間間隔的時間值小於等於設置的間隔時間門檻值時，則確定目標採集時間點不能作為開始時間；在檢測到目標採集時間點與相鄰的前一個採集時間點之間間隔的時間值大於設置的間隔時間門檻值時，則目標採集時間點能夠作為開始時間。例如，設置的間隔時間門檻值為30秒，則檢測到採集時間點11:30:20與採集時間點11:30:00之間的時間間隔小於30秒，則採集時間點11:30:20不能作為目標用戶進入展示區域的開始時間；檢測到採集時間點11:32:30與採集時間點11:30:20之間的時間間隔大於30秒，則採集時間點11:32:30能夠作為目標用戶進入展示區域的開始時間。其中，間隔時間門檻值可以基於展示區域的面積、目標用戶的行走速度等資訊進行確定。
在一種可能的實施方式中，在確定目標用戶在展示區域的停留次數和/或停留時長時，可以採用如下方式：在目標用戶接連兩次進入展示區域的開始時間之間的間隔超過第一時長的情況下，確定目標用戶在展示區域停留一次，和/或將接連兩次進入展示區域的開始時間之間的間隔作為目標用戶在展示區域停留一次的停留時長。
示例性的，若目標用戶多次進入展示區域的開始時間為：11:30:00、11:45:00、11:50:00，第一時長設置為10分鐘。由於第一次進入展示區域的開始時間與第二次進入展示區域的開始時間之間的間隔為15分鐘，大於第一時長，則確定目標用戶在展示區域停留一次，對應的停留時長為15分鐘。由於第二次進入展示區域的開始時間與第三次進入展示區域的開始時間之間的間隔為5分鐘，小於第一時長，則確定目標用戶在展示區域未較長時間的停留。
透過上述實施方式可以將目標用戶在展示區域未有效停留的情況篩除，使得得到的停留狀態較為準確，進而確定的目標用戶對展示區域展示的物體的感興趣程度也較為準確。
一種可能的實施方式中，關注狀態包括關注時長和/或關注次數。
參見圖3所示，基於採集的視訊畫面，識別出現在視訊畫面中的目標用戶的狀態，包括：步驟S301～S303。
S301，針對每一展示區域，獲取展示區域對應的多個視訊畫面中出現目標用戶的目標視訊畫面的採集時間點，以及目標視訊畫面中目標用戶的人臉朝向資料。
S302，在檢測到人臉朝向資料指示目標用戶關注展示區域的展示物體的情況下，將目標視訊畫面對應的採集時間點確定為目標用戶觀看展示物體的開始時間。
S303，基於確定的目標用戶多次觀看展示物體的開始時間，確定目標用戶在展示區域的關注次數和/或關注時長。
本公開實施例中，人臉朝向資料表征為目標用戶在採集時間點的觀看方向，例如，若人臉朝向資料指示目標用戶的觀看方向為東，則表示目標用戶在觀看位於東方向的展示區域展示的物體。
若在檢測到人臉朝向資料指示目標用戶未關注展示區域的展示物體，則不將目標視訊畫面對應的採集時間點確定為目標用戶觀看展示物體的開始時間。
透過上述實施方式可以將目標用戶在展示區域未停留的情況篩除，使得得到的停留狀態較為準確，以便較準確的反映目標用戶對展示區域展示的物體的感興趣程度。
一種可能的實施方式中，基於確定的目標用戶多次觀看展示物體的開始時間，確定目標用戶在展示區域的關注次數和/或關注時長，包括：在目標用戶接連兩次觀看展示物體的開始時間之間的間隔超過第二時長的情況下，確定目標用戶關注展示區域一次，和/或將接連兩次觀看展示區域的開始時間之間的間隔作為用戶關注展示區域一次的關注時長。
示例性的，若目標用戶多次觀看展示物體的開始時間為：12:10:00、12:25:00、12:30:00，第二時長設置為10分鐘。由於第一次觀看展示物體的開始時間與第二次觀看展示物體的開始時間之間的間隔為15分鐘，大於第二時長，則確定目標用戶關注展示區域一次，對應的關注時長為15分鐘。由於第二次觀看展示物體的開始時間與第三次觀看展示物體的開始時間之間的間隔為5分鐘，小於第二時長，則確定目標用戶未關注展示區域。
基於以上實施方式，可以將兩次觀看展示物體的開始時間之間的間隔小於第二時長的情況篩除，即將目標用戶觀看展示物體時長較短（在目標用戶觀看展示物體時長較短時，認為所述目標用戶未關注展示物體）的情況篩除，使得得到的關注狀態較為準確，以便較準確的反映目標用戶對展示區域展示物體的感興趣程度。
一種可能的實施方式中，人臉朝向資料包括人臉的俯仰角和偏航角。檢測到人臉朝向資料指示目標用戶關注展示區域的展示物體，包括：在俯仰角處於第一角度範圍內、且偏航角處於第二角度範圍內的情況下，確定檢測到人臉朝向資料指示目標用戶關注展示區域的展示物體。
本公開實施例中，在俯仰角不處於第一角度範圍內，和/或偏航角不處於第二角度範圍內的情況下，則確定人臉朝向資料指示目標用戶未關注展示區域的展示物體。
其中，可以根據展示物體的體積、展示區域的大小等確定第一角度範圍與第二角度範圍。
透過上述實施方式來確定目標用戶是否關注展示區域的展示物體，可以有效排除目標用戶出現在展示區域範圍內停留，但是未觀看展示物體的情況，提高目標用戶對展示區域內展示物體感興趣的識別率。
一種可能的實施方式中，目標用戶在每一展示區域中的情緒狀態包括以下至少一種：目標用戶停留在展示區域的總停留時長內出現最多的表情標簽；目標用戶關注展示區域的總關注時長內出現最多的表情標簽；展示區域對應的當前視訊畫面中目標用戶的表情標簽。
本公開實施例中，表情標簽可以包括開心、平靜、難過等。示例性的，可以透過訓練好的神經網路模型對包括目標用戶的目標視訊畫面進行識別，得到目標視訊畫面中目標用戶對應的表情標簽。
示例性的，確定目標用戶在對應的展示區域中的表情標簽，可以基於表情標簽確定用戶對展示區域展示物體的感興趣程度，例如，若表情標簽為開心時，則感興趣程度較高，若表情標簽為平靜時，則感興趣程度較低，進而使得結合情緒狀態，確定目標用戶對展示區域內展示物體的感興趣程度較準確。
針對步驟S103，本公開實施例中，伺服器基於目標用戶的狀態資料，控制終端設備顯示用於描述目標用戶分別在各個展示區域的狀態的顯示介面；或者，終端設備上設置的處理器控制終端設備顯示用於描述目標用戶分別在各個展示區域的狀態的顯示介面。
一種可能的實施方式中，控制終端設備顯示用於描述目標用戶分別在各個展示區域的狀態的顯示介面，包括：基於目標用戶在各個展示區域的停留狀態和情緒狀態，控制終端設備顯示與各個展示區域分別對應的具有不同顯示狀態的顯示區域；或者，基於目標用戶在各個展示區域的關注狀態和情緒狀態，控制終端設備顯示與各個展示區域分別對應的具有不同顯示狀態的顯示區域。
本公開實施例中，可以基於目標用戶在各個展示區域的停留狀態和情緒狀態，或者，基於目標用戶在各個展示區域的關注狀態和情緒狀態，控制終端設備顯示與各個展示區域分別對應的具有不同顯示狀態的顯示區域。
一種可能的實施方式中，每個顯示區域可以用特定圖形表示；關注狀態表示目標用戶關注展示區域的關注時長或關注次數，展示區域對應的特定圖形的顯示尺寸與所述關注時長或關注次數呈正比、展示區域對應的特定圖形的顏色與情緒狀態相匹配；或者，停留狀態表示目標用戶在展示區域的停留時長或停留次數，展示區域對應的特定圖形的顯示尺寸與停留時長或停留次數呈正比、展示區域對應的特定圖形的顏色與表情緒狀態相匹配。
本公開實施例中，可以將目標用戶關注時長較長或關注次數較多的展示區域，對應的特定圖形的尺寸設置的較大；將目標用戶關注時長較短或關注次數較少的展示區域，對應的特定圖形的尺寸設置的較小；同時，還可以為基於不同的表情標簽，為特定圖形設置不同的顏色，比如將表情標簽為開心對應的特定圖形設置為紅色，將表情標簽為平靜對應的特定圖形設置為藍色等。進一步的，針對某一展示區域，根據目標用戶的關注時長或關注次數，以及目標用戶觀看所述展示區域的表情標簽，確定了所述展示區域對應的顯示區域。其中，基於停留狀態，確定展示區域對應的特定圖形的尺寸可參照上述過程，在此不再贅述。
本公開實施例中，還可以為每個表情標簽設置對應的影像，使得展示區域對應的特定圖形上設置的影像與表情標簽相匹配。例如，若表情標簽為開心，則特定圖形上對應的影像可以為笑臉，若表情標簽為悲傷，則特定圖形上對應的影像可以為哭泣臉等。本公開實施例中，還可以基於週期性確定出的目標用戶的狀態資料，來更新與狀態資料對應的特定圖形的顯示狀態，比如，更新特定圖形的尺寸，或者更新特定圖形的顏色等。
此外，本公開實施例中關於特定圖形的顯示狀態並不限定於尺寸和顏色等，還可以包括特定圖形的形狀，在特定影像上疊加特效等。
上述方法中，透過確定表徵對應顯示區域的特定圖形的尺寸以及表徵對應顯示區域的特定圖形的顏色，實現用不同尺寸和/或不同顏色的特定圖形，表示不同的顯示區域，使得終端設備顯示對應的不同顯示狀態的顯示區域時，較為直觀及靈活，具有對比性。
一種可能的實施方式中，在控制終端設備顯示用於描述目標用戶分別在各個展示區域的狀態的顯示介面之前，還包括：獲取用於觸發顯示介面的觸發操作。
本公開實施例中，在獲取目標用戶觸發顯示介面的觸發操作後，響應所述觸發操作，控制終端設備顯示用於描述目標用戶分別在各個展示區域的狀態的顯示介面。
一種可能的實施方式中，參見圖4所示，獲取用於觸發顯示介面的觸發操作，包括步驟S401～S403。
S401，控制終端設備的顯示介面顯示姿態提示框，姿態提示框中包括姿態描述內容。
S402，獲取並識別目標用戶展示的用戶姿態。
S403，在用戶姿態與姿態描述內容所記錄的姿態一致的情況下，確認獲取到用於觸發顯示介面的觸發操作。
示例性的，姿態提示框中包括姿態描述內容，使得目標用戶可以基於姿態提示框中的姿態描述內容，完成姿態展示，例如姿態描述內容可以為舉手確認等，則目標用戶可以按照姿態提示框中顯示的舉手確認的內容，完成舉手操作。
本公開實施例中，在目標用戶完成姿態展示後，控制攝像設備獲取並識別目標用戶展示的用戶姿態，在用戶姿態與姿態描述內容所記錄的姿態一致的情況下，確認獲取到用於觸發顯示介面的觸發操作。在用戶姿態與姿態描述內容所記錄的姿態不一致的情況下，可以在姿態提示框中顯示提示資訊，使得目標用戶基於提示資訊更改展示的用戶姿態。例如，提示資訊可以為“姿態不正確，請更改姿態”。具體的，若更改後的用戶姿態與姿態描述內容所記錄的姿態一致，則確認獲取到用於觸發顯示介面的觸發操作。
本公開實施例中，還可以為姿態提示框設置顯示時間門檻值，若在超過顯示時間門檻值的時間內，目標用戶展示的用戶姿態與姿態描述內容所記錄的姿態依然不一致，則確認未獲取到用於觸發顯示介面的觸發操作，並控制終端設備的顯示介面關閉姿態提示框。例如，顯示時間門檻值可以為60秒，若在第61秒時，目標用戶展示的用戶姿態與姿態描述內容所記錄的姿態依然不一致時，則確認未獲取到用於觸發顯示介面的觸發操作，並控制終端設備的顯示介面關閉姿態提示框。
本公開實施例中，姿態描述內容所記錄的姿態可以為單人的點頭、搖頭、舉手、鼓掌等動作；還可以為多人的交互動作，例如，擊掌、手拉手等動作。和/或，還可以基於表情，確定觸發顯示介面的觸發操作，比如，控制終端設備的顯示介面顯示表情提示框，表情提示框中包括表情描述內容；獲取並識別攝像設備採集的視訊畫面中的用戶表情；在用戶表情與表情描述內容所記錄的表情一致的情況下，確認獲取到用於觸發顯示介面的觸發操作。其中，姿態描述內容所記錄的姿態和表情描述內容所記錄的表情，可以根據實際需要進行設置。
本公開實施例中，還可以設置顯示按鈕，在檢測到顯示按鈕被觸發時，則獲取到用於觸發顯示介面的觸發操作，例如，在顯示按鈕被點擊時，則獲取到目標用戶觸發顯示介面的觸發操作。
或者，還可以透過語音的方式，確定是否獲取到目標用戶觸發顯示介面的觸發操作。例如，若預設的觸發語音資料可以為“你好，請展示”，則在終端設備檢測到“你好，請展示”的音頻資料時，確定獲取到用於觸發所述顯示介面的觸發操作。
圖5示出的是一種姿態提示框的介面示意圖，所述姿態提示框從上至下依次為標題資訊、姿態顯示區域、姿態描述內容，由圖可知，所述圖中的標題資訊為：舉手確認，姿態描述內容為：請您正面位於取景框內，舉手確認。
本公開實施例中，可以在檢測到採集的視訊畫面中的用戶姿態與姿態描述內容所記錄的姿態一致時，控制終端設備顯示目標用戶分別在各個展示區域的狀態的顯示介面，增加了目標用戶與設備之間的交互，提高了顯示的靈活性。
一種可能的實施方式中，在獲取分別在多個展示區域採集的視訊畫面之後，還包括：針對每一展示區域，獲取展示區域對應的多個視訊畫面中出現目標用戶的目標視訊畫面的採集時間點；基於各個展示區域對應的採集時間點，確定目標用戶在各個展示區域的移動軌跡資料；基於移動軌跡資料，控制終端設備顯示目標用戶在各個展示區域的移動軌跡路線。
本公開實施例中，針對基於各個展示區域對應的採集時間點，可以確定目標用戶在各個展示區域的移動順序（即移動軌跡資料）；基於移動順序，控制終端設備顯示目標用戶在各個展示區域的移動軌跡路線。例如，若展示區域包括展示區域一、展示區域二、展示區域三，確定展示區域一對應的採集時間點為13：10：00，展示區域二對應的採集時間點為14：00：00，展示區域三對應的採集時間點為13：30：00，可知，移動軌跡資料為用戶從區域一移動至區域三，從區域三移動至區域二，進而可基於移動軌跡資料，控制終端設備顯示目標用戶在各個展示區域的移動軌跡路線。
本公開實施例中，還可以結合得到的目標用戶的移動軌跡路線，較準確的確定目標用戶對展示區域內展示物體的感興趣程度，例如，若移動軌跡路線中，目標用戶多次移動至展示區域一，則確認目標用戶對展示區域一展示物體的感興趣程度較高。
圖6出的是一種控制終端顯示介面的介面示意圖，所述圖中從左至右依次為第一區域以及第二區域，第一區域中顯示有目標用戶的移動軌跡路線，第二區域中從上至下依次為目標用戶畫像分析區域、狀態資料展示區域。第一區域中虛線代表目標用戶的移動軌跡路線。在第二區域的目標用戶畫像分析區域中，從左至右依次為目標用戶影像區域（正方形框內的區域）、目標用戶資訊展示區域，目標用戶資訊可以為年齡、魅力值、性別、停留時長、表情、關注時長等，目標用戶資訊還可以為基於目標用戶的影像，從設置的至少一個形容詞中，匹配到的目標形容詞，比如，溫柔大方、時尚美麗等。目標用戶影像區域顯示的目標用戶影像可以為從目標視訊畫面中確定的影像質量符合要求的目標用戶的影像，比如，影像質量符合要求可以包括人臉顯示全面、影像清晰等，目標用戶影像也可以為目標用戶上傳的影像。第二區域中的狀態資料展示區域中包括目標用戶關注的至少一個展示區域，狀態資料展示區域中顯示的顯示區域的數量可以根據實際需要進行確定。其中，可以用圓形表示每個顯示區域，圓形的顯示尺寸越大，則對應的目標用戶關注展示區域的關注時長越長或關注次數越多。示例性的，可以將狀態資料展示區域中的顯示區域按照尺寸從大到小排列依次為：第一顯示區域601、第二顯示區域602、第三顯示區域603、第四顯示區域604、第五顯示區域605；圓形的輪廓的顏色不同，則代表表情標簽不同，即第一顯示區域與第三顯示區域的表情標簽相同，第二顯示區域與第四顯示區域的表情標簽相同。
示例性的，以所述方法應用於實體店的場景中進行說明，比如若所述方法應用於電子產品實體店場景中，第一顯示區域可以電腦，第二展示區域可以為平板，第三展示區域可以為手機，第四展示區域可以為電子產品對應的電子配件，第五展示區域可以為電子產品對應的裝飾品，則透過本公開提供的方法，可以對進入電子產品實體店內的目標用戶的感興趣物體以及對應的感興趣程度進行分析。具體的，獲取分別部署在多個展示區域的攝像設備採集的視訊畫面（若展示區域的面積較大，可以在每個展示區域處部署一攝像設備，若展示區域較小，可以在多個展示區域處部署一個攝像設備）；識別出現在視訊畫面中的目標用戶的狀態；狀態可以包括停留狀態和情緒狀態，或者可以為關注狀態和情緒狀態；控制終端設備顯示用於描述目標用戶分別在各個展示區域的狀態的顯示介面。由此可以便於商家或者展示方透過顯示的顯示介面確定目標用戶的感興趣物體以及感興趣程度，例如可以將感興趣程度最高的物體（比如手機），確定為目標用戶的感興趣物體。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
基於相同的構思，本公開實施例還提供了一種狀態識別裝置，圖7為本公開實施例所提供的一種狀態識別裝置的架構示意圖。所述裝置包括視訊畫面獲取模組701、狀態識別模組702和控制模組703。
視訊畫面獲取模組701用於獲取分別在多個展示區域採集的多個視訊畫面。
狀態識別模組702用於識別出現在所述視訊畫面中的目標用戶的狀態；所述狀態包括所述目標用戶分別在各個所述展示區域的停留狀態、關注狀態以及情緒狀態中的至少兩種。
控制模組703，用於控制終端設備顯示用於描述所述目標用戶分別在各個所述展示區域的狀態的顯示介面。
一種可能的實施方式中，所述停留狀態包括停留時長和/或停留次數；所述狀態識別模組702在識別出現在所述視訊畫面中的目標用戶的狀態時，用於：針對每一所述展示區域，獲取所述展示區域對應的多個視訊畫面中出現所述目標用戶的目標視訊畫面的採集時間點；基於所述目標視訊畫面的採集時間點，確定所述目標用戶每次進入所述展示區域的開始時間；基於所述目標用戶每次進入所述展示區域的開始時間，確定所述目標用戶在所述展示區域的停留次數和/或停留時長。
一種可能的實施方式中，所述狀態識別模組702，在基於所述目標用戶每次進入所述展示區域的開始時間，確定所述目標用戶在所述展示區域的停留次數和/或停留時長時，用於：在所述目標用戶接連兩次進入所述展示區域的開始時間之間的間隔超過第一時長的情況下，確定所述目標用戶在所述展示區域停留一次，和/或將所述間隔作為所述目標用戶在所述展示區域停留一次的停留時長。
一種可能的實施方式中，所述關注狀態包括關注時長和/或關注次數；所述狀態識別模組702，在識別出現在所述視訊畫面中的目標用戶的狀態時，用於：針對每一所述展示區域，獲取所述展示區域對應的多個視訊畫面中出現所述目標用戶的目標視訊畫面的採集時間點，以及所述目標視訊畫面中所述目標用戶的人臉朝向資料；在檢測到所述人臉朝向資料指示所述目標用戶關注所述展示區域的展示物體的情況下，將所述目標視訊畫面對應的採集時間點確定為所述目標用戶觀看所述展示物體的開始時間；並基於確定的所述目標用戶多次觀看所述展示物體的開始時間，確定所述目標用戶在所述展示區域的關注次數和/或關注時長。
一種可能的實施方式中，所述狀態識別模組702，在基於確定的所述目標用戶多次觀看所述展示物體的開始時間，確定所述目標用戶在所述展示區域的關注次數和/或關注時長時，用於：在所述目標用戶接連兩次觀看所述展示物體的開始時間之間的間隔超過第二時長的情況下，確定所述目標用戶關注所述展示區域一次，和/或將所述間隔作為所述用戶關注所述展示區域一次的關注時長。
一種可能的實施方式中，所述人臉朝向資料包括人臉的俯仰角和偏航角；所述狀態識別模組702用於：在所述俯仰角處於第一角度範圍內、且所述偏航角處於第二角度範圍內的情況下，確定檢測到所述人臉朝向資料指示所述目標用戶關注所述展示區域的展示物體。
一種可能的實施方式中，所述目標用戶在每一所述展示區域中的情緒狀態包括以下中的至少一種：所述目標用戶停留在所述展示區域的總停留時長內出現最多的表情標簽；所述目標用戶關注所述展示區域的總關注時長內出現最多的表情標簽；所述展示區域對應的當前視訊畫面中所述目標用戶的表情標簽。
一種可能的實施方式中，所述控制模組703，控制終端設備顯示用於描述所述目標用戶分別在各個所述展示區域的狀態的顯示介面時，用於：基於所述目標用戶在各個所述展示區域的停留狀態和情緒狀態，控制所述終端設備顯示與各個所述展示區域分別對應的具有不同顯示狀態的顯示區域；或者，基於所述目標用戶在各個所述展示區域的關注狀態和情緒狀態，控制所述終端設備顯示與各個所述展示區域分別對應的具有不同顯示狀態的顯示區域。
一種可能的實施方式中，每個顯示區域用特定圖形表示；所述關注狀態表示所述目標用戶關注所述展示區域的關注時長或關注次數，所述展示區域對應的所述特定圖形的顯示尺寸與所述關注時長或所述關注次數呈正比，所述展示區域對應的所述特定圖形的顏色與所述情緒狀態相匹配；或者，所述停留狀態表示所述目標用戶在所述展示區域的停留時長或停留次數，所述展示區域對應的所述特定圖形的顯示尺寸與停留時長或停留次數呈正比，所述展示區域對應的所述特定圖形的顏色與所述情緒狀態相匹配。
一種可能的實施方式中，所述裝置還包括觸發操作獲取模組，用於獲取用於觸發所述顯示介面的觸發操作。
一種可能的實施方式中，所述觸發操作獲取模組，在獲取用於觸發所述顯示介面的觸發操作時，包括：控制所述終端設備的顯示介面顯示姿態提示框，所述姿態提示框中包括姿態描述內容；獲取並識別所述目標用戶展示的用戶姿態；在所述用戶姿態與所述姿態描述內容所記錄的姿態一致的情況下，確認獲取到用於觸發所述顯示介面的觸發操作。
一種可能的實施方式中，所述裝置還包括：採集時間點確定模組、移動軌跡資料確定模組和路線顯示模組。
採集時間點確定模組用於針對每一所述展示區域，獲取所述展示區域對應的多個視訊畫面中出現所述目標用戶的目標視訊畫面的採集時間點。
移動軌跡資料確定模組用於基於各個展示區域對應的所述採集時間點，確定所述目標用戶在各個所述展示區域的移動軌跡資料。
路線顯示模組用於基於所述移動軌跡資料，控制所述終端設備顯示所述目標用戶在各個所述展示區域的移動軌跡路線。
在一些實施例中，本公開實施例提供的裝置具有的功能或包含的模板可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述。
基於同一技術構思，本公開實施例還提供了一種電子設備。圖8為本公開實施例提供的電子設備的結構示意圖。所述電子設備包括處理器801、儲存器802和總線803。其中，儲存器802用於儲存執行指令，包括內存8021和外部儲存器8022；這裡的內存8021也稱內存儲存器，用於暫時存放處理器801中的運算資料，以及與硬碟等外部儲存器8022交換的資料，處理器801透過內存8021與外部儲存器8022進行資料交換，當電子設備800運行時，處理器801與儲存器802之間透過總線803通信，使得處理器801在執行以下指令：獲取分別在多個展示區域採集的視訊畫面；識別出現在所述視訊畫面中的目標用戶的狀態；所述狀態包括所述目標用戶分別在各個所述展示區域的停留狀態、關注狀態以及情緒狀態中的至少兩種；控制終端設備顯示用於描述所述目標用戶分別在各個所述展示區域的狀態的顯示介面。
此外，本公開實施例還提供一種電腦可讀儲存介質，所述電腦可讀儲存介質上儲存有電腦程式，所述電腦程式被處理器運行時執行上述方法實施例中所述的狀態識別方法的步驟。
本公開實施例所提供的狀態識別方法的電腦程式產品，包括儲存了程式代碼的電腦可讀儲存介質，所述程式代碼包括的指令可用於執行上述方法實施例中所述的狀態識別方法的步驟。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統和裝置的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。在本公開所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以透過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，又例如，多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是透過一些通信接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本公開各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個處理器可執行的非易失的電腦可讀取儲存介質中。基於這樣的理解，本公開的技術方案本質上或者說對現有技術做出貢獻的部分或者所述技術方案的部分可以以軟體產品的形式體現出來，所述電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）執行本公開各個實施例所述方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式代碼的介質。
以上僅為本公開的具體實施方式，但本公開的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本公開揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本公開的保護範圍之內。因此，本公開的保護範圍應以請求項的保護範圍為準。
S101、S102、S103、S201、S202、S203、S301、S302、S303、S401、S402、S403:步驟 601:第一顯示區域 602:第二顯示區域 603:第三顯示區域 604:第四顯示區域 605:第五顯示區域 701:視訊畫面獲取模組 702:狀態識別模組 703:控制模組 800:電子設備 801:處理器 802:儲存器 8021:內存 8022:外部儲存器 803:總線
為了更清楚地說明本公開實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單介紹，此處的附圖被併入說明書中並構成本說明書中的一部分，這些附圖示出了符合本公開的實施例，並與說明書一起用於說明本公開的技術方案。應當理解，以下附圖僅示出了本公開的某些實施例，因此不應被看作是對範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。 圖1示出了本公開實施例所提供的一種狀態識別方法的流程示意圖。 圖2示出了本公開實施例所提供的一種狀態識別方法中，識別出現在視訊畫面中的目標用戶的狀態的方法的流程示意圖。 圖3示出了本公開實施例所提供的一種狀態識別方法中，識別出現在視訊畫面中的目標用戶的狀態的方法的流程示意圖。 圖4示出了本公開實施例所提供的一種狀態識別方法中，獲取到用於觸發顯示介面的觸發操作的方法的流程示意圖。 圖5示出了本公開實施例所提供的一種姿態提示框的介面示意圖。 圖6示出了本公開實施例所提供的一種控制終端顯示介面的介面示意圖。 圖7示出了本公開實施例所提供的一種狀態識別裝置的架構示意圖。 圖8示出了本公開實施例所提供的一種電子設備的結構示意圖。
S101、S102、S103:步驟

Claims (14)

  1. 一種狀態識別方法，包括：狀態識別裝置獲取分別在多個展示區域採集的多個視訊畫面，其中，所述狀態識別裝置包括處理器和儲存器；所述狀態識別裝置識別出現在所述視訊畫面中的目標用戶的狀態，所述狀態包括所述目標用戶分別在各個所述展示區域的停留狀態、關注狀態以及情緒狀態中的至少兩種；以及所述狀態識別裝置控制終端設備顯示用於描述所述目標用戶分別在各個所述展示區域的狀態的顯示介面，其中，所述控制終端設備顯示用於描述所述目標用戶分別在各個所述展示區域的狀態的顯示介面，包括：基於所述目標用戶在各個所述展示區域的停留狀態和情緒狀態，控制所述終端設備顯示與各個所述展示區域分別對應的具有不同顯示狀態的顯示區域；或者基於所述目標用戶在各個所述展示區域的關注狀態和情緒狀態，控制所述終端設備顯示與各個所述展示區域分別對應的具有不同顯示狀態的顯示區域。
  2. 如請求項1所述的狀態識別方法，其中所述停留狀態包括停留時長和/或停留次數；所述識別出現在所述視訊畫面中的目標用戶的狀態，包括：針對每一所述展示區域，獲取所述展示區域對應的多個視訊畫面中出現所述目標用戶的目標視訊畫面的採集時間點； 基於所述目標視訊畫面的採集時間點，確定所述目標用戶每次進入所述展示區域的開始時間；以及基於所述目標用戶每次進入所述展示區域的開始時間，確定所述目標用戶在所述展示區域的停留次數和/或停留時長。
  3. 如請求項2所述的狀態識別方法，其中所述基於所述目標用戶每次進入所述展示區域的開始時間，確定所述目標用戶在所述展示區域的停留次數和/或停留時長，包括：在所述目標用戶接連兩次進入所述展示區域的開始時間之間的間隔超過第一時長的情況下，確定所述目標用戶在所述展示區域停留一次，和/或將所述間隔作為所述目標用戶在所述展示區域停留一次的停留時長。
  4. 如請求項1所述的狀態識別方法，其中所述關注狀態包括關注時長和/或關注次數；所述識別出現在所述視訊畫面中的目標用戶的狀態，包括：針對每一所述展示區域，獲取所述展示區域對應的多個視訊畫面中出現所述目標用戶的目標視訊畫面的採集時間點，以及所述目標視訊畫面中所述目標用戶的人臉朝向資料；在檢測到所述人臉朝向資料指示所述目標用戶關注所述展示區域的展示物體的情況下，將所述目標視訊畫面對應的採集時間點確定為所述目標用戶觀看所述展示物體的開始時間；以及基於確定的所述目標用戶多次觀看所述展示物體的開始時間，確定所述目標用戶在所述展示區域的關注次數和/或關注時長。
  5. 如請求項4所述的狀態識別方法，其中所述基於確定的所述目標用戶多次觀看所述展示物體的開始時間，確定所述目標用戶在所述展示區域的關注次數和/或關注時長，包括：在所述目標用戶接連兩次觀看所述展示物體的開始時間之間的間隔超過第二時長的情況下，確定所述目標用戶關注所述展示區域一次，和/或將所述間隔作為所述用戶關注所述展示區域一次的關注時長。
  6. 如請求項4或請求項5所述的狀態識別方法，其中所述人臉朝向資料包括人臉的俯仰角和偏航角；在所述俯仰角處於第一角度範圍內、且所述偏航角處於第二角度範圍內的情況下，確定所述人臉朝向資料指示所述目標用戶關注所述展示區域的展示物體。
  7. 如請求項4所述的狀態識別方法，其中所述目標用戶在每一所述展示區域中的情緒狀態包括以下至少一種：所述目標用戶停留在所述展示區域的總停留時長內出現最多的表情標簽；所述目標用戶關注所述展示區域的總關注時長內出現最多的表情標簽；所述展示區域對應的當前視訊畫面中所述目標用戶的表情標簽。
  8. 如請求項1所述的狀態識別方法，其中每個所述顯示區域用特定圖形表示；所述關注狀態表示所述目標用戶關注所述展示區域的關注時長或關注次數，所述展示區域對應的所述特定圖形的顯示尺寸與 所述關注時長或所述關注次數呈正比，所述展示區域對應的所述特定圖形的顏色與所述情緒狀態相匹配；或者所述停留狀態表示所述目標用戶在所述展示區域的停留時長或停留次數，所述展示區域對應的所述特定圖形的顯示尺寸與所述停留時長或停留次數呈正比，所述展示區域對應的所述特定圖形的顏色與所述情緒狀態相匹配。
  9. 如請求項1所述的狀態識別方法，其中還包括：在所述控制終端設備顯示用於描述所述目標用戶分別在各個所述展示區域的狀態的顯示介面之前，獲取用於觸發所述顯示介面的觸發操作。
  10. 如請求項9所述的狀態識別方法，其中所述獲取用於觸發所述顯示介面的觸發操作，包括：控制所述終端設備的顯示介面顯示姿態提示框，所述姿態提示框中包括姿態描述內容；獲取並識別所述目標用戶展示的用戶姿態；以及在所述用戶姿態與所述姿態描述內容所記錄的姿態一致的情況下，確認獲取到用於觸發所述顯示介面的觸發操作。
  11. 如請求項1所述的狀態識別方法，其中還包括：在獲取分別在多個展示區域採集的視訊畫面之後，針對每一所述展示區域，獲取所述展示區域對應的多個視訊畫面中出現所述目標用戶的目標視訊畫面的採集時間點；基於各個展示區域對應的所述採集時間點，確定所述目標用 戶在各個所述展示區域的移動軌跡資料；以及基於所述移動軌跡資料，控制所述終端設備顯示所述目標用戶在各個所述展示區域的移動軌跡路線。
  12. 一種狀態識別裝置，包括：視訊畫面獲取模組，用於獲取分別在多個展示區域採集的多個視訊畫面；狀態識別模組，用於識別出現在所述視訊畫面中的目標用戶的狀態，所述狀態包括所述目標用戶分別在各個所述展示區域的停留狀態、關注狀態以及情緒狀態中的至少兩種；以及控制模組，用於控制終端設備顯示用於描述所述目標用戶分別在各個所述展示區域的狀態的顯示介面，其中，所述控制模組控制所述終端設備顯示用於描述所述目標用戶分別在各個所述展示區域的狀態的顯示介面時，用於：基於所述目標用戶在各個所述展示區域的停留狀態和情緒狀態，控制所述終端設備顯示與各個所述展示區域分別對應的具有不同顯示狀態的顯示區域；或者基於所述目標用戶在各個所述展示區域的關注狀態和情緒狀態，控制所述終端設備顯示與各個所述展示區域分別對應的具有不同顯示狀態的顯示區域。
  13. 一種電子設備，包括：處理器和儲存器，所述儲存器儲存有所述處理器可執行的機器可讀指令，所述機器可讀指 令被所述處理器執行時，使所述處理器執行如請求項1至11任一所述的狀態識別方法。
  14. 一種電腦可讀儲存介質，所述電腦可讀儲存介質上儲存有電腦程式，所述電腦程式被處理器運行時，使所述處理器執行如請求項1至11任一所述的狀態識別方法。
TW109129387A 2019-12-31 2020-08-27 狀態識別方法、裝置、電子設備及電腦可讀儲存介質 TWI779343B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911416341.6A CN111178294A (zh) 2019-12-31 2019-12-31 状态识别方法、装置、设备及存储介质
CN201911416341.6 2019-12-31

Publications (2)

Publication Number Publication Date
TW202127319A TW202127319A (zh) 2021-07-16
TWI779343B true TWI779343B (zh) 2022-10-01

Family

ID=70646578

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109129387A TWI779343B (zh) 2019-12-31 2020-08-27 狀態識別方法、裝置、電子設備及電腦可讀儲存介質

Country Status (5)

Country Link
JP (1) JP2022519150A (zh)
KR (1) KR20210088601A (zh)
CN (1) CN111178294A (zh)
TW (1) TWI779343B (zh)
WO (1) WO2021135197A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942055A (zh) * 2019-12-31 2020-03-31 北京市商汤科技开发有限公司 展示区域的状态识别方法、装置、设备及存储介质
CN111178294A (zh) * 2019-12-31 2020-05-19 北京市商汤科技开发有限公司 状态识别方法、装置、设备及存储介质
CN111798457B (zh) * 2020-06-10 2021-04-06 上海众言网络科技有限公司 图像视觉重量确定方法、装置和图像评价方法
CN111767816A (zh) * 2020-06-22 2020-10-13 苏州交驰人工智能研究院有限公司 一种异常提示方法、装置、设备及存储介质
CN114511336A (zh) * 2020-10-28 2022-05-17 中移(上海)信息通信科技有限公司 用户标签确定的方法、装置、设备及存储介质
CN113709552A (zh) * 2021-08-31 2021-11-26 维沃移动通信有限公司 视频生成方法、装置及电子设备
CN114442632A (zh) * 2022-01-27 2022-05-06 商丘师范学院 一种基于人工智能的机器人追踪系统及方法
CN115553780B (zh) * 2022-12-06 2023-03-21 深圳市心流科技有限公司 注意力评估方法、设备及存储介质
CN115581457B (zh) * 2022-12-13 2023-05-12 深圳市心流科技有限公司 注意力评估方法、装置、设备及存储介质
CN116030411B (zh) * 2022-12-28 2023-08-18 宁波星巡智能科技有限公司 基于姿态识别的人形隐私遮挡方法、装置及设备
CN117111734A (zh) * 2023-07-04 2023-11-24 深圳云天励飞技术股份有限公司 道路病害的vr显示方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577734B2 (en) * 2000-02-09 2013-11-05 Vengte Software Ag Limited Liability Company Method and medium for facilitate mobile shopping
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
CN108985218A (zh) * 2018-07-10 2018-12-11 上海小蚁科技有限公司 人流量统计方法及装置、存储介质、计算设备
CN110298245A (zh) * 2019-05-22 2019-10-01 平安科技（深圳）有限公司 兴趣收集方法、装置、计算机设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4125634B2 (ja) * 2003-05-26 2008-07-30 Ｎｅｃソフト株式会社 顧客情報収集管理方法及びそのシステム
CN104885111B (zh) * 2013-09-19 2020-03-20 松下电器（美国）知识产权公司 使信息终端显示销售信息的控制方法
JP6807925B2 (ja) * 2015-08-04 2021-01-06 ジェイムズ キャリー， ビデオ識別および分析認識システム
JP6474919B2 (ja) * 2016-01-12 2019-02-27 株式会社日立国際電気 混雑状況監視システム及び混雑状況監視方法
US10726465B2 (en) * 2016-03-24 2020-07-28 International Business Machines Corporation System, method and computer program product providing eye tracking based cognitive filtering and product recommendations
JP6256885B2 (ja) * 2016-03-31 2018-01-10 パナソニックＩｐマネジメント株式会社 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
CN108229239B (zh) * 2016-12-09 2020-07-10 武汉斗鱼网络科技有限公司 一种图像处理的方法及装置
JP7057077B2 (ja) * 2017-08-09 2022-04-19 Ｓｂクリエイティブ株式会社 購買支援システム
CN109828681B (zh) * 2017-11-20 2022-10-11 深圳市Tcl高新技术开发有限公司 激光笔光流轨迹跟踪方法、投影设备及计算机可读存储介质
CN108711086A (zh) * 2018-05-09 2018-10-26 连云港伍江数码科技有限公司 储物装置中人机交互方法、装置、储物装置以及存储介质
CN108897589B (zh) * 2018-05-31 2020-10-27 刘国华 显示设备中人机交互方法、装置、计算机设备和存储介质
JP6597838B1 (ja) * 2018-06-01 2019-10-30 日本電気株式会社 動線分析装置、動線分析方法、および動線分析システム
CN109508638B (zh) * 2018-10-11 2024-09-17 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
CN110147729A (zh) * 2019-04-16 2019-08-20 深圳壹账通智能科技有限公司 用户情绪识别方法、装置、计算机设备及存储介质
CN110118976A (zh) * 2019-04-18 2019-08-13 广州斯沃德科技有限公司 一种行驶轨迹绘制方法、装置、终端设备及可读存储介质
CN110321477B (zh) * 2019-05-24 2022-09-09 平安科技（深圳）有限公司 信息推荐方法、装置、终端及存储介质
CN111178294A (zh) * 2019-12-31 2020-05-19 北京市商汤科技开发有限公司 状态识别方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577734B2 (en) * 2000-02-09 2013-11-05 Vengte Software Ag Limited Liability Company Method and medium for facilitate mobile shopping
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
CN108985218A (zh) * 2018-07-10 2018-12-11 上海小蚁科技有限公司 人流量统计方法及装置、存储介质、计算设备
CN110298245A (zh) * 2019-05-22 2019-10-01 平安科技（深圳）有限公司 兴趣收集方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
JP2022519150A (ja) 2022-03-22
WO2021135197A1 (zh) 2021-07-08
TW202127319A (zh) 2021-07-16
CN111178294A (zh) 2020-05-19
KR20210088601A (ko) 2021-07-14

Similar Documents

Publication Publication Date Title
TWI779343B (zh) 狀態識別方法、裝置、電子設備及電腦可讀儲存介質
CN105027033B (zh) 用于选择扩增现实对象的方法、装置和计算机可读媒体
US7225414B1 (en) Method and system for virtual touch entertainment
JP5707562B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
CN108965982A (zh) 视频录制方法、装置、电子设备和可读存储介质
JP2022519149A (ja) 展示エリア状態認識方法、装置、電子デバイス、及び記録媒体
US9934823B1 (en) Direction indicators for panoramic images
CN112199016B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US11706485B2 (en) Display device and content recommendation method
JP2019197499A (ja) プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法
WO2018142756A1 (ja) 情報処理装置及び情報処理方法
US9824723B1 (en) Direction indicators for panoramic images
TWI758837B (zh) 展示對象的控制方法與裝置、電子設備及記錄媒體
KR20160121287A (ko) 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치
JP2010102235A (ja) 電子広告システム
JP5707561B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
KR20200132569A (ko) 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법
CN113487709A (zh) 一种特效展示方法、装置、计算机设备以及存储介质
WO2023197780A1 (zh) 图像处理方法、装置、电子设备及存储介质
JP6048475B2 (ja) コンテンツ出力装置及びプログラム
CN114358822A (zh) 一种广告展示方法、装置、介质及设备
US11436826B2 (en) Augmented reality experience for shopping
Lo et al. Augmediated reality system based on 3D camera selfgesture sensing
CN112333498A (zh) 一种展示控制方法、装置、计算机设备及存储介质
US20210383609A1 (en) Selecting augmented reality objects for display based on contextual cues

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent