TWI779567B - 商店人體姿態估計系統及其方法 - Google Patents

商店人體姿態估計系統及其方法 Download PDF

Info

Publication number
TWI779567B
TWI779567B TW110114242A TW110114242A TWI779567B TW I779567 B TWI779567 B TW I779567B TW 110114242 A TW110114242 A TW 110114242A TW 110114242 A TW110114242 A TW 110114242A TW I779567 B TWI779567 B TW I779567B
Authority
TW
Taiwan
Prior art keywords
feature
shelf
goods
store
model
Prior art date
Application number
TW110114242A
Other languages
English (en)
Other versions
TW202243460A (zh
Inventor
吳世光
Original Assignee
國立勤益科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立勤益科技大學 filed Critical 國立勤益科技大學
Priority to TW110114242A priority Critical patent/TWI779567B/zh
Application granted granted Critical
Publication of TWI779567B publication Critical patent/TWI779567B/zh
Publication of TW202243460A publication Critical patent/TW202243460A/zh

Links

Images

Abstract

本發明提供一種商店人體姿態估計系統包含:攝影模組、運算模組及通訊模組,攝影模組拍攝商店中之監控影像;運算模組將監控影像進行影像處理,以辨識出人物特徵及與人物特徵產生互動關係之貨物特徵跟貨架特徵;運算模組人物特徵進行影像處理技術,以於人物特徵標記骨架標示,運算模組依據取得的貨架特徵、貨物特徵及骨架標示,判斷人物特徵於商店內的行為表現,以產生行為資訊;通訊模組透過服務傳播技術,將行為資訊及監控影像一併傳送至社群通訊平台之訊息介面;藉以有效觀察及分析消費者在商店內之購物行為。

Description

商店人體姿態估計系統及其方法
本發明係關於一種人體姿態分析相關領域,尤指一種商店人體姿態估計系統及其方法。
零售商在面對總類繁多的商品上,希望藉由掌握消費者的需求,來做出適當的商品管理決策,利用貨架管理找出較佳的商品陳列型態,以利協助消費者的購物決策;或者由於某種商品在陳列時,運用了藝術性的陳列技巧,引起了消費者的注意,使消費者產生了購買欲望,促成了消費者衝動性的購買成交。
對於零售商(超商、超市、量販店與大賣場)而言,商品銷售最重要的是讓商品的陳列能達到對消費者充分地展示的目的,以獲得最充分的促銷商品的效果;為了能更貼近消費者的需求,所以零售商需要透過消費者行為研究,以更進一步了解消費者的需求,過去對於消費者行為之研究著重在消費者購物滿意度問卷調查(Questionnaire),與後台大數據分析(Big Data),例如:購物籃分析(Basket Analysis)與Apriori演算法、決策樹(Decision Tree)與隨機森林(Random Forest)等方式,然而,前述分析方式著重在後台POS結帳資料之大數據分析,反而忽略了微觀細部觀察消費者在購物選擇上之困難與決策過程,有些消費者在選購上碰到之困難無法解決時,往往就會放棄購買。
而且大多數消費者不喜愛在消費過程或消費後被打擾,所以購物滿意度問卷調查所能取得的資訊有限,且取得資訊之準確度也難以準確,導致零售商難以有效掌握消費者之需求,進而無法有效提升或調整營業額。
為解決上述課題,本發明提供一種商店人體姿態估計系統及其方法,透過影像理辨識人員姿態動作與貨架及貨物間的互動關係,藉以有效觀察及分析人員在商店內之購物行為。
本發明之一項實施例提供一種商店人體姿態估計系統,其架設於一商店;商店人體姿態估計系統包含:一攝影模組,其拍攝商店中之人員、貨架及貨物,並產生一監控影像;一資料庫,其具有複數貨架模型及複數貨物模型;一運算模組,其與攝影模組及資料庫耦接,運算模組接收由攝影模組產生之監控影像,運算模組將監控影像進行一第一影像處理技術,以辨識出一人物特徵及與人物特徵產生互動關係之一貨物特徵跟一貨架特徵,運算模組將貨架特徵及貨物特徵由資料庫取得匹配之所述貨架模型及所述貨物模型;運算模組人物特徵進行一第二影像處理技術,以於該人物特徵標記一骨架標示,其中,運算模組依據取得的貨架模型、貨物模型及骨架標示,判斷人物特徵於商店內的行為表現,以產生一行為資訊;以及一通訊模組,其與運算模組及一社群通訊平台耦接,通訊模組接收由運算模組傳送之行為資訊及對應的監控影像,通訊模組透過一服務傳播技術,將行為資訊及監控影像一併傳送至社群通訊平台之訊息介面。
於本發明另一實施例提供一種商店人體姿態估計方法,其運用於一商店;商店人體姿態估計方法包含:一擷取步驟:擷取商店之一監控影像,監控影像包含商店中之人員、貨架及貨物;一第一處理步驟:由擷取步驟取得監控影像,透過一第一影像處理技術,由監控影像辨識出一人物特徵及與人物特徵產生互動關係之一貨物特徵跟一貨架特徵;一第二處理步驟:由該第一處理步驟取得人物特徵,透過一第二影像處理技術,將人物特徵標記一骨架標示;一判斷步驟:由第一處理步驟及第二處理步驟取得貨架特徵、貨物特徵及骨架標示,進而判斷人物特徵於商店內的行為表現,以產生一行為資訊;以及一通訊步驟:由判斷步驟取得該行為資訊及對應的該監控影像,透過一服務傳播技術,將行為資訊及監控影像一併傳送至社群通訊平台之訊息介面。
藉由上述,本發明透過影像理辨識人員姿態動作與貨架及貨物間的互動關係,藉以有效觀察及分析人員在商店內之購物行為;藉此,能在不打擾消費者購物之情況下記錄其購物行為,而且調查結果能夠更接近於實際且準確,以有效改善習知問卷調查之間接調查方法的缺點。
再者,本發明能夠將人員之動作予以捕捉與連結人員所產生互動之貨物做一連結,找出人員在購物決策中之困難點與機會點,透過商店人員透過行為資訊的提醒,能有效協助解決人員在購物時之困難點,進而增加提袋率與銷售額。
為便於說明本發明於上述發明內容一欄中所表示的中心思想,茲以具體實施例表達。實施例中各種不同物件係按適於說明之比例、尺寸、變形量或位移量而描繪,而非按實際元件的比例予以繪製,合先敘明。
請參閱圖1至圖4所示,本發明提供一種商店人體姿態估計系統100,其架設於一商店S,如圖2所示;其中,商店S內能架設一個或複數個商店人體姿態估計系統100;於本發明實施例中,一個商店S內架設有一個商店人體姿態估計系統100,但本發明不限制商店人體姿態估計系統100的架設數量。
本發明商店人體姿態估計系統100包含:
一攝影模組10,其能夠拍攝商店S中之人員P、貨架F及貨物G,並產生一監控影像SI,其中,人員P能夠是商店管理者或是消費者,貨物G能夠是放置在貨架F上或是已被消費者所拿取。
再者,攝影模組10能夠在設定的間隔時間內拍攝或是自動連續拍攝,於本發明實施例中,攝影模組10會自動連續拍攝商店S,以產生連續性監控影像SI。
一資料庫20,其具有複數關係模型、複數貨架模型及複數貨物模型,其中,每一關係模型為各貨物模型設置於各貨架模型的位置關係以及設置於商店S的位置。再者,每一貨架模型及每一貨物模型具有專屬名稱,以利於作為後續影像辨識處理之用。
一運算模組30,其與攝影模組10及資料庫20耦接,運算模組30能夠接收由攝影模組10產生之監控影像SI,於本發明實施例中,攝影模組10會連續傳送監控影像SI至運算模組30,而運算模組30持續接收且分析監控影像SI。
運算模組30將監控影像SI進行一第一影像處理技術,以辨識出一人物特徵PC及與人物特徵PC產生互動關係之一貨物特徵GC跟一貨架特徵FC,運算模組30將貨架特徵FC及貨物特徵GC由資料庫20取得匹配之貨架模型及貨物模型;需特別說明的是,當監控影像SI能夠存在有複數個人物特徵PC及與每一個人物特徵PC產生互動關係之複數個貨物特徵GC與複數個貨架特徵FC;於本發明實施例中,第一影像處理技術是利用利用深度學習(Deep Learning)之Mask R-CNN辨識產生人物特徵PC、貨物特徵GC跟貨架特徵FC。
再者,運算模組30透過第一影像處理技術框選產生人物特徵PC、貨架特徵FC及貨物特徵GC,人物特徵PC、貨架特徵FC及貨物特徵GC分別具有一辨識外框I;其中,運算模組30會依據貨架特徵FC及貨物特徵GC由資料庫20取得匹配之貨架模型及貨物模型,且於對應之辨識外框I內標註一名稱資訊N及一辨識率R,如圖3所示。
貨架特徵FC及貨物特徵GC的名稱資訊N是對應資料庫20中匹配模型的專屬名稱;貨架特徵FC對應之辨識率為貨架特徵FC與資料庫20中之貨架模型匹配程度;貨物特徵對GC應之辨識率為貨物特徵GC與資料庫20中之貨物模型匹配程度,也就是說,當監控影像SI所取得的貨架特徵FC或是貨物特徵GC越完整且能夠與資料庫20中之貨架模型或貨物模型越匹配,則辨識率R越高。
運算模組30對人物特徵PC進行一第二影像處理技術,以於人物特徵PC標記一骨架標示M,其中,骨架標示M具有複數關節點M1及複數個支架M2,每兩關節點M1由一個支架M2連接;於本發明實施例中,第二影像處理技術是深度學習(Deep Learning)中人體姿態估計(Human Pose Estimation)結合Mask R-CNN;關節點M1之數量為18個,支架M2之數量為17個,關鍵點M1是標註於左眼睛、右眼睛、左耳朵、右耳朵、鼻子、頸、左肩、右肩、左手、右手、左肘、右肘、左腰、右腰、左膝、右膝、左腳、右腳等18個部分。
運算模組30依據人物特徵PC之骨架標示M於對應的辨識外框I內標註名稱資訊N及辨識率R,也就是說,當運算模組30由監控影像SI辨識出人物特徵PC,則名稱資訊為「人」、「消費者」、「人員」等詞,本發明不以此為限;而人物特徵PC對應之辨識率R為骨架標示M之各關節點M1及各支架M2呈現的完整度。
於本發明實施例中,運算模組30會利用人體姿態估計辨識出人物特徵PC之辨識率R,而人體姿態估計之評估指標通常使用PCP與PCK來做為人體姿態估計預測模型之優劣;其中,PCP稱為採用正確部位百分比(Percentage of Correct Part, PCP),所預測之關節位置(Predicted Pose)與實際關節(Ground True)位置之間之距離,若其差距之距離小於肢體長度之一半(以PCP@0.5),則被認為肢體為正確預測,PCP愈高,則代表人體姿態估計預測模型愈好,其缺點是較短之肢體容易被高估其PCP;PCK稱為採用正確關鍵點百分比(Percentage of Correct Keypoint, PCK),如果預測關節和真實關節之間的距離在某個門檻值(Threshold)內,則檢測到的關節被認為是正確的,例如:PCKh@0.6 是代表其門檻值是頭骨關節連接之60% ;PCK@0.3則是代表預測關節與實際關節之距離誤差小於0.3*軀幹直徑。
再者,運算模組30會依據取得的貨架模型、貨物模型及骨架標示M,判斷人物特徵PC於商店S內的行為表現,以產生一行為資訊B,其中,行為資訊B是表示人員於商店內的行為,例如:挑選貨物G、關注貨物G、購買貨物G、偷取貨物G等等行為。
另外,運算模組30能藉由每一關係模型判斷貨物特徵是否產生變化,當運算模組30判斷貨物特徵GC與所述關係模型無法匹配,則運算模組30產生一提醒訊號,也就是說,貨物G由貨架F被取出後,會與資料庫20中所記憶的所在位置不一致,而提醒訊號能夠提醒店家注意相關貨物G已被拿取或變動,以利後續確認貨物G是否被盜取、變動位置、未結帳被使用等情形,藉以提供店家有效控管商店S內的貨物G變動情形。
一通訊模組40,其與運算模組30及一社群通訊平台1耦接,通訊模組40接收由運算模組30傳送之行為資訊B及對應的監控影像SI,通訊模組40透過一服務傳播技術,將行為資訊B及監控影像SI一併傳送至社群通訊平台1之訊息介面2,其中,通訊模組40設有一傳輸時間,通訊模組40每間隔傳輸時間,將行為資訊B搭配對應之監控影像SI傳送至社群通訊平台1之訊息介面2,如圖3所示;於本發明實施例中,行為資訊B是以文字形態呈現於社群通訊平台1之訊息介面2,例如:「顧客正在關注商品」、「消費者拿取水」、「消費者在選擇商品」等等,如此一來,商店人員能夠依據不同行為資訊B的文字呈現搭配監控影像SI,了解人員P於商店S內之行為。
再者,當運算模組30產生提醒訊號時,則通訊模組40每間隔傳輸時間透過服務傳播技術,將提醒訊號及監控影像SI一併傳送至社群通訊平台1之訊息介面2;於本發明實施例中,提醒訊號是以文字形態呈現於社群通訊平台1之訊息介面2。
需特別說明的是,通訊模組40在間隔的傳輸時間內,會將接收到的行為資訊及對應之監控影像SI進行累積,當到達傳輸時間後,通訊模組40會一併將累積的行為資訊B及對應之監控影像SI傳送至社群通訊平台1之訊息介面2,例如:通訊模組40在間隔傳輸時間內,接收到行為資訊B及對應之監控影像SI之數量為1個,則到達傳輸時間後,社群通訊平台1之訊息介面2會接收到1個行為資訊B及對應之監控影像SI;通訊模組40在間隔傳輸時間內,接收到行為資訊B及對應之監控影像SI之數量為5個,則到達傳輸時間後,社群通訊平台1之訊息介面2會接收到5個行為資訊及對應之監控影像SI,以此類推;於本發明實施例中,社群通訊平台1為LINE;服務傳播技術為LINE Notify;傳輸時間為1分鐘,傳輸時間能夠根據需求調整,本發明不以此為限。
一分析模組50,其與運算模組30耦接,分析模組50依據一統整時間統計有產生行為資訊B所對應貨物特徵GC的累計數量,並對應統整時間產生一統計報表,其中,整合時間能夠依據店家需求做調整,能夠以小時、日、月或年為單位,本發明不以此為限;再者,統計報表能夠以任何形態呈現,可能是呈現於終端裝置、應用程式或社群通訊平台1,本發明不以此為限。
分析模組50依據人物特徵PC之骨架標示M及對應有互動關係之貨物特徵GC與貨架特徵FC,並配合統計報表產生一建議資訊,也就是說,人物特徵PC之骨架標示M能夠辨識人員P的高度及體型,以初步判斷出人員的年齡(例如成年人、老年人、兒童等),透過統計報表可知,不同人物特徵PC常態性產生互動關係之貨物特徵GC及貨架特徵FC,而建議資訊能夠建議商店管理者針對不同年齡層消費者之貨物G擺放位置,進而針對關聯性貨物G與競爭性貨物G之擺放位置選擇決策建議,也能夠達到將貨物G擺放在貨架F最佳位置,進而有效刺激銷售額。
需特別說明的是,攝影模組10、資料庫20、運算模組30、通訊模組40及分析模組50的整合型態大致分為下列兩種可能性,分別為:1. 攝影模組10、資料庫20、運算模組30、通訊模組40及分析模組50能夠整合於同一電路板;2.攝影模組10獨立設置,資資料庫20、運算模組30、通訊模組40及分析模組50整合於同一電路板;但不排除其他整合可能性,本發明不限制於前述整合型態。
藉由前述之商店人體姿態估計系統100,請參閱圖1及圖4所示,本發明另一實施例提供一種商店人體姿態估計方法,包含下列步驟:
一擷取步驟S1:攝影模組10擷取商店S之監控影像SI,監控影像SI包含商店S中之人員P、貨架F及貨物G。
一第一處理步驟S2:運算模組30經由擷取步驟S1取得攝影模組10所產生之監控影像SI,運算模組30透過第一影像處理技術,由監控影像SI框選辨識出人物特徵PC及與人物特徵PC產生互動關係之貨物特徵GC跟貨架特徵FC,運算模組30會於人物特徵PC、貨架特徵FC及貨物特徵GC標註辨識外框I;其中,運算模組30會依據貨物特徵GC跟貨架特徵FC,由資料庫20取得匹配的貨物模型及貨架模型,且於對應之辨識外框I內標註名稱資訊N及辨識率R。
一第二處理步驟S3:運算模組30由第一處理步驟S2取得人物特徵PC,並透過一第二影像處理技術,將人物特徵PC標記骨架標示M;其中,運算模組30會依據人物特徵PC之骨架標示M於對應的辨識外框I內標註名稱資訊N及辨識率R。
一判斷步驟S4:運算模組30由第一處理步驟S2及第二處理步驟S3取得貨架特徵FC、貨物特徵GC及骨架標示M,運算模組30會判斷人物特徵PC於商店S內的行為表現,以產生行為資訊B。
再者,於判斷步驟S4中,運算模組30會判斷貨物特徵GC與關係模型是否匹配,當運算模組30判斷貨物特徵GC與關係模型無法匹配,則產生提醒訊號。
一通訊步驟S5:運算模組30由判斷步驟S4取得行為資訊B及對應的監控影像SI,運算模組30會將行為資訊B及監控影像SI傳送至通訊模組40,通訊模組40透過服務傳播技術,將行為資訊B及監控影像SI一併傳送至社群通訊平台1之訊息介面2。
再者,當運算模組30在判斷步驟S4產生提醒訊號,運算模組30會將提醒訊號及監控影像SI傳送至通訊模組40,由通訊模組40透過服務傳播技術,將提醒訊號及監控影像SI一併傳送至社群通訊平台1之訊息介面2。
一分析步驟S6:分析模組50經由判斷步驟S4取得行為資訊B,分析模組50能夠依據統整時間統計有產生行為資訊B所對應貨物特徵GC的累計數量,並對應該統整時間產生統計報表。
再者,於分析步驟S6中,分析模組50能依據人物特徵PC之骨架標示M及對應有互動關係之貨物特徵GC與貨架特徵FC,並配合統計報表產生建議資訊。
綜合上述,本發明能夠達到下列功效:
1.本發明能透過影像理辨識人員姿態動作與貨架F及貨物G間的互動關係,藉以有效觀察及分析人員在商店S內之購物行為;藉此,能在不打擾消費者購物之情況下記錄其購物行為,而且調查結果能夠更接近於實際且準確。
2.本發明能夠將消費者之動作予以捕捉與連結消費者所產生互動之貨物G做一連結,找出消費者在購物決策中之困難點與機會點,商店人員透過行為資訊B的提醒,能有效協助解決消費者在購物時之困難點,進而增加提袋率與銷售額。
3.本發明運用人體姿態估計來細部觀察人員在店內之購物行為,特別是由其購物行為中發現商機之參與點(Points of Engagement)與摩擦點(Friction),以改善整個購物流程與增加銷售額及提袋率。
4.本發明能夠依據統計報表了解每樣貨物G被關注的頻率,分析出熱門貨物G,提供行銷策略的擬定,進而有效提高銷售效果。
5.本發明能夠在商店S內貨架F上的貨物G被搬動時,產生提醒訊號,透過提醒訊配合監控影像SI號顯示貨架F上貨物G被搬動之位置,提供商店管理者有效掌握商店S內貨物G之變動資訊。
以上所舉實施例僅用以說明本發明而已,非用以限制本發明之範圍。舉凡不違本發明精神所從事的種種修改或變化,俱屬本發明意欲保護之範疇。
1:社群通訊平台 2:訊息介面 100:商店人體姿態估計系統 10:攝影模組 20:資料庫 30:運算模組 40:通訊模組 50:分析模組 S:商店 P:人員 F:貨架 G:貨物 SI:監控影像 PC:人物特徵 GC:貨物特徵 FC:貨架特徵 I:辨識外框 N:名稱資訊 R:辨識率 M:骨架標示 M1:關節點 M2:支架 B:行為資訊 S1:擷取步驟 S2:第一處理步驟 S3:第二處理步驟 S4:判斷步驟 S5:通訊步驟 S6:分析步驟
圖1係本發明系統架構示意圖。 圖2係本發明架設於商店實施例示意圖。 圖3係本發明分析監控影像實施例示意圖。 圖4係本發明方法流程方塊圖。
1:社群通訊平台
2:訊息介面
100:商店人體姿態估計系統
10:攝影模組
20:資料庫
30:運算模組
40:通訊模組
50:分析模組

Claims (8)

  1. 一種商店人體姿態估計系統,其架設於一商店;該商店人體姿態估計系統包含:一攝影模組,其拍攝該商店中之人員、貨架及貨物,並產生一監控影像;一資料庫,其具有複數貨架模型及複數貨物模型;一運算模組,其與該攝影模組及該資料庫耦接,該運算模組接收由該攝影模組產生之該監控影像,該運算模組將該監控影像進行一第一影像處理技術,以辨識出一人物特徵及與該人物特徵產生互動關係之一貨物特徵跟一貨架特徵,該運算模組將該貨架特徵及該貨物特徵由該資料庫取得匹配之所述貨架模型及所述貨物模型;該運算模組將該人物特徵進行一第二影像處理技術,以於該人物特徵標記一骨架標示,其中,該運算模組依據取得的所述貨架模型、所述貨物模型及該骨架標示,判斷該人物特徵於商店內的行為表現,以產生一行為資訊;一通訊模組,其與該運算模組及一社群通訊平台耦接,該通訊模組接收由該運算模組傳送之該行為資訊及對應的該監控影像,該通訊模組透過一服務傳播技術,將該行為資訊及該監控影像一併傳送至該社群通訊平台之訊息介面;以及一分析模組,其與該運算模組耦接,該分析模組依據一統整時間統計有產生該行為資訊所對應所述貨物特徵的累計數量,並對應該統整時間產生一統計報表。
  2. 如請求項1所述之商店人體姿態估計系統,其中,該分析模組依據該人物特徵之骨架標示及對應有互動關係之該貨物特徵與該貨架特徵,並配 合該統計報表產生一建議資訊。
  3. 如請求項1所述之商店人體姿態估計系統,其中,該資料庫存有複數關係模型,每一關係模型為各該貨物模型設置於各該貨架模型的位置關係以及設置於商店的位置,該運算模組由每一關係模型判斷該貨物特徵是否產生變化,當該運算模組判斷該貨物特徵與所述關係模型無法匹配,則該運算模組產生一提醒訊號,該通訊模組透過服務傳播技術,將該提醒訊號及該監控影像一併傳送至該社群通訊平台之訊息介面。
  4. 如請求項1或3所述之商店人體姿態估計系統,其中,該運算模組透過該第一影像處理技術框選產生該貨架特徵及該貨物特徵,該貨架特徵及該貨物特徵分別具有一辨識外框,該運算模組依據該貨架特徵及該貨物特徵由該資料庫取得匹配之所述貨架模型及所述貨物模型,且於對應之所述辨識外框內標註一名稱資訊及一辨識率;該貨架特徵對應之該辨識率為該貨架特徵與該資料庫中之所述貨架模型匹配程度;該貨物特徵對應之該辨識率為該貨物特徵與該資料庫中之所述貨物模型匹配程度;該第一影像處理技術為Mask R-CNN處理技術;該第二影像處理技術是深度學習(Deep Learning)中人體姿態估計(Human Pose Estimation)結合Mask R-CNN。
  5. 如請求項4所述之商店人體姿態估計系統,其中,該運算模組透過該第一影像處理技術框選產生該人物特徵,該人物特徵具有該辨識外框,該運算模組依據該人物特徵之骨架標示於對應的所述辨識外框內標註該名稱資訊及該辨識率;該骨架標示具有複數關節點及複數個支架,每兩關節點由一個支架連接;該人物特徵對應之該辨識率為該骨架標示之各關節點及各支架呈現的完整度。
  6. 一種商店人體姿態估計方法,其運用於一商店;該商店人體姿態估計方法包含:一擷取步驟:擷取該商店之一監控影像,該監控影像包含該商店中之人員、貨架及貨物;一第一處理步驟:由該擷取步驟取得該監控影像,透過一第一影像處理技術,由該監控影像辨識出一人物特徵及與該人物特徵產生互動關係之一貨物特徵跟一貨架特徵;一第二處理步驟:由該第一處理步驟取得該人物特徵,透過一第二影像處理技術,將該人物特徵標記一骨架標示;一判斷步驟:由該第一處理步驟及該第二處理步驟取得該貨架特徵、該貨物特徵及該骨架標示,進而判斷該人物特徵於商店內的行為表現,以產生一行為資訊;一通訊步驟:由該判斷步驟取得該行為資訊及對應的該監控影像,透過一服務傳播技術,將該行為資訊及該監控影像一併傳送至該社群通訊平台之訊息介面;以及一分析步驟,經由該判斷步驟取得該行為資訊,依據一統整時間統計有產生該行為資訊所對應所述貨物特徵的累計數量,並對應該統整時間產生一統計報表;且能依據該人物特徵之骨架標示及對應有互動關係之該貨物特徵與該貨架特徵,並配合該統計報表產生一建議資訊。
  7. 如請求項6所述之商店人體姿態估計方法,其中,於該第一處理步驟中,依據該貨架特徵及該貨物特徵與複數關係模型取得匹配之其中一關係模型;每一關係模型具有一貨架模型及複數貨物模型,每一關係模型為各該貨 物模型設置於每一貨架模型的位置關係以及設置於商店的位置;於該判斷步驟中,判斷該貨物特徵與所述關係模型是否匹配,當判斷該貨物特徵與所述關係模型無法匹配,則產生一提醒訊號,並透過服務傳播技術,將該提醒訊號及該監控影像一併傳送至該社群通訊平台之訊息介面。
  8. 如請求項7所述之商店人體姿態估計方法,其中,於該第一處理步驟中,透過該第一影像處理技術框選產生該人物特徵、該貨架特徵及該貨物特徵,該人物特徵、該貨架特徵及該貨物特徵分別具有一辨識外框;依據該貨架特徵及該貨物特徵取得匹配之所述貨架模型及所述貨物模型,且於對應之所述辨識外框內標註一名稱資訊及一辨識率;依據該人物特徵之骨架標示於對應的所述辨識外框內標註該名稱資訊及該辨識率;該骨架標示具有複數關節點及複數支架,每兩關節點由一個支架連接;該貨架特徵對應之該辨識率為該貨架特徵與所述貨架模型匹配程度;該貨物特徵對應之該辨識率為該貨物特徵與所述貨物模型匹配程度;該人物特徵對應之該辨識率為該骨架標示之各關節點及各支架呈現的完整度。
TW110114242A 2021-04-21 2021-04-21 商店人體姿態估計系統及其方法 TWI779567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW110114242A TWI779567B (zh) 2021-04-21 2021-04-21 商店人體姿態估計系統及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110114242A TWI779567B (zh) 2021-04-21 2021-04-21 商店人體姿態估計系統及其方法

Publications (2)

Publication Number Publication Date
TWI779567B true TWI779567B (zh) 2022-10-01
TW202243460A TW202243460A (zh) 2022-11-01

Family

ID=85475868

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110114242A TWI779567B (zh) 2021-04-21 2021-04-21 商店人體姿態估計系統及其方法

Country Status (1)

Country Link
TW (1) TWI779567B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215167A (zh) * 2020-10-14 2021-01-12 上海爱购智能科技有限公司 一种基于图像识别的智能商店控制方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215167A (zh) * 2020-10-14 2021-01-12 上海爱购智能科技有限公司 一种基于图像识别的智能商店控制方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 吳世光 建構超市YOLO商品辨識系統 MOST 108-2637-H-167-002- 2020/10/19。 https://www.grb.gov.tw/search/planDetail?id=13124009 *

Also Published As

Publication number Publication date
TW202243460A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
WO2019144690A1 (zh) 基于影像监测的货品感知系统及货品感知方法
US9747497B1 (en) Method and system for rating in-store media elements
US10410253B2 (en) Systems and methods for dynamic digital signage based on measured customer behaviors through video analytics
US8775238B2 (en) Generating customized disincentive marketing content for a customer based on customer risk assessment
US8577705B1 (en) Method and system for rating the role of a product category in the performance of a store area
US9575558B2 (en) System and method for electronically assisting a customer at a product retail location
US8812355B2 (en) Generating customized marketing messages for a customer using dynamic customer behavior data
CN103824407B (zh) 用于远程场点的分布式监视的系统和方法
US20080249793A1 (en) Method and apparatus for generating a customer risk assessment using dynamic customer data
US20190147228A1 (en) System and method for human emotion and identity detection
US20090089107A1 (en) Method and apparatus for ranking a customer using dynamically generated external data
CN108230086A (zh) 一种商品售卖调整的系统、方法及存储介质
US20180232799A1 (en) Exhibition device, display control device and exhibition system
US20080249838A1 (en) Method and apparatus for preferred customer marketing delivery based on biometric data for a customer
WO2021185281A1 (zh) 货架交互方法和货架
JP2017033401A (ja) 顧客情報収集装置、顧客情報収集システムおよび顧客情報収集方法
US20190325462A1 (en) System for observing and analyzing customer opinion
CN107862557A (zh) 顾客动态追踪系统及其方法
CN109002780A (zh) 一种购物流程控制方法、装置和用户终端
TWI647626B (zh) Intelligent image information and big data analysis system and method using deep learning technology
CN115376190A (zh) 一种便利店无人售货时的防盗损监测系统
TWI779567B (zh) 商店人體姿態估計系統及其方法
Shergill et al. Computerized sales assistants: the application of computer technology to measure consumer interest-a conceptual framework
JP2021131786A (ja) 顧客情報収集端末、顧客情報収集システム及び顧客情報収集方法
US11615430B1 (en) Method and system for measuring in-store location effectiveness based on shopper response and behavior analysis

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent