TWI552098B - Electronic billboarding system based on inter - party relationship judgment - Google Patents

Description

基於群眾間關係判斷之電子看板推播系統

本創作係關於一種基於群眾間關係判斷之電子看板推播系統，特別係為一種當多人同時觀看時，藉由觀眾之性別、年齡與群眾間關係分析之綜合資訊，主動播放合適觀眾之廣告內容。

現今在捷運車站、地鐵月台、百貨公司等人潮聚集之公共場所，均設有多媒體顯示裝置以及電子看板等，將廣告與各式各樣之資訊播放給消費者參考，但目前廣告與資訊僅對不特定性之觀看者進行無限制之播放，無法針對消費者之特性即時挑選適合之廣告播出，減低了廣告行銷效益；因此市場上對於智慧型電子看板產品日益重視，有人提出透過設置在電子看板上之攝影機擷取人臉之影像等資訊，根據觀看者之性別、年齡等資訊播放適合之廣告內容；這種做法已揭露於專利「頻道切換模組」(證書號：M342530)與「整合廣告與付款之系統」(證書號：M372506)中；此做法會衍生一些問題，若位於看板前僅有一位觀眾，可透過人員性別、年齡資訊播出對應之廣告內容，但是電子看板皆架設於人潮聚集之場所以增加廣告之曝光機會以及提升商品銷售量，所以看板前常會有多位觀眾出現，可能同時包含男、女與各種年齡層之觀眾，使用上述方法即無法播出適合群體之廣告內容。

再者，很多廣告所設定之行銷對象不是個人而是關係性之群體，如KTV、網咖以及泡沫紅茶店所設定推銷之族群係為青少年學生；兒童樂園、速食店以及玩具店行銷之客群係為幼兒與其父母；而情侶以及夫妻族群則是餐廳、MOTEL、觀光業者所主打行銷之對象，利用上述專利之方法對於這類 型之廣告則無法提高有效觸及率與廣告之效益。

由此可見，上述習用方式仍有諸多缺失，實非一良善之設計，而亟待加以改良。

本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件基於群眾間關係判斷之電子看板推播系統。

達成上述創作目的之基於群眾間關係判斷之電子看板推播系統，包含攝影機模組、影像辨識模組、群眾間關係判斷模組與廣告控制模組；主要係於電子看板上裝設一攝影機，利用該攝影機模組擷取該電子看板前觀看群眾之影像，在該電子看板播放廣告之同時，將所擷取之群眾影像進行影像辨識與群眾間關係判斷；該影像辨識模組係包含人臉偵測子模組、性別與年齡辨識子模組與群眾間關係分析子模組，利用該人臉偵測子模組取得觀看群眾之人臉位置，經由該性別與年齡辨識子模組得到觀眾之性別、年齡資訊，而該群眾間關係分析子模組用以偵測觀眾間是否有牽手、擁抱、穿著相同之衣服款式與顏色、群體間站立之距離與位置等訊息；該群眾間關係判斷模組接收該影像辨識模組之結果，利用所辨識之性別、年齡資訊與群眾間關係分析訊息，得到伴侶、父子、母子以及學生等之群眾關係性結果；若判斷目前觀看群眾有某一特定關係，則播放對應群體關係之廣告；若認為無特定關係，則統計觀眾之性別以及年齡資訊，選擇較多人數之某一性別以及年齡族群合適之廣告播放，藉此方法增進廣告行銷之價值與效益；此外，群眾間關係判斷結果可傳送至後端做統計分析，突破以往針對單人客源行銷分析之限制，以提供廣告主研判針對群眾之潛在客戶資訊。

一種基於群眾間關係判斷之電子看板推播系統，其中包括攝影機模組，該攝影機模組係包含一攝影機與取像軟體，係以拍攝電子看板前觀看群眾之影像；影像辨識分析主機，該影像辨識分析主機係包含影像辨識模組、群眾間關係判斷模組與廣告控制模組，該影像辨識模組係接收該攝影機模組所拍攝之觀看群眾影像做辨識，輸出該觀看群眾影像、辨識出之人臉位置與性別、年齡以及群眾間關係分析之資訊，該群眾間關係判斷模組係接收該影像辨識模組之觀看群眾影像與人臉位置及性別、年齡以及群眾間關係分析之辨識結果，並綜合判斷觀看群眾有無某一特定關係，該廣告控制模組依該群眾間關係判斷模組所辨識之觀眾性別、年齡與群眾間關係分析綜合資訊，於該電子看板上播放適合群眾觀看之廣告內容；該電子看板，係接收影像辨識分析主機之視訊信號，並播放適合群眾觀看之廣告內容。

其中該攝影機係為一部或複數部攝影機，該攝影機拍攝之視訊影像係透過同軸電纜以及網路傳送至該影像辨識分析主機，該視訊影像之網路傳輸係為有線方式傳送或無線方式傳送，該影像辨識分析主機係為前端主機、嵌入式裝置或遠端伺服器，係以影像辨識、群眾間關係判斷與輸出適合之廣告內容，該影像辨識模組係由人臉偵測子模組、性別與年齡辨識子模組與群眾間關係分析子模組所組成，該人臉偵測子模組係透過影像區塊分析取得觀看群眾之人臉位置，該性別與年齡辨識子模組係利用人臉特徵分析得到觀眾之性別、年齡資訊，該群眾間關係分析子模組係透過偵測觀眾間是否有牽手、擁抱、穿著相同之衣服款式與顏色、群體間站立之距離與位置以獲得群眾間之關係訊息，該群眾間關係判斷模組係依所辨識之性別、年齡資訊以及分析群眾間之姿勢與行為定義其關係為伴侶、父子、母子以及學生之關係，關係項目 之定義可做增刪，該電子看板係為LED跑馬燈、LCD或戶外大型電視，該群眾間關係判斷模組之分析結果係傳送至後端做統計分析，以提供廣告主研判針對群眾之潛在客戶資訊。

請參考圖一所示，為本創作基於群眾間關係判斷之電子看板推播系統架構圖，係於一電子看板13上裝設一攝影機11，利用該攝影機11擷取該電子看板13前觀看之群眾影像，將所擷取之群眾影像傳送至影像辨識分析主機12進行影像辨識與群眾間關係判斷，依據分別辨識出之性別、年齡與群眾間關係分析之綜合資訊，對應成提供適合群眾觀看之廣告內容播放，以提升廣告行銷之價值與效益。

請參考圖二所示，為本創作基於群眾間關係判斷之電子看板推播系統流程圖，透過攝影機模組21(包含攝影機與取像軟體)拍攝電子看板前觀看群眾之影像並將視訊影像傳送至該影像辨識分析主機12，該影像辨識分析主機12可為前端主機、嵌入式裝置或遠端伺服器，用以做影像辨識、群眾間關係判斷與輸出適合之廣告內容；首先，利用影像辨識模組22中之人臉偵測子模組23取得觀看群眾之人臉數量與位置，該人臉偵測子模組23係為計算哈爾小波轉換(Haar Feature)之特徵參數，再利用一種機器學習算法連接式(Adaboost)偵測人臉位置，以預先訓練好的Adaboost模型判斷整張影像中不同位置與大小之正方形框是否為人臉，最後得到影像中有人臉與沒有人臉之偵測結果；若未偵測到人臉，由廣告控制模組27依排程或隨機選擇之廣告內容進行播放；反之，若所偵測之人臉數量大於等於一人，則依據影像辨識分析所得到之性別、年齡與群眾間關係分析綜合資訊播放合適之廣告內容；其中，人臉數量大於一人時，影像辨識分析之流程為經由該 影像辨識模組22中之性別與年齡辨識子模組24得到偵測人員之性別、年齡資訊後，再藉由群眾間關係分析子模組25偵測人員間之關係性，該性別與年齡辨識子模組24辨識流程為經由眼睛偵測、人臉正規化後以一種區域二值化人臉特徵計算方法(Local Binary Pattern)抽取人臉特徵，利用一種監督式學習的方法(Support Vector Machine)訓練事先收集之資料產生SVM分類模型，透過模型辨識得到性別：男性、女性，與年齡層：嬰幼兒、青少年、成年、中老年之輸出結果；該群眾間關係分析子模組25包含了以下影像辨識分析技術：偵測人員間有無牽手、搭肩、擁抱、穿著相同之衣服款式與顏色、群體間站立之距離與位置之狀態訊息，其中牽手、搭肩、擁抱等行為之實施流程如下，先利用高斯背景模型取得前景人員影像，將此前景影像輸入於事先訓練得到的SVM分類器，此SVM分類器可區分四種類別，分別是牽手、搭肩、擁抱以及其它類；而衣服款式比對係利用一種尺度不變特徵轉換方法(Scale-invariant feature transform，SIFT)偵測衣服上重要之特徵點，透過歐式距離方法比對人員間衣服上之SIFT特徵點計算相似程度，若相似程度大於某一門檻值則判斷人員間穿著相同款式之衣服；另外，衣服顏色比對係利用統計人員間衣服之三原色(Red、Green、Blue)直方圖分佈，藉由直方圖比對得到人員間是否穿著相同顏色衣服之結果；最後，群體間站立之距離與位置可透過人臉偵測後所產生之人臉中心座標分析出結果；群眾間關係判斷模組26利用所辨識之性別、年齡資訊與群眾間關係分析訊息得到伴侶(滿足三項條件：(1)性別辨識結果為1男1女；(2)年齡辨識結果為相同之年齡區間；(3)人員有牽手、搭肩、擁抱等姿勢與行為)、父子或母子(滿足二項條件：(1)年齡辨識結果分別為嬰幼兒、成年或青少年、中老年等；(2)人員有牽手、搭肩或站 立位置靠近等姿勢與行為)、學生(滿足二項條件：(1)年齡辨識結果為青少年；(2)人員穿著相同的衣服款式與顏色)等之群眾關係性結果；若判斷目前觀看人員有已設定之某一特定關係，則透過廣告控制模組27選擇對應群體關係之廣告內容於電子看板上播放(如學生群體推薦KTV、補習班、網咖；親子關係行銷兒童樂園、速食店、玩具；情侶、夫妻則選擇餐廳、MOTEL、觀光業做推薦等)；若判斷無已設定之關係項目或所偵測之人臉數量等於一人時，則直接以統計觀看人們之性別、年齡資訊，推播較多人數之某一性別、年齡族群之廣告內容(如成年女性推薦化妝品、成年男性推薦房車、老年者行銷保健產品等)。

本發名基於群眾間關係判斷之電子看板推播系統除了應用於電子看板服務做商品行銷外，其群眾間關係判斷之綜合資訊亦可傳送至後端資料庫做統計分析，以提供廣告主較精確研判潛在客戶的資訊。

上列詳細說明乃針對本發明之一可行實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。

11‧‧‧攝影機

12‧‧‧影像辨識分析主機

13‧‧‧電子看板

21‧‧‧攝影機模組

22‧‧‧影像辨識模組

23‧‧‧人臉偵測子模組

24‧‧‧性別與年齡辨識子模組

25‧‧‧群眾間關係分析子模組

26‧‧‧群眾間關係判斷模組

27‧‧‧廣告控制模組

28‧‧‧是否偵測到人臉

29‧‧‧是否判斷有關係性

30‧‧‧電子看板播放排程或隨機選擇之廣告內容

31‧‧‧電子看板播放某性別年齡族群之廣告內容

32‧‧‧電子看板播放對應群體關係之廣告內容

請參閱有關本創作之詳細說明及其附圖，將可進一步瞭解本創作之技術內容及其目的功效；有關附圖為： 圖一為基於群眾間關係判斷之電子看板推播系統架構圖；圖二為基於群眾間關係判斷之電子看板推播系統流程圖。

21‧‧‧攝影機模組

22‧‧‧影像辨識模組

23‧‧‧人臉偵測子模組

24‧‧‧性別與年齡辨識子模組

25‧‧‧群眾間關係分析子模組

26‧‧‧群眾間關係判斷模組

27‧‧‧廣告控制模組

28‧‧‧是否偵測到人臉

29‧‧‧是否判斷有關係性

30‧‧‧電子看板播放排程或隨機選擇之廣告內容

31‧‧‧電子看板播放某性別年齡族群之廣告內容

32‧‧‧電子看板播放對應群體關係之廣告內容

Claims (12)

1. 一種基於群眾間關係判斷之電子看板推播系統，其中包括：攝影機模組，該攝影機模組係包含一攝影機與取像軟體，係以拍攝該電子看板前觀看群眾之影像；影像辨識分析主機，該影像辨識分析主機係包含影像辨識模組、群眾間關係判斷模組與廣告控制模組，該影像辨識模組係接收該攝影機模組所拍攝之觀看群眾影像做辨識，輸出該觀看群眾影像、辨識出之人臉位置與性別、年齡以及群眾間關係分析之資訊，該群眾間關係判斷模組係接收該影像辨識模組之觀看群眾影像與人臉位置及性別、年齡以及群眾間關係分析之辨識結果，並綜合判斷觀看群眾有無某一特定關係，該廣告控制模組依該群眾間關係判斷模組所辨識之觀眾性別、年齡與群眾間關係分析綜合資訊，於該電子看板上播放適合群眾觀看之廣告內容；該電子看板，係接收影像辨識分析主機之視訊信號，並播放適合群眾觀看之廣告內容。
2. 如申請專利範圍第1項所述之基於群眾間關係判斷之電子看板推播系統，其中該攝影機係為一部或複數部攝影機。
3. 如申請專利範圍第1項所述之基於群眾間關係判斷之電子看板推播系統，其中該攝影機拍攝之視訊影像係透過同軸電纜以及網路傳送至該影像辨識分析主機。
4. 如申請專利範圍第3項所述之基於群眾間關係判斷之電子看板推播系統，其中該視訊影像之網路傳輸係為有線方式傳送或無線方式傳送。
5. 如申請專利範圍第1項所述之基於群眾間關係判斷之電子看板推播系統，其中該影像辨識分析主機係為前端主機、嵌入式裝置或遠端伺服器，係以影像辨識、群眾間關係判斷與輸出適合之廣告內容。
6. 如申請專利範圍第1項所述之基於群眾間關係判斷之電子看板推播系統，其中該影像辨識模組係由人臉偵測子模組、性別與年齡辨識子模組與群眾間關係分析子模組所組成。
7. 如申請專利範圍第6項所述之基於群眾間關係判斷之電子看板推播系統，其中該人臉偵測子模組係透過影像區塊分析取得觀看群眾之人臉位置。
8. 如申請專利範圍第6項所述之基於群眾間關係判斷之電子看板推播系統，其中該性別與年齡辨識子模組係利用人臉特徵分析得到觀眾之性別、年齡資訊。
9. 如申請專利範圍第6項所述之基於群眾間關係判斷之電子看板推播系統，其中該群眾間關係分析子模組係透過偵測觀眾間是否有牽手、擁抱、穿著相同之衣服款式與顏色、群體間站立之距離與位置以獲得群眾間之關係訊息。
10. 如申請專利範圍第1項所述之基於群眾間關係判斷之電子看板推播系統，其中該群眾間關係判斷模組係依所辨識之性別、年齡資訊以及分析群眾間之姿勢與行為定義其關係為伴侶、父子、母子以及學生之關係，關係項目之定義 可做增刪。
11. 如申請專利範圍第1項所述之基於群眾間關係判斷之電子看板推播系統，其中該電子看板係為LED跑馬燈、LCD或戶外大型電視。
12. 如申請專利範圍第1項所述之基於群眾間關係判斷之電子看板推播系統，其中該群眾間關係判斷模組之分析結果係傳送至後端做統計分析，以提供廣告主研判針對群眾之潛在客戶資訊。