TW202036371A

TW202036371A - 場域分析裝置及其方法

Info

Publication number: TW202036371A
Application number: TW108109071A
Authority: TW
Inventors: 林建錡; 張凱倫; 楊宗翰; 王思捷; 李建穎
Original assignee: 宏碁股份有限公司
Priority date: 2019-03-18
Filing date: 2019-03-18
Publication date: 2020-10-01

Abstract

本發明提出一種場域分析裝置及其方法，以對影像擷取裝置拍攝的影像分析。此場域分析方法包括下列步驟：辨識影像中的目標物的駐留點。將目標物的駐留點轉換成座標系上的目標點。將座標系的目標點與先前資訊比較，並依據比較結果判斷場域的異動情形。此先前資訊相關於異動前的初始平面圖。藉此，可動態更新平面圖，進而輔助場域擁有者。

Description

場域分析裝置及其方法

本發明是有關於一種影像分析技術，且特別是有關於一種場域分析裝置及其方法。

設施擺設在特定場域的位置，通常都有其目的存在。例如，在販賣商品的場域，商品擺放的區域會影響消費者的可行走區域。此外，消費者瀏覽商品或接受服務的區域，亦可以提供給店家在銷售上的額外輔助資訊。然而，店家通常以人工的方式來更新場域的平面圖，不僅耗費人力，更可能無法即時因應現場狀況。由此可知，如何有效地提供正確的平面圖資訊，是各店家需要解決的問題。

有鑑於此，本發明提供一種場域分析裝置及其方法，動態分析影像中人員、設施或物件的位置分佈，並據以即時更新平面圖。

本發明實施例的場域分析裝置，其包括但不僅限於至少一台影像擷取裝置、及處理器。影像擷取裝置擷取至少一張影像。處理器耦接影像擷取裝置，並經組態以執行下列步驟：辨識影像中的目標物的駐留點。將目標物的駐留點轉換成座標系上的目標點。將座標系的目標點與先前資訊比較，並依據比較結果判斷場域的異動情形。此先前資訊相關於異動前的初始平面圖。

另一方面，本發明實施例的場域分析方法，其是對影像擷取裝置拍攝的影像分析。此場域分析方法包括下列步驟：辨識影像中的目標物的駐留點。將目標物的駐留點轉換成座標系上的目標點。將座標系的目標點與先前資訊比較，並依據比較結果判斷場域的異動情形。此先前資訊相關於異動前的初始平面圖。

基於上述，本發明實施例針對關注區域來判斷此區域商品與消費者的關聯性。若商品擺放設施在區域上有所變更，會直接影響消費者後續的行為。針對區域上相關資訊，最合適的方法是以最新的區域配置來解釋。在本發明實施例中，對場域配置或新增影像擷取裝置，並利用擷取影像中的內容直接更新對應的平面圖區域配置。接著，透過自動調整平面圖所帶來的反饋，讓場域擁有者能夠更快速地了解場域上的配置變化，進而讓場域使用者與場域設備之間互動的相關分析更加準確。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依據本發明一實施例的場域分析裝置100的元件方塊圖。請參照圖1，場域分析裝置100包括但不僅限於一台或更多台影像擷取裝置110、儲存器130及處理器150。場域分析裝置100可以是電腦、智慧型手機、平板電腦等電子裝置。

影像擷取裝置110可以是相機、攝影機等裝置，並用以擷取一張或更多張影像。在一實施例中，這些影像擷取裝置110會針對場域中的一個或多個特定區域拍攝。例如，影像擷取裝置110作為賣場、公司的監視器，並朝向特定區域拍攝。需說明的是，影像擷取裝置110可與場域分析裝置100主體分離而作為獨立裝置。

儲存器130可以是任何型態的固定或可移動隨機存取記憶體（Random Access Memory，RAM）、快閃記憶體（Flash Memory）、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Disk，SSD)、非揮發性(non-volatile)記憶體或類似元件或上述元件之組合的儲存器。於本實施例中，儲存器130用於儲存緩衝的或永久的資料(例如，影像擷取裝置110擷取的影像、平面圖、座標轉換函數、先前資訊等)、軟體模組、作業系統、應用程式、驅動程式等資料或檔案，且其詳細內容待後續實施例詳述。

處理器150耦接影像擷取裝置110、及儲存器130。處理器150可以是中央處理單元(Central Processing Unit，CPU)、或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。在本發明實施例中，處理器150用以執行場域分析裝置100的所有作業，並可載入且執行儲存器130所儲存的那些軟體模組或應用程式。

為了方便理解本發明實施例的操作流程，以下將舉諸多實施例詳細說明本發明實施例中場域分析裝置100的運作流程。下文中，將搭配場域分析裝置100的各項元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

圖2是依據本發明一實施例的場域分析方法的流程圖。請參照圖2，假設針對某一特定場域，且儲存器130記錄有其對應平面圖。當此場域的設施配置變更時，場域分析裝置100可先辨識影像中的目標點後，再經由座標轉換函數將目標點於影像中的像素位置轉換至平面圖座標，便可進一步更新平面圖，以下將進一步說明。處理器150透過影像擷取裝置110取得其拍攝的影像之後，將辨識這些影像中目標物的駐留點(步驟S210)。場域使用者可依據拍攝影像的內容區分出關注場所之地面區域(即，指定區域)、或對影像中所有區域進行關注。在一實施例中，目標物是針對人員。基於人員於此場域的位置資料，可進一步更新平面圖。此概念發想是由於移動的人員會閃避場域中的設施或任何障礙物，因此區域內的設備或障礙物的配置變化時，人員的移動方式也會隨著改變(例如，為了閃躲障礙物而轉向)。

處理器150可依據影像形成影像座標系，而此影像座標系中的整數座標相關於影像中的畫素位置。圖3A~3E是一範例說明座標轉換。請參照圖3A，影像I1中的各像素表示一個整數座標。各整數座標是由一條縱線及一條橫線交錯構成，且影像座標系對應於像素矩陣。需說明的是，圖3A僅是用於作為範例說明，於其他實施例中，亦可能是有更多的像素的中心點或任意點形成一個整數座標，且不以此為限。

接著，處理器150決定目標物的駐留點在影像座標系的座標。請參照圖3A，處理器150可辨識影像I1中的人員P，並確認此人員P於影像座標系上的像素位置304。關於人員P的駐留點，處理器150可選擇像素位置304中心點302下方的駐留座標301(先取得如圖以四角框表示的像素位置304的左上與右下座標，再取此二座標取平均後之Y座標、及右下座標之X座標)，亦即是人員P的站立點。需說明的是，在其他實施例中，駐留點可能是像素位置304的四角框中的任何位置。

處理器150將目標物的駐留點轉換成平面座標系上的目標點(步驟S230)。具體而言，決定駐留座標後，處理器150依據座標轉換函數將目標物的駐留點在影像座標系的座標(即，駐留座標)轉換成平面座標系的座標(即，目標點座標)。請參照圖3B，平面座標系P1上的目標點座標311是駐留座標301經座標轉換函數而得出的。

值得說明的是，座標轉換函數是依據樣本物在影像座標系的座標及其於平面座標系的座標所產生。具體而言，影像擷取裝置110與目標場域的地面(例如，地板)之間設有特定相對距離，且任一場域內的影像擷取裝置110架設於相同之相對距離處。一個或更多個樣本物(可選用任意物件)於擺設場域的地面上。處理器150記錄樣本物的平面圖座標(即，平面圖上的實際位置)與對應的像素座標(即，影像上的位置)，並產生其平面圖座標與像素座標的對應關係，且利用這些樣本物的對應關係配適出一組線性迴歸方程式，以作為像素座標系與平面圖座標系的座標轉換函數。

基於人員在平面座標上的駐留點(例如，圖3B的目標點座標311)，處理器150將對平面座標系上的目標點進行邊緣偵測，以得出多邊形。此多邊形即是代表數個人員在場域上駐留的分布情形。此邊緣偵測可被賦予大於或等於零的參數。當參數為零時，每個多邊形為每一點。而隨著參數越大，多邊形的數量就會越少，直到某個參數值可僅產生將所有點包住的一個多邊形。因此，將影像的較長邊作為參數，可確保邊緣偵測的結果為一個多邊形。處理器150首先計算此多邊形的面積。由於平面座標系為整數座標，因此其面積可基於多邊形內方格的數量來得出(如圖3C的重疊面積321，其中各方格是由平面座標系中的整數座標形成的任兩條相鄰縱線、以及整數座標形成的任兩條相鄰橫線所圍構而)。換句而言，處理器150是計算此多邊形之整體與平面座標系的數個方格的重疊數量以作為多邊形的面積(因各格的面積相等，故可以數量來代表面積)。而在邊界的部分則可將每個方格可視為受四個點所包圍(如圖3C的方格322)。若某一方格有兩個點或更多點落在多邊形內，則處理器150將此方格列入多邊形的面積計算。接著，處理器150計算此多邊形內不包括頂點的目標點比例(圖3C重疊面積321為零)。

處理器150判斷多邊形中未包括目標點的比例受否大於比例門檻值。若此比例小於比例門檻值，則處理器150繼續累積目標點之收集。而若此比例大於比例門檻值，則處理器150將邊緣偵測的參數逐漸減少。基於精度的要求，可調整減少的單位為10的次方，且減少單位越小，此多邊形變化就越細微，直到在給定數量的目標點下多邊形的數量增加後，處理器150便重新計算每個多邊形的目標點比例。若所有多邊形的目標點比例都高於比例門檻值，則處理器150繼續降低參數，直到存在產生的多邊形目標點比例低於比例門檻值。此時，處理器150採用前一次符合比例門檻值的狀態，並依據每個多邊形內目標點中最大與最小的Y軸座標與X軸座標作為頂點座標，從而得出包住此多邊形的比較區域(即，形成比較區域以包圍多邊形之整體，且比較區域的邊與多邊形最外側的頂點重疊)。處理器150對此多邊形取補集後，可得到一個或更多個多邊形(例如，形成圖3D所示的比較區域331)。接著，處理器15將對平面座標系的多邊形轉變為一個比較矩陣，且此比較矩陣的大小可取四邊形的長為列的個數、寬為行的個數。若一點屬於補集區域，則處理器150將其的整數座標賦予值1；否則為0。最終，可得到一個零或一值的矩陣，即可定義為區域矩陣。如圖3E所示，圖3D中比較區域331與多邊形未重疊處為0，而重疊處為1。需說明的是，圖3D中的比較區域331是以矩形作為範例，然於其他實施例中，比較區域331的形狀可能有其他變化。

接著，處理器150可將平面座標系的目標點與先前資訊比較，並依據比較結果判斷場域的異動情形(步驟S250)，且此先前資訊相關於異動前的初始平面圖(初始的設備配置平面圖)。具體而言，處理器150利用剛才建立零或一值的矩陣的方法，以原始的平面圖同樣區域大小與位置的部分產生與此區域矩陣相同大小之平面圖矩陣。處理器150可透過兩矩陣相減後取絕對值。以圖3E為例，假設原區域無任何物件，因此平面圖矩陣為全零矩陣(0代表無物件，1代表有物件)。接著，處理器150判斷比較區域與先前資訊中對應區域的差異，並將差異作為場域的異動情形。處理器150可計算值為一的比例(即，比較的差異)。當此比例未超過容忍門檻，則處理器150可繼續判斷其他影像。而當此比例超過容忍門檻值，則處理器150可提示裝置(例如，喇叭、顯示器、通訊收發器等)通知場域使用者。由場域使用者決定此區域異動的時效性。若為長期性異動，則處理器150可提醒場域使用者進行平面圖更新。若為暫時性異動，則處理器150可提醒場域使用者進一步了解此異動情形帶來的影響。此處異動情形即是相關於設施或其他物件的區域上的位移。

值得注意的是，當大量人員位於關注區域時，人員在場域的駐留點會漸漸形成設施的輪廓。圖4A~4D是一範例說明邊緣偵測。請參照圖4A，平面座標系P2的數個目標點411將圍構出設備的輪廓412。請參照圖4B，處理器150進一步找出包圍所有目標點411的邊緣，以形成多邊形421。此多邊形421內因目標點411之間的間隙而有多個洞。處理器150可對圖4B的多邊形411中的洞填滿(形成如圖4C所示的多邊形431)，並取補集以形成如圖4D所示的多邊形432。即，可得出無人員經過的區域，且可作為場域內設施或其他物件的位置。

除了針對人員的駐留點，本發明實施例還能直接針對物件的位移來評估場域的異動情形。在一實施例中，處理器150可針對各影像擷取裝置110所取得影像所劃分的關注區域中所有能夠看見與關注區域連接的既有設施及障礙物，並透過物件偵測的方式直接偵測設施或障礙物位置來了解場域狀況。當場域劃分後，場域分析裝置100可將物件選擇的介面提供使用者。圖5A~5C是一範例說明物件位移偵測。請參照圖5A，此關注區域中的部分物件O受選擇(以標記501表示)，且部分物件O未受選擇(以標記502表示)。處理器150可對取得的影像進行物件偵測來取得設施(如圖5B所示物件512)在影像中的像素位置(如圖5B所示的像素位置511，以左上及右下的座標代表)。處理器150將其右下及左下之中點的像素位置(如圖5B所示駐留點513)定義為物件站立點並轉換至平面座標系的座標。需說明的是，於其他實施例中，處理器150亦可利用影像中的物件特徵點配對來找出設施位置。

當場域關注區域劃分後，處理器150可將設施或障礙物(圖六)在影像中的初始內容(如圖5A受選的物件O，假設為圖5C的物件512)擷取下來作為初始影像(如圖5C所示的駐留點513)。當影像擷取裝置110 取得每一訊框(frame)的影像時，處理器150利用設施的初始影像進行特徵點配對(如圖5C所示特徵點的對應線521)，從而得到設施在影像中的特徵點的像素座標(如圖5C所示像素位置523)。處理器150並計算後續訊框中物件的質心座標，再將此質新座標轉換為平面座標上的座標以作為目標點。處理器150針對當前訊框中的物件設定搜尋範圍(例如，以目標點為中心的圓形、正方形等形狀)。以圓形為例，則目標點為圓心，處理器150將檢查於此搜尋半徑內是否有上一訊框的目標點(例如，圖5B的物件512)，以決定是否需要通知場域使用者。若此搜尋範圍內存在先前訊框的目標點，則處理器150透過提示裝置通知該場域的異動情形。由場所使用者決定此區域異動的時效性，若為長期性異動則可提醒場所使用者進行平面圖更新，若為暫時性異動則可提醒場所使用者進一步了解此異動情況帶來的影響。

由此可知，當場所設施位置透過影像分析而更新完成後，可配合原有平面圖之區域配置來比較，以判斷是否有設施位置已變動區域配置，進而通知場域使用者。在實際應用上，如賣場或百貨公司通常是在某一場域擺設各種設施進行販售與服務，若記錄消費者是否進入特定區域瀏覽某特定商品或接受服務，將有助於店家隨時調整商品的銷售策略與服務對象。因此，商品擺放區域就有隨時變動的可能，也會影響消費者與商品區域關係的分析，而透過本發明實施例更新平面圖的方式，可讓店家了解商品擺設區域是否有所變動，使得店家對商品與消費者之間的分析更加準確。

綜上所述，本發明實施例的場域分析裝置及其方法，利用影像的內容直接更新對應的平面圖區域配置，再透過自動調整平面圖所帶來的反饋，讓場域擁有者更能夠快速了解場所區域上的配置變化，並讓場域使用者與場所設備之間互動的相關分析更加準確。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:場域分析裝置 110:影像擷取裝置 130:儲存器 150:處理器 S210~S250:步驟 I1:影像 P:人員 P1、P2、P3:平面座標系 301:駐留座標 302:中心點 304、511、523:像素位置 311:目標點座標 321:重疊面積 322:方格 331:比較區域 411:目標點 412:輪廓 421、431、432:多邊形 O、512:物件 501、502:標記 513:駐留點 521:對應線

圖1是依據本發明一實施例的場域分析裝置的元件方塊圖。圖2是依據本發明一實施例的場域分析方法的流程圖。圖3A~3E是一範例說明座標轉換。圖4A~4D是一範例說明邊緣偵測。圖5A~5C是一範例說明物件位移偵測。

S210~S250:

Claims

一種場域分析裝置，包括：至少一影像擷取裝置，擷取至少一影像；以及一處理器，耦接該至少一影像擷取裝置，並經組態以執行：辨識該至少一影像中的至少一目標物的駐留點；將該至少一目標物的駐留點轉換成一座標系上的至少一目標點；以及將該座標系的該至少一目標點與一先前資訊比較，並依據比較結果判斷一場域的異動情形，其中該先前資訊相關於異動前的初始平面圖。
如申請專利範圍第1項所述的場域分析裝置，其中該至少一目標物是至少一人員，且該處理器經組態用以執行：依據該至少一影像形成一第二座標系，其中該第二座標系中的整數座標相關於該至少一影像中的畫素位置；決定該至少一目標物的駐留點在該第二座標系的座標；以及依據一座標轉換函數將該至少一目標物的駐留點在該第二座標系的座標轉換成該座標系的座標，其中該座標轉換函數是依據至少一樣本物在該第二座標系的座標及其於該座標系的座標所產生。
如申請專利範圍第1項所述的場域分析裝置，其中該至少一目標物是至少一人員，且該處理器經組態用以執行：對該座標系上的該至少一目標點進行邊緣偵測，以得出一多邊形；計算該多邊形之整體與該座標系的多個方格的重疊數量以作為該多邊形的面積，其中每一該方格是由該座標系中的整數座標形成的任兩條相鄰縱線、以及整數座標形成的任兩條相鄰橫線所圍構而成；以及依據該多邊形中未包括該至少一目標點的比例形成一比較區域，其中該比較區域包圍該多邊形之整體，且該比較區域的邊與該多邊形最外側的頂點重疊。
如申請專利範圍第3項所述的場域分析裝置，其中該處理器經組態用以執行：判斷該比較區域與該先前資訊中對應區域的差異，並將該差異作為該場域的異動情形。
如申請專利範圍第1項所述的場域分析裝置，其中該至少一目標物是至少一物件，且該處理器經組態用以執行：對一當前訊框(frame)中該至少一物件設定一搜尋範圍；判斷該搜尋範圍內是否存在一先前訊框的該至少一物件，其中該先前資訊記錄有該先前訊框；以及反應於該搜尋範圍內存在該先前訊框的該至少一物件，通知該場域的異動情形。
一種場域分析方法，對至少一影像擷取裝置拍攝的至少一影像分析，該場域分析方法包括：辨識該至少一影像中的至少一目標物的駐留點；將該至少一目標物的駐留點轉換成一座標系上的至少一目標點；以及將該座標系的該至少一目標點與一先前資訊比較，並依據比較結果判斷一場域的異動情形，其中該先前資訊相關於異動前的初始平面圖。
如申請專利範圍第6項所述的場域分析方法，其中該至少一目標物是至少一人員，且將該至少一目標物的駐留點轉換成該座標系上的該至少一目標點的步驟包括：依據該至少一影像形成一第二座標系，其中該第二座標系中的整數座標相關於該至少一影像中的畫素位置；決定該至少一目標物的駐留點在該第二座標系的座標；以及依據一座標轉換函數將該至少一目標物的駐留點在該第二座標系的座標轉換成該座標系的座標，其中該座標轉換函數是依據至少一樣本物在該第二座標系的座標及其於該座標系的座標所產生。
如申請專利範圍第6項所述的場域分析方法，其中該至少一目標物是至少一人員，且將該座標系的該至少一目標點與該先前資訊比較的步驟包括：對該座標系上的該至少一目標點進行邊緣偵測，以得出一多邊形；計算該多邊形之整體與該座標系的多個方格的重疊數量以作為該多邊形的面積，其中每一該方格是由該座標系中的整數座標形成的任兩條相鄰縱線、以及整數座標形成的任兩條相鄰橫線所圍構而成；以及依據該多邊形中未包括該至少一目標點的比例形成一比較區域，其中該比較區域包圍該多邊形之整體，且該比較區域的邊與該多邊形最外側的頂點重疊。
如申請專利範圍第6項所述的場域分析方法，其中將該座標系的該至少一目標點與該先前資訊比較的步驟包括：判斷該比較區域與該先前資訊中對應區域的差異，並將該差異作為該場域的異動情形。
如申請專利範圍第6項所述的場域分析方法，其中該至少一目標物是至少一物件，且將該座標系的該至少一目標點與該先前資訊比較的步驟包括：對一當前訊框中該至少一物件設定一搜尋範圍；判斷該搜尋範圍內是否存在一先前訊框的該至少一物件，其中該先前資訊記錄有該先前訊框；以及反應於該搜尋範圍內存在該先前訊框的該至少一物件，通知該場域的異動情形。