TWI764422B

TWI764422B - 可調整投影位置的資料呈現方法及其系統

Info

Publication number: TWI764422B
Application number: TW109143613A
Authority: TW
Inventors: 洪筠緯; 徐偉軒; 吳家齊; 黃穎竹
Original assignee: 財團法人工業技術研究院
Priority date: 2020-12-10
Filing date: 2020-12-10
Publication date: 2022-05-11
Also published as: CN114630098B; TW202223730A; CN114630098A

Abstract

一種可調整投影位置的資料呈現方法，包括下列步驟。偵測一人眼位置。偵測一櫥窗內一展示物品位置。計算人眼位置與展示物品位置於櫥窗上的一交集位置及一人眼視線範圍。根據人眼視線範圍及交集位置決定一可投影區域。在可投影區域內投影一展示物品資訊。

Description

可調整投影位置的資料呈現方法及其系統

本發明是有關於一種資料呈現方法，特別是一種可調整投影位置的資料呈現方法及其系統。

為了將商品資訊有效地傳達給消費者，以激發消費者的購買欲望，並實現最終的購買行為，以櫥窗陳設為形式進行商業宣傳和營銷，是常見的促銷手法，且櫥窗同時也是品牌宣傳的重要媒介。

此外，以投影的方式將商品資訊固定投影在櫥窗玻璃上，可有效達到推銷的效果，但消費者在觀賞櫥窗時，由於身高差異且站立的位置及角度不盡相同，觀看視角也會有所不同，因而無法確保消費者能清楚閱讀商品資訊。

本發明的目的在於提供一種可調整投影位置的資料呈現方法及其系統，用以將展示物品資訊投影至櫥窗。

本發明係有關於一種可調整投影位置的資料呈現方法及其系統，用以偵測人眼位置及展示物品位置，並估計一可投影區域，用以將一展示物品資訊投影在人眼視線範圍內的可投影區域中，以確保消費者能清楚閱讀展示物品資訊，且投影的展示物品資訊不會遮蔽櫥窗內展示的物品。

根據本發明之一方面，提出一種可調整投影位置的資料呈現方法，包括下列步驟。偵測一人眼位置。偵測一櫥窗內一展示物品位置。計算人眼位置與展示物品位置於櫥窗上的一交集位置及一人眼視線範圍。根據一人眼視線範圍及交集位置決定一可投影區域。在可投影區域內投影一展示物品資訊。

根據本發明之一方面，提出一種可調整投影位置的資料呈現系統，包括一偵測裝置、一運算裝置以及一投影裝置。偵測裝置用以偵測一人眼位置及偵測一櫥窗內一展示物品位置。運算裝置用以計算人眼位置與展示物品位置於櫥窗上的一交集位置及一人眼視線範圍，並根據人眼視線範圍及交集位置決定一可投影區域。投影裝置用以在可投影區域內投影一展示物品資訊。

本發明的優點在於當人眼位置改變時，可投影區域可配合人眼位置、交集位置及人眼視線範圍進行動態調整，以確保可投影區域位在觀看者能清楚觀看的位置。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

10:人眼

20:物品

30:櫥窗

31:視角圓錐

32:人眼視線範圍

33:連線

34:交集位置

36:可投影區域

100:資料呈現系統

110:偵測裝置

111、112:影像擷取單元

113:RGB影像

114:深度影像

115:RGB影像

116:深度影像

120:運算裝置

121:人臉辨識及深度識別模組

122:物品定位模組

123:可投影區域判斷模組

124:卷積神經網路

125:人臉影像

126:人眼識別

127:人眼位置

128:三維笛卡兒座標系轉換

129:展示物品位置

130:投影裝置

131:投影機

132:展示物品資訊

d:深度資訊

θ:頂角

S21-S26:步驟

(x1,y1,z1):座標

(x2,y2,z2):座標

第1圖繪示依照本發明一實施例的可調整投影位置的資料呈現系統的方塊圖；第2圖繪示依照本發明一實施例的可調整投影位置的資料呈現系統的架構圖；第3圖繪示依照本發明一實施例的人臉辨識及深度識別模組的操作示意圖；第4圖繪示依照本發明一實施例的物品定位模組的操作示意圖；第5圖繪示依照本發明一實施例的可投影區域判斷模組的示意圖；及第6A及6B圖分別繪示依照本發明一實施例的可投影區域的示意圖。

以下係提出實施例進行詳細說明，實施例僅用以作為範例說明，並非用以限縮本發明欲保護之範圍。以下是以相同/類似的符號表示相同/類似的元件做說明。

請參照第1及2圖，其中第1圖繪示依照本發明一實施例的可調整投影位置的資料呈現系統100的方塊圖，第2圖繪示依照本發明一實施例的可調整投影位置的資料呈現系統100的架構圖。

依照本發明之一實施例，資料呈現系統100可隨著人眼10的位置改變而動態調整展示物品資訊132的投影位置，以確保觀看者能清楚閱讀展示物品資訊132及觀看櫥窗30內展示的物品20。

請參照第1及2圖，資料呈現系統100包括一偵測裝置110、一運算裝置120以及一投影裝置130。偵測裝置110包括一組影像擷取單元111、112，用以分別擷取人臉(或人眼)的二維RGB影像113 及深度影像114以及展示物品20的二維RGB影像115及深度影像116，以供後端的運算裝置120(例如處理運算單元)可取得人臉(或人眼)的RGB-D影像及展示物品的RGB-D影像，並計算人眼位置的座標(x1,y1,z1)以及展示物品位置的座標(x2,y2,z2)。

影像擷取單元111、112例如是具有測距功能的RGB-D攝影機、雙目攝影機、RGB攝影機及光達模組的組合。如第2圖所示，二台影像擷取單元111、112例如設置在玻璃櫥窗30的上方，用以分別偵測一人眼位置及櫥窗30內一展示物品位置。展示物品位置例如為已知的固定位置或隨著展示物品20的週期或類別不同而改變的可動位置，其座標可採用三維笛卡兒座標系(X,Y,Z)來表示，以供運算裝置120計算展示物品20相對於攝影機112的距離、展示物品20相對於櫥窗30的距離以及展示物品20相對於觀看者的距離。此外，人眼位置例如為觀看展示物品20的人所站立的位置，人眼位置可經由人臉辨識及深度識別之後得知，其座標可採用三維笛卡兒座標系(X,Y,Z)來表示，以供運算裝置120計算人眼10相對於攝影機111的距離、人眼10相對於櫥窗30的距離以及人眼10相對於展示物品20的距離。

請參照第1、2及3圖，其中第3圖繪示依照本發明一實施例的人臉辨識及深度識別模組121的操作示意圖。運算裝置120可包括一人臉辨識及深度識別模組121、一物品定位模組122以及一可投影區域判斷模組123，其中人臉辨識及深度識別模組121例如以卷積神經網路124(Convolutional Neural Network,CNN)進行訓練，將RGB影像113輸入至卷積神經網路124中，以建立人臉分類模型，並根據人臉影像125及深度影像114的深度資訊(d)對人眼特徵進行識別126，以得知人眼10在RGB影像113中的位置及深度127。

除了卷積神經網路124，人臉辨識及深度識別模組121也可利用Yolov3演算法、K-means分群法或基於支援向量機(SVM)及K-means分群架構進行機器學習，以對RGB影像113或三維空間點雲資料進行物件分割，並對人臉影像125進行人眼識別126，以得知人眼位置。

上述的人眼識別126的步驟如下所述。首先，將偵測到的人臉影像125從RGB色彩空間轉為HSV色彩空間，根據每個像素的HSV值進行分類，若像素符合下列條件：0.0

H

50.0 and 0.23

S

0.68，則將像素分類為皮膚，不符則將像素分類為非皮膚，而後將人臉影像125二值化，其中類別為皮膚之像素為1，類別為非皮膚之像素為0。接著，使用開運算進行形態學(morphology)的噪點消除。以圓頻率濾波器(Circle-Frequency Filter)計算出雙眼中心位置。也就是說，對人臉影像125的像素進行去雜訊、去背光等處理，減少周圍環境光線的影響，以提高人眼的辨識準確率。

請參照第1、2及4圖，其中第4圖繪示依照本發明一實施例的物品定位模組122的示意圖。物品定位模組122用以框選RGB影像115中的展示物品20，將RGB影像115中的展示物品位置及深度影像116提供的每個像素的深度資訊(d)相結合，並透過三維笛卡兒座標系轉換128計算展示物品位置129的座標(x2,y2,z2)。

有關座標轉換方式的說明如下。首先，RGB影像115所得之座標(X _RGB ,Y _RGB)為像素(pixel)的位置資訊，而深度影像116所得之深度資訊(d)為鏡頭與物品20的實際距離。使用像素的(X _RGB ,Y _RGB)座標值結合深度資訊(d)，計算出以攝影機位置為原點的3D座標。令攝影機內部參數(Principal Point)為[c _x c _y]，焦距為(f _x ,f _y)，徑向變形(Radial Distortion)係數為k ₁,k ₂,k ₃，切向變形(Tangential distortion)係數為p ₁,p ₂，其中

，

r ²=x ²+y ² f=1+k ₁ r ²+k ₂ r ⁴+k ₃ r ⁶ x=d[xf+2p ₁ xy+p ₂(r ²+2x ²)]y=d[yf+2p ₂ xy+p ₁(r ²+2y ²)]z=d

上述各像素(X _RGB ,Y _RGB)與影像正中心[c _x c _y]之差除以焦距(f _x ,f _y)，所得之(x,y)為使用攝影機外部參數將像素座標轉換為攝影機視域座標。f代表徑向變形(Radial Distortion)對攝影機座標影像的影響強度。最後所得之座標(x,y,z)為使用攝影機外部參數將攝影機視域座標轉換為世界座標，以得到展示物品位置129。

請參照第1、2及5圖，其中第5圖繪示依照本發明一實施例的可投影區域判斷模組123的示意圖。可投影區域判斷模組123用以執行下列步驟S21-S26，包括將人眼位置127對應至三維笛卡兒座標系(步驟S21)中，計算人眼位置到櫥窗30的垂直距離，以取得一人眼視線範圍32(步驟S22)。在一實施例中，可投影區域判斷模組123以人眼位置做為一視角圓錐31的頂點，以人眼10到櫥窗30的垂直距離做為視角圓錐31的高度，以計算視角圓錐31的底面於櫥窗30上的覆蓋區域(或覆蓋面積)，即為人眼視線範圍32，其中視角圓錐31的頂角θ例如為30~60度，本發明對此不加以限制，且人眼視線範圍32可隨著人眼10到櫥窗30的垂直距離調整，當人眼10到櫥窗30的垂直距離較近時，人眼視線範圍32會隨之縮小，而當人眼10到櫥窗30的垂直距離較遠時，人眼視線範圍32會隨之放大，以保持適當觀看區域。

在本實施例中，人眼視線範圍32雖預設為圓形，但人眼視線範圍32亦可設定為橢圓形、矩形或其他形狀。

此外，可投影區域判斷模組123用以將人眼位置127的座標(x1,y1,z1)及展示物品位置129的座標(x2,y2,z2)的連線33與櫥窗30所在的位置(以櫥窗平面方程式(y=0)表示，其中X-Z平面即為櫥窗平面)進行交集(步驟S23)，以得到人眼10所見的展示物品20於櫥窗30上的交集位置34(步驟S24)，接著，可投影區域判斷模組123根據人眼視線範圍32及交集位置34的差集計算一差集區域(人眼視線範圍32減去交集位置34的區域等於差集區域)(步驟S25)，以得到一可投影區域36。其中，可投影區域36為排除人眼視線範圍32中人眼10所見的展示物品20於櫥窗30上的交集位置34以外的差集區域，當人眼位置改變時，可投影區域36(差集區域)配合人眼位置127、交集位置34及人眼視線範圍32進行動態調整，以確保可投影區域36位在觀看者能清楚觀看的位置。

另外，上述的可投影區域判斷模組123用以將差集區域的座標轉換為投影機131視域的二維笛卡兒座標系(步驟S26)，以得到可投影區域36的座標範圍，以供投影裝置130(投影機131)在櫥窗30的可投影區域36上投影一展示商品資訊132。由於可投影區域36不在人眼所見的展示物品於櫥窗30上的交集位置34且與交集位置34不重疊，因此展示物品資訊132不會遮蔽觀看者觀看櫥窗30內展示的物品20。

在一實施例中，當行人經過櫥窗30前面，但行人並未觀看展示物品20時，攝影機不會對人眼位置進行偵測。或者，人眼位置及展示物品位置的連線於櫥窗30上的交集位置34並未落入人眼視線範圍32內時，投影機131不會將展示商品資訊132投影在櫥窗30上。

請參照第6A及6B圖，其分別繪示依照本發明一實施例的可投影區域36的示意圖。在第6A及6B圖中，當觀看者站立的位置不是在展示物品的正前方時，人眼所見的展示物品於櫥窗30上的交集位置34將不會位於人眼視線範圍32的中心，而是偏向左側或右側。此時，可根據人眼位置不同而使可投影區域36由人眼視線範圍32的一側移動至另一側，以隨著人眼的位置改變而動態調整展示物品資訊132的投影位置(例如由右側移動至左側)。可投影區域36亦可位於交集位置34的上方或下方，本發明對此不加以限制。

根據本發明上述實施例的可調整投影位置的資料呈現方法，用以偵測一人眼位置，並偵測一櫥窗內一展示物品位置。計算人眼位置與展示物品位置於櫥窗上的一交集位置及一人眼視線範圍。根據一人眼視線範圍及交集位置決定一可投影區域。在可投影區域內投影一展示物品資訊。尤其是，人眼視線範圍可隨著人眼到櫥窗的垂直距離調整，當人眼到櫥窗的垂直距離較近時，人眼視線範圍會隨之縮小，而當人眼到櫥窗的垂直距離較遠時，人眼視線範圍會隨之放大。當人眼位置改變時，可投影區域可配合人眼位置、交集位置及人眼視線範圍進行動態調整，以確保可投影區域位在觀看者能清楚觀看的位置。此外，可投影區域與人眼所見的展示物品於櫥窗上的交集位置不重疊，因此展示物品資訊不會遮蔽觀看者觀看櫥窗內展示的物品。

綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。