TWI524212B - 互動顯示方法及其電子裝置 - Google Patents

互動顯示方法及其電子裝置 Download PDF

Info

Publication number
TWI524212B
TWI524212B TW102144650A TW102144650A TWI524212B TW I524212 B TWI524212 B TW I524212B TW 102144650 A TW102144650 A TW 102144650A TW 102144650 A TW102144650 A TW 102144650A TW I524212 B TWI524212 B TW I524212B
Authority
TW
Taiwan
Prior art keywords
passerby
electronic device
display
depth
processing unit
Prior art date
Application number
TW102144650A
Other languages
English (en)
Other versions
TW201523332A (zh
Inventor
鄒嘉駿
陳羿帆
林玠佑
Original Assignee
由田新技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 由田新技股份有限公司 filed Critical 由田新技股份有限公司
Priority to TW102144650A priority Critical patent/TWI524212B/zh
Priority to CN201410045097.8A priority patent/CN104699389A/zh
Publication of TW201523332A publication Critical patent/TW201523332A/zh
Application granted granted Critical
Publication of TWI524212B publication Critical patent/TWI524212B/zh

Links

Description

互動顯示方法及其電子裝置
本發明是有關於一種互動媒體(interactive media)技術,且特別是有關於一種反應路人其移動狀態的互動顯示方法及其電子裝置。
隨著多媒體技術的進步,店家或廠商可以透過電子廣告播放裝置(例如,大型發光二極體螢幕、液晶顯示螢幕)來播放廣告,藉以宣傳產品、銷售活動或是提供優惠訊息。
因此,為了使廣告能夠有效地達到其宣傳效果,對於廣告供應商而言,如何吸引人群通過或駐足於廣告前方,是可供思考及欲待解決的問題。
本發明提供一種互動顯示方法及其電子裝置,可利用感測器以及顯示屏幕所構成的互動媒體來感測通過此互動媒體的路 人,並可隨著路人的移動狀態顯示對應於路人的三維物件,藉以透過趣味的方式來反應路人的移動狀態,有效地吸引路人的關注。
本發明的互動顯示方法適用於具有深度擷取單元及顯示單元的電子裝置。互動顯示方法包括下列步驟。利用深度擷取單元偵測相對應電子裝置的路人,並於顯示單元所顯示的至少一個三維場景中顯示對應於路人的第一物件。利用深度擷取單元偵測路人相對應電子裝置的移動狀態,以及依據路人的移動狀態,調整第一物件於三維場景中的顯示型態。
在本發明的一實施例中,上述利用深度擷取單元偵測路人相對應電子裝置的移動狀態的步驟包括利用深度擷取單元獲得對應於路人的移動方向與深度資訊,以及依據移動方向與深度資訊,判斷路人的移動狀態為移動或駐留。
在本發明的一實施例中,上述依據路人的移動狀態,調整第一物件於三維場景中的顯示型態的步驟包括當移動狀態為移動時,依據移動方向與深度資訊,調整第一物件以對應於路人而於三維場景中移動。
在本發明的一實施例中,上述依據路人的移動狀態,調整第一物件於三維場景中的顯示型態的步驟包括當移動狀態為駐留時,調整第一物件的形狀、透明度以及動畫效果至少其一,以轉變第一物件而成為第二物件。
在本發明的一實施例中,上述依據路人的移動狀態,調整第一物件於三維場景中的顯示型態的步驟包括依據路人的深度 資訊,決定第一物件相對於路人的顯示位置。
在本發明的一實施例中,上述依據路人的移動狀態,調整第一物件於三維場景中的顯示型態的步驟包括當該第一物件移動至不同的三維場景時,依據對應的三維場景以調整第一物件的形狀、大小、位置至少其一。
在本發明的一實施例中,上述第一物件是擷取自路人的路人影像、預設影像以及預設動畫之其一或其組合。
本發明的電子裝置包括深度擷取單元、顯示單元以及處理單元。其中,深度擷取單元用以偵測相對應電子裝置的路人,並偵測路人相對應電子裝置的移動狀態。顯示單元用以顯示至少一個三維場景,並於三維場景中顯示對應於路人的第一物件。處理單元耦接深度擷取單元以及顯示單元,用以分析路人的移動狀態,並依據路人的移動狀態,調整第一物件於三維場景中的顯示型態。
在本發明的一實施例中,上述的深度擷取單元獲得對應於路人的移動方向與深度資訊,且處理單元依據移動方向與深度資訊,判斷路人的移動狀態為移動或駐留。
在本發明的一實施例中,當該移動狀態為移動時,上述的處理單元依據移動方向與深度資訊,調整第一物件以對應於路人而於三維場景中移動。
在本發明的一實施例中,當該移動狀態為駐留時,上述的處理單元調整第一物件的形狀、透明度以及動畫效果至少其 一,以轉變第一物件而成為第二物件。
在本發明的一實施例中,上述的處理單元依據路人的深度資訊,決定第一物件相對於路人的顯示位置。
在本發明的一實施例中,當第一物件移動至不同的三維場景時,上述的處理單元依據對應的三維場景以調整第一物件的形狀、大小、位置至少其一。
在本發明的一實施例中,上述的第一物件是擷取自路人的路人影像、預設影像以及預設動畫之其一或其組合。
基於上述,本發明實施例的互動顯示方法及其電子裝置可利用深度擷取單元偵測通過的路人,而在三維場景中對應顯示相應於路人的三維物件,並透過偵測路人正在移動或駐留,而對應調整三維物件為跟隨路人移動或是轉變其顯示形態。此外,依據路人與電子裝置之間的相對距離或是三維物件所經過的場景不同,上述物件也可相應地調整其顯示方式及型態,藉以反應路人的移動狀態而產生互動。藉此,本發明實施例藉由互動媒體而以較為趣味的方式來反應路人的移動狀態,並能夠呈現影子跟隨的效果而達到與路人的互動,可有效地吸引路人的關注。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
100、200、400、500‧‧‧電子裝置
110、210、410、510‧‧‧深度擷取單元
120、220、420、520‧‧‧顯示單元
130‧‧‧處理單元
212、412、512‧‧‧可偵測範圍
222、522‧‧‧街道布置
226‧‧‧櫥窗
228‧‧‧佈告欄
240‧‧‧操控區
250‧‧‧數字標牌區
260、460、560‧‧‧路人
426、428‧‧‧子場景
462、464、466、562、564‧‧‧路人影像
A~H‧‧‧位置
S310~S340‧‧‧步驟
圖1是依照本發明一實施例所繪示的電子裝置的方塊圖。
圖2是依照本發明一實施例所繪示的電子裝置的示意圖。
圖3是依照本發明一實施例所繪示的互動顯示方法的流程圖。
圖4是依照本發明一實施例所繪示的互動顯示方法的範例。
圖5是依照本發明一實施例所繪示的互動顯示方法的範例。
圖6是依照本發明一實施例所繪示的互動顯示方法的範例。
店家或廠商可以透過電子廣告播放裝置來宣傳其產品或相關活動。為了使廣告能夠有效地達到其宣傳效果並進而達到其廣告效益,對於廣告供應商而言,如何吸引人群通過或駐足於廣告前方,是可供思考及欲待解決的問題。藉此,本發明提供一種互動顯示方法及其電子裝置,可利用感測器以及顯示屏幕所構成的互動媒體來感測通過此互動媒體的路人,並可隨著路人的移動狀態而在三維場景中以多種型態來顯示對應於路人的三維物件。因此,本發明實施例藉由互動媒體而以較為趣味的方式來反應路人的移動狀態,可有效地吸引路人的關注。
圖1是依照本發明一實施例所繪示的電子裝置的方塊圖。請參照圖1,電子裝置100包括深度擷取單元110、顯示單元 120以及處理單元130。其中,處理單元130分別耦接於深度擷取單元110以及顯示單元120。
深度擷取單元110可用以偵測相對應電子裝置100的路人,並偵測路人相對應電子裝置100的移動狀態。在本實施例中,深度擷取單元110例如是一或多個深度攝影機(depth camera)、具有多鏡頭的立體攝影機、用以建構三維影像的多個攝影機的組合或其他可偵測三維空間資訊的影像感測器,並藉以取得所偵測到的路人的深度資訊。深度擷取單元110可設置於能夠擷取到顯示單元120前方影像的位置。例如,深度擷取單元110可配置於顯示單元120的附近或是顯示單元120的下方。應用本實施例者可依據其設計需求來決定深度擷取單元110對於路人的偵測範圍,從而決定出其設置位置、取像方向等配置情形。
顯示單元120例如為液晶顯示器(Liquid-Crystal Display;LCD)、電漿顯示器、真空螢光顯示器、發光二極體(Light-Emitting Diode:LED)顯示器、場發射顯示器(Field Emission Display;FED)及/或其他合適種類的顯示器,在此並不限制其種類。在本發明實施例中,顯示單元120用以顯示至少一個三維場景,並於所述的三維場景中顯示對應於路人的第一物件。其中,三維場景例如是中古世紀的街道場景,並以三維顯示技術而在三維場景中顯示多種三維物件,例如街道、石柱、佈告欄等,應用本實施例者可增減三維場景中所顯示的物件,或亦可使用其他任意風格的布置。上述的第一物件可以是深度擷取單元 110偵測並對應路人所擷取的路人影像,也可以是對應其他圖案的預設影像或是預設動畫,或是上述圖像的任意組合。顯示單元120所顯示的三維場景以及第一物件可透過互動媒體而以趣味且多元的顯示方式及型態來吸引路人的目光。
處理單元130例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。在本實施例中,處理單元130用以實現本發明實施例所提出的互動顯示方法。
在此對本發明實施例的電子裝置詳細說明。請參照圖2,圖2是依照本發明一實施例所繪示的電子裝置的示意圖。在本實施例中,電子裝置200可以是一個互動媒體並設置於公共場所,因此,電子裝置200可以對應偵測到的路人而顯示動畫、影像或訊息,藉以吸引路人的目光並進而產生互動。如圖2所示,電子裝置200的顯示單元220是一個長形螢幕,其中並利用三維影像顯示技術以顯示影像,藉以透過虛擬實境讓經過電子裝置200的路人能夠有身歷其境的感受。舉例來說,長形螢幕的總長可以為6公尺,且互動屏幕區域則可達5公尺,但本發明實施例並不受限於此,應用本實施例者可依據其需求而選擇長型螢幕的尺寸。在 本實施例中,顯示單元220的內部顯示的是一個中古世紀的街道場景,且此街道場景中的街道布置222是利用鵝卵石花紋所鋪滿。此外,街道場景還可包括其他諸如櫥窗226、佈告欄228等多種三維物件,藉以呈現此街道場景中不同的子場景。在其他實施例中,顯示單元220也可以顯示不同的場景或物件來替代上述的街道場景,或是同時顯示多個不同風格的場景布置,本發明對此不加以限制。
電子裝置200的深度擷取單元210可安裝在顯示單元220的下方,用以拍攝及偵測通過並進入其可偵測範圍212內的路人。如圖2所繪示,本實施例的電子裝置200可包括在顯示單元220下方的4個深度擷取單元210,且當路人260進入上述深度擷取單元210所對應的可偵測範圍212內時,深度擷取單元210即可判斷偵測到路人260。
此外,電子裝置200還具有操控區240,且上述深度擷取單元210的其中之一設置於操控區240的下方,藉以偵測並取得路人260對應的深度值及操作手勢,以作為路人260對於操控區240的互動操控之用。詳細來說,當路人260位於操控區240前方,且電子裝置200經由設置於操控區240下方的深度擷取單元210而偵測到路人260及其對於操控區240的操作時,處理單元即會依據偵測到的操作,而藉由影像辨識或三維深度分析等技術分析上述操作以取得分析數據,並且於資料庫(未繪於圖)比對所取得的分析數據,來判斷分析數據是否符合相對應的動作指令,並 可據以對操控區240中的物件執行上述指令。例如,當深度擷取單元210偵測到路人260做出手指向內抓以成握拳狀態的動作時,處理單元即判斷此操作動作為選取,並將會依據對應於操控區240畫面中的特定物件執行選取此特定物件的操作。
另外,電子裝置200還包括數字標牌區250,用以提供路人260關於此電子裝置200的信息及說明。對於上述電子裝置200中的操控區240或數字標牌區250等不同功能性質的區域配置,本發明不加以限制。
值得一提的是,圖2實施例繪示的是當深度擷取單元210偵測到路人260通過電子裝置200前方的情況。在其他實施例中,深度擷取單元210可相對於電子裝置200的其他方向(例如後方、右前方等)而對路人進行偵測。另外,深度擷取單元210還可以同時偵測多個通過電子裝置200的路人,並可藉由多核心的處理單元或是多個處理單元而分別對各路人所對應的路人影像及其深度資訊進行處理。
接下來則說明本發明實施例所提出的互動顯示方法。圖3是依照本發明一實施例所繪示的互動顯示方法的流程圖。請同時參照圖1與圖3,本實施例的方法適用於上述的電子裝置100,以下即搭配圖1中電子裝置100的各項元件,說明本實施例方法的詳細流程。
在步驟S310中,利用深度擷取單元110偵測相對應電子裝置100的路人。具體而言,深度擷取單元110可以擷取其可偵 測範圍內的影像,並由處理單元130對所擷取影像進行後續分析。例如,在一實施例中,深度擷取單元110在取得所擷取的影像之後,可由處理單元130先進行影像去背動作,藉以區隔影像中的前景與背景,並確認前景中是否包括路人所對應的人體影像。處理單元130可以利用例如區塊偵測(blob detect)演算法來找出影像中屬於人體的區塊,並透過取得此區塊對應的特徵值與預先建立的特徵值進行比對,當兩者相符時,處理單元130即可判斷影像中的上述區塊為人體影像。在其他實施例中,對於上述偵測路人的步驟,處理單元130也可以透過其他演算法來判斷影像中是否包含對應路人的人體影像。在此並不限定判定並取得對應於路人的人體影像的方式。
在步驟S320中,顯示單元120於其所顯示的至少一個三維場景中顯示對應於路人的第一物件。詳細來說,在一實施例中,上述的第一物件可以是由深度擷取單元110對路人所擷取的路人影像。因此,當深度擷取單元110偵測到經過電子裝置100的路人,並取得此路人對應的路人影像及其對應的深度資訊之後,顯示單元120可以依據深度資訊所代表的路人與電子裝置100之間的相對距離,而決定以上述路人影像作為第一物件時將其顯示於三維場景中的位置。換句話說,隨著路人與電子裝置100之間的相對距離不同,第一物件顯示於三維場景內的位置也會對應於路人而有遠近程度的調整。如此一來,當路人經過電子裝置100,且深度擷取單元110偵測到路人而顯示對應於路人的第一物件時, 透過顯示單元120對第一物件的適當設置,可藉以模擬出影子的效果,讓路人對此三維場景有更逼真的感受。
而在另一實施例中,顯示單元120也可以顯示預設影像、預設動畫,或是結合所擷取的路人影像之其一或其組合,而作為對應於路人的第一物件,並藉以與路人進行互動。例如,當深度擷取單元110偵測到路人時,顯示單元120可以使用足球的預設影像作為對應路人的第一物件,並依據路人的位置而將此足球顯示於三維場景中。或者,顯示單元120也可以用動畫的形式來顯示對應於路人的第一物件,例如彈跳或滾動中的足球。由上述可看出,本實施例可以透過顯示對應於路人的第一物件,藉以提供路人與電子裝置之間的人機互動來達到吸引路人關注的目的。另外,在其他實施例中,預設影像或預設動畫也可以是鈕扣或是動物等其他圖案來實現,本發明對於預設影像或是預設動畫的選擇並不加以限制。
回到圖3的流程,在步驟330中,深度擷取單元110偵測路人相對應電子裝置100的移動狀態,並在步驟340中,處理單元130會依據路人的移動狀態,而調整第一物件於三維場景中的顯示型態。具體來說,在一實施例中,深度擷取單元110偵測路人其移動狀態的步驟可以包括處理單元130利用深度擷取單元110以獲得對應於路人的移動方向與深度資訊,而據以判斷路人的移動狀態為移動或駐留。接著,處理單元130會依據路人移動狀態的不同,而決定第一物件相應的顯示型態。換句話說,本發明 實施例即是利用第一物件的顯示型態,藉以反應路人的移動狀態,並透過呈現影子跟隨的效果而達到與路人的互動,從而吸引路人的關注。
在此先詳述處理單元130如何利用深度擷取單元110以獲得對應於路人的深度資訊以及移動方向,並以深度擷取單元110為雙眼攝影機(具有左、右鏡頭的立體攝影機)以及彩色深度攝影機(Red/Green/Blue-Depth camera;RGB-D camera,以下簡稱RGB-D攝影機)的兩種實施方式分作說明如下。
首先,以深度擷取單元110為具有左、右鏡頭的立體攝影機為例,在此實施例中,深度擷取單元110可依據左、右鏡頭之間的間距、左、右鏡頭的焦距以及左、右影像對於各像素的像差,藉以獲得路人影像對應於深度擷取單元110的深度值,且此深度值即對應了路人與深度擷取單元110之間的距離,並可供處理單元130作為上述路人的深度資訊。
在處理單元130確認上述利用深度擷取單元110所獲得的深度資訊之後,處理單元130還可藉由取得路人其位移上的變化,從而推算出路人的移動方向。詳言之,處理單元130可以藉由對多張隨時間而擷取的影像進行處理來得到路人的位移變化。例如,在一實施例中,深度擷取單元110的左鏡頭隨時間而擷取了多張左影像。之後,處理單元130即可利用深度擷取單元110所取得的上述多張左影像,而判斷路人對應的人體影像在各張左影像中相對於整張左影像的位置,並藉以比較人體影像在各左影 像中的位置差異,從而獲得路人在二維方向上的位移變化。接著,處理單元130可依據先前獲得的深度資訊以及上述的二維位移變化,從而整合並推算出路人在三維空間中所對應的移動方向。
在另一實施例中,處理單元130也可以利用深度擷取單元110為RGB-D攝影機,以獲得對應於路人的深度資訊以及移動方向,以下詳作說明。
在此實施例中,深度擷取單元110為RGB-D攝影機,且可包括彩色攝影機、紅外線攝影機以及紅外線投光器。其中,彩色攝影機用以擷取二維影像,而紅外線攝影機以及紅外線投光器則用以取得影像的深度資訊。因此,在此實施例中,深度擷取單元110可透過紅外線投光器發出紅外線光源,並透過紅外線光源碰到拍攝物件反射的時間,藉以判斷路人與紅外線攝影機之間的距離,從而將此距離提供給處理單元130並作為路人的深度資訊。
與前一實施例類似,處理單元130也可依據上述所獲得的深度資訊,再利用路人的位移變化,從而獲得路人的移動方向。因此,處理單元130可以使用深度擷取單元110中的彩色攝影機,並藉由對彩色攝影機隨時間所擷取的關於路人的多張二維影像進行分析,而得到路人的位移變化。藉此,處理單元130即可透過深度資訊以及位移變化,並經運算而取得路人的移動方向。
需說明的是,以上透過深度擷取單元110為雙眼攝影機以及彩色深度攝影機來說明關於路人的深度資訊與移動方向的取得方式,而在其他實施例中,深度擷取單元110也可以由其他可 擷取深度資訊的裝置來實現,應用本實施例者可依其使用的深度擷取裝置種類而採用相對應的實施方式,藉以獲得路人的移動方向與深度特徵。另外,上述關於路人的移動方向也可以透過路人的移動量或是移動向量來作為判斷路人移動狀態的特徵,對此,本發明亦不限制判斷路人其移動狀態的方式。
值得一提的是,在一些實施例中,由於第一物件在三維場景中的顯示位置會依據路人相對於電子裝置100的距離而決定,因此,顯示單元120必須在深度擷取單元110獲得對應路人的深度特徵之後,才能夠據以將第一物件顯示。而在其他實施例中,若第一物件的顯示位置不考慮與路人深度特徵的相關性,而以預設位置或隨機等方式決定顯示第一物件的位置,則對於顯示單元120顯示第一物件以及深度擷取單元110取得路人的深度特徵這兩個步驟的執行順序則不需加以限制。應用本實施例者可依照其設計需求而決定並調整上述顯示第一物件以及取得路人的深度特徵的步驟流程。
在處理單元130取得路人的移動狀態以及深度特徵之後,對應於路人的移動狀態不同,接下來將針對路人為移動或駐留的情況,分別說明其個別調整第一物件的顯示型態的方式。首先說明路人為移動時的情形。在一實施例中,當處理單元130利用深度擷取單元110而獲得的路人的移動方向與深度特徵,並據以得知路人經過電子裝置100且正在移動時,處理單元130會依據正在移動中的路人其移動方向與深度資訊,而對應路人來調整 第一物件,使得第一物件可以在三維場景中隨著路人的移動方向而對應地移動。而在一實施例中,處理單元130還可以依據路人的深度資訊,而決定並調整第一物件相對於路人的顯示位置。
舉例而言,請參照圖4所繪示的範例。其中,位置A、B、C分別代表路人460向左移動的過程中於不同時間點所對應的位置,而位置D、E、F則是分別相應於上述各時間點時,對應路人的第一物件顯示在三維場景中的位置。在本實施例中是以路人影像462、464、466作為路人460分別位於位置A、B、C時所對應的第一物件,並由電子裝置400的顯示單元420將這些路人影像顯示於三維場景中。當路人460經過電子裝置400並進入電子裝置400的深度擷取單元410的可偵測範圍412內,且深度擷取單元410在位置A偵測到路人460時,處理單元可藉由深度擷取單元410擷取包括路人460的影像,從而獲得路人460所對應的移動方向和深度資訊。此處處理單元獲得對應於路人460的移動方向和深度資訊的實施方法已於之前的實施例有詳細說明,故其細節請參閱前述。
因此,如圖4所示,處理單元可以對應在位置A的路人460而在三維場景中鵝卵石街道上的位置D上顯示路人影像462,以作為對應於路人460在位置A時的第一物件。需強調的是,在本實施例中,處理單元可依據路人影像462所處的三維場景,而對應決定路人影像462的顯示型態。以在位置D上顯示的路人影像462為例,此時處理單元會依據鵝卵石街道為平面而對應將路 人影像462以平躺的方式顯示於鵝卵石街道上。
接著,當處理單元經由深度擷取單元410的偵測而得知路人460朝左前的方向而從位置A往位置B移動時,由於路人460逐漸往電子裝置400靠近,故深度擷取單元410可以偵測到路人460與電子裝置400之間的距離變小。因此,處理單元可據以決定在路人460的移動過程中,相應於路人460的路人影像於三維場景中的顯示位置。例如,相較於路人460在位置A時與電子裝置400的相對距離,當路人460移動至位置B時,由於其與電子裝置400之間的相對距離較近,故處理單元會將第一物件的顯示位置決定於離路人460較近處(如三維場景中鵝卵石街道上的位置E),並依據深度擷取單元410對於路人460在位置B時所擷取到的影像而顯示路人影像464。換言之,在本實施例中,處理單元可以對應於路人460而鏡像地顯示路人影像464。藉此,處理單元即可對應於路人460的移動狀態及其深度資訊,而對應地在三維場景中決定相應於路人460的第一物件的顯示位置以顯示第一物件。
值得一提的是,路人的深度資訊實質上也相應地決定了深度擷取單元410所擷取的路人影像的尺寸。例如,當路人460在位置A時,由於相對於電子裝置400的距離較遠,故深度擷取單元410擷取且對應顯示的路人影像462會較小;而當路人460走近電子裝置400而來到位置B時,深度擷取單元410將會因相對距離改變而擷取到較大的影像,故相對於位置D的路人影像462,此時顯示於位置E上的路人影像464的尺寸將會較大。
藉此,本實施例可以透過即時擷取路人影像,並利用路人其深度資訊來決定顯示位置,藉以在三維場景中顯示第一物件以反應路人的移動狀態,如此一來,可以較為真實地呈現影子跟隨的效果。
需說明的是,當對應於路人的第一物件跟隨路人而移動並進入不同三維場景時,處理單元130可以依據三維場景而對應地調整第一物件的形狀、大小、位置至少其一,使得第一物件的顯示型態將會有所變化。請再次參照圖4的範例,當路人460從位置B向左移動至位置C的過程中,路人460在位置B所對應的第一物件(即路人影像464)將會相應移動,而從由櫥窗和鵝卵石所構成的子場景426中移動並進入顯示為佈告欄的子場景428。由於三維場景中的鵝卵石街道為平面場景,而佈告欄則為直立並位於三維場景中的前景(即距離路人460較近處),因此,處理單元可以將第一物件從原本是平躺於鵝卵石上的路人影像464,因應佈告欄的子場景428為直立場景而轉變路人影像的顯示型態為直立的路人影像466,並依據佈告欄為前景,而將路人影像466以大於路人影像464的尺寸顯示。
在其他實施例中,第一物件的顯示型態也可以依據三維場景內各物件的顯示形狀或是材質而有相應的變化。例如,當三維場景顯示為傾斜或是有曲度的地面時,第一物件可以沿著地面的樣貌而顯示。又或者當顯示的三維場景包含花崗石階梯時,第一物件也能夠依照階梯的形狀而對應調整其顯示型態,並依據其 材質的不同,而可對應調整第一物件所顯示的透明度、色彩飽和度,或是其他的變化型態。藉此,依據三維場景、材質而對應調整相應於路人的第一物件的顯示型態,可以讓顯示於三維場景中的第一物件能夠更逼真地實現相當於影子的效果,進而吸引路人的注意。
前述實施例中是利用深度擷取單元110即時擷取的路人影像作為對應路人的第一物件而在三維場景中顯示。在另一實施例中,處理單元130也可以使用預設影像或是預設動畫的方式來作為對應路人的第一物件。例如,預設影像可以使用足球,或是在深度擷取單元110首次偵測到路人時所擷取的路人影像,並依據路人的移動狀態而隨之平移而實現隨路人移動的效果。於前述實施例不同之處在於,當路人靠近或遠離電子裝置100而使得的相對距離發生改變時,若希望對應路人的第一物件(即足球)可以較為逼真的方式顯示,則處理單元130必須要依據路人和電子裝置100之間的相對距離而對應調整足球的大小。例如,當路人靠近電子裝置100時,處理單元130會將對應路人所顯示的足球調整為較大的尺寸,並由顯示單元120將其顯示於三維場景中,藉以對應路人靠近電子裝置100的情況,以呈現較為符合真實的情境。
上述實施例為針對路人正在移動的狀況進行說明,而若路人經過電子裝置100並因顯示單元120所顯示的三維場景、或是進入電子裝置100的操作區(如圖2中所繪示的操作區240)並 欲進行操作等原因而停下,亦即,當路人其移動狀態為駐留時,對應於路人的第一物件也將因為路人在電子裝置100前駐留而有不同的顯示方式或型態。詳細來說,處理單元130可調整第一物件的形狀、透明度以及動畫效果至少其一,以轉變第一物件而成為第二物件。需強調的是,本實施例透過路人在駐留時所顯示的第二物件,並利用互動媒體而以較為趣味且多樣化的顯示方式來實現與路人的互動,如此一來,可以更加有效地吸引路人的注意。
在此以圖5與圖6所繪示的範例來對路人為駐留的情況進行說明。請先參照圖5,在本實施例中,對應路人的第一物件是利用電子裝置500的深度擷取單元510所擷取的人體影像來顯示。因此,當深度擷取單元510偵測到在其可偵測範圍512內位於位置G的路人560之後,顯示單元520將會依據深度擷取單元510獲得的對應路人560的人體影像以及深度資訊,從而在三維場景中的街道布置522的位置H處顯示路人影像562,並據以作為對應於路人560的第一物件。之後,在圖6中,當處理單元透過深度擷取單元510偵測以得知路人560的移動狀態,並發現路人560在位置G停留而不動時,在本實施例中,處理單元130將會轉變在位置H處的路人影像562的顯示型態,而改以做出揮手動作的路人影像564(如圖6所示)作為第二物件以顯示。在一些實施例中,處理單元130也可以用其他的動畫來呈現路人影像564,例如路人影像564可以在三維場景中奔跑、翻滾、倒立、變形、跳躍等其他動作或其組合。另外,第二物件也可以由經調整過影 像透明度的第一物件組成,或也可使用其他與第一物件截然不同的圖案並顯示於三維場景中。總而言之,當處理單元利用深度擷取單元510而偵測到路人為駐留狀態時,透過處理單元將第一物件(如路人影像562)的顯示型態轉變而成為第二物件(如路人影像564),本發明實施例可以有趣而多樣化的影像顯示方式來達到與路人之間的互動,藉以有效地吸引路人關注。
值得一提的是,在一實施例中,電子裝置100除了透過偵測路人的移動方向與深度資訊所對應的移動變化量來判斷路人的移動狀態是否為駐留之外,處理單元130還可藉由偵測路人的肩膀寬度及其臉部影像來判斷路人的移動狀態,而能夠更精準地判斷路人是否為駐留。詳言之,當路人以正面面向電子裝置100時,其人體影像中的肩膀寬度較大;相對的,當路人以側身面相電子裝置100時,其人體影像中的肩膀寬度則較小。因此,此實施例的處理單元130即是透過上述概念,藉以偵測路人影像的肩膀寬度來判斷路人是否面向電子裝置100,並將路人面向電子裝置100的情況判定為路人可能關注於電子裝置100而駐留。故當處理單元130偵測並判定路人其人體影像中的肩膀寬度大於一個預設寬度時,代表路人有較大的可能性是面向電子裝置100。此時,處理單元130可進一步地自路人其人體影像中的肩膀影像往上搜尋臉部影像,且若處理單元130可從上述人體影像中取得路人的臉部影像時,則處理單元130即可判定路人面向電子裝置100,並將第一物件的顯示型態轉變而成為第二物件。藉此,透過偵測路人 影像的肩膀寬度以確認路人是否面向電子裝置100的方式,可更提升判斷路人移動狀態的準確性。
另一方面,處理單元130也可以依據路人的肢體動作,而改變第一物件的顯示型態。例如,在一實施例中,處理單元130可以對深度擷取單元110所擷取到的路人影像進行肢體動作的辨識,並當判定路人正在電子裝置100的操控區前方並對操控區執行肢體操作時,處理單元130可調整對應於路人的第一物件的透明度強度,藉以加強第一物件的透明度使其顯示影像淡化。
從另一角度而言,對於第一物件與第二物件的透明度的調整方式,還可以依據路人的移動狀態為移動或駐留,而有各自對應的調整方式。例如,在一實施例中,當處理單元130透過深度擷取單元110偵測並得知路人正在移動時,處理單元130可以降低第一物件的透明度,例如將第一物件的顏色加深,藉以利用清晰且較為明顯的影像來吸引路人的注意。而若處理單元130透過深度擷取單元110偵測而知路人的移動狀態為駐留,亦即此時路人可能已經被電子裝置100吸引而駐足觀看,則處理單元130可以透過加強對應於路人的第二物件的透明度,使得第二物件的顯示影像淡化而產生不同的效果。藉此,透過不同透明度的顯示方式來調整第一物件或第二物件的顯示型態,亦可有助於吸引路人的注意。
值得一提的是,在一實施例中,處理單元130也可以透過動畫的方式來實現第二物件與路人之間的互動。例如,電子裝 置100可以透過例如紅外線偵測等體感技術,使得作為第二物件的動畫可以依據所感應到的路人的操作而改變其顯示型態,並產生對應的變化。舉例而言,當路人看到所顯示的足球動畫而對其進行拍擊操作,則當足球接收到路人的拍擊操作時,將會對應於路人的動作而彈跳至遠方。如此一來,本實施例即可利用動畫達到人機互動,藉以有效地吸引路人關注。
此外,在另一實施例中,處理單元130還可以針對路人的生物特徵,而決定其對應的第一物件或是轉換自第一物件而成的第二物件。例如,深度擷取單元110在偵測路人並取得對應的路人影像之後,處理單元130可進一步對此路人影像進行分析,藉以取得路人的性別、年齡等生物特徵。詳細來說,處理單元130可以透過分析路人影像中的臉部影像,藉以對路人進行人臉辨識。經由人臉辨識程序,處理單元130可以取得例如臉型、五官比例、五官特徵之間的幾何關係、皺紋或是痣等臉部特徵,並藉以判斷路人的性別或年齡。另外,處理單元130也可分析路人的人體影像,並依據人體影像所對應的身體區域、手部區域以及足部區域之間的比例或是型態,藉以獲得路人的年紀或是身高。藉此,處理單元130即可以對應路人的年齡,而選擇適合路人年齡的預設影像作為對應路人的第一物件。例如,當路人被判定為小孩時,處理單元130可以選擇足球的預設影像並透過顯示單元120對應路人的移動狀態而顯示。又或者當路人被判定為年輕男性時,處理單元130則可選擇跑車的預設影像作為對應路人的第一 物件。上述舉例以預設影像作為第一物件進行說明,而需了解的是,本實施例的第一物件並不僅限於上述舉出之預設影像,且在其他實施例中,亦可以依據路人的生物特徵而對其對應的路人影像進行調整,而得到對應路人的第一物件或是第二物件。藉此,透過人臉或人體辨識技術的結合,使得本實施例的互動顯示方法可依據路人的特徵而能夠較為貼近路人的需求,而更有助於吸引路人注意。
綜上所述,本發明實施例的互動顯示方法及其電子裝置可利用深度擷取單元偵測通過的路人,而在三維場景中對應顯示相應於路人的三維物件,並透過偵測路人正在移動或駐留,而對應調整三維物件為跟隨路人移動或是轉變其顯示形態。此外,依據路人與電子裝置之間的相對距離或是三維物件所經過的場景不同,上述物件也可相應地調整其顯示方式及型態,藉以反應路人的移動狀態而產生互動。因此,本發明實施例利用感測器以及顯示屏幕所構成的互動媒體來感測通過此互動媒體的路人,並可隨著路人的移動狀態而在三維場景中以多種型態來顯示對應於路人的三維物件。藉此,本發明實施例藉由互動媒體而以較為趣味的方式來反應路人的移動狀態,並能夠呈現影子跟隨的效果而達到與路人的互動,可有效地吸引路人的關注。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍 當視後附的申請專利範圍所界定者為準。
S310~S340‧‧‧步驟

Claims (10)

  1. 一種互動顯示方法,適用於具有深度擷取單元及顯示單元的電子裝置,該方法包括下列步驟:利用該深度擷取單元偵測相對應該電子裝置的路人;於該顯示單元所顯示的至少一三維場景中顯示對應於該路人的第一物件;利用該深度擷取單元偵測該路人相對應該電子裝置的移動狀態;以及依據該路人的該移動狀態,調整該第一物件於該至少一三維場景中的顯示型態,其中利用該深度擷取單元偵測該路人相對應該電子裝置的該移動狀態的步驟包括:利用該深度擷取單元獲得對應於該路人的移動方向與深度資訊;以及依據該移動方向與該深度資訊,判斷該路人的該移動狀態為移動或駐留,其中當該移動狀態為移動時,依據該移動方向與該深度資訊,調整該第一物件以對應於該路人而於該至少一三維場景中移動。
  2. 如申請專利範圍第1項所述的互動顯示方法,其中依據該路人的該移動狀態,調整該第一物件於該至少一三維場景中的該顯示型態的步驟包括: 當該移動狀態為駐留時,調整該第一物件的形狀、透明度以及動畫效果至少其一,以轉變該第一物件而成為第二物件。
  3. 如申請專利範圍第1項所述的互動顯示方法,其中依據該路人的該移動狀態,調整該第一物件於該至少一三維場景中的該顯示型態的步驟包括:依據該路人的深度資訊,決定該第一物件相對於該路人的顯示位置。
  4. 如申請專利範圍第1項所述的互動顯示方法,其中依據該路人的該移動狀態,調整該第一物件於該至少一三維場景中的該顯示型態的步驟包括:當該第一物件移動至不同的三維場景時,依據對應的三維場景以調整該第一物件的形狀、大小、位置至少其一。
  5. 如申請專利範圍第1項所述的互動顯示方法,其中該第一物件是擷取自該路人的路人影像、預設影像以及預設動畫之其一或其組合。
  6. 一種電子裝置,包括:一深度擷取單元,偵測相對應該電子裝置的路人,並偵測該路人相對應該電子裝置的移動狀態;一顯示單元,顯示至少一三維場景,並於該至少一三維場景中顯示對應於該路人的第一物件;以及一處理單元,耦接該深度擷取單元以及該顯示單元,分析該路人的移動狀態,並依據該路人的該移動狀態,調整該第一物件 於該至少一三維場景中的顯示型態,其中該深度擷取單元獲得對應於該路人的移動方向與深度資訊,且該處理單元依據該移動方向與該深度資訊,判斷該路人的該移動狀態為移動或駐留,其中當該移動狀態為移動時,該處理單元依據該移動方向與該深度資訊,調整該第一物件以對應於該路人而於該至少一三維場景中移動。
  7. 如申請專利範圍第6項所述的電子裝置,其中當該移動狀態為駐留時,該處理單元調整該第一物件的形狀、透明度以及動畫效果至少其一,以轉變該第一物件而成為第二物件。
  8. 如申請專利範圍第6項所述的電子裝置,其中該處理單元依據該路人的深度資訊,決定該第一物件相對於該路人的顯示位置。
  9. 如申請專利範圍第6項所述的電子裝置,其中當該第一物件移動至不同的三維場景時,該處理單元依據對應的三維場景以調整該第一物件的形狀、大小、位置至少其一。
  10. 如申請專利範圍第6項所述的電子裝置,其中該第一物件是擷取自該路人的路人影像、預設影像以及預設動畫之其一或其組合。
TW102144650A 2013-12-05 2013-12-05 互動顯示方法及其電子裝置 TWI524212B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102144650A TWI524212B (zh) 2013-12-05 2013-12-05 互動顯示方法及其電子裝置
CN201410045097.8A CN104699389A (zh) 2013-12-05 2014-02-07 互动显示方法及其电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102144650A TWI524212B (zh) 2013-12-05 2013-12-05 互動顯示方法及其電子裝置

Publications (2)

Publication Number Publication Date
TW201523332A TW201523332A (zh) 2015-06-16
TWI524212B true TWI524212B (zh) 2016-03-01

Family

ID=53346578

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102144650A TWI524212B (zh) 2013-12-05 2013-12-05 互動顯示方法及其電子裝置

Country Status (2)

Country Link
CN (1) CN104699389A (zh)
TW (1) TWI524212B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716959B (zh) * 2019-08-07 2021-01-21 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748857B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748858B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI588672B (zh) * 2015-08-04 2017-06-21 逢甲大學 虛擬園區之體感探索互動系統及方法
CN109409914A (zh) * 2017-08-17 2019-03-01 北京元正数据科技有限公司 一种信息的显示方法、装置及井盖
CN111353842A (zh) * 2018-12-24 2020-06-30 阿里巴巴集团控股有限公司 推送信息的处理方法和系统
CN109658841A (zh) * 2019-02-20 2019-04-19 深圳市澳柯瑞科技有限公司 一种橱窗显示方法、装置及系统
CN111093301B (zh) * 2019-12-14 2022-02-25 安琦道尔(上海)环境规划建筑设计咨询有限公司 一种灯光控制方法及其系统
US11514617B2 (en) 2020-08-14 2022-11-29 Htc Corporation Method and system of providing virtual environment during movement and related non-transitory computer-readable storage medium
CN113821106A (zh) * 2021-10-08 2021-12-21 江苏铁锚玻璃股份有限公司 基于智能透明oled车窗的智能功能导航方法及结构

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1380601A (zh) * 2001-04-12 2002-11-20 同宏科技股份有限公司 即时回应式看板装置
US9071834B2 (en) * 2009-04-25 2015-06-30 James Yett Array of individually angled mirrors reflecting disparate color sources toward one or more viewing positions to construct images and visual effects
CN102622081B (zh) * 2011-01-30 2016-06-08 北京新岸线移动多媒体技术有限公司 一种实现体感交互的方法和系统
CN103400543A (zh) * 2013-07-18 2013-11-20 贵州宝森科技有限公司 3d互动展示系统及其展示方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716959B (zh) * 2019-08-07 2021-01-21 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748857B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748858B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法

Also Published As

Publication number Publication date
TW201523332A (zh) 2015-06-16
CN104699389A (zh) 2015-06-10

Similar Documents

Publication Publication Date Title
TWI524212B (zh) 互動顯示方法及其電子裝置
US20230328207A1 (en) Method and System for Providing At Least One Image Captured By a Scene Camera of a Vehicle
Lv et al. Multimodal hand and foot gesture interaction for handheld devices
US8890812B2 (en) Graphical user interface adjusting to a change of user's disposition
US10831278B2 (en) Display with built in 3D sensing capability and gesture control of tv
US8787656B2 (en) Method and apparatus for feature-based stereo matching
US7834846B1 (en) Interactive video display system
AU2008299883B2 (en) Processing of gesture-based user interactions
WO2013069360A1 (ja) 情報処理装置、表示制御方法、およびプログラム
WO2015000286A1 (zh) 基于增强现实的三维互动学习系统及方法
EP1689172B1 (en) Interactive video display system
US20130207962A1 (en) User interactive kiosk with three-dimensional display
US20110164032A1 (en) Three-Dimensional User Interface
CN107066962A (zh) 用于通过光学成像进行的对象检测和表征的增强对比度
WO2007019443A1 (en) Interactive video display system
Wang et al. Magic mirror: A virtual handbag shopping system
US20100134410A1 (en) Image display device
Hakoda et al. Eye tracking using built-in camera for smartphone-based HMD
CN106384365B (zh) 一种包含深度信息获取的扩增实境系统及其方法
CN113795816A (zh) 生成物理布景的语义构造
Treskunov et al. Range Camera for Simple behind Display Interaction.
TW201523298A (zh) 圖像化計數方法及其電子裝置
EP4365887A1 (en) Image display system and image display method
KR100926348B1 (ko) 무안경식 3d 온라인 쇼핑몰 구현을 위한 단말 장치 및 이에 의한 디스플레이 방법
TW201512899A (zh) 以多面體物件來播放多媒體內容的方法及系統