TW202019150A - 資訊顯示系統及資訊顯示方法 - Google Patents

資訊顯示系統及資訊顯示方法 Download PDF

Info

Publication number
TW202019150A
TW202019150A TW107139725A TW107139725A TW202019150A TW 202019150 A TW202019150 A TW 202019150A TW 107139725 A TW107139725 A TW 107139725A TW 107139725 A TW107139725 A TW 107139725A TW 202019150 A TW202019150 A TW 202019150A
Authority
TW
Taiwan
Prior art keywords
frame
display
identification information
coordinates
displacement
Prior art date
Application number
TW107139725A
Other languages
English (en)
Other versions
TWI729322B (zh
Inventor
陳健龍
張志嘉
林郁欣
郭信宏
Original Assignee
財團法人工業技術研究院
創智智權管理顧問股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院, 創智智權管理顧問股份有限公司 filed Critical 財團法人工業技術研究院
Priority to TW107139725A priority Critical patent/TWI729322B/zh
Priority to CN201910056988.6A priority patent/CN111221486B/zh
Priority to US16/351,512 priority patent/US10997732B2/en
Publication of TW202019150A publication Critical patent/TW202019150A/zh
Application granted granted Critical
Publication of TWI729322B publication Critical patent/TWI729322B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Abstract

一種資訊顯示系統及資訊顯示方法。資訊顯示系統包括顯示螢幕、影像擷取裝置以及處理裝置。影像擷取裝置用以擷取畫面序列。處理裝置耦接顯示螢幕及影像擷取裝置。處理裝置用以辨識畫面序列中的至少一動態目標物,且產生對應於動態目標物的辨識框架及辨識資訊。處理裝置對畫面序列中的多個第一畫面的辨識框架進行追蹤以取得追蹤結果。處理裝置根據追蹤結果對畫面序列中的第二畫面的辨識資訊的顯示座標進行補償以得到補償後座標,並根據補償後座標於顯示螢幕上顯示辨識資訊,以降低顯示於顯示螢幕上的辨識資訊的抖動。此些第一畫面的時間順序在第二畫面之前。

Description

資訊顯示系統及資訊顯示方法
本發明是有關於一種資訊顯示技術,且特別是有關於一種用於顯示動態目標物之辨識資訊的資訊顯示系統及資訊顯示方法。
隨著技術的發展,透明顯示器的應用也越來越多樣化。透明顯示器乃是其顯示面板具有一定程度的光穿透性,能夠清楚地顯示面板後方的背景。透明顯示器適用於建築物窗戶、車輛車窗與商店櫥窗等多種應用。
除了原有的透明顯示功能之外,透明顯示器還可應用於動態資訊的顯示。亦即,當使用者透過透明顯示器觀看顯示面板相對於使用者另一側的目標物時,可在透明顯示器的目標物顯示位置的周邊,對應地顯示此目標物的辨識資訊。然而,當目標物移動或抖動時,此目標物的辨識資訊的顯示位置也會相對地移動或抖動。如此一來,將會影響使用者觀看時的舒適度。
本發明一實施例提供一種用於顯示動態目標物之辨識資訊的資訊顯示系統及資訊顯示方法,可在動態目標物移動或抖動時,對動態目標物之辨識資訊的顯示座標進行補償,以提高使用者觀看目標物及其辨識資訊時的舒適度。
本發明一實施例的資訊顯示系統包括顯示螢幕、影像擷取裝置以及處理裝置。影像擷取裝置用以擷取畫面序列。處理裝置耦接顯示螢幕及影像擷取裝置。處理裝置用以辨識畫面序列中的至少一動態目標物,且產生對應於動態目標物的辨識框架及辨識資訊。處理裝置對畫面序列中的多個第一畫面的辨識框架進行追蹤以取得追蹤結果。處理裝置根據追蹤結果對畫面序列中的第二畫面的辨識資訊的顯示座標進行補償以得到補償後座標,並根據補償後座標於顯示螢幕上顯示辨識資訊。此些第一畫面的時間順序在第二畫面之前。
本發明一實施例的資訊顯示方法包括以下步驟。透過影像擷取裝置擷取畫面序列。透過處理裝置執行以下步驟。辨識畫面序列中的至少一動態目標物以取得對應於動態目標物的辨識框架及辨識資訊。對畫面序列中的多個第一畫面的辨識框架進行追蹤以取得追蹤結果。根據追蹤結果對畫面序列中的第二畫面的辨識資訊的顯示座標進行補償以得到補償後座標,其中此些第一畫面的時間順序在第二畫面之前。根據補償後座標於顯示螢幕上顯示辨識資訊。
為讓本發明能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明中的資訊顯示系統以及資訊顯示方法的示範性實施例。
圖1是依照本發明一實施例所繪示的資訊顯示系統的方塊示意圖,圖2是依照本發明一實施例所繪示的資訊顯示系統的應用情境示意圖。請合併參照圖1及圖2。資訊顯示系統100包括顯示螢幕120、影像擷取裝置140、180以及處理裝置160,但本發明不限於此。在圖2所示的實施例中,使用者900位於顯示螢幕120的第一側,且透過顯示螢幕120觀看顯示螢幕120的第二側的動態目標物OB,其中動態目標物OB的數量為至少一個。
在本發明的一實施例中,顯示螢幕120例如是透明顯示器螢幕。前述的透明顯示器螢幕是指顯示器螢幕本身具有一定程度的光線穿透性,能夠呈現出顯示器螢幕後方的背景。實施為透明顯示器螢幕的顯示螢幕120可適用於建築物(如,觀景臺、水族館、博物館)中的觀景窗戶、展覽櫥窗、車輛玻璃兼顯示器…等多種應用。
影像擷取裝置180用以取得使用者900的影像。在本發明的一實施例中,影像擷取裝置180還可包括眼球追踨裝置,用以追蹤使用者900的視線,以判斷追蹤使用者900的視線是否朝向顯示螢幕120。在本發明的一實施例中,資訊顯示系統100也可省略設置影像擷取裝置180。
影像擷取裝置140用以擷取畫面序列,此畫面序列例如是顯示螢幕120的第二側的動態影像。處理裝置160可耦接顯示螢幕120以及影像擷取裝置140、180。處理裝置160用以辨識上述畫面序列中的動態目標物OB,且產生對應於動態目標物OB的辨識框架IFR及辨識資訊IFO。
詳細來說,上述畫面序列可包括多個第一畫面及第二畫面,其中此些第一畫面的時間順序在第二畫面之前。處理裝置160可對此些第一畫面中的辨識框架IFR進行追蹤以得到追蹤結果,並根據追蹤結果對第二畫面的辨識資訊IFO的顯示座標進行補償以得到補償後座標PXY。處理裝置160可根據補償後座標PXY於顯示螢幕120上顯示辨識資訊IFO,可降低顯示於顯示螢幕120上的辨識資訊IFO的抖動。
舉例來說,如圖3A所示,動態目標物OB的辨識資訊IFO’直接連接於動態目標物OB的辨識框架IFR,當動態目標物OB跳動時,動態目標物OB的辨識框架IFR也會連動,致使動態目標物OB的辨識資訊IFO’亦隨之同幅跳動。如此一來,將會影響使用者觀看動態目標物OB時的舒適度。相對地,如圖3B所示,透過對動態目標物OB的辨識資訊IFO的顯示座標進行補償,可避免動態目標物OB的辨識資訊IFO跟隨辨識框架IFR而同幅跳動,可降低辨識資訊IFO的抖動。
在本發明的一實施例中,影像擷取裝置140、180可包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度,進而產生影像。感光元件可以例如是電荷耦合元件(charge coupled device,CCD)、互補性氧化金屬半導體(complementary metal-oxide semiconductor,CMOS)元件或其他元件,本發明不在此設限。在另一實施例中,影像擷取裝置140、180也可包含完成辨識目標物功能之可程式化處理單元、微處理器(micro-processor)、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似電路元件,本發明並不限於此。
在本發明的另一實施例中,影像擷取裝置140、180可例如是雷達(RADAR)裝置。雷達裝置可透過雷達天線發射微波或無線電信號,並感測微波或無線電信號經物體反射之後的回波訊號,進而對回波訊號進行信號處理以產生雷達影像畫面。
在本發明的又一實施例中,影像擷取裝置140、180可例如是光達(LIDAR)裝置。光達裝置可發射光波或雷射信號,並感測光波或雷射信號經物體反射之後的回波訊號,進而對回波訊號進行信號處理以產生光達影像畫面。
在本發明的一實施例中,處理裝置160可以是由至少一系統晶片(SOC)、場可編程閘陣列(field programmable gate array,FPGA)晶片、複雜可編程邏輯元件(complex programmable logic device,CPLD)、微處理器(Microprocessor)、中央處理單元(Central Processing Unit,CPU)、數位信號處理器(Digital Signal Processor,DSP),或其他具備運算能力的硬體元件來實現。
在本發明的一實施例中,資訊顯示系統100還可包括儲存裝置(未繪示)。儲存裝置用以儲存影像、程式等資料,其可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。
圖4是依照本發明一實施例所繪示的資訊顯示方法的流程圖。圖4所示的方法流程可結合圖1所示的資訊顯示系統100來實現,但不限於此。請合併參照圖1、圖2及圖4。
首先,於步驟S410,透過影像擷取裝置180擷取使用者900的影像,其中使用者900位於顯示螢幕120的第一側。如同先前所述,資訊顯示系統100可省略設置影像擷取裝置180,因此在本發明的一實施例中,步驟S410亦可省略。於步驟S420,透過影像擷取裝置140擷取含有目標物的畫面序列,此畫面序列例如是顯示螢幕120的第二側的動態影像。接著,可透過處理裝置160執行步驟S430、S440、S450及S460。於步驟S430,辨識上述畫面序列中的動態目標物OB以取得對應於動態目標物OB的辨識框架IFR及辨識資訊IFO。然後,於步驟S440,對上述畫面序列中的多個第一畫面的辨識框架IFR進行追蹤以取得追蹤結果。於步驟S450,根據追蹤結果對上述畫面序列中的第二畫面的辨識資訊IFO的顯示座標進行補償以得到補償後座標PXY。於步驟S460,根據補償後座標PXY於顯示螢幕120上顯示辨識資訊IFO。
在本發明的一實施例中,在步驟S430與步驟S440之間,還可透過處理裝置160判斷上述第二畫面中是否有出現動態目標物OB,以得到第一判斷結果。若第一判斷結果為是(即上述第二畫面中有出現動態目標物OB),則執行步驟S440。若第一判斷結果為否(即上述第二畫面中未出現動態目標物OB),則控制顯示螢幕120停止顯示辨識資訊IFO。
在本發明的另一實施例中,在步驟S430與步驟S440之間,還可透過處理裝置160根據步驟S410所取得的使用者900的影像,來判斷使用者900是否觀看動態目標物OB,以得到第二判斷結果。若第二判斷結果為是(即使用者900正在觀看動態目標物OB),則執行步驟S440。若第二判斷結果為否(即使用者900並未觀看動態目標物OB),則控制顯示螢幕120停止顯示辨識資訊IFO。
在本發明的一實施例中,透過步驟S440所取得的追蹤結果可包括多個第一位移量以及第二位移量。詳細來說,上述的各第一位移量為辨識框架IFR於此些第一畫面中的相鄰兩畫面之間的位移量,而上述的第二位移量為辨識框架IFR於此些第一畫面中的第一張畫面與第N張畫面之間的位移量,其中N為此些第一畫面的數量。換句話說,上述的第二位移量為辨識框架IFR於第一張第一畫面與最後一張第一畫面之間的位移量。
以下說明步驟S450的細節步驟。圖5是依照本發明一實施例所繪示的步驟S450的細節步驟流程圖。請合併參照圖1、圖2及圖5。步驟S450包括細節步驟S552、S554、S556及S558。於步驟S552,計算動態指標
Figure 02_image001
,其中U2為上述的第二位移量,而U1為此些第一位移量的平均值。
詳細來說,動態指標F可用來判斷動態目標物OB於此些第一畫面中的移動狀態。若動態指標F的數值越大,表示動態目標物OB的移動可能是具有淨方向及淨速度的移動,而不是在一特定位置的附近隨機移動。相對地,若動態指標F的數值越小,表示動態目標物OB的移動可能是在一特定位置的附近隨機移動,而不是具有淨方向及淨速度的移動。因此,於步驟S554,判斷動態指標F是否小於參考值。在本發明的一實施例中,上述參考值可依據機率理論來決定,其數值可例如是介於1.3與3.4之間,較佳可例如是介於2.2與2.5之間,但本發明不限於此。在本發明的其他實施例中,上述參考值也可依據實際應用或設計需求來設定。
若步驟S554的判斷結果為是(即動態指標F小於參考值),表示動態目標物OB的移動是在一特定位置的附近隨機移動,則執行步驟S556。於步驟S556,在時間域以及空間域兩者至少其中之一,對第二畫面的辨識資訊IFO的顯示座標進行補償。換句話說,可只在時間域對第二畫面的辨識資訊IFO的顯示座標進行補償。或者是,可只在空間域對第二畫面的辨識資訊IFO的顯示座標進行補償。亦或是,在時間域及空間域對第二畫面的辨識資訊IFO的顯示座標進行補償。
相對地,若步驟S554的判斷結果為否(即動態指標F大於或等於參考值),表示動態目標物OB的移動是具有淨方向及淨速度的移動,則執行步驟S558。於步驟S558,根據辨識框架IFR於此些第一畫面中的移動軌跡來計算補償後座標PXY。
首先說明在時間域對第二畫面的辨識資訊IFO的顯示座標進行補償的細節。圖6是依照本發明一實施例所繪示的在時間域對第二畫面的辨識資訊的顯示座標進行補償的流程圖。圖7A~圖7C說明在時間域對第二畫面的辨識資訊的顯示座標進行補償的示意圖。圖7A~圖7C所示的畫面序列的第三畫面PF3是第二畫面PF2的前一畫面。此外,圖7A~圖7C還繪示了動態目標物OB於第三畫面PF3中的辨識框架IFR3及辨識資訊IFO3,以及動態目標物OB於第二畫面PF2中的辨識框架IFR及辨識資訊IFO。
以下請合併參照圖1、圖6、圖7A~圖7C。於步驟S610,計算第三畫面PF3的辨識資訊IFO3與第二畫面PF2的辨識資訊IFO之間的位移量以做為第三位移量MV,其中第三畫面PF3是第二畫面PF2的前一畫面。於步驟S620,判斷第三位移量MV是否大於或等於第一臨界值TH1。若步驟S620的判斷結果為是,即第三位移量MV大於或等於第一臨界值TH1,表示辨識資訊IFO的移動距離過大,如圖7A所示,則執行步驟S630。於步驟S630,處理裝置160控制顯示螢幕120不顯示對應於第二畫面PF2的辨識資訊IFO,以避免辨識資訊IFO的快速移動(即移動距離過大)而造成使用者觀看時的不舒適。若步驟S620的判斷結果為否,即第三位移量MV小於第一臨界值TH1,如圖7B所示,則顯示螢幕120顯示對應於第二畫面PF2的辨識資訊IFO。
在本發明的一實施例中,設計者可根據使用者觀看文字移動的舒適度,來定義第一臨界值TH1。舉例來說,第一臨界值TH1可例如是一參考速度與顯示螢幕120的畫面更新時間之乘積,其中參考速度例如是使用者可以忍受的文字移動的最大速度。但本發明並不以此為限。
在本發明的一實施例中,還可在時間域降低辨識資訊IFO的顯示座標的更新頻率,以降低辨識資訊IFO於顯示螢幕120上的抖動。詳細來說,若步驟S620的判斷結果為否,即第三位移量MV小於第一臨界值TH1,則執行步驟S640。於步驟S640,根據上述多個第一位移量決定第二臨界值TH2,其中第二臨界值TH2可用來降低辨識資訊IFO的顯示座標的更新頻率,且第二臨界值TH2小於第一臨界值TH1。接著,於步驟S650,判斷第三位移量MV是否大於或等於第二臨界值TH2。
若步驟S650的判斷結果為是,則執行步驟S660以更新第二畫面PF2的辨識資訊IFO的顯示座標,如圖7B所示。於步驟S660,依據第三畫面PF3的辨識資訊IFO3的顯示座標XY以及第三位移量MV來計算補償後座標PXY,但本發明不限於此。在本發明的其他實施例中,也可採用空間域的補償方式來計算步驟S660中的補償後座標PXY,稍後會再詳細說明。
若步驟S650的判斷結果為否,表示第二畫面PF2的辨識資訊IFO的位置可為靠近第三畫面PF3的辨識資訊IFO3的顯示座標,則執行步驟S670。於步驟S670,不更新第二畫面PF2的辨識資訊IFO的顯示座標,亦即將第三畫面PF3的辨識資訊IFO3的顯示座標做為補償後座標PXY,如圖7C所示。如此一來,可降低辨識資訊IFO於顯示螢幕120上的抖動。
圖8是依照本發明一實施例所繪示的步驟S640的細節步驟流程圖。請參照圖8。於步驟S841,於上述多個第一位移量中選取Q個以做為Q個取樣位移量。於步驟S842,依據位移量的大小對上述Q個取樣位移量進行排序。於步驟S843,於上述Q個取樣位移量中,選擇第M大的位移量以做為第二臨界值TH2,其中M可為每單位時間內要更新辨識資訊IFO的顯示座標的畫面數量。
在本發明的一實施例中,數量Q可依據顯示螢幕120的畫面更新頻率以及每單位時間內要更新辨識資訊IFO的顯示座標的畫面數量M來決定。舉例來說,假設顯示螢幕120的畫面更新頻率f為每秒鐘30張畫面,且每秒鐘要更新辨識資訊IFO的顯示座標的畫面數量M為3張。因此,取樣位移量的數量Q可設為10(即Q=f÷M)。接著,於上述多個第一位移量中選取10個,以得到10個取樣位移量,並依據位移量的大小對上述10個取樣位移量進行排序。然後,於上述10個取樣位移量中,選擇第三大的位移量以做為第二臨界值TH2。
接著說明圖5的步驟S556中,在空間域對第二畫面的辨識資訊的顯示座標進行補償的細節。請重新參照圖1、圖2及圖5,為了降低動態目標物OB的辨識資訊IFO在空間上的抖動,可採用移動平均(moving average)演算法來計算補償後座標PXY。更進一步來說,可將辨識資訊IFO於第二畫面補償前的顯示座標,與辨識資訊IFO於此些第一畫面的多個補償前的顯示座標進行移動平均運算,以取得補償後座標PXY。
在本發明的一實施例中,可採用簡單移動平均(simple moving average,SMA)演算法、加權移動平均(weighted moving average,WMA)演算法或是指數移動平均(exponential moving average,EMA)演算法來計算補償後座標PXY,但本發明不限於此。
以下說明圖5的步驟S558的細節步驟。圖9是依照本發明一實施例所繪示的步驟S558的細節流程圖,圖10是依照本發明一實施例說明降低辨識資訊的抖動的示意圖。請合併參照圖1、圖2、圖9及圖10。於步驟S910,根據辨識框架IFR於此些第一畫面中的移動軌跡TR10計算移動速度V1。移動速度V1包括抖動速度V11及平移速度V12,其中抖動速度V11的方向與平移速度V12的方向垂直,如圖10所示。另外,平移速度V12的方向實質上可視為自第一張第一畫面的辨識框架IFR至最後一張第一畫面的辨識框架IFR的方向。於步驟S920,濾除移動速度V1中的抖動速度V11以得到平移速度V12。於步驟S930,根據平移速度V12計算第二畫面的辨識資訊IFO的補償後座標PXY。如此一來,可降低第二畫面的辨識資訊IFO的抖動。
在本發明的另一實施例中,當動態目標物OB的移動是具有淨方向及淨速度的移動時,也可預測動態目標物OB的移動軌跡,並根據所預測的移動軌跡來顯示動態目標物OB的辨識資訊。
舉例來說,圖11是依照本發明另一實施例說明降低辨識資訊的抖動的示意圖。圖11繪示了動態目標物OB於畫面序列的第三畫面中的辨識框架IFR3及辨識資訊IFO3、動態目標物OB於畫面序列的第四畫面中的辨識資訊IFO4、以及動態目標物OB於第二畫面中的辨識框架IFR及辨識資訊IFO。上述的第三畫面的時間順序在上述的第四畫面之前,且上述的第四畫面的時間順序在上述的第二畫面之前。
請合併參照圖1及圖11。處理裝置160對於動態目標物OB的追蹤速度及辨識速度可能低於顯示螢幕120的畫面更新速度。在處理裝置160取得第二畫面的辨識資訊IFO的補償後座標PXY之前,可根據第三畫面的辨識框架IFR3的移動軌跡TR13,預測第四畫面的辨識資訊IFO4的顯示座標PXY’。詳細來說,處理裝置160可依據移動軌跡TR13的方向,預測動態目標物OB自第三畫面至第四畫面的移動軌跡TR14、動態目標物OB於第四畫面的位置L11以及辨識資訊IFO4的顯示座標PXY’。接著,處理裝置160可根據所預測的顯示座標PXY’於顯示螢幕120上顯示辨識資訊IFO4,以降低辨識資訊IFO4在視覺上的不連續感覺,從而提高使用者的舒適度。在本發明的一實施例中,處理裝置160可根據第三畫面的辨識資訊IFO3的顯示座標XY、移動軌跡TR13的向量以及外插法來預測顯示座標PXY’,但不限於此。
本發明一實施例所提出的資訊顯示系統及資訊顯示方法,可在動態目標物移動或抖動時,對動態目標物之辨識資訊的顯示座標進行補償,以降低辨識資訊的抖動以及在視覺上所造成的不連續感覺,從而提高使用者觀看目標物及其辨識資訊時的舒適度。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。
100:資訊顯示系統120:顯示螢幕140、180:影像擷取裝置160:處理裝置900:使用者IFR、IFR3:辨識框架IFO、IFO’、IFO3、IFO4:辨識資訊L11:位置MV:第三位移量OB:動態目標物PF2:第二畫面PF3:第三畫面PXY:補償後座標PXY’、XY:顯示座標S410、S420、S430、S440、S450、S460、S552、S554、S556、S558、S610、S620、S630、S640、S650、S660、S670、S841、S842、S843、S910、S920、S930:步驟TH1:第一臨界值TR10、TR13、TR14:移動軌跡V1:移動速度V11:抖動速度V12:平移速度
圖1是依照本發明一實施例所繪示的資訊顯示系統的方塊示意圖。 圖2是依照本發明一實施例所繪示的資訊顯示系統的應用情境示意圖。 圖3A繪示動態目標物的辨識資訊直接連接於動態目標物的辨識框架的示意圖。 圖3B是依照本發明一實施例所繪示的動態目標物的辨識資訊與動態目標物的辨識框架的連接示意圖。 圖4是依照本發明一實施例所繪示的資訊顯示方法的流程圖。 圖5是依照本發明一實施例所繪示的步驟S450的細節步驟流程圖。 圖6是依照本發明一實施例所繪示的在時間域對第二畫面的辨識資訊的顯示座標進行補償的流程圖。 圖7A~圖7C是依照本發明實施例說明在時間域對第二畫面的辨識資訊的顯示座標進行補償的示意圖。 圖8是依照本發明一實施例所繪示的步驟S640的細節步驟流程圖。 圖9是依照本發明一實施例所繪示的步驟S558的細節流程圖。 圖10是依照本發明一實施例說明降低辨識資訊的抖動的示意圖。 圖11是依照本發明另一實施例說明降低辨識資訊的抖動的示意圖。
100:資訊顯示系統
120:顯示螢幕
140、180:影像擷取裝置
160:處理裝置
IFR:辨識框架
IFO:辨識資訊

Claims (20)

  1. 一種資訊顯示方法,包括: 透過一影像擷取裝置擷取一畫面序列;以及; 透過一處理裝置執行以下步驟:       辨識該畫面序列中的至少一動態目標物以取得對應於該至少一動態目標物的辨識框架及辨識資訊;       對該畫面序列中的多個第一畫面的該辨識框架進行追蹤以取得一追蹤結果;       根據該追蹤結果對該畫面序列中的一第二畫面的該辨識資訊的顯示座標進行補償以得到一補償後座標,其中該些第一畫面的時間順序在該第二畫面之前;以及       根據該補償後座標於一顯示螢幕上顯示該辨識資訊。
  2. 如申請專利範圍第1項所述的資訊顯示方法,其中該追蹤結果包括: 多個第一位移量,其中各該第一位移量為該辨識框架於該些第一畫面中的相鄰兩畫面之間的位移量;以及 一第二位移量,其中該第二位移量為該辨識框架於該些第一畫面中的第一張畫面與第N張畫面之間的位移量,其中N為該些第一畫面的數量。
  3. 如申請專利範圍第2項所述的資訊顯示方法,其中所述根據該追蹤結果對該第二畫面的該辨識資訊的顯示座標進行補償的步驟包括: 計算一動態指標
    Figure 03_image001
    ,其中U2為該第二位移量,且U1為該些第一位移量的平均值; 若該動態指標小於一參考值,則在一時間域以及一空間域兩者至少其中之一,對該第二畫面的該辨識資訊的顯示座標進行補償;以及 若該動態指標大於或等於該參考值,則根據該辨識框架於該些第一畫面中的一移動軌跡計算該補償後座標。
  4. 如申請專利範圍第3項所述的資訊顯示方法,其中所述在該時間域對該第二畫面的該辨識資訊的顯示座標進行補償的步驟包括: 計算一第三畫面的該辨識資訊與該第二畫面的該辨識資訊之間的位移量以做為一第三位移量,其中該第三畫面為該第二畫面的前一畫面;以及 若該第三位移量大於或等於一第一臨界值,則控制該顯示螢幕不顯示對應於該第二畫面的該辨識資訊。
  5. 如申請專利範圍第4項所述的資訊顯示方法,其中所述在該時間域對該第二畫面的該辨識資訊的顯示座標進行補償的步驟更包括: 根據該些第一位移量決定一第二臨界值; 若該第三位移量小於該第一臨界值且大於或等於該第二臨界值,則依據該第三畫面的該辨識資訊的顯示座標以及該第三位移量來計算該補償後座標;以及 若該第三位移量小於該第二臨界值,則將該第三畫面的該辨識資訊的顯示座標做為該補償後座標,其中該第二臨界值小於該第一臨界值。
  6. 如申請專利範圍第5項所述的資訊顯示方法,其中所述根據該些第一位移量取得該第二臨界值的步驟包括: 於該些第一位移量中選取Q個以做為Q個取樣位移量; 依據位移量的大小對該Q個取樣位移量進行排序;以及 於該Q個取樣位移量中,選擇第M大的位移量以做為該第二臨界值,其中M為每單位時間內要更新該辨識資訊的顯示座標的畫面數量。
  7. 如申請專利範圍第6項所述的資訊顯示方法,其中數量Q是依據該顯示螢幕的一畫面更新頻率以及每單位時間內要更新該辨識資訊的顯示座標的該畫面數量來決定。
  8. 如申請專利範圍第3項所述的資訊顯示方法,其中所述在該空間域對該第二畫面的該辨識資訊的顯示座標進行補償的步驟包括: 將該辨識資訊於該第二畫面的補償前的顯示座標,與該辨識資訊於該些第一畫面的多個補償前的顯示座標進行移動平均運算,以取得該補償後座標。
  9. 如申請專利範圍第3項所述的資訊顯示方法,其中所述根據該辨識框架於該些第一畫面中的該移動軌跡對該第二畫面的該辨識資訊的顯示座標進行補償的步驟包括: 根據該辨識框架於該些第一畫面中的該移動軌跡計算一移動速度,其中該移動速度包括一抖動速度及一平移速度; 濾除該移動速度中的該抖動速度以得到該平移速度,其中該抖動速度的方向與該平移速度的方向垂直;以及 根據該平移速度計算該補償後座標。
  10. 如申請專利範圍第9項所述的資訊顯示方法,其中所述根據該辨識框架於該些第一畫面中的該移動軌跡對該第二畫面的該辨識資訊的顯示座標進行補償的步驟更包括: 在取得該補償後座標之前,根據一第三畫面的該辨識框架的移動軌跡來預測一第四畫面的該辨識資訊的顯示座標;以及 根據所預測的該顯示座標於該顯示螢幕上顯示該辨識資訊,其中該第三畫面的時間順序在該第四畫面之前,且該第四畫面的時間順序在該第二畫面之前。
  11. 一種資訊顯示系統,包括: 一顯示螢幕; 一影像擷取裝置,用以擷取一畫面序列;以及 一處理裝置,耦接該顯示螢幕及該影像擷取裝置,用以辨識該畫面序列中的至少一動態目標物,且產生對應於該至少一動態目標物的辨識框架及辨識資訊, 其中該處理裝置對該畫面序列中的多個第一畫面的該辨識框架進行追蹤以取得一追蹤結果,根據該追蹤結果對該畫面序列中的一第二畫面的該辨識資訊的顯示座標進行補償以得到一補償後座標,並根據該補償後座標於該顯示螢幕上顯示該辨識資訊,其中該些第一畫面的時間順序在該第二畫面之前。
  12. 如申請專利範圍第11項所述的資訊顯示系統,其中該追蹤結果包括: 多個第一位移量,其中各該第一位移量為該辨識框架於該些第一畫面中的相鄰兩畫面之間的位移量;以及 一第二位移量,其中該第二位移量為該辨識框架於該些第一畫面中的第一張畫面與第N張畫面之間的位移量,其中N為該些第一畫面的數量。
  13. 如申請專利範圍第12項所述的資訊顯示系統,其中: 該處理裝置計算一動態指標
    Figure 03_image001
    ,其中U2為該第二位移量,且U1為該些第一位移量的平均值, 其中若該動態指標小於一參考值,則該處理裝置在一時間域以及一空間域兩者至少其中之一,對該第二畫面的該辨識資訊的顯示座標進行補償, 其中若該動態指標大於或等於該參考值,則該處理裝置根據該辨識框架於該些第一畫面中的一移動軌跡計算該補償後座標。
  14. 如申請專利範圍第13項所述的資訊顯示系統,其中: 當該處理裝置在該時間域對該第二畫面的該辨識資訊的顯示座標進行補償時,該處理裝置計算一第三畫面的該辨識資訊與該第二畫面的該辨識資訊之間的位移量以做為一第三位移量,其中該第三畫面為該第二畫面的前一畫面, 若該第三位移量大於或等於一第一臨界值,則該處理裝置控制該顯示螢幕不顯示對應於該第二畫面的該辨識資訊。
  15. 如申請專利範圍第14項所述的資訊顯示系統,其中: 該處理裝置更根據該些第一位移量決定一第二臨界值,其中該第二臨界值小於該第一臨界值, 若該第三位移量小於該第一臨界值且大於或等於該第二臨界值,則該處理裝置依據該第三畫面的該辨識資訊的顯示座標以及該第三位移量來計算該補償後座標, 若該第三位移量小於該第二臨界值,則該處理裝置將該第三畫面的該辨識資訊的顯示座標做為該補償後座標。
  16. 如申請專利範圍第15項所述的資訊顯示系統,其中: 該處理裝置於該些第一位移量中選取Q個以做為Q個取樣位移量,依據位移量的大小對該Q個取樣位移量進行排序,且於該Q個取樣位移量中,選擇第M大的位移量以做為該第二臨界值,其中M為每單位時間內要更新該辨識資訊的顯示座標的畫面數量。
  17. 如申請專利範圍第16項所述的資訊顯示系統,其中數量Q是依據該顯示螢幕的一畫面更新頻率以及每單位時間內要更新該辨識資訊的顯示座標的該畫面數量來決定。
  18. 如申請專利範圍第13項所述的資訊顯示系統,其中: 當該處理裝置在該空間域對該第二畫面的該辨識資訊的顯示座標進行補償時,該處理裝置將該辨識資訊於該第二畫面的補償前的顯示座標,與該辨識資訊於該些第一畫面的多個補償前的顯示座標進行移動平均運算,以取得該補償後座標。
  19. 如申請專利範圍第13項所述的資訊顯示系統,其中: 若該動態指標大於或等於該參考值,該處理裝置根據該辨識框架於該些第一畫面中的該移動軌跡計算一移動速度,其中該移動速度包括一抖動速度及一平移速度,且該抖動速度的方向與該平移速度的方向垂直, 其中該處理裝置濾除該移動速度中的該抖動速度以得到該平移速度,並根據該平移速度計算該補償後座標。
  20. 如申請專利範圍第19項所述的資訊顯示系統,其中: 在該處理裝置取得該補償後座標之前,該處理裝置根據一第三畫面的該辨識框架的移動軌跡來預測一第四畫面的該辨識資訊的顯示座標,並根據所預測的該顯示座標於該顯示螢幕上顯示該辨識資訊,其中該第三畫面的時間順序在該第四畫面之前,且該第四畫面的時間順序在該第二畫面之前。
TW107139725A 2018-11-08 2018-11-08 資訊顯示系統及資訊顯示方法 TWI729322B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107139725A TWI729322B (zh) 2018-11-08 2018-11-08 資訊顯示系統及資訊顯示方法
CN201910056988.6A CN111221486B (zh) 2018-11-08 2019-01-22 信息显示系统及信息显示方法
US16/351,512 US10997732B2 (en) 2018-11-08 2019-03-13 Information display system and information display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107139725A TWI729322B (zh) 2018-11-08 2018-11-08 資訊顯示系統及資訊顯示方法

Publications (2)

Publication Number Publication Date
TW202019150A true TW202019150A (zh) 2020-05-16
TWI729322B TWI729322B (zh) 2021-06-01

Family

ID=70551893

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107139725A TWI729322B (zh) 2018-11-08 2018-11-08 資訊顯示系統及資訊顯示方法

Country Status (3)

Country Link
US (1) US10997732B2 (zh)
CN (1) CN111221486B (zh)
TW (1) TWI729322B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200185A (zh) * 2020-10-10 2021-01-08 航天科工智慧产业发展有限公司 一种文字反向定位图片的方法及装置、计算机储存介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060262140A1 (en) 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
JP5211120B2 (ja) 2010-07-30 2013-06-12 株式会社東芝 情報表示装置及び情報表示方法
US20120056896A1 (en) 2010-09-02 2012-03-08 Border John N Presenting information on a see-though display
KR20120029228A (ko) 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
CN102779491B (zh) * 2011-05-31 2014-10-22 京东方科技集团股份有限公司 一种场序背光颜色补偿方法及装置
TW201333753A (zh) 2012-02-15 2013-08-16 Top Victory Invest Ltd 具有實景導覽功能之透明顯示器
CN103366708A (zh) 2012-03-27 2013-10-23 冠捷投资有限公司 具有实景导游功能的透明显示器
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
CN102854495A (zh) * 2012-07-10 2013-01-02 中国船舶重工集团公司第七二四研究所 基于d3d颜色融合技术的雷达视频渲染显示的实现方法
KR101502085B1 (ko) * 2013-10-04 2015-03-12 주식회사 매크론 안경형 디스플레이 디바이스의 동작인식 입력방법
WO2015088484A1 (en) * 2013-12-09 2015-06-18 Empire Technology Development, Llc Localized audio source extraction from video recordings
CN104104886B (zh) * 2014-07-24 2016-07-06 努比亚技术有限公司 过曝拍摄方法及装置
JP6693509B2 (ja) * 2015-04-14 2020-05-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
TW201738848A (zh) * 2016-04-26 2017-11-01 Next Animation Studio Ltd 基於圖形辨識的攝影機運動即時追蹤方法及系統
CN107318008A (zh) * 2016-04-27 2017-11-03 深圳看到科技有限公司 全景视频播放方法及播放装置
JP6735147B2 (ja) * 2016-05-11 2020-08-05 日本放送協会 表示装置、及びプログラム
EP3608754A1 (en) * 2017-04-07 2020-02-12 Shenzhen Royole Technologies Co., Ltd. Hand gesture recognition method and related device
DE112018001819B4 (de) * 2017-06-05 2023-03-23 Robert Bosch Gmbh Messen eines menschenstroms durch türdurchgänge unter verwendung von leicht installierbaren ir-arraysensoren
CN108111752A (zh) * 2017-12-12 2018-06-01 北京达佳互联信息技术有限公司 视频拍摄方法、装置及移动终端
US11585920B2 (en) * 2017-12-28 2023-02-21 Intel Corporation Vehicle sensor fusion
US10860865B2 (en) * 2018-09-13 2020-12-08 Chiral Software, Inc. Predictive security camera system
CN111428535A (zh) * 2019-01-09 2020-07-17 佳能株式会社 图像处理装置和方法及图像处理系统
CN109934848B (zh) * 2019-03-07 2023-05-23 贵州大学 一种基于深度学习的运动物体精准定位的方法

Also Published As

Publication number Publication date
CN111221486B (zh) 2023-04-07
CN111221486A (zh) 2020-06-02
US20200151886A1 (en) 2020-05-14
US10997732B2 (en) 2021-05-04
TWI729322B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
JP5102410B2 (ja) 移動体検出装置および移動体検出方法
CN108292362B (zh) 用于光标控制的手势识别
US10354129B2 (en) Hand gesture recognition for virtual reality and augmented reality devices
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
TWI543610B (zh) 電子裝置及其影像選擇方法
JP6950692B2 (ja) 人流推定装置、人流推定方法およびプログラム
CN107408303A (zh) 用于对象跟踪的系统和方法
EA018349B1 (ru) Способ видеоанализа
JP2008241707A (ja) 自動監視システム
JP2006195525A (ja) 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム
JP5088279B2 (ja) 目標追尾装置
CN111601013B (zh) 用于处理视频帧的方法和装置
JP5960691B2 (ja) 興味区間特定装置、興味区間特定方法、興味区間特定プログラム
JP2019029935A (ja) 画像処理装置およびその制御方法
JP2023041931A (ja) 評価装置、評価方法、及びプログラム
TWI729322B (zh) 資訊顯示系統及資訊顯示方法
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
JP2008206143A (ja) 画像処理機能を備える撮像装置
WO2020217368A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20210304417A1 (en) Observation device and observation method
JP2012226403A (ja) 画像領域追跡装置、画像領域追跡方法、および、コンピュータ・プログラム
JP2003179930A (ja) 動オブジェクト抽出方法及び抽出装置
Moldoveanu et al. Real-Time Segmentation of Depth Map Frames on Mobile Devices
JP2010166104A (ja) 目標追尾装置
JP2010092294A (ja) 時空間画像分離装置、時空間画像分離方法および時空間画像分離プログラム