TW201913608A - 影像辨識系統及其資訊顯示方法 - Google Patents

影像辨識系統及其資訊顯示方法 Download PDF

Info

Publication number
TW201913608A
TW201913608A TW106144574A TW106144574A TW201913608A TW 201913608 A TW201913608 A TW 201913608A TW 106144574 A TW106144574 A TW 106144574A TW 106144574 A TW106144574 A TW 106144574A TW 201913608 A TW201913608 A TW 201913608A
Authority
TW
Taiwan
Prior art keywords
color
background image
display information
display
candidate
Prior art date
Application number
TW106144574A
Other languages
English (en)
Other versions
TWI629675B (zh
Inventor
郭信宏
蔡宜修
陳冠廷
蔡宇翔
蔡玉堂
Original Assignee
財團法人工業技術研究院
創智智權管理顧問股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院, 創智智權管理顧問股份有限公司 filed Critical 財團法人工業技術研究院
Priority to CN201810159567.1A priority Critical patent/CN109408008B/zh
Application granted granted Critical
Publication of TWI629675B publication Critical patent/TWI629675B/zh
Priority to US16/104,096 priority patent/US10817723B2/en
Publication of TW201913608A publication Critical patent/TW201913608A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

提供一種資訊顯示方法，用於一透明顯示器，包括：擷取該透明顯示器之一背景影像；計算該透明顯示器之該背景影像中之一目標物件，並取得該目標物件周圍的一或多個候選子背景影像區域；處理該一或多個候選子背景影像區域以及產生相應於各候選子背景影像區域一或多個候選顯示資訊；計算各候選顯示資訊於各候選子背景影像區域之一辨識度評價分數；由該一或多個候選顯示資訊及該一或多個候選子背景影像區域中決定出一顯示資訊及相應的一子背景影像區域；判斷該顯示資訊所相應的該辨識度評價分數是否符合一預定條件；若是，直接於該透明顯示器上之該子背景影像區域顯示該顯示資訊；以及若否，對該顯示資訊加入一色彩特徵，並於該透明顯示器之該子背景影像區域上顯示該顯示資訊及該色彩特徵。

Description

影像辨識系統及其資訊顯示方法
本發明係有關於影像處理，亦是有關於一種影像辨識系統及其資訊顯示方法。
隨著顯示器技術的發展，透明顯示器(transparent display)也變得愈來愈普及。透明顯示器是指顯示器本身具有一定程度的穿透性(transparency)，能夠清楚地顯示面板後方的背景。舉例來說，透明顯示器適用於建築物窗戶、交通工具之車窗、與商店櫥窗等應用，除了具有原本的透明顯示功能之外，還可以在所顯示的影像上再標註相關資訊。
利用透明顯示器的透明特性雖可發展出許多非透明顯示器所不能做到的應用方式，但其透明特性亦有其缺點。然而，透明顯示器在顯示影像或資訊時，因為會受到背景(background)之影響，進而造成顯示資訊之辨識度降低而影響到使用者的觀賞品質。當環境背景的光線太強、或背景顏色或線條太過複雜時，都可能會影響到使用者對顯示影像的辨識度，使得透明顯示器的觀賞品質大幅降低。
因此，需要一種影像辨識系統及其資訊顯示方法以解決上述問題。
本發明實施例係提供一種資訊顯示方法，用於一透明顯示器，包括：擷取該透明顯示器之一背景影像；計算該透明顯示器之該背景影像中之一目標物件，並取得該目標物件周圍的一或多個候選子背景影像區域；處理該一或多個候選子背景影像區域以及產生相應於各候選子背景影像區域一或多個候選顯示資訊；計算各候選顯示資訊於各候選子背景影像區域之一辨識度評價分數；由該一或多個候選顯示資訊及該一或多個候選子背景影像區域中決定出一顯示資訊及相應的一子背景影像區域；判斷該顯示資訊所相應的該辨識度評價分數是否滿足一預定條件；若滿足，直接於該透明顯示器上之該子背景影像區域顯示該顯示資訊；以及若不滿足，對該顯示資訊加入一色彩特徵，並於該透明顯示器之該子背景影像區域上顯示該顯示資訊及該色彩特徵。
本發明實施例更提供一種影像辨識系統，包括：一透明顯示器；一影像擷取單元，用以擷取該透明顯示器之一背景影像；一運算單元，用以計算該透明顯示器之該背景影像中之一目標物件的一或多個候選子背景影像區域，並取得該目標物件周圍的一或多個候選子背景影像區域，其中該運算單元更處理該一或多個候選子背景影像區域以及產生相應於各候選子背景影像區域之複數個候選顯示資訊，其中該運算單元更 計算各候選顯示資訊於各候選子背景影像區域之一辨識度評價分數，並由該一或多個候選顯示資訊及該一或多個候選子背景影像區域中決定出具有一最大辨識度評價分數之一顯示資訊及相應的一子背景影像區域；其中該運算單元更判斷該顯示資訊所相應的該辨識度評價分數是否滿足一預定條件，若滿足，該運算單元係直接於該透明顯示器之該子背景影像區域上顯示該顯示資訊；若不滿足，該運算單元係對該顯示資訊加入一色彩特徵，並於該透明顯示器之該子背景影像區域上顯示該顯示資訊及該色彩特徵。
100‧‧‧影像辨識系統
110‧‧‧運算單元
120‧‧‧記憶體單元
121‧‧‧揮發性記憶體
122‧‧‧非揮發性記憶體
123‧‧‧影像辨識程式
130‧‧‧透明顯示器
140‧‧‧影像擷取單元
150‧‧‧光線偵測器
202‧‧‧背景區塊辨識模組
204‧‧‧背景資料處理模組
206‧‧‧顯示資訊處理模組
208‧‧‧辨識度評價計算模組
210‧‧‧辨識度判斷模組
212‧‧‧辨識度強化模組
300‧‧‧背景影像
310‧‧‧顯示資訊
330‧‧‧使用者雙眼
CR.1、CR.2、CR.3‧‧‧辨識度評價分數
S405-S470、S461-S467‧‧‧步驟
610、620‧‧‧子背景影像區域
第1圖係顯示依據本發明一實施例之影像辨識系統的功能方塊圖。
第2圖係顯示依據本發明一實施例中之影像辨識程式之方塊圖。
第3圖係顯示依據本發明一實施例中背景影像以及在透明顯示器之顯示資訊在使用者雙眼成像之示意圖。
第4圖係顯示依據本發明一實施例中之資訊顯示方法的流程圖。
第5圖係顯示依據本發明第4圖之步驟S460的細部流程圖。
第6A圖係顯示依據本發明一實施例中之子背景影像區域及顯示資訊之辨識度評價分數之分布的示意圖。
第6B圖係顯示依據本發明一實施例中之子背景影像區域、顯示資訊、及文字邊框之辨識度評價分數之分布的示意圖。
為使本發明能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下。
第1圖係顯示依據本發明一實施例之影像辨識系統的功能方塊圖。
如第1圖所示，在一實施例中，影像辨識系統100係包括一運算單元110、一記憶體單元120、一透明顯示器130、以及一影像擷取單元140。
運算單元110係用以依據影像辨識系統100之背景影像之影像資訊以處理輸入影像以產生輸出影像，並將輸出影像於透明顯示器130上進行顯示。
舉例來說，在一實施例中，運算單元110例如可為特定應用積體電路(Application-Specific Integrated Circuit，ASIC)、或是晶片系統(System-on-chip，SoC)。需了解的是，運算單元110係為多個影像處理電路之總稱，運算單元110可包括一或多個子電路，用以執行影像辨識流程中的不同影像處理運算。在一些實施例中，運算單元110為處理器，例如可由中央處理器(CPU)、數位信號處理器(DSP)、或影像信號處理器(ISP)所實現，但本發明並不限於此。
記憶體單元120係包括揮發性記憶體121及非揮發性記憶體122。舉例來說，非揮發性記憶體121係用以儲存影像 辨識程式(image recognition program)123，非揮發性記憶體121例如可為硬碟機(hard disk drive)、快閃記憶體、或唯讀記憶體，但本發明並不限於此。
揮發性記憶體121例如可為靜態隨機存取記憶體(SRAM)或動態隨機存取記憶體(DRAM)。當運算單元110係由處理器所實現時，運算單元110係由非揮發性記憶體122讀取影像辨識程式123至揮發性記憶體121並執行。此外，揮發性記憶體121係可儲存用以儲存運算單元110在執行影像辨識程式123時的各種暫存資料。
透明顯示器130例如可為液晶螢幕(liquid crystal display)或有機發光二極體(organic light-emitting diode)螢幕之技術所實現的透明顯示器，但本發明並不限於此。
影像擷取單元140係用以擷取影像辨識系統100之背景影像。舉例來說，透明顯示器130若為平面透明顯示器，則具有第一側及第二側。若影像擷取單元140在透明顯示器130之第一側，則在第二側的場景之光線穿過透明顯示器130而成像於影像擷取單元140即可稱為背景影像。影像擷取單元140例如可為一或多個照相機、光譜儀、或是廣角影像擷取器等等，但本發明並不限於此。
在一實施例中，運算單元110係可分析影像擷取單元140所擷取之背景影像以取得與影像辨識系統100之背景相關的影像資訊，並依據影像資訊以調整在輸入畫面中所增加之顯示資訊(例如文字、圖示等等)。
詳細而言，透明顯示器130之背景的色彩及景物之 光線會穿過透明顯示器130而進入使用者之雙眼。換言之，使用者之雙眼所接收到之透明顯示器130所呈現的畫面資訊，需要疊加背景光線經過透明顯示器130後所得到的色彩及亮度。因此，本發明實施例中之運算單元110可依據影像辨識系統100之背景相關的影像資訊以調整在輸入畫面中所增加之顯示資訊(例如文字、圖示等等)，藉以增強顯示資訊的辨識度。
在一些實施例中，影像辨識系統100更包括光線偵測器150，用以偵測透明顯示器130之前景的環境光線(ambient lght)，意即透明顯示器130之前景的環境光線經由透明顯示器130而反射至使用者雙眼之環境光線的強度。
第2圖係顯示依據本發明一實施例中之影像辨識程式之方塊圖。在一實施例中，影像辨識程式123係包括多個功能模組，例如背景區塊辨識模組202、背景資料處理模組204、顯示資訊處理模組206、辨識度評價計算模組208、辨識度判斷模組210、以及辨識度強化模組212。
舉例來說，背景區塊辨識模組202可將背景影像劃分為複數個背景影像區塊，例如各背景影像區塊可為16x16或32x32像素之影像區塊，但本發明並不限於此，且各背景影像區塊之大小可依據實際情況調整。背景區塊辨識模組202係由影像擷取單元140取得背景影像，並對背景影像進行影像辨識以取得一或多個目標物件，並針對在各目標物件周圍劃分出相應的一或多個候選子背景影像區域。詳細而言，在各目標物件周圍的相應各候選子背景影像區域可由一或多個背景影像區塊所組成，且可具有不同的形狀及大小。因為背景影像中之亮 度及色彩有不同的變化，所以在不同的候選子背景影像區域亦會有不同的辨識度。
背景資料處理模組204則依據各目標物件所相應之各候選子背景影像區域的亮度、色相、及彩度以計算各候選子背景影像區域之區域平均值、區域峰值、及區域谷值。舉例來說，區域平均值係指在各候選子背景影像區域內的三基礎色光刺激值之平均值。區域峰值係指在各候選子背景影像區域內的三基礎色光刺激值之最大值。區域谷值係指在各候選子背景影像區域內的三基礎色光刺激值之最小值。子背景影像區域Rn之運算處理例如可用背景色彩特徵矩陣表示：
其中上述背景影像特徵矩陣Rn中之各個元素B1,1至Bm,m即表示各候選子背景影像區域中之不同的影像特徵，例如亮度、色相、彩度等等。
顯示資訊處理模組206係用以提供或產生複數個候選顯示資訊(例如不同顏色之文字或是框線)之影像特徵矩陣以表示顯示資訊色彩特徵矩陣DC，其可由下式所表示：
其中上述矩陣中之各個元素D1,1至Dm,m即表示不同 的候選顯示資訊的影像特徵，例如亮度、色相、彩度等等。舉例來說，各候選顯示資訊可搭配在目標物件周圍不同形狀及大小的候選子背景影像區域，且目標物件所相應的各候選顯示資訊可以是具有不同影像特徵的相同文字或圖塊，且文字或圖塊可相應於辨識出的各目標物件。
辨識度評價計算模組208係依據來自顯示資訊處理模組206之顯示資訊色彩特徵矩陣DC以及來自背景資料處理模組204之背景影像色彩特徵矩陣Rn以計算資訊色彩矩陣IC。
資訊色彩矩陣IC例如可用下式所表示：
請參考第3圖，承上述實施例，需了解的是使用者的雙眼330所接收之透明顯示器之總色光刺激值ST係可簡化為下列方程式：ST=BST*λ+DST
其中ST包括了STR、STG、STB分別表示使用者的雙眼330實際所接收之紅光、綠光、及藍光的刺激值(例如為三基礎色光刺激值)。BST包括了BSTR、BSTG、BSTB分別表示背景影像300之中之紅光、綠光、及藍光的刺激值(例如為第一刺激值)；λ則包括了λR、λG、λB分別表示透明顯示器130相應於紅光、綠光、及藍光之基板穿透率；DST則包括了DSTR、DSTG、DSTB分別表示透明顯示器130之顯示資訊310對於使用者的雙眼330實際所接收之紅光、綠光、藍光的刺激值(例如為第二刺激值)。需注意的是， 不同色彩通道的色光刺激值是分開計算。簡單來說，辨識度評價計算模組208係依據第一刺激值、第二刺激值、以及該透明顯示器相應於紅光、綠光、藍光之基板穿透率λ以計算三基礎色光刺激值。
在一實施例中，辨識度評價計算模組208係將透明顯示器130之色域範圍內的色彩均勻取樣為顯示資訊色彩群組，並與背景資料進行矩陣運算，藉以降低矩陣運算所需之迴圈的運算時間。
詳細而言，辨識度評價計算模組208在進行上述矩陣運算後即可得到各候選顯示資訊在各候選子背景影像區域的辨識度評價分數CR(color rank)。舉例來說，辨識度評價分數CR係可用下式表示：CR=LC*w1+HC*w2+AC*w3
其中w1~w3為權重係數，例如介於0.5至1之間；LC為亮度對比度(luminance contrast)；HC為色相對比度(hue contrast)；AC為面積對比度(area contrast)。在一些實施例中，辨識度評價計算模組208在計算辨識度評價分數CR可僅考慮亮度對比度LC、色相對比度HC、以及面積對比度AC中之一或多者。
在一實施例中，在RGB色彩空間中，不同的色彩通道之色彩對比度係分別計算。舉例來說，Rs、Gs、Bs係分別表示透明顯示器130所呈現之三基礎色光(紅光、綠光、及藍光)之亮度值。RB、GB、BB係分別表示背景光線穿過透明顯示器130所呈現之三基礎色光(紅光、綠光、及藍光)之亮度值。Rmax、Gmax、Bmax係分別表示透明顯示器130所能呈現之三基礎色光(紅光、綠光、及藍光)之最大亮度值。舉例來說，辨識度評價計算模組208可計 算顯示資訊在RGB色彩空間中之紅光、綠光、及藍光的色彩對比度(RRGB、GRGB、BRGB)以及背景影像在RGB色彩空間中之紅光、綠光、及藍光的色彩對比度(R’RGB、G’RGB、B’RGB)，分別如下：
接著計算：
需注意的是，在上述方程式中，辨識度評價計算模組208已同時考慮了色相及彩度的關連性。此外，需了解的是，本發明實施例之上述方程式中所使用之多個參數值(例如0.03928、12.92)僅為說明之用，並不限定於上述數值。最後，辨識度評價計算模組208會依據各色彩通道之色彩計算出辨識度評價分數L、L’，其可由下列方程式表示：
簡單來說，對於各候選顯示資訊來說，辨識度評價計算模組208會計算各候選顯示資訊在各候選子背景影像區域上的辨識度。此外，需了解的是，本發明實施例之上述方程式中於各色彩通道所相應的參數值(例如0.2126、0.7152、及0.0722)僅為說明之用，並不限定於上述數值。
在一實施例中，辨識度評價計算模組208係將透明顯示器130之亮度除以該背景影像經過透明顯示器130之背景亮度以得到亮度對比度LC。詳細而言，透明顯示器130之亮度是由透明顯示器之基板所呈現之三基礎色光總亮度值AL(luminance)加上環境背景經過透明顯示器之亮度LB加上透明顯示器在使用者區域的反射光亮度LR(例如可利用光線偵測器150所測得之使用者區域的環境光線的強度)。而背景亮度則是環境背景經過透明顯示器之亮度LB加上透明顯示器在使用者區域的反射光亮度LR。換言之，亮度對比度LC可由下列方程式計算而得：
關於面積對比度AC，辨識度評價計算模組208係計算各候選顯示資訊在各候選子背景影像區域中所佔的比例(以一維長度計算)，此即為面積對比度AC。
辨識度判斷模組210係在辨識度評價分數矩陣中決定出具有最大辨識度評價分數的候選顯示資訊及相應的候選子背景影像區域(例如具有最大色彩對比度候選顯示資訊及相應的候 選子背景影像區域)以做為欲在透明顯示器130上播放的顯示資訊及子背景影像區域，並判斷最大辨識度評價分數(例如最大色彩對比度)是否滿足需求，例如符合特定條件。舉例來說，人眼在較高的光強度下之辨識度較不靈敏，此即依據韋伯-費希納定理(Weber-Fechner Law)。換言之，辨識度判斷模組210係判斷最大色彩對比度之數值是否足以讓使用者清楚辨識具有最大色彩對比度的候選顯示資訊。若是，則可將具有最大色彩對比度的候選顯示資訊(即欲在透明顯示器130上播放的顯示資訊)顯示於透明顯示器130上。若否，則需由辨識度強化模組212進一步加強候選顯示資訊之辨識度。
辨識度強化模組212係針對辨識度不足之顯示資訊加入色彩特徵以增加辨識度。舉例來說，單一顏色的文字所具有的辨識度可能有限，且容易受到背景之光線及色彩的影響，所以若在單一顏色的顯示資訊(例如：文字)之辨識度不足的情況下，辨識度強化模組212可對顯示資訊中之文字加入相應的色彩特徵，例如加上框線或是在文字所在的區塊加入顏色，使得顯示資訊中之文字的辨識度提高。本發明實施例係提出多種對顯示資訊增加色彩特徵之方法，其細節將詳述於後。
第4圖係顯示依據本發明一實施例中之資訊顯示方法的流程圖。
在步驟S405，擷取透明顯示器130之背景影像。
在步驟S410，計算背景影像中之目標物件，並取得目標物件周圍的一或多個候選子背景影像區域。舉例來說，影像擷取單元140係可擷取影像辨識系統100之背景影像，且背景區塊 辨識模組202可將背景影像劃分為一或多個背景影像區塊，並由背景影像中辨識出一或多個目標物件，其中各目標物件周圍可具有一或多個候選子背景影像區域，且不同的候選子背景影像區域可由一或多個背景影像區塊所組成。
在步驟S420，處理一或多個候選子背景影像區域以及產生相應於各候選子背景影像區域之一或多個顯示資訊。背景資料處理模組204係可計算一或多個候選子背景影像區域之色彩特徵，且顯示資訊處理模組206係可計算複數個候選顯示資訊之色彩特徵，其中各候選子背景影像區域之色彩特徵及各候選顯示資訊之色彩特徵係分別用色彩特徵矩陣來表示。
在步驟S430，計算各候選顯示資訊於各候選子背景影像區域之辨識度評價分數。舉例來說，各候選顯示資訊在各候選子背景影像區域均會有相應的辨識度評價分數，在經過辨識度評價計算模組對各候選子背景影像區域之背景色彩特徵矩陣及顯示資訊色彩特徵矩陣進行運算後可得到資訊色彩矩陣。
在步驟S435，由一或多個候選顯示資訊及一或多個候選子背景影像區域中決定出一顯示資訊及相應的子背景影像區域。舉例來說，資訊色彩矩陣即表示了各候選顯示資訊在各候選子背景影像區域上的色彩對比度。在一實施例中，為了讓使用者能更清楚地辨識顯示於透明顯示器130上之顯示資訊，需選擇具有最大辨識度評價分數(意即具有最大色彩對比度)的候選顯示資訊及相應的候選子背景影像區域以做為在透明顯示器130上播放的顯示資訊及相應的子背景影像區域。
在步驟S440，判斷辨識度評價分數是否滿足預定條 件。舉例來說，因為各候選顯示資訊在各候選子背景影像區域均會有相應的辨識度評價分數，且分數愈高表示辨識度愈佳。辨識度判斷模組210係判斷具有最大辨識度評價分數的顯示資訊是否足以讓使用者在透明顯示器130上清楚地辨識，例如判斷最大辨識度評價分數是否大於一預定值。若辨識度評價分數滿足預定條件，則表示相應的顯示資訊可讓使用者在透明顯示器130上清楚地辨識，故可直接於透明顯示器130上之子背景影像區域顯示顯示資訊(步驟S450)。若辨識度評價分數不滿足預定條件，則表示相應的顯示資訊並不足以讓使用者在透明顯示器130上清楚地辨識，接著並執行步驟S460。
在步驟S460，對顯示資訊加入色彩特徵。辨識度強化模組212係針對辨識度不足之顯示資訊加入色彩特徵以增加辨識度。舉例來說，單一顏色的文字所具有的辨識度可能有限，且容易受到背景之光線及色彩的影響，所以若在單一顏色的顯示資訊(例如：文字)之辨識度不足的情況下，辨識度強化模組212可對顯示資訊中之文字加入相應的色彩特徵，例如加上框線或是在文字所在的區塊加入顏色，使得顯示資訊中之文字的辨識度提高。
在步驟S470，在透明顯示器之子背景影像區域上顯示顯示資訊及色彩特徵。
第5圖係顯示依據本發明第4圖之步驟S460的細部流程圖。當在步驟S440判斷出需對顯示資訊加入色彩特徵以增加辨識度時，即會執行步驟S460。步驟S460可細分為步驟S461至S467。在步驟S461，判斷背景影像之色彩特徵。舉例來說，背景影像之色彩特徵會分成四種情況：(1)背景色彩複雜度低且背景 亮度低；(2)背景色彩複雜度低且背景亮度高；(3)背景色彩複雜度高且背景亮度高；(4)背景色彩複雜度高且背景亮度低。在判斷為第(1)種情況時，執行步驟S462。在判斷為第(2)種情況時，執行步驟S463。在判斷為第(3)種情況或第(4)種情況時，執行步驟S466。
在步驟S462，計算具有最大辨識度的色彩於顯示資訊外之圖塊並顯示簍空的顯示資訊。因為是在背景色彩複雜度低、且背景亮度低，雖然判斷文字的辨識度可能不足，但在此種環境下，使用者會較容易辨識出透明顯示器130上的顯示資訊(例如：文字資訊)，故可將具有最大辨識度之色彩的顯示資訊或是具有最大辨識度包括簍空的顯示資訊之圖塊直接顯示於透明顯示器130上。在一實施例中，如第6A圖所示，子背景影像區域610之背景的辨識度評價分數為CR.1，顯示資訊之辨識度評價分數為CR.2，則辨識度強化模組212將具有最大辨識度之色彩的顯示資訊直接顯示於透明顯示器130上。在另一實施例中，辨識度強化模組212可將具有最大辨識度之色彩用於包括簍空的顯示資訊之圖塊，並將該圖塊直接顯示於透明顯示器130上，意即選擇具有最大辨識度之色彩的圖塊，並將簍空的顯示資訊(例如文字資訊)顯示於圖塊之中，且顯示資訊的顏色可與背景色彩相同。
在步驟S463~S465，辨識度強化模組212係會將具有最大辨識度之文字加上邊框以增加其辨識度。
在步驟S463，計算具有最大辨識度的邊框色彩或文字色彩。舉例來說，具有最大辨識度之色彩的顯示資訊之文字可能會與背景之顏色或對比度相近或是背景亮度太高造成辨識度不 佳，此時可在文字及背景之間加入文字邊框，且文字邊框之顏色對比度係相對於文字及背景。換言之文字邊框之邊框色彩的選擇係相對於文字及背景的色彩對比度，且具有最大辨識度。
在步驟S464，設定相應的文字色彩或邊框色彩。舉例來說，若在步驟S463中選擇了具有最大辨識度的邊框色彩(例如第一色彩)，則在步驟S464會選擇相對於邊框色彩具有最大辨識度(例如最大色相對比度)之文字色彩(例如第二色彩)。相對而言，若在步驟S463中選擇了具有最大辨識度的文字色彩(例如第二色彩)，則在步驟S464會選擇相對於文字色彩具有最大辨識度(例如最大色相對比度)之邊框色彩(例如第一色彩)。簡單來說，文字邊框色彩係為具有最大辨識度評價分數所相應之一第一色彩，且顯示資訊之第二色彩相較於第一色彩係具有一最大辨識度。
在步驟S465，選擇面積比例。舉例來說，在決定文字色彩及邊框色彩之後，需再進一步決定邊框面積及文字面積之比例，如第6B圖所示。子背景影像區域620之背景的辨識度評價分數為CR.1，顯示資訊之辨識度評價分數為CR.2，且邊框之辨識度評價分數為CR.3，且CR.1、CR.2、及CR.3之分布需為「高高低」或「低低高」，這樣則會進一步加強顯示資訊之辨識度。
簡單來說，在步驟S463至S465，辨識度強化模組212可先計算具有最大辨識度的邊框色彩或文字色彩，接著才設定相對的文字色彩或邊框色彩，意即在步驟S463中決定了具有最大辨識度的邊框色彩，則在步驟S464中則設定相對的文字色彩。若在步驟S463中決定了具有最大辨識度的文字色彩，則在步驟S464中則設定相對的邊框色彩。詳細而言，文字色彩或邊框色彩之選擇 需要符合兩個條件之一，即是使得CR.1、CR.2、及CR.3之分布符合「高高低」或「低低高」的條件。
在步驟S466，選擇具有最大色彩對比度的圖塊色彩或光暈色彩。
在步驟S467，設定文字為白色。舉例來說，因為無論在室外場景或室內場景，當背景色彩複雜時，無論使用什麼顏色的顯示資訊或加上文字邊框，使用者均不會有太好的辨識度。因此，辨識度強化模組212會計算具有最大色相對比度之顏色，最大色相對比度即在色相的色彩空間中，色座標距離最遠的兩個色彩，並將子背景影像區域(即圖塊)塗成圖塊色彩(例如圖塊色彩之色相與子背景影像區域之色相相比係有最大色相對比度)，並且在子背景影像區域(即圖塊)中的文字設定為白色(例如相較於子背景影像區域具有最大亮度對比度)，這樣可以讓使用者較容易辨識在子背景影像區域中之顯示資訊。詳細而言，顯示資訊所相應之子背景影像區域可塗成具有圖塊色彩之圖塊，且圖塊色彩之第一色相與相應之子背景影像區域之第二色相相比係具有最大色相對比度，且圖塊中之顯示資訊的第一亮度與相應之子背景影像區域之第二亮度相比係具有一最大亮度對比度。意即在背景色彩複雜度高的情況下，無論背景亮度高或低，均可執行步驟S466及S467以加入文字及圖塊、或是文字及光暈之效果以增強顯示資訊的辨識度。在一些實施例中，子背景影像區域可以為和景物外形相似或特定幾何形狀之框線，其顯示色彩經過計算可以得到在透明顯示器130中適合的顯示色彩、亮度和寬度。
在一些實施例中，辨識度強化模組212則會將背景影 像中之目標物件加上一外框或一指示標誌，其中外框可以為和景物外形相似或特定幾何形狀之框線，其外框或指示標誌之符號色彩經過計算可以得到在透明顯示器中適合的顯示色彩和亮度。
在一些實施例中，影像辨識系統100可執行資訊顯示方法以選擇適當的顯示色彩，意即辨識度強化模組212可依據不同的背景顏色，加入做為標示且具有高辨識度之顯示色彩之顯示資訊。
在一些實施例中，影像辨識系統100可執行資訊顯示方法以選擇適當的文字花紋色彩，意即在文字上加上文字花紋及色彩，藉以增加顯示資訊之文字的辨識度。
在一些實施例中，影像辨識系統100可執行資訊顯示方法以選擇適當的簍空圖塊色彩與面積，藉以增加顯示資訊之文字的辨識度。
在一些實施例中，影像辨識系統100可執行資訊顯示方法以選擇適當的文字陰影色彩及面積，意即在顯示資訊之文字週圍呈現適合的陰影及色彩，藉以增加顯示資訊之文字的辨識度。
在一些實施例中，影像辨識系統100可執行資訊顯示方法以選擇適當的光暈色彩和面積，意即在顯示資訊之文字週圍呈現適合的光暈及色彩，藉以增加顯示資訊之文字的辨識度。
本發明實施例之方法，或特定型態或其部份，可以以程式碼的型態包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明實施例之裝置或系統。本發明實施例之方法、系統與裝置也可以以程 式碼型態透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明實施例之裝置或系統。當在一般用途處理器實作時，程式碼結合處理器提供一操作類似於應用特定邏輯電路之獨特裝置。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (20)

  1. 一種資訊顯示方法，用於一透明顯示器，包括：擷取該透明顯示器之一背景影像；計算該透明顯示器之該背景影像中之一目標物件，並取得該目標物件周圍的一或多個候選子背景影像區域；處理該一或多個候選子背景影像區域以及產生相應於各候選子背景影像區域之一或多個候選顯示資訊；計算各候選顯示資訊於各候選子背景影像區域之一辨識度評價分數；由該一或多個候選顯示資訊及該一或多個候選子背景影像區域中決定出一顯示資訊及相應的一子背景影像區域；判斷該顯示資訊所相應的該辨識度評價分數是否滿足一預定條件；若滿足，直接於該透明顯示器上之該子背景影像區域顯示該顯示資訊；以及若不滿足，對該顯示資訊加入一色彩特徵，並於該透明顯示器之該子背景影像區域上顯示該顯示資訊及該色彩特徵。
  2. 如申請專利範圍第1項所述之資訊顯示方法，更包括：計算各候選顯示資訊於各候選子背景影像區域中之一亮度對比度、一色彩對比度、及一面積對比度；以及 依據該亮度對比度、該色彩對比度、及該面積對比度以計算各候選顯示資訊於各候選子背景影像區域之該辨識度評價分數。
  3. 如申請專利範圍第2項所述之資訊顯示方法，更包括：將該透明顯示器之一亮度除以該背景影像經過該透明顯示器之一背景亮度以得到該亮度對比度。
  4. 如申請專利範圍第2項所述之資訊顯示方法，更包括：計算該背景影像中之紅光、綠光、藍光對於一使用者之雙眼的一第一刺激值；計算該顯示資訊中之紅光、綠光、藍光對於該使用者之雙眼的一第二刺激值；以及依據該第一刺激值、該第二刺激值、以及該透明顯示器相應於紅光、綠光、藍光之一基板穿透率以計算一三基礎色光刺激值，該三基礎色光刺激值形成一總色光刺激值。
  5. 如申請專利範圍第4項所述之資訊顯示方法，更包括：計算該目標物件所相應之各候選子背景影像區域的一區域平均值、一區域峰值、及一區域谷值，其中該區域平均值係指在各候選子背景影像區域內的該三基礎色光刺激值之平均值，該區域峰值係指在各候選子背景影像區域內的該三基礎色光刺激值之最大值，該區域谷值係指在各候選子背景影像區域內的該三基礎 色光刺激值之最小值。
  6. 如申請專利範圍第1項所述之資訊顯示方法，其中在該透明顯示器上所顯示之該顯示資訊具有一最大辨識度評價分數。
  7. 如申請專利範圍第6項所述之資訊顯示方法，其中該色彩特徵包括：呈現高辨識度的一顯示色彩、一文字邊框色彩、一圖塊色彩、一符號色彩、一文字陰影色彩、一光暈色彩、一簍空圖塊色彩、或一文字花紋色彩。
  8. 如申請專利範圍第7項所述之資訊顯示方法，其中該顯示資訊係具有一最大辨識度之色彩。
  9. 如申請專利範圍第7項所述之資訊顯示方法，其中該文字邊框色彩係為具有該最大辨識度評價分數所相應之一第一色彩，且該顯示資訊中之文字色彩的一第二色彩相較於該第一色彩係具有一最大辨識度。
  10. 如申請專利範圍第7項所述之資訊顯示方法，其中該顯示資訊所相應之該子背景影像區域係塗成具有該圖塊顏色之一圖塊，且該圖塊色彩之一第一色相與相應之該子背景影像區域之一第二色相相比係具有一最大色相對比度，且在該圖塊內之該顯示資訊之一第一亮度與相應之該子背景影像區域之一第二亮度相比係具有一最大亮度對比度。
  11. 一種影像辨識系統，包括：一透明顯示器； 一影像擷取單元，用以擷取該透明顯示器之一背景影像；一運算單元，用以計算該透明顯示器之該背景影像中之一目標物件的一或多個候選子背景影像區域，並取得該目標物件周圍的一或多個候選子背景影像區域，其中該運算單元更處理該一或多個候選子背景影像區域以及產生相應於各候選子背景影像區域之複數個候選顯示資訊，其中該運算單元更計算各候選顯示資訊於各候選子背景影像區域之一辨識度評價分數，並由該一或多個候選顯示資訊及該一或多個候選子背景影像區域中決定出一顯示資訊及相應的一子背景影像區域；其中該運算單元更判斷該顯示資訊所相應的該辨識度評價分數是否滿足一預定條件，若滿足，該運算單元係直接於該透明顯示器之該子背景影像區域上顯示該顯示資訊；若不滿足，該運算單元係對該顯示資訊加入一色彩特徵，並於該透明顯示器之該子背景影像區域上顯示該顯示資訊及該色彩特徵。
  12. 如申請專利範圍第11項所述之影像辨識系統，其中該運算單元更計算各候選顯示資訊於各候選子背景影像區域中之一亮度對比度、一色彩對比度、及一面積對比度，並 依據該亮度對比度、該色彩對比度、及該面積對比度以計算各候選顯示資訊於各候選子背景影像區域之該辨識度評價分數。
  13. 如申請專利範圍第12項所述之影像辨識系統，其中該運算單元係將該透明顯示器之一亮度除以該背景影像經過該透明顯示器之一背景亮度以得到該亮度對比度。
  14. 如申請專利範圍第12項所述之影像辨識系統，其中該運算單元更計算該背景影像中之紅光、綠光、藍光對於一使用者之雙眼的一第一刺激值，計算該顯示資訊中之紅光、綠光、藍光對於該使用者之雙眼的一第二刺激值，以及依據該第一刺激值、該第二刺激值、以及該透明顯示器相應於紅光、綠光、藍光之一基板穿透率以計算一三基礎色光刺激值，該三基礎色光刺激值形成一總色光刺激值。
  15. 如申請專利範圍第14項所述之影像辨識系統，其中該運算單元係計算該目標物件所相應之各候選子背景影像區域的一區域平均值、一區域峰值、及一區域谷值，其中該區域平均值係指在各候選子背景影像區域內的該三基礎色光刺激值之平均值，該區域峰值係指在各候選子背景影像區域內的該三基礎色光刺激值之最大值，該區域谷值係指在各候選子背景影像區域內的該三基礎色光刺激值之最小值。
  16. 如申請專利範圍第11項所述之影像辨識系統，其中在該透明顯示器上所顯示之該顯示資訊具有一最大辨識度評價分數。
  17. 如申請專利範圍第11項所述之影像辨識系統，其中該色彩特徵包括：呈現高辨識度的一顯示色彩、一文字邊框色彩、一圖塊色彩、一符號色彩、一文字陰影色彩、一光暈色彩、一簍空圖塊色彩、或一文字花紋色彩。
  18. 如申請專利範圍第17項所述之影像辨識系統，其中在該顯示資訊係具有一最大辨識度之色彩。
  19. 如申請專利範圍第17項所述之影像辨識系統，其中該文字邊框色彩係為具有該最大辨識度評價分數所相應之一第一色彩，且該顯示資訊中之文字色彩的一第二色彩相較於該第一色彩係具有一最大辨識度。
  20. 如申請專利範圍第17項所述之影像辨識系統，其中該處理單元係將該顯示資訊所相應之該子背景影像區域塗成具有該圖塊顏色之一圖塊，且該圖塊色彩之一第一色相與相應之該子背景影像區域之一第二色相相比係具有一最大色相對比度，且在該圖塊內之該顯示資訊之一第一亮度與相應之該子背景影像區域之一第二亮度相比係具有一最大亮度對比度。
TW106144574A 2017-08-18 2017-12-19 影像辨識系統及其資訊顯示方法 TWI629675B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810159567.1A CN109408008B (zh) 2017-08-18 2018-02-26 影像辨识系统及其信息显示方法
US16/104,096 US10817723B2 (en) 2017-08-18 2018-08-16 Image recognition system and information-display method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762547236P 2017-08-18 2017-08-18
US62/547,236 2017-08-18

Publications (2)

Publication Number Publication Date
TWI629675B TWI629675B (zh) 2018-07-11
TW201913608A true TW201913608A (zh) 2019-04-01

Family

ID=63640360

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106144574A TWI629675B (zh) 2017-08-18 2017-12-19 影像辨識系統及其資訊顯示方法

Country Status (3)

Country Link
US (1) US10817723B2 (zh)
CN (1) CN109408008B (zh)
TW (1) TWI629675B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI669703B (zh) 2018-08-28 2019-08-21 財團法人工業技術研究院 適於多人觀看的資訊顯示方法及資訊顯示裝置
TWI689909B (zh) * 2018-11-22 2020-04-01 財團法人工業技術研究院 透明顯示系統及其操作方法
CN110263301B (zh) * 2019-06-27 2023-12-05 北京百度网讯科技有限公司 用于确定文字的颜色的方法和装置
KR20210014813A (ko) 2019-07-30 2021-02-10 삼성디스플레이 주식회사 표시장치
TWI717824B (zh) * 2019-09-04 2021-02-01 財團法人工業技術研究院 資訊顯示方法以及資訊顯示系統
AU2021202282B2 (en) * 2020-04-21 2022-04-07 Canva Pty Ltd Systems and methods for applying effects to design elements
US11715405B1 (en) * 2021-02-10 2023-08-01 Sivalogeswaran Ratnasingam Chroma modification based on ambient light characteristics

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5408143B2 (ja) * 2009-02-03 2014-02-05 日本電気株式会社 パターン認識装置、パターン認識方法およびパターン認識プログラム
US8675019B1 (en) * 2009-12-03 2014-03-18 Innoventions, Inc. View navigation guidance system for hand held devices with display
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
WO2013009815A2 (en) 2011-07-13 2013-01-17 Simon Solotko Methods and systems for social overlay visualization
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
WO2013162583A1 (en) 2012-04-26 2013-10-31 Intel Corporation Augmented reality computing device, apparatus and system
TWI576771B (zh) 2012-05-28 2017-04-01 宏碁股份有限公司 透明顯示裝置及其透明度調整方法
TW201348816A (zh) * 2012-05-28 2013-12-01 Acer Inc 透明顯示裝置
TWI466094B (zh) * 2012-05-28 2014-12-21 Acer Inc 透明顯示裝置及其透明度調整方法
CN103489412B (zh) * 2012-06-12 2016-12-14 宏碁股份有限公司 透明显示装置及其透明度调整方法
TWI637312B (zh) 2012-09-19 2018-10-01 三星電子股份有限公司 用於在透明顯示裝置顯示資訊的方法、顯示裝置及電腦可讀記錄媒體
KR102051656B1 (ko) * 2013-01-22 2019-12-03 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
KR102135367B1 (ko) * 2014-01-23 2020-07-17 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
WO2016017966A1 (en) 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Method of displaying image via head mounted display device and head mounted display device therefor
KR102321362B1 (ko) 2014-07-29 2021-11-04 삼성전자주식회사 헤드 마운트 디스플레이 디바이스가 영상을 디스플레이하는 방법 및 그 헤드 마운트 디스플레이 디바이스
US9615054B1 (en) 2014-09-25 2017-04-04 Steve H. McNelley Transparent communication devices
US10043298B2 (en) * 2014-09-30 2018-08-07 Konica Minolta Laboratory U.S.A., Inc. Enhanced document readability on devices
KR102262566B1 (ko) * 2014-10-10 2021-06-07 엘지디스플레이 주식회사 투명 디스플레이 장치
CN104636726B (zh) * 2015-02-05 2019-05-21 努比亚技术有限公司 一种图像色彩识别方法、装置及终端
US10109092B1 (en) * 2015-03-24 2018-10-23 Imagical LLC Automated text layout, color and other stylization on an image or video, and the tracking and application of user color preferences
US9514706B1 (en) 2015-05-28 2016-12-06 Chunghwa Picture Tubes, Ltd. Transparent display apparatus and image adjustment method thereof
JP6524587B2 (ja) 2015-11-04 2019-06-05 Smc株式会社 パンチ装置
CN105677349A (zh) * 2016-01-05 2016-06-15 努比亚技术有限公司 桌面图标显示方法及装置

Also Published As

Publication number Publication date
CN109408008A (zh) 2019-03-01
CN109408008B (zh) 2021-10-26
US10817723B2 (en) 2020-10-27
US20190057255A1 (en) 2019-02-21
TWI629675B (zh) 2018-07-11

Similar Documents

Publication Publication Date Title
TWI629675B (zh) 影像辨識系統及其資訊顯示方法
CN107431790B (zh) 用于图像处理的方法及非暂态计算机可读介质
JP5721673B2 (ja) 塗色データベース作成方法、作成システム、作成プログラム及び記録媒体
Recky et al. Windows detection using k-means in cie-lab color space
CN102891966B (zh) 数码成像设备的对焦方法及装置
TWI573095B (zh) 影像優化方法以及使用此方法的系統
JP7031697B2 (ja) 情報処理装置および認識支援方法
CN104052979B (zh) 用于图像处理的装置和技术
JP5409910B2 (ja) 非製品画像識別
CN108024105A (zh) 图像色彩调节方法、装置、电子设备及存储介质
JP5811416B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN114719966A (zh) 光源确定方法、装置、电子设备及存储介质
RU2320011C1 (ru) Способ автоматической коррекции эффекта красных глаз
CN109427041A (zh) 一种图像白平衡方法及系统、存储介质及终端设备
CN113724175A (zh) 基于人工智能的图像处理方法、装置及电子设备
CN113177939A (zh) 一种灯板检测方法、装置、电子设备及存储介质
CN206042074U (zh) 一种终端
CN114862846B (zh) 一种筛分方法、装置、设备及存储介质
CN106683047A (zh) 一种全景图像的光照补偿方法和系统
CN105681774B (zh) 一种图像处理的方法及终端
WO2021147755A1 (zh) 棋盘角点检测方法和装置
JP6186754B2 (ja) 画面表現評価装置、画面表現評価方法、及びプログラム
CN104537633B (zh) 一种利用图像融合技术消除图像反影的方法
CN105979151A (zh) 一种图像处理方法及终端
CN106402717A (zh) 一种ar播放控制方法及智能台灯