TW200818911A - Video window detector - Google Patents

Description

200818911 九、發明說明 【發明所屬之技術領域】 本發明大致關係於改良視訊及圖形品質。 【先前技術】 電視、電腦監視器及其他顯示裝置已展現有各種的顯 示尺寸與縱橫比。例如，傳統電視顯示器具有4 : 3 (1 · 3 3 :1)縱橫比（以下稱標準顯示），而寬螢幕顯示器，例如電 影或HDTV顯示器則具有一 16 : 9旦1.78 : 1)之縱橫比。 此外，仍有其他具有2.3 9 : 1或2.3 5 : 1縱橫比之更寬顯示 器。然而，一給定顯示單元應能顯示各種現行視訊信號格 式。爲了使給定顯示單元可以顯示其本身格式以外之格式 ，各種技術已經被用以收縮或延伸非本身格式之縱橫比。 很多這些技術涉及將以原始格式表示之非本身影像投影至 該本身顯示器並簡單地黑化沒有影像資訊的“間隙”。 信箱化（Letterboxing)係轉移例如1 6 : 9之較寬視訊格 式至較正方格式，同時保留原來之縱橫比的方法。所得之 視訊顯示必須包含在圖案區之上及下方之遮蔽區，其經常 被稱爲黑帶，或更準確地說爲無光區。相對於此，當原來 並未設計用於寬螢幕之視訊被顯示在寬螢幕顯示器時，則 必須有郵筒（pillar boxing)或視窗化。原始材料被收縮並 放置在寬螢幕框的中間，同時，垂直黑柱被放置於兩側。 再者，有時，當標準比例影像出現在信箱圖案的中央部份 時，造成四週有黑色線條。這作用稱爲匹配箱，明顯地浪 -4- 200818911 費大量之螢幕空間，並降低了原始影像的解析度。 因此，在部份例子中，大量之顯示不動產可以實際完 全不顯示，以只用以容納黑邊線。因此，這些空白區的出 現不僅降低原始影像的尺寸及/或解析度，同時也可能使 得在空白區中之任何其他視訊加強或處理在實際上變得無 用，造成計算及/或記憶體資源的低效使用。 除了容納具有非本身顯示螢幕之格式的顯示影像外， 視訊影像爲非視訊背景所包圍或爲非視訊框所包住（例如 一圖片中之圖片，其中次要視訊係被包夾在具有皮（例如 視窗型邊界）的框內）的狀況下，其經常包含控制按鈕，或 資訊圖式。 ’ 因此，我們想要自動決定視訊窗的邊緣位置。 【發明內容】 廣泛地說，本發明有關於指明在一顯示影像中之視訊 窗的邊緣位置。本發明也可以以各種方式加以實施，包含 一方法、系統、裝置、設備或電腦可讀媒體。本發明之幾 個實施例將討論如下。 在一實施例中，將描述一種決定顯示在一顯示螢幕上 之視訊窗的位置之方法，其係藉由以下步驟執行：接收由 多數像素形成之視訊框，每一像素具有相關之像素資料， 一群像素係相關於一真實影像；將該視訊框分成若干區域 ，每一區域包含大致相同數目的像素，更將該顯示器分成 多數評估矩形，每一矩形包含大致相同數目的區域；及如 •5- 200818911 果該評估矩形係被決定爲包圍至少一部份的真實影像，則 指定對應於評估矩形之像素座標成爲視訊窗邊緣。 在另一實施例中，有一電腦程式產品，其可以爲一處 理器所執行以決定顯示在顯示螢幕上之視訊窗之位置。該 電腦程式產品包含：電腦碼用以接收由多數像素所形成之 視訊框，每一像素係具有相關像素資料，一群像素係有關 於一真實影像；電腦碼，用以將視訊框分成若干區域，每 一區域包含大致相同數目的像素；及電腦碼，用以進一步 將顯示分成若干評估矩形，每一矩形包含大致相同數目的 區域；電腦碼，如果該評估矩形係被決定爲包圍至少一部 份的真實影像，則指定對應於該評估矩形的像素座標作爲 該視訊窗邊緣。 在另一實施例中，描述一用以決定顯示在顯示螢幕上 之視訊窗之位置的設備，該設備包含：接收裝置，用以接 收由多數像素所形成之視訊框，每一像素係具有相關像素 資料，一群像素係有關於一真實影像；分割裝置，用以將 視訊框分成若干區域，每一區域包含大致相同數目的像素 :及分割裝置，用以進一步將顯示分成若干評估矩形，每 一矩形包含大致相同數目的區域；指定裝置，用以如果該 評估矩形係被決定爲包圍至少一部份的真實影像，則指定 對應於該評估矩形的像素座標作爲該視訊窗邊緣。 本發明之其他態樣與優點將由以下之詳細說明配合上 附圖加以了解。 -6- 200818911 【實施方式】 以下將參考本發明之特定實施例，其中的例子係顯示 於附圖中。雖然本發明係配合該特定實施例加以說明，但 可以了解的是，本發明並不限制於所述實施例。相反地， 本發明係想要涵蓋在本發明精神及範圍內之所有變更、修 改及等效。 通常，多數合成（即低真實指數）之影像似乎爲“文字 ”，而多數“實體”則似乎爲視訊。因此，如果具有相當高 真實指數之影像的一部份被集中在一矩形區域中，則可以 指明出一視訊窗。在此狀態下，所得資料可以然後數學方 式搜尋大真實窗，如果找到，則在該大矩形的每一邊緣旁 的一小窗中，執行一類似運算，隨後，放大至一像素的解 析度，因而，指明該邊緣的位置。此程序可以被經常重覆 ，以維持視訊窗的邊緣爲固定。 應注意的是，當顯示視訊窗被設定有合成背景，或最 後將模擬一合成背景的具有很少或沒有變化的背景時，本 發明特別有效。也就是說，在一實施例中，特別適用於視 訊窗的各邊緣的位置之即時評估係藉由以下加以建立：在 該視訊邊緣的大約位置旁形成評估窗；將評估窗分割成大 致相等尺寸之區域；評估每一區域的真實性（或合成程度 也可以）；及決定是否在評估窗中，有由基本上合成至基 本上真實的轉移。如困檢出此一轉移，則高度可能一視訊 窗邊緣係位在該評估窗內（再次預設視訊窗代表由合成至 真實的轉移，及反之亦然）。如果要形成額外之評估窗（評 200818911 估窗的數目根據原始評估窗的尺寸及視訊窗邊緣位置的想 要解析度而定），則在下一遞迴中，形成一減少尺寸之評 估窗，及該程序被重覆，直到所有評估窗均被測試爲止。 轉移的位置被標出並被儲存爲視訊窗邊緣的位置之最佳猜 想。 第1圖顯示一代表視訊框1〇〇，其中顯示有依據本發明 實施例之有邊緣104的影像102。應注意的是，在使用在共 同申請案“視訊內容檢測器”所述之程序，以決定視訊窗 邊緣之前，可以想出影像1 02係被決定爲一視訊影像（即實 體），該案係爲Neal所申請爲1 1 /6 1 3,009號申請案。一旦 決定影像1 02爲一視訊影像’則本發明提供藉由將顯示區 100分成若干區域R，而決定視訊影像102的大致尺寸與位 置，每一區域的每一側分別有I，J，其中每一區域包含大 約相等之像素數目（IXJ)。對於其他討論，區域R係被假 設爲正方區域（I = J)，因此，顯示器1〇〇係被分割成Μ行及 Ν列（其中Ν及Μ取決於顯示器100的本身縱橫比），其定 義區域Rm，n的數目（ΜχΝ)。 一旦顯示器1 〇〇被分割爲適當量之區域R，每一區域 R被特徵爲基本上真實或合成並被據此指定以一真實指數 Τ。在所述實施例中，可以藉由使用每一區域的特徵亮度 分佈，而決定一特定區域之真實指數Τ。在所述實施例中 ，亮度分佈與一特定區域R的合成影像相符將造成該區域 被指定一真實指數Ts。或者，如果區域R的亮度分佈相 符於真實影像，則一真實指數TR(相符於一真實影像）將被 -8 - 200818911 指定給該區域R。在部份實施例中，我們想要提供真實加 權因數ω，其可以用以提供被分類爲真實之區域更多（或 更少）加權（或相反地’這些區域被認爲合成）。 參考第2圖（爲了清楚起見，真實影像1〇2已經被移除 ，只留下視訊窗邊緣1 0 4 )，一旦所有區域R均依個別真實 値而被加上指數，則一第一矩形S i被產生，其加入有相 符於顯示影像1〇〇之尺寸的最大量之區域s’藉以最大化 該所有或實質上所有真實影像1 02被包含在評估矩形s i中 的或然率。在任何情形下，一旦評估矩形S 1被定義，則 包含在矩形Si內之所有區域R都被指明爲合成（Ts = l及 TR = 0)或真實（Ts = 0及TR=1)，則會使用公式（1)特徵化整個 矩形s i的真實性= 公式（1)

Realness Value(RV)=艺 其中ω爲影像加權因數（即Or爲真實加權因數及Os 爲合成影像加權因數）。一旦用於一特定評估矩形S i的真 實値RV被計算，則使用公式（2)計算真實比（RR) m^n

Realness Ratio(RR)=^ω8ΙΖΕ χTRi j IRV 公式（2) u=i ’ 在所述實施例中，真實比RR表示爲評估矩形SI所包 圍之真實對合成區域之相對比例。例如，第2圖顯示當評 估矩形S1包圍整個顯不區100，藉以確保至少在第一通過 200818911 中，包含了包圍真實影像102之視訊窗。在第2圖之例子中 ，真實比（RR)等於具有非零真實値（此例中爲88)之所有區 域的總和除以整個評估矩形之所有真實値的總和（此例中 爲216 = MxN)，給出等於0.41之真實比RR。在理想狀態下 ，當評估矩形S只包圍真實影像102時，真實比RR將等 於1.0，或者附近（因爲理想上，只有真實區域被包含在評 估矩形S中）。因此，爲了決定真實影像102的邊緣104之 位置，執行一遞迴程序，其中真實比RR被評估並與一表 示真實相對度之預定臨限値相比。如果真實比RR不等於 或大於預定臨限値，則產生另一個與前一評估矩形Snd尺 寸及位置不同之評估矩形Sn，如第3至6圖所示者，以用 可得之處理資源，儘可能多地計算視訊窗的尺寸及位置。 然而，如果真實比RR係大於該臨限並大於前一真實比 RR，則儲存之真實比RR被更新爲現行真實比RR。 一旦最終評估矩形被決定大約爲真實影像1 02的邊緣 1 04之位置，則真實影像四個邊緣的大約位置係爲相關量 測矩形Μ所重疊，其每一矩形係用以評估對應邊緣的特 定位置。例如，第7圖顯示四個量測矩形702-708，包圍有 四個邊緣104的預定位置。對於每一邊緣，執行如第8圖所 示之邊緣檢測程序，在本例子中，使用對包含在量測矩形 702中之每一行，執行真實値的行總和。一旦每一行之所 有真實値的總和完成，則每一行的真實總和値彼此比較’ 以決定是否有一轉移在合成與真實之間。因爲預定顯示影 像之未包含在視訊窗內的部份基本上爲全合成的，所以’ -10- 200818911 視訊窗1 0 4的邊緣可以藉由記下於合成與真實間之轉移的 位置而加以檢出。如果記下此轉移，則轉移的位置被用以 形成下一量測矩形，其相較於前一量測矩形在尺寸上被變 小。以此方式，持續遞迴，直到量測矩形爲一預定尺寸， 其定位出在預定權値（例如一像素）內之邊緣的位置。如果 有處理資源可用，也可以對所有之邊緣同時執行一等效程 序，對水平邊緣使用列向總和法，以定位出影像1 〇 2的邊 緣 104〇 第9圖顯示一流程圖，其詳述依據本發明實施例之程 序900。因此，程序900於902藉由接收具有真實影像部份 之顯市影像開始。在904’所顯不之影像被分割成若干區 域，每一區域具有大約相同數目之像素。在906，每一區 域係被指定爲一合成區域或一真實區域。在908，建立至 少於最小尺寸一般大之評估矩形，其包含一數目之區域， 及在9 1 0，該評估矩形之真實値根據形成該評估矩形的區 域的本質（即合成或真實）加以決定。在9 1 2，如果真實値 大於前一儲存真實値，則所儲存之真實値，在9 1 4被以現 行真實値更新，隨後在9 1 6，會決定是否所有評估矩形均 已被試過。如果不是，則評估矩形的尺寸在91 8被改變， 並回到步驟910。另一方面，如果在916，決定出所有之評 估矩形均被試過，則在920決定是否該真實値大於一臨限 真實値。如果真實値不大於臨限真實値，則程序900停止 ，否則，進行至922，以儲存真實影像的大約尺寸與位置 -11 - 200818911 現參考第10圖，程序900在924繼續，以取回先前所儲 存之真實影像的大約尺寸與位置。在926，在真實影像邊 緣的大約位置旁定義一量測窗，及在92 8，將量測窗分割 成多數區域。在93 0，每一區域被指定爲真實區域或合成 區域，及在932，根據形成該量測窗的區域之本質，決定 該量測窗的真實値的列向或行向分佈。在9 3 4，決定在真 實値的分佈中是否有一轉移。如果沒有轉移，則在93 6決 定是否再試一次，以進行至93 2，如果不試，則程序900停 止。另一方面，如果在93 4檢出一轉移，則在93 8，儲存轉 移的中點位置爲新邊緣位置及在940決定是否所有量測窗 已經試過。如果不是，則在942將量測窗的尺寸減去所儲 存中點位置之中心，並進行至932，否則將在944將量測窗 中點之儲存位置指定位一邊緣的位置。 本發明之實施例包含於此所揭示之設備，並可以被實 施爲數位電子電路，或電腦硬體、韌體、軟體，或其組合 。本發明之實施例可以被實施爲在機器可讀取儲存裝置內 之電腦程式產品，其係可以择可程式處理器所執行；本發 明之方法步驟可以藉由一執行指令程式之可程式處理器加 以執行，以操作輸入資料並產生輸出。本發明之實施例可 以較佳地被實施於一或多數電腦程式中，其可以被執行在 可程式系統中，該系統包含至少一連接以由資料儲存系統 接收資料與指令或傳送資料與指令的可程式處理器，至少 一輸入裝置、及至少一輸出裝置。每一電腦程式可以實施 爲高階程序或物件導向之程式語言，或爲組合語言或機器 -12- 200818911 語言；及在任一情形下’該語言可以被編譯或解譯爲語言 〇 適當之處理器例如包含一般及特殊目的微處理器。通 常，——處理器將自一唯讀記憶體及/或隨機存取記憶體接 收指令與資料。通常，一電腦將包含一或多數大量儲存裝 置，用以儲存資料檔；此等裝置包含磁碟，如內部硬碟及 可移除碟片；磁光碟；及光碟。適用以實施電腦程式指令 與資料的儲存媒體包含所有形式之非揮發記憶體，包含例 如半導體記憶裝置，例如EPROM、EEPROM、及快閃記憶 裝置；磁碟，例如內部硬碟機及可移除碟片；磁光碟；及 CD-ROM 〇任一前述均可以被實施或倂入於ASIC(特定應 用積體電路）中。 本發明之若干實施法已經加以描述。然而，應了解的 是，各種條改可以在不脫離發明之精神與範圍下加以完成 。因此，其他實施例仍在以下之申請專利範圍內。 【圖式簡單說明】 第1及2圖顯示一代表圖，其中顯示有依據本發明實施 例之具有邊緣部的影像； 第3圖顯示依據本發明實施例之一代表評估矩形真實 値與預定真實値臨限比較； 第4至7圖顯示找出依據本發明實施例之視訊窗的邊緣 y 第8圖顯示依據本發明實施例之放大評估矩形；及 -13- 200818911 第9及1 0圖顯示一流程圖，顯示依據本發明實施例決 定一視訊窗邊緣位置的程序。 【主要元件符號說明】 1 0 0 : 視訊框 102 ： 影像 104 ： 邊緣 7 02 ： 量測矩形 7 04 : 量測矩形 70 6 : 量測矩形 、 70 8 ： 量測矩形 -14-

Claims (1)

1. 200818911 十、申請專利範園 1 · 一種決定顯示在顯示螢幕上之視訊窗的位置之方法 ，包含·· 接收由多數像素形成之視訊框，每一像素具有相關之 像素資料，一群像素係相關於一真實影像； 將該視訊框分成若千區域，每一區域包含大致相同數 目的像素； • 更將該顯示分成多數評估矩形，每一矩形包含大致相 同數目的區域；及 如果該評估矩形係被決定爲包圍該真實影像的至少一 部份，則指定對應於該評估矩形之像素座標成爲該視訊窗 邊緣。 2.如申請專利範圍第1項所述之方法，其中該指定對 應於該評估矩形之像素座標成爲該視訊窗邊緣包含： 特徵化各個區域成爲真竇影像區域或合成影像區域； # 決定該評估矩形的真實値；及 比較該評估矩形的該真實値與一預定真實臨限値。 3 .如申請專利範圍第2項所述之方法，更包含： 如果該評估矩形的該真實値大於該預定真實臨限値及 如果該評估矩形大於一預定尺寸’則放大該評估矩形。 4 ·如申請專利範圍第3項所述之方法’其中該放大該 評估矩形包含： 減少該評估矩形的該尺寸；及 對應於該所減少之評估矩形尺寸，減少倂入該評估矩 -15- 200818911 形內之該像素數目。 5.如申請專利範圍第2項所述之方法，更包含： 如果該評估矩形的該真實値不大於該預定真實臨限値 ’及如果該評估矩形並未位於最後評估位置，則移動該評 估矩形至另一位置。 6 ·如申請專利範圍第2項所述之方法，其中決定一真 實値RV包含： φ 使用下式計算用於該評估矩形的該真實値RV 真實値（RV)= 。 7 · —種電腦程式產品，可以爲一處理器所執行以決定 顯示在顯示螢幕上之視訊窗之位置，該電腦程式產品包含 電腦碼用以接收由多數像素所形成之視訊框，每一像 素係具有相關像素資料，一群像素資料係有關於一真實影 像； 電腦碼’用以將該視訊框分割成若干區域，每一區域 包含大致相同數目的像素； 電腦碼，用以進一步將該顯示分割成若干評估矩形， 每一矩形包含大致相同數目的區域； 電腦碼’如果該評估矩形係被決定爲包圍該真實影像 的至少一部份’則指定對應於該評估矩形的像素座標作爲 該視訊窗邊緣；及 電腦可讀取媒體，用以儲存該電腦碼。 8·如申請專利範圍第7項所述之電腦程式產品，其中 -16- 200818911 該指定對應於該評估矩形的像素座標作爲該視訊窗邊緣包 含： 電腦碼，用以特徵化各個區域成爲真實影像區域或合 成影像區域； 電腦碼，用以決定該評估矩形的真實値；及 電腦碼，用以比較該評估矩形的該真實値與一預定真 實臨限値。 9 .如申請專利範圍第8項所述之電腦程式產品，更包 含·_ 電腦碼，如果該評估矩形的該真實値大於該預定真實 臨限値及如果該評估矩形大於一預定尺寸，則放大該評估 矩形。 1 〇.如申請專利範圍第9項所述之電腦程式產品，其中 該放大該評估矩形包含： 電腦碼，用以減少該評估矩形的該尺寸；及 # 電腦碼，用以對應於該所減少之評估矩形尺寸，減少 倂入該評估矩形內之該像素數目。 1 1 .如申請專利範圍第8項所述之電腦程式產品，更包 含： 電腦碼，如果該評估矩形的該真實値不大於該預定真 實臨限値，及如果該評估矩形並未位於最後評估位置，則 移動該評估矩形至另一位置。 12.如申請專利範圍第8項所述之電腦程式產品，其中 決定一真實値RV包含： -17- 200818911 電腦碼，用以使用下式計算用於該評估矩形的該真實 値RV 真實値（RV)= 。 1 3 · —種用以決定顯示在顯示螢幕上之視訊窗之位置 的設備，該設備包含： 接收裝置’用以接收由多數像素所形成之視訊框，每 一像素係具有相關像素資料，——群像素係有關於一真竇影 像； 分割裝置，用以將該視訊框分割成若干區域，每一區 域包含大致相同數目的像素；及 分割裝置，用以進一步將該顯示分成若干評估矩形， 每一矩形包含大致相同數目的區域； 指定裝置，用以如果該評估矩形係被決定爲包圍該真 實影像的至少一部份，則指定對應於該評估矩形的像素座 標作爲該視訊窗邊緣。 14. 如申請專利範圍第13項所述之設備，其中指定對 應於該評估矩形的像素座標作爲該視訊窗邊緣，包含： 特徵化裝置，用以特徵化各個區域成爲真實影像區域 或合成影像區域； 決定裝置，用以決定該評估矩形的真實値；及 比較裝置，用以比較該評估矩形的該真實値與一預定 真實臨限値。 15. 如申請專利範圍第14項所述之設備，更包含： 放大裝置，用以如果該評估矩形的該真實値大於該預 •18- 200818911 定真實臨限値及如果該評估矩形大於一預定尺寸，則放大 該評估矩形。 1 6 ·如申請專利範圍第1 5項所述之設備，其中該放大 該評估矩形包含： 減少裝置，用以減少該評估矩形的該尺寸；及 減少裝置，用以對應於該所減少之評估矩形尺寸，減 少倂入該評估矩形內之該像素數目。 17.如申請專利範圍第14項所述之設備，更包含： 移動裝置，用以如果該評估矩形的該真實値不大於該 預定真實臨限値，及如果該評估矩形並未位於最後評估位 置，則移動該評估矩形至另一位置。 1 8 ·如申請專利範圍第1 4項所述之設備，其中決定一 真實値RV的裝置包含： 計算裝置，用以使用下式計算用於該評估矩形的該真 實値RV 真實値（RV)= 。 “Μ -19-