TW201222422A - Method and arrangement for identifying virtual visual information in images - Google Patents

Description

201222422 六、發明說明 【發明所屬之技術領域】 本發明關於一種識別來自視覺場景之一序列連續影像 的至少二個影像中之虛擬視覺資訊的方法，該一序列連續 影像包含真實視覺資訊及該虛擬視覺資訊。 : 【先前技術】 : 當藉由使用一或更多個攝像機擷取真實世界場景時， 想要的是僅擷取事實上存在的場景物件，且不擷取虛擬 (例如藉由投射）存在此處的物件。一個實例可爲用以致 能數人（實體上位於數個相異會議室中）間之視訊會議的 未來視訊會議系統。在此種系統中，可藉由投射將虛擬環 境（其中所有參與者被安置）表示於螢幕上或顯現至一或 更多個真實會議室中存在的可用視覺化裝置上》爲了擷取 需要的資訊（例如哪些人正在參與、他們的移動、他們的 表情等等）以便致能此虛擬環境的顯現，使用了被放置於 不同會議室中的攝像機。然而這些攝像機不只追蹤房間中 的真人及物件，也追蹤被虛擬顯現於例如這些相同會議室 中的這些大螢幕上之人及物件。儘管真人當然需要被追蹤 以致能較好的視訊會議體驗，他們的投射不應被追蹤、或 應至少在隨後步驟中被濾除。 此問題的可能現存解決方案利用固定位置的視覺化裝 - 置與校準的攝像機（此可導致簡單規則）以便濾除不想要 的視覺資訊。可將此用於傳統螢幕，其具有在會議室內的 -5- 201222422 固定位置。 此解決方案的問題在於，此僅對相對靜態的場景（其 構成已預先知道）有用。此解決方案也需要手動校準步 驟，這在這些需要易佈署性的情況中存有缺點。另一缺點 關於事實上不論內容爲何，已擷取影像的一區域（對應於 已投射虛擬內容的螢幕區域）將被濾除。儘管這可能適合 較舊類型的螢幕，可能不再適合較新的螢幕科技，諸如例 如半透明螢幕（其僅在某物需要被顯示時（例如倘若顯示 一人說話的切割視訊）在某區域變得不透明）。在此情況 中，被分配而對某攝像機而言爲「虛擬」的區域並非在所 有時刻瞬間都是如此。使用此解決方案更難以支援移動的 攝像機。 【發明內容】 本發明實施例之目的因此爲提供一種識別在視覺場景 之一序列連續影像的至少二個影像內之虛擬視覺資訊的方 法’該一序列連續影像包含真實視覺資訊及該虛擬視覺資 訊’但該方法不存有先前技藝方法的固有缺點。 依據本發明的實施例，此目的藉由包含下列步驟的方 法來加以達成： -對該至少二個影像的至少一者實施特徵偵測； -決定該等受偵測特徵在該至少二個影像間的移動， 藉此獲得一組移動； -識別該組的哪些移動有關於實質垂直平面中的移 -6- 201222422 動，藉此識別一組垂直移動； -關連有關於該等垂直移動的特徵至該至少二個影像 中的該虛擬視覺資訊，以便識別該虛擬視覺資訊。 以此方式，偵測一些特徵在垂直平面中的移動將被用 來識別與這些特徵關聯之影像部份的虛擬內容。這些特徵 可爲已辨識物件，諸如人、或桌子、或牆、螢幕、椅子、 或其部份（諸如嘴、耳、眼、…）。這些特徵也可爲角、 線、或梯度、或較複雜的特徵（諸如由演算法（例如熟知 的尺度不變特徵轉換演算法）所提供者）。 由於會議室內的虛擬螢幕資訊將一般含有會議參與者 (彼等通常顯示一些移動，例如藉由發言、書寫、轉動他 們的頭等）的影像，且由於螢幕的位置可被視爲實質垂 直，則偵測位於垂直平面中的移動（此後記爲垂直移動） 可爲識別影像上的虛擬視覺內容之簡單方式，因爲真實、 因而非投射之人的真實移動一般爲3維移動，因此不位於 垂直平面中。可接著將因而識別的虛擬視覺資訊進一步在 次一影像或視訊處理步驟中從該等影像濾除。 在該方法的實施例中，該等垂直移動係識別爲該組移 動的移動，該等移動係以單應性關連至有關於該等特徵之 第二組移動的移動，該第二組移動係從來自第二序列影像 的至少二個其他影像所獲得、且有關於與該第一序列影像 的該至少二個影像相同之時刻瞬間。 由於決定二組移動間的單應性爲比較直接及簡單的操 作，這些實施例容許簡易偵測到垂直平面中的移動。這些

201222422 移動一般對應於垂直平面上所投射的移動，其因此代表虛 擬視覺資訊的移動。 第一組移動決定於第一視訊序列，而第二組移動從相 同場景的第二序列影像（由第二攝像機所拍攝）加以決 定、或者替代地從僅含有該虛擬視覺資訊的預定序列加以 決定。此預定序列可例如對應於待投射於螢幕上的序列， 且可藉由另外的視訊或TV頻道提供至配置。 藉由比較該第一序列的移動與該第二序列的移動、且 識別哪一些爲單應性關連，可推斷這些與該第二序列的一 些移動具有單應性關係的移動因此爲平面中的移動，因爲 這是單應性關係的特性。如果從場景資訊知道平面中的其 他移動不存在（例如所有人僅在還仍坐在桌子周圍的同時 而移動），可斷定受偵測移動爲那些對應於螢幕上的移 動，因此對應於位於垂直平面中的移動，如同平面中沒有 其他移動。 然而倘若人也在會議室周圍移動，在地面的水平平面 上也可偵測到移動。針對這些情況，濾除水平移動的額外 過濾步驟，或替代地，從平面中所偵測的所有移動選擇僅 垂直平面中的移動之額外選擇步驟可能是適當的。 一旦垂直移動被找到，可接著將有關於這些垂直移動 之對應特徵的各別影像部份識別爲虛擬視覺資訊。 注意到的是，垂直是相對於水平參考平面來加以決 定’其例如可對應於會議室的地面或對應於第一攝像機的 水平參考平面。對垂直角（其典型爲相對於此參考水平平 ~ 8 - 201222422 面90度）的容限典型爲這些90度的上下10度。 本發明亦關於一種用以實施本方法實施例的配置之實 施例，且關於一種包括用以實施本方法之碼的電腦程式產 品、一種包括此種配置的影像分析器。 注意到的是，不應將申請專利範圍中所使用的術語 「耦接」解釋爲僅限於直接連接。因此，不應將詞句「耦 接至裝置B的裝置A」的範圍限於其中裝置A的輸出被 直接連接至裝置B的輸入之裝置或系統。其意指的是，存 有A的輸出與B的輸入之間的路徑，其可爲包括其他裝 置或手段的路經。 注意到的是，不應將申請專利範圍中所使用的術語 「包含」解釋爲限於其後列舉的手段。因此，不應將詞句 「裝置包含手段A及B」的範圍限於僅由組件A及B所 組成的裝置。其意指的是，對於本發明而言，該裝置的相 關組件僅爲A及B。 【實施方式】 說明及圖式僅示出本發明的原理。因此將理解的是， 熟習本技藝之人士將能夠設計各種配置，該等配置（儘管 未外顯地描述或顯示於本文中）體現本發明的原理且被含 括於其精神與範圍內。此外，本文中所陳述的所有實例係 主要意圖明確僅供教學目的，以幫助讀者理解本發明的原 理及發明人所貢獻的槪念而促進此技藝，且係詮釋爲不限 於此種特定陳述的實例及條件。此外，本文中陳述本發明 -9 - 201222422 原理、態樣、及實施例（以及其特定實例）的 圖包含其等效物。 熟習本技藝之人士應理解的是，本文中的 代表了體現本發明原理之例示性電路的槪念圖 將理解的是，任何流程圖、狀態轉變圖、僞碼 代表各種程序，該等程序可被實質表示於電腦 中且由電腦或處理器所執行，無論此種電腦或 被外顯地示出。 第1圖顯示該方法之第一實施例的高階示 自一序列影像的影像I0t0及loti擷取移動特 影像由一個來源加以提供或紀錄，例如獨立 機、網路攝影機、…（記爲來源0)。在記爲 的步驟中將各別影像取自或選自此序列（在 間），這些時刻瞬間被記爲to及ti。將兩個 足地互相分開以便偵測有意義的移動。這可能 動，但也包含例如會議室中的其他項目之其他 的値爲0.1與2秒之間。 移動特徵擷取發生在步驟200中。這些移 連至特徵的移動（諸如動作向量本身）、或可 至有關於單一特徵之這些動作向量的總起點及 比較關連至與移動本身關連的特徵。決定這些 的方法參照第2圖來加以解說。 —旦這些特徵的移動被決定，在步驟3 00 這些移動有關於垂直移動，在此文件中因此意 所有敘述意 任何方塊圖 。類似地， 、及相似者 可讀取媒體 處理器是否 意圖。對來 徵。該序列 或內建攝影 1 00 及 101 二個時刻瞬 時刻瞬間充 包含人的移 移動。典型 動特徵可關 替代地關連 終點，因此 特徵之移動 中檢查是否 指垂直平面 -10- 201222422 中的移動。垂直平面相對於水平參考平面而在某容限內加 以定義。此水平參考平面可例如對應於會議室的地面、或 對應於提供第一序列影像的攝像機或來源之水平參考平 面。典型的値爲相對於此參考水平平面80至100度。如 何完成此垂直移動的決定將參照例如第3圖來加以解說。 搜尋垂直移動是因爲這關連至事實上待識別的虛擬視覺資 訊通常關連至垂直螢幕上所投射的人或其替身的影像。因 此偵測垂直移動將能夠識別出人在房間中的已投射影像/ 表示法，其接著將被識別爲虛擬視覺資訊。 決定是否特徵的移動位於垂直平面的方法將參照第3 至4圖來加以描述。 一旦特徵在垂直平面中的移動被決定，將這些特徵識 別及關連回到來源的已擷取影像之其各別影像部份。此在 步驟400及5 00中完成。接著將這些影像部份從而識別或 標記爲虛擬視覺資訊（若適當可將其濾除）。 第2a至b圖顯示了擷取特徵之移動的較詳細實施 例。在第一階段201及202中，對二個影像IOtO及IOti 偵測及擷取特徵。特徵可關連至物件，但也可關連至較抽 象的項目，諸如角、線、或較複雜的特徵（諸如由演算法 (例如尺度不變特徵轉換（縮寫爲Sift )演算法）所提供 者）。特徵擷取可藉由使用標準方法來加以完成，諸如 Canny邊緣角偵測器或此先前提到的Sift方法。由於兩個 影像IOtO及IOti來自由紀錄相同場景的單一來源所提供 的相同序列，不可能藉由識別兩個影像中的類似或匹配的 -11 - 201222422 特徵來偵測移動。然而也有可能（未顯示於這些圖上）只 偵測該等影像之一者上的特徵，且接著藉由傳統決定動作 向量的方式針對屬於此影像的受偵測特徵之所有像素來決 定這些特徵的移動，這是藉由用以決定像素或微區塊間的 動作向量之習知區塊匹配技術。 在第2a至b圖所描繪的實施例中，因此對兩個影像 實施特徵擷取，且已匹配特徵間的位移接著提供該等已匹 配特徵間的移動或動作向量。這可爲每個特徵單一個動作 向量（例如匹配物件的重力點之位移），或可替代地爲~ 組動作向量，以識別形成該物件的像素之位移。這也可爲 替代方法的情況，其中僅對一個影像實施特徵擷取，且形 成此特徵的所有像素之位移被計算。亦在此情況中，可將 單一動作向量從該組中選出，以代表該特徵的移動向量。 第2a至b圖中，在步驟203中實施一個影像與另— 影像間的特徵移動之特徵匹配及對應決定，因此導致每個 已匹配特徵的一或更多個動作向量。將此結果於第2a至 b圖中記爲移動向量。爲了只選擇有意義的移動，任意的 過濾步驟2 0 4可能存在。可將此用來例如濾除小移動，其 可例如歸因於雜訊。此過濾步驟通常藉由消除低於某臨限 値的所有受偵測移動而發生，此臨限値一般關連至攝像機 特性。 此任意的過濾步驟之結果爲可代表有意義移動的動作 向量，因此位於某雜訊臨限之上。這些移動向量可這樣提 供（如同在第2 a圖中的情況），或在如第2 b圖的替代實 -12- 201222422 施例中可能適當地的是，集合每個特徵之動作向量的起點 及終點。 在次一階段中，因而特徵的受偵測移動、或替代地關 連至特徵之移動的特徵接著經過檢查以決定是否他們有關 於垂直平面中的移動。 第3圖顯示了決定是否這些特徵的移動位於垂直平面 中的較佳實施例。在第3圖的實施例中，這藉由識別是否 單應性關係存在於特徵的已識別移動之間（及這些相同特 徵的第二組移動之間）來加以完成。此第二組移動可用類 似方式來加以決定，即從相同場景的第二序列影像（由第 二攝像機或來源所紀錄）。將此實施例顯示於第3圖中， 其中將此第二來源標記爲來源1，且將選自該第二來源的 影像標記爲II t0及II ti。影像IOtO及II to在相同的時刻 瞬間加以拍攝，標記爲to。影像IOti及II ti 一樣，此處 的時刻瞬間被標記爲ti。 替代地，此第二序列可由外部加以提供，例如從合成 應用程式，其適於產生用以被投射於垂直螢幕上的虛擬序 列。可將此合成應用程式提供至該配置作爲提供待顯示於 螢幕上的內容之來源，且因此只含有虛擬視覺資訊（例如 所有人在一個大會議室中一起開會的虛擬場景）。再次從 這個只含有虛擬視覺資訊的序列，將擷取在時刻to及ti 的影像，對該等影像實施特徵擷取及特徵移動決定操作。 接著將特徵的已識別組移動兩者提交至決定是否單應性關 係存在於兩個組的數個移動之間的步驟。單應性關係的存 -13- 201222422 在指示了屬於相同平面。在此方面將獲得數組移動（各個 各別組被關聯至各別平面）。第3圖顯示如何可以獲得此 種單應性關係的實例，就是使用熟知的RANSAC (爲 Random Sample Consensus的縮寫）演算法。然而也可使 用諸如窮舉性搜尋的替代方法。 此步驟的結果因此爲一或更多組移動，各組有關於平 面中的移動。這可接著是任意的過濾或選擇步驟，其只選 擇有關於垂直平面的那些組移動，尤其針對那些預期也有 另一平面中的移動之情況。這可例如是人在房間中走動的 情況，其也將產生水平地面上的移動。 在一些實施例中，平面相對於攝像機（其可被假定爲 水平定位，因此代表參考水平平面）的方向可藉由單應性 分解法（其爲熟習本技藝之人士已知且例如被揭示於 http://hal.archives-ouvertes.fr/docs/00/17/47/39/PDF/RR-63 03.pdf中）從單應性來加以計算。接著可將這些技術用 來從平面中的該組所有移動選擇垂直移動。 在決定垂直移動時，與他們關連的特徵再次被決定， 接著是他們映射至影像ioto及ioti中的各別部份上’接 著將該等影像部份識別爲有關於虛擬視覺資訊。 在使用了紀錄相同場景的第二攝像機或來源之實施例 中，也可將已識別垂直移動關連回到11 t0及11 ti中的特 徵及影像部份。 第4圖顯示如同第3圖的類似實施例’但包括以先前 時刻集合的額外步驟。此集合步驟使用先前時刻瞬間中所 -14- 201222422 決定的特徵，這可能在單應性的決定期間有幫助。 第5圖顯示另一實施例，但其中追蹤兩個來源的數個 時刻瞬間（例如視訊序列的數個訊框）以找到匹配的特 徵。複合動作向量（產生自追蹤個別特徵的個別移動）接 著將針對兩個序列產生結果。單應性關係將接著針對沿著 該複合路徑移動的特徵來加以搜尋。這具有的優點是，知 道相同移動路徑內特徵應該在相同單應性中。這降低了問 題的自由度，促進了由單應性關連的特徵之較容易解決方 案。 第6圖顯示如何可使用此種組合動作向量的實例，藉 由追蹤沿著移動路徑的特徵》這容許例如對太小的移動實 施中間過爐操作。 儘管本發明的原理與特定設備已經描述於上，將清楚 理解的是，此說明僅以舉例的方式加以完成且非作爲本發 明之範圍的限制，本發明之範圍如所附申請專利範圍中所 界定。 【圖式簡單說明】 藉由參照以上實施例的說明連同隨附圖式，本發明的 以上及其他目的與特徵將變得較顯而易見且本發明本身將 最好地被理解，其中 第1圖顯示該方法之第一變型的高階示意實施例， 第2a至b圖顯示第1圖之模組200的較詳細實施方 式， -15- 201222422 第3至6圖顯示該方法之其他變型的較詳細實施方 式。 -16-

Claims (1)

1. 201222422 七、申請專利範圍 1 . 一種識別來自視覺場景之第一序列連續影像的Μ 少二個影像中之虛擬視覺資訊的方法’該等第一序列連續 影像包含真實視覺資訊及該虛擬視覺資訊’該方法包含下 列步驟： -對該至少二個影像的至少一者實施特徵偵測； 決定該等受偵測特徵在該至少二個影像間的移動’ 藉此獲得一組移動； -識別該組的哪些移動有關於實質垂直平面中的移 動，藉此獲得一組垂直移動；及 •關連有關於該等垂直移動的特徵至該至少二個影像 中的該虛擬視覺資訊，以便識別該虛擬視覺資訊。 2 .如申請專利範圍第1項之方法，其中垂直移動係 識別爲該組移動的移動，該等移動係以單應性關連至有關 於該等特徵之第二組移動的移動，該等第二組移動係從來 自第二序列影像的至少二個其他影像所獲得、且有關於與 該等第一序列影像的該至少二個影像相同之時刻瞬間。 3.如申請專利範圍第2項之方法，其中該等第二序 列影像係由紀錄該相同視覺場景的第二攝像機所提供。 4 ·如申請專利範圍第2項之方法，其中該等第二序 列影像的該至少二個影像僅包含該虛擬視覺資訊。 5.如申請專利範圍第2項之方法，進一步包含選擇 垂直平面內以單應性所關連的移動之步驟。 6.如申請專利範圍第1項之方法，進一步包含根據 -17- 201222422 彼此的分離時間而從該第一序列選擇該至少二個影像以便 致能該等特徵的移動決定之步驟。 7.如申請專利範圍第1項之方法，其中該實質垂直 平面具有相對於該場景的水平參考平面介於80與100度 的傾斜角。 8 . —種識別來自視覺場景之第一序列連續影像的至 少二個影像中之虛擬視覺資訊的配置，該等第一序列連續 影像包含真實視覺資訊及該虛擬視覺資訊，該配置係適於 接收該等第一序列連續影像且適於： -對該至少二個影像的至少一者實施特徵偵測； -決定該等受偵測特徵在該至少二個影像間的移動， 藉此獲得一組移動； -識別該組的哪些移動有關於實質垂直平面中的移 動，藉此獲得一組垂直移動； -關連有關於該等垂直移動的特徵至.該至少二個影像 中的該虛擬視覺資訊，以便識別該虛擬視覺資訊。 9 ·如申請專利範圍第8項之配置，係進一步適於識 別垂直移動爲該組移動的移動，該等移動以單應性關連至 有關於該等特徵之第二組移動的移動，藉此該配置係進一 步適於從被提供至該配置之來自第二序列的至少二個其他 影像獲得該等第二組移動，且該等第二組移動有關於與該 第一序列的該至少二個影像相同之時刻瞬間。 10.如申請專利範圍第9項之配置，係進一步適於從 第二攝像機接收該等第二序列影像，該第二攝像機同時紀 -18- 201222422 錄與提供該等第一序列影像至該配置之第一攝像機相同的 視覺場景。 11·如申請專利範圍第9項之配置，其中該等第二序 列影像僅包含該虛擬視覺資訊，使得該配置係適於從視訊 源接收該等第二序列影像，該視訊源由該配置暫存爲僅提 供該虛擬視覺影像。 「12.如申請專利範圍第9項之配置，係進一步適於選 擇垂直平面內以單應性所關連的移動。 1 3 ·如申請專利範圍第8項之配置，係進一步適於從 該第一序列選擇該至少二個影像，使得該至少二個影像係 在時間上彼此分離以便致能該等特徵的移動決定》 14. 如申請專利範圍第8項之配置，其中該實質垂直 平面具有相對於該場景的水平參考平面介於80與100度 的傾斜角。 15. —種電腦程式，包含適於在被執行於資料處理設 備上時實施申請專利範圍第1至7項中任一項所述之任何 步驟的軟體。 -19-