TW200405260A - A system and method for whiteboard and audio capture - Google Patents

Description

200405260 玖、發明說明： 【發明所屬之技術領域】 本發明大體上係關於一紀錄會議的系統及方法， 特別言之，本發明係關於捕捉一會議之白板内容及音 者的一系統及方法。 【先前技術】 會議佔有許多工作者的工作時間之極大部分，使 在會議的時間更有效率的運用轉摻為生產力上的一 昇。 許多會議的情景是廣泛地使用一白板用於集體研 會、演講、專案規劃會議、專利揭露等等p在這些會 間，筆錄及複印白板上所寫的東西時常干擾許多參會 主動貢獻與參與。結果，在某些自動化的趨勢下，一 捉白板内容的努力已經開始進行。 自動捕捉白板内容的若干技術已經發展，一最早 白板複印機為一特殊含内建複印機的白板，以一按鈕 板内容被掃描及列印。一旦白板内容在紙張上，其可 印、傳真、放置於檔案櫃、或掃描成為數位型式。 更多最近的技術企圖自一開始以數位的型式捕捉 的内容。它們通常落於兩種分類一那些捕捉白板的影 以及那些追蹤筆的位置和從中推論白板的内容。 第一種分類的裝置直接捕捉白板的影像。美國國 視標準委員會（NTSC)-時常使用解析視訊相機由於它 而更 訊兩 花費 大提 討開 議期 者的 些捕 期的 ，白 被影 白板 像， 家電 們的 200405260 價格低廉。既然這此ig赍笊且 一 k二相機通常不具足夠的解析度以清晰地 捕捉典型會議室所 汀用的尺寸之白板上所寫的東西，必須將 歲個視§fL框編在 扭而吝；i ^一置 ^ , 牡起而產生一早一的白板影像。第一種 、 分類的另一裝置A叙μ μ % &地 ^ _ 夏馬數位靜物相機。當高解析度數位相機愈 · 便宜，，含數位相機可快照的白板變成一流行的選擇。 第 種刀類的褒置追縱用於兩頻寫在白板上的筆之位 置而從此筆座標的過程中推論此白板的内容。有時它們 匕括連接於|f用的白板側邊之附加裝置，以及為快乾墨 筆與板擦使用特製盒。當筆壓到白板時，各支筆發射出超 g 曰波。附加裝置的兩接收器運用聲音脈波到達時間的不同 而測出此筆的座標。既然捕捉到筆的座標之歷史過程，之 > "5Γ χ p 任何假定的瞬間之此白板内容。這種類型的 白板紀錄之徒用i 災用者可播放此白板内容如同一場電影。因為 捕捉到的內& B ， 門#疋从向量型式，它具有低頻寬且小儲存的需 求能被傳送及歸檔。 電子式白板也運用筆追蹤技術。藉著使白板成為一互 動的裝置，0 匕們比使用先前討論的附加裝置之系統更進一 步。使用者以-特殊由電腦追蹤的針筆寫在-顯示器上。 · 無論'針筆组甘 觸榮幕的何處，電腦呈現筆劃於螢幕上-宛如 墨水彳皮到·筌_ ^ 、 革仔放。因為筆劃是由電腦產生，它們可被編輯， 逆著流出，法D /七> β ν _ 和作成動晝。使用者在同一螢幕上也可對電腦 ^出手勢命令及顯示其·他電腦應用程式。 然而* * ^ ’電子式白板由於它們的高價位及小尺寸目前仍 〃有限的安裝基礎（電子式白板的尺寸以對角線罕見超過 * 4 200405260 二。再者，含筆追蹤裝置的系統具有下列的缺點 假右”統不在或使用者沒有運用特製筆來撰寫，此 法由裝置彳u ; 2)許多人喜歡運用他們的手指去改正 上小的錯誤而不I _ 一 +疋特製板擦。廷共通的行為造成額外 U :於捕捉的内容上；3)人們必須使用特製的快乾 調整器，對苹4b驻罢； 早二裝置而吕，此調整器使得快乾墨筆厚

一且比車又難壓，4)筆追蹤的不精確有時造成相鄰筆劃 登錄。 S 示了上面纣論的工作關於白板捕捉方法之外，名 體經驗的捕捉、軟人 士 a、及存取上特別是關於演講及, 經完成很大量的研资 Λ +,s 里们研九。人類已經發展出技術與系統， 用手寫筆§己、白板内交、么吟η 极鬥今幻燈片、或手記註解為紀爾 訊與音訊作指標讓其容易存取。 牛例而σ ’在一專案稱為Classroom2000專案 Abowd及其他人’冑用—電子式白板到以時間戮記此 筆劃，所以查閱者（學生）可使用此墨水筆劃作為對紀 視訊與音訊之索引。根據白板所提供的拭除事件計算 訊框（稱為頁）。Classroom20〇〇專案，然而，需要一 式白板。表示在各拭除之前所有在白板上寫過的内容 終端使用者的觀點而言，用電子式白板有許多缺點，^ 大部分辦公室與會議室沒有裝設電子式白板。其次， 示人們發現使用一正規的白板比一電子式白板更加自 第三，以一相機捕捉的影像提供更多背景資訊例如誰 撰寫以及那一主題正在討論（通常藉由手指著）。不僅 ;:1) 容無 白板 的筆 墨筆 度多 的誤 多媒 議已 即運 的視 中。 墨水 錄的 關鍵 電子 。從 .先， 已顯 然。 正在 這些 200405260 缺點’電子式白板會更昂貴，因此尚未到可普及使 步。 的地 【發明内容】 本發明係關於為克服上述捕捉白板内容及聯結的聲之 之系統限制的系統及處理方式。 曰 此白板捕獲系統有異於上面直接捕捉白板影像系統， 上述直接捕捉白板影像系統是藉著在捕捉到的影像上執^ 分析而計算筆劃的時間戳記及關鍵訊框。 訊 = 人/占4 •如彳冢包 S 反上的所有重要内容，且當作對此紀錄的概要。^ 們可被剪下及目上E # a々# + b 貼至其他文件或列印成摘記。時間 鍵訊框對此紀铃& &立也士 t 科心次關 、錄的聲曰為有效的索引。並且，此白板捕獾 系統的發明運用丞赍的白化 很捕獲 i /… 板，不是電子式白板，像-此 其他白板捕獲系统。因此 二 板而不用修改。 系統-使用於任何現存的白 此白板捕獲系統以一相機 的内容之一連由& μ ^ ^ 從馬彺非電子式白板上 逆串影像。它同時έ 完成，此影像序列被分析心=的音訊。-旦紀錄 框概述寫在此白板上㈣容出此關鍵訊框，此關鍵訊 音盥影像庠列 鍵點。藉由聯結紀錄的聲 曰^像序列兩者之時間戳記 ^ 訊框上的筆書，丨 此聲曰記錄有關聯於關鍵 + 。這些時間戳却0 上述用於γ ^ ° !過影像分析而被計算。 正此白板在影像& _的通用分析處理方式牽涉到橋 彩也被擷取且$你 ^ 像之圖像。此白板的背景色 w像序列中的文& 各衫像被分割成格。相同超過 6 200405260 時間的格影像群聚在一起，將在後面較詳盡的解說。然後， 每格影像被分類為一筆劃格、一前景物件格、或白板格。 然後，使用此分類結果而擷取關鍵訊框影像。在關鍵訊框 擷取之前，袼影像可被空間上與時間上過濾以精製分類的 結果。此外，關鍵訊框影像，一旦被擷取，能夠色彩平衡 以改善影像品質。 ' 更特別的是，矯正此白板圖像牵涉到切掉各影像之任 何非白板的地方。然、後，在各影像中指定白板的四角落。 然後，在各捕捉到的影像中使用雙三次方内插法以得到一 已切邊且已矯正的白板影像，對各影像執行一雙線回繞法。 兩 方法牵 含最明 顏色。 任何洞 洞的色 第 影像的 應於最 用一最 定任何 記為洞 的方式 在 種方法 涉到以 亮的亮 因此， 且藉著 彩設定 二種用 免度表 而亮度 小平均 白板的 且如在 來填滿 輸入序 可能被利用於擷取白板的背景色彩 最明亮的亮度與最小的變化量決定白板格。 度與最小的變化量之色彩被指定為白板背景 一旦決定白板背景顏色，在白板色彩中發現 尋找在各洞周圍的白板袼來填滿。然後，各 為最靠近的格且不是洞的色彩。 於擷取白板的背景色彩之方法牵涉到將白板 示為刀佈圖以及決定白板亮度的峰值，此對 的色彩被指定為起始的白板色彩。然後，利 平方次异法（least-median squares)技術決 色&之分離物（錯誤資料）。這些分離物被標 上面所討論決定白板色彩的第一種方法同樣 洞。在填滿各洞之後，可過濾此白板的色彩。 Μ中’分割各影像成為格的處理過程改善此 7 200405260 分析處理速度。各影像典型被分割成格，所以此格尺寸大 約為在此板上一單獨的字元大小。對一典型會議尺寸的白 板而言，這格大小是相當於1 ·5英忖x 1 ·5英吋，或2 5像素 x 2 5像素。然而，另一選擇為，所有的分析能以各像素為 基礎而被執行於像素上。 一旦此輸入影像的序列被績正且已決定此白板的色 彩，群聚此格影像，視為經時相同的格影像群聚一起成為 群組，一標準化交互關聯技術及使用一 Mahalanobis距離

測試法以決定兩格是否為相同。 此袼分類處理方式決定一格影像是否係為一白板格、 一筆劃、或一前景物件。假若紅、藍、綠的值大約相同時， 一格影像被指定為一白板格。另一判定為，假若此格大部 分為白色或灰色且含有一或兩原色混在其内時，一格影像 被指定為一筆劃。否則，此格影像被指定為前景格。此格 分類處理方式決定此目前的格影像之色彩分佑 "|叩及此對應的 白板袼影像之色彩分佈。然後，這些格根據目前的格影像 之色彩分佈與對應的白板格影像之色彩分佈是不* 4 ^ • 货馬相同、 非相同但具有一強烈的相似性、或者完全 个Μ來分類。

著利用/谂淼έ ' a坟用此色彩資訊 者和用在格群組之間空Fa1肖_ 的結果。纟空間的過濟裡，在… 了達到比較 π應裡，在各白板影像上 首先，確認已分離的前旦坆 订兩_ 的則厅、格且再分類成筆割。 連接於某些前景格的筆_ & # $、 — 其=人， J聿劃袼被再分類成前景 的過濾，基本觀察為在I ’、。至於 在筆劃被拭除之後完全相同的伯 8 200405260 寫上相同的筆劃，實質上是不可能的。換言之，若對任意 假定的格而言，兩相異的訊框之此格影像包含相同的筆 劃。然在兩訊框之間的所有此格影像必須具有此相同的筆 劃，除非有一前景物件擋著此格。在此時間過濾的步驟裡， 只要是這格被曝光在相機下於此前景物件擋著此格之前與 之後，這格將被分類為一筆劃。

然後，可擷取此關鍵訊框。到這裡為止，使用分類的 結果，在影像序列中為各影像或訊框清點此筆劃格，決定 筆劃的計數量之峰和谷。假若在各相鄰筆劃的計數量之峰 和谷相差超過*^規定的臨界值時*在谷與谷之間的資料被 指定為章節（各章節意味著一不同的主題），而在各章節之 内的峰作為代表此章節的關鍵訊框。

然後，此關鍵訊框影像被重建。這牽涉到輸入此已分 類的格影像，且此關鍵訊框分割成格影像。如果一關鍵訊 框影像被分類為一白板影像或一筆劃影像時，如同一白板 影像或一筆劃影像個別呈現它的影像。另一方面來說，如 果一關鍵訊框前景格影像在一筆劃的範圍之内，從序列中 附近的影像以此筆劃格影像呈現這格影像。假若此關鍵訊 框格影像不是被分類為在一筆劃的範圍之内的一白板影 像、一筆劃影像或一前景格時’則以一白板影像呈現它的 影像。 然後，使用平衡色彩法以改善此關鍵訊框影像的影像 品質，藉著使背景一致地白色以及增加此筆劃的色彩飽和 度，而此筆劃的色彩飽和度是使用平均的白板色彩以估計 9 200405260 在格中各像素的色彩。並 ^ yV A 卫且，減少影像雜訊。 在刀析伺服器處理此 ^ .r 〜像序列以及產生此索引與關鍵 机框影像之後，它详φ 、 電子郵件給含已處理的紀錄之網址 (URL)(全球資訊網的網 ^其他網際網路服務之位址或位 置）的已登記的會議來盥本 、 識參與者。此使用者可點選該URL以開 啟劇覽軟體。此溜丨瞽哭崎 、 j 4讓使用者可檢視關鍵訊框影像及快 速存取此關聯一特定主題的音訊。

屬j覽軟體的使用者介面(叫具有各種元件。瀏覽器u 的主要元件包括―關鍵訊框的視窗為顯示小的關鍵訊框之 處’而此瀏覽器的主要顯示窗為顯示出自相機之原始影像 與目前的關鍵訊框影像的一合成物。 關鍵訊框的視窗也合併一背景透明的滑動件，此滑動 件讓使用者調整顯示於主要顯示窗之影像從原始輸入影像

至此關鍵訊框影像。已經寫在會議播放的時間線之筆劃， 即目前的筆劃比未來的筆劃呈現得較深且更清晰。參與者 在未來將撰寫的筆劃以似幻影（gh〇st]ike)的形式顯示。使 用以下的處理暸解這可看得見的技術。使用此目前的章節 之此關鍵訊框影像與時間戳記資訊以呈現此目前的白板内 容。然後，呈現未來的筆劃，將其轉換成灰階及使用高斯 (Gaussian)濾波器使其朦朧。然後，添加上這兩影像，此 合成影像與從輸入序列中的已橋正影像作 alpha混色 (alpha-blended)。使用者可用使用者介面的滑動件來控制 alpha值從只顯示所呈現的關鍵訊框白板影像0到完全顯 示原有的影像1。 10 200405260

在瀏覽器 υι的左下角，即主要顯示窗的下方提供一 VCR及標準時間線控制。此VCR及標準時間線控制讓使 用者在影像/音訊序列中對序列緩慢地或快速地往後或往 前或停止，很像在一典型視訊錄影機（VCR)上所發現的控 制。一時間線的計時橫軸圖示地展現影像/聲音序列的長度 如一橫軸，且提供會議播放的起始時間、結束時間、以及 目前時間之數字值。在計時橫軸上的指針可沿著計時橫軸 被選擇且往前或往後拖良至影像/聲音序列中往前或往後 的線性序列。

在視覺索引的背景中，提供對紀錄的聲音之非線性存 取的兩階段。非線性的存取之第一階段為透過此關鍵訊框 小視窗（Thumbnails)的運用。使用者能為對應的關鍵訊框而 點選關鍵訊框小視窗以跳到聲音的起始點（例如那章節的 開頭）。各關鍵訊框具有一聯結它的時間範圍，幫助使用者 在決定聯結那特定的關鍵訊框之時間範圍。非線性的存取 之第二階段為透過每關鍵訊框中筆劃的運用。當游標在主 視窗中正停留於一筆劃格（目前的筆劃格或未來的筆劃格） 時，將游標改變至一指示它是可選擇的一 “手型”符號（例如 以一滑鼠“可點選的”）。以一滑鼠或其他輸入裝置雙重點選 在格上將此應用程式帶至聲音播放模式。當點選的筆劃格 被寫入時，自此開會時間開始播放。使用者仍能點選其他 筆劃格以跳至開會的其他部分。隨著此VCR和標準時間線 控制1 5 1 4 —起，這些視覺索引的兩階段讓使用者以一非常 有效率的方式流覽一會議。 200405260 如先前所陳述的，關鍵訊框影像的小視窗被陳列於關 鍵訊框之視窗。選擇一小視窗將對應的關鍵訊框影像帶至 左側的主視窗，以及將應用程式選取至影像觀測模式，為 使用者利用顯示比例控制按鈕可放大與縮小之處，讀取影 像中的文字與圖式，或將影像的一部分剪下及貼上至其他 文件。不僅如此，整個關鍵訊框能被剪下及貼上至其他文 件或列印成筆記。

在此白板捕獲系統中，會議的參加者被要求在此會議 紀錄一開始時，即以捕捉軟體登記。所有紀錄的會議存在 一網絡伺服器上。若無一登記者，此會議被公佈至一公開 可存取的網頁上。若至少有一登記者，在會議的紀錄與分 析之後產生一存取的許可證，此許可證為一長且隨意產生 的字串，包含一獨一無二會議鑑別器，包含此許可證的網 址以電子郵件傳送給登記的參加者。參加者至此網址登上 網絡流覽軟體以檢視此會議。他們也可轉送此網址給未參 加此會議者。

上述基本之白板捕獲系統可與許多其他技術及裝置結 合以呈現另一實施例。在一這樣的實施例中，在關鍵訊框 上執行慣用的光學文字辨識（OCR)以提供容易被使用而產 生文件或介紹性的投影片圖解之可編輯的文字。 在另一實施例中，使用平常的語音辨識軟體以轉換捕 捉到的資料之聲音部分成為文字。這讓會議記錄及其他文 件容易產生。它也提供一相對花費不高的方式以提供會議 資訊給聽障者。 12 200405260 白板捕獲系統也可製造成可攜式，例如使用一筆記型 電腦配有一麥克風與架設於一三角架上的相機。這配置只 需要一額外的初始校準以決定相機相對於白板的位置。可 藉由手調決定在影像中面板的四角落而手動地執行這校 準，或者是自動地，藉由使用如邊緣偵測這樣的方法。 白板捕獲系統的分析軟體也能被用來以白板捕獲系統 决疋關鍵訊框，此白板捕獲系統使用筆追縱以推論白板内

容。在這樣的一系統中使用白板捕獲系統的分析軟體簡化 此刀析處理。既然沒有前景物件將干擾寫在白板上的文 字 J 則 沒 有 需 要 決 定 白 板 的 背 沒 有 必 要 空 間 與 時 間 的 過 遽 j 易 因 為 格 影 像 將 為 筆 劃 或 白 板 並 且 〇 為 了 達 到 較 高 的 訊 例 如 可 使 用 一 HDTV 攝 影 機 而 又 另 一 實 施 例 中 J 此 白 板 用 手 勢 命 令 〇 舉 例 而 言 y 命 當 使 用 者 移 動 或 指 到 此 盒 時 > 特 定 時 間 此 手 勢 已 經 形 成 的 影 此 白 板 捕 獲 系 統 免 除 會 議 工 作 ’ 所 以 在 會 議 期 間 他 們 可 著 提 供 概 述 此 白 板 内 容 之 關 鍵 對 此 聲 音 之 視 覺 索 引 此 系 統 點 去 檢 視 此 會 議 〇 再 者 ， 沒 有 段 時 間 中 體 會 此 會 議 的 要 θ 〇 景色彩或白板的區域矯正， 以及白板格的分類將比較簡 兩者其中之一。 框速率，一高解析度攝影機 不是一靜物相機。 捕獲系統合併手勢辯識以使 令盒能被寫在白板的某處。 此系統利用手勢辯識對在此 像作時間戳記。 參加者平常作筆記之費勁的 專注於貢獻及吸收意見。藉 訊框影像，以及藉著已建構 幫助參加者在一後來的時間 參加此會議者能時常在一小

13 200405260 分離物分離物 【實施方式】 本發明的較佳實施例在以下的敘述裡，此附隨的圖式 形成此文的一部分作為參考，經由本發明可能實作於特定 的實施例之說明而顯示於圖式中。吾人皆能理解到可利用 其他實施例，及可能做結構上的改變而沒有悖離本發明的範

U示範的作業瑗谙. 第1圖為說明本發明可實施於一合適的計算系統環境 1 0 0上之範例。計等系統環境1 〇 〇只是一合適的計算％ *兄之 例子，非用以對於本發明的使用範圍或功能性建議任何的 限制。計算環境1 00也不應被解釋為相關於此示範的作業壞 境中所說明的任何一或組合的元件具有任何依存性或必要 性。

本發明可使用於眾多其他一般用途或特殊用途之## 系統環境或配置。可能適合使用本發明之著名的計算系統、 環境、及/或配置的範例包括，但不是限制於，個人電月西 伺服器電腦、掌上型或膝上变裝置、多處理器系統、以微 處理器為基礎之系統、機上盒、可編程的消費性電子、網 路電腦、迷你電腦、大型電腦、包括上述的系統或裝置之 任何的分散式計算環境，等等。 本發明可能被敘述於電腦可執行的指令之一般上下文 中，例如由一電腦所執行的程式模組。大體而言’移式乂 14 200405260 組包括常式、程式、物件、元件、資料結構，等等，執行 特別任務或實施特殊抽象資料形態。本發明也可能實施於 分散式計算環境，經一通訊網路連結的遠端處理裝置執行 任務於此分散式計算環境。在一分散式計算環境中，程式 模組可能位於近端及遠端兩者含記憶體儲存裝置之電腦儲 存媒體。 參閱第1圖，一實施本發明的示範系統包括一般用途 的計算裝置以一電腦1 1 〇的形式。電腦丨i 〇的元件可能包 括，但不是限制於，一處理單元120、一系統記憶體130、 及一耦接各種系統元件包括系統記憶體至處理單元12〇之 系統匯流排1 2 1。系統匯流排i 2 i可能為幾種匯流排架構 之任何一種，包括一 έ己憶體匯流排或記憶體控制器、一週 邊匯流排、.及使用任何各種匯流排架構的一區域匯流排。 經由範例，而不是限制，這樣的架構包括工業標準架構（isa) 匯流排、微通道架構（MCA)匯流排、延伸工業標準架構 (EISA)匯流排、視訊電子標準協會（VESA)區域匯流排、及 週邊元件互連（pci)匯流排也名為Mezzanine匯流排。 % "网Μ 5貝 的媒體可由電腦110能夠存取之任何可用的媒體，且包括揮 發性與非揮發性兩者的媒體，可移除與非可移除兩者的媒 體。經由範例，而不是限制，電腦可讀取的媒體可能包括電 腦儲存媒體與通訊媒體。電腦儲存媒體包括揮發性2 =揮發 性的媒體、可移除與非可移除的媒體，以任何用於資訊健 存的方法與技術實作，例如電腦可讀取的指令、資料結構、 15 200405260 私式杈組或是其他資料。電腦儲存媒體包括，但不限定於， ik機存取記憶體（RAM)、唯讀記憶體（R〇M)、可電子式抹 除可編程唯讀記憶體（EEPR〇M)、快閃記憶體或其他記憶 體技術、唯讀光碟機（cdrom)、數位影音光碟機（dvd) = 者疋其他光碟儲存、磁卡式、磁帶式、磁碟式儲存、或者 疋其他磁性儲存裝置、或任何其他媒體可用於儲存想要的 貝汛且能夠被電腦i丨0存取的媒體。通訊媒體典型實施電腦 可讀取的指令、資料結構、程式模組或在一經調變的資料 訊號中之其他資料例如一載波或是其他傳輸機制，並且通 訊媒體包括任何資訊傳遞媒體。此專有名詞“經調變的資料 訊號意指具有它的特徵組中的一或多個特徵的一訊號， 或者是以在訊號中編碼資訊的方式而改變的一訊號。經由 範例，而不是限制，通訊媒體包括有線媒體例如一有線網路 或直接連線的連接，以及無線媒體例如聽覺的、射頻（RF)、 紅外線和其他無線媒體。任何上面的組合也應該包含在電腦 可讀取的媒體之範圍内。 系統記憶體130包括以揮發性及/或非揮發性記憶體的 形式之電腦儲存媒體例如唯讀記憶體（R Ο Μ) 1 3 1與隨機存 取s己憶體（RAM)132。一基本輸入/輸出系統i33(BI〇S)包含 在電腦11 0内於元件之間協助轉送資訊的基本常式，例如在 開機期間’基本輸入輸出系統典型是存放於R Ο Μ 1 3 1中。 RAM1 32典型包含資料及/或程式模組，其可立即存取及/ 或不久即將被操作於處理單元1 2 〇上。經由範例，而不是 限制，第1圖說明作業系統1 3 4、應用程式i 3 5、其他程式 16 200405260 模組1 3 6、以及程式資料1 3 7。 電細110也可能包括其他可移除/非可移除、揮發性/ 非揮發性的電腦儲存媒體。只是藉由範例，第1圖說明讀出 或寫入非可移除、非揮發性之磁性媒體的一硬碟機i 4 i，讀 出或寫入可移除、非揮發性之磁片152的一磁碟機151，以 及讀出或寫入可移除、非揮發性之光碟片156 (例如CDR〇m 或者是其他光媒體）的一光碟機155。其他能夠用在示範作 業環境之可移除/非可移除、揮發性/非揮發性的電腦儲存媒 體包括，但不限定於，卡式磁帶、快閃記憶卡、DVD光碟 片、數位影音磁帶、固態隨機存取記憶體、固態唯讀記憶 體之類。硬碟機1 41典型經一非可移除記憶體介面例如介 面140而連接至系統匯流排121,且磁碟機丨51與光碟機 155典型由一可移除的記憶體介面例如介面15〇而連接至 系統匯流排1 2 1。 在上面所討論且第1圖所說明的驅動器和它們所關連的 電腦健存媒體，對電腦1 1 0提供電腦可讀取指令、資料結 構、程式模組或其他資料的儲存。在第1圖中，舉例而言， 硬碟機141被說明成儲存作業系統144、應用程式145、其 他程式模組146和程式資料147。特別注意這些元件可能相 同或者疋不同於作業系統134、應用程式、其他程式模 ▲ 1 3 6和程式資料i 3 7。操作系統1 44、應用程式1 4 5、其 他程式模組146和程式資料147在此賦予不同的數字以說 最低限度而5 ，它們為不同的複製本。一使用者可能 輸進命令與資訊至電腦】丨〇中，係經由輪入裝置例如一鍵盤 17 200405260 162 板。 板、 時常 使用 置與 如一 處理 介面 視器 197 ： 對本 或影 164， 只描 輸入 介面 流排 連於 影像 110 的連 電腦 與指標裝置1 6 1，一般指為一滑鼠、軌跡球或疋觸控 其他輸入裝置（未示出）可能包括一麥克風、搖桿、遊戲 衛星碟、掃描器之類。這些輸入裝置與其他輸入裝置 經一使用者輸入介面16〇而連接至處理單元120 ’此 者輸入介面耦接到系統匯流排1 2 1 ’不過這些輸入裝 其他輸入裝置也可能藉著其他介面與匯流排架構’例 平行埠、遊戲埠或一通用序列匯流排（U S B )而連接至 單元。一監視器191或其他種類的顯示裝置也經由一 ，例如視訊介面1 9 0連接至系統匯流排1 2 1。除了監 之外，電腦也可能包括其他週邊輸出裝置，例如喇17八 和印表機1 9 6可能經一個輸出週邊介面1 9 5而連接。 發明特別重要性的一相機1 63 (例如一數位/電子式靜物 像相機，或軟片/相片掃描器）能夠捕捉一系列影像 相機也被列為個人電腦11 〇的一輸入裝置。再者，當 繪一相機時，由多個相機也可被列為個人電腦丨丨〇的一 裝置。來自一或多個相機的影像164經由一適用的相機 165輸進個人電腦11〇。這相機介面165連接至系統匯 1 2 1，藉此讓影像安排路徑而存於R AM丨3 2 ,或是關 :腦110的其他資料儲存裝置之_。然而，需注意的是， 資料亦T從任何上冑電腦可讀取媒體輸進個人電腦 ，不需要利用相機1 6 3。 電^10可能操作於—網路環境，此網路環境使用邏輯 或夕個遠端電腦，例如一遠端電腦刚。此遠端

180可能為一個人雷日似 ^ niJ 似人電恥、一伺服器、一路由器、一網路 18 200405260 電腦、一同級個別裝置或其他共用網路節點及典型包括上述 相關於電腦110所描述的許多或所有元件，雖然第i ^ 厚I T已 經說明只有一記憶體儲存裝置1 8 1 的連接包括一區域網路（LAN)171 第1圖所描繪的邏輯上 與一廣域網路 (WAN) 1 73 ’但也可能包括其他網路。這樣的網路環境在辦 公室、整個企業電腦網路、企業内部網路以及網際網路為 平常之事。 ~ 當使用於LAN網路環境時，電腦丨丨〇是經一網路介面

或配接卡170連接至LAN 171。當使用於WAN網路環境 時，電腦110典型包括一數據機172或用以在WAN173上， 例如網際網路建立通訊的其他方式，數據機172可能為内 部或外部，可經由使用者輸入介面160或其他適當的機制 而連接至系統匯流排12卜在一網路環境中，關於電腦110 所描述的程式模組，或其中的部分，可能儲存於遠端記憶 體儲存裝置。經由範例，而不是限制，第i圖說明如存在 於記憶體儲存裝置1 8丨的遠端應用程式i 85，吾人將認知到

所顯示的網路連接為示範的，且可能使用其他方式以建立一 通訊聯結於電腦之間。 此示範的作業銥境現在已經討論，這說明階段的剩餘 部分將傾力於一實施本發明之程式模組的說明。 h 0白板捕獲系播 2 · 1系統架構 概心上此白板捕獲系統由三主要元件組成：一捕捉 19 200405260 單兀202、一分析/處理伺服器2〇4和瀏覽軟體2〇6， 2圖所示。 LMM •此捕捉單元是被使用於捕捉白板内 影像及紀錄關連於此白板内容產生的聲音。捕捉單元 安裝於一會議舉行的房室裡。如第3圖所示，它包括 位相機302、一麥克風3〇4及一個人電腦（pc)3〇6。此 單元掏取此白板308的影像，和藉著麥克風304紀錄 且聲音是儲存於此PC 306。擷取影像與聲音兩者皆為 間戳記。在一公用的時脈中得到此影像與聲音樣本， 為系統時脈。此公用的時脈之定時是聯結此影像與聲 本’且儲存為它們的時間戳記。 析伺服器:此分析伺服器 2 04是位於一中 處’為分析及儲存所紀錄的影像資料。在一實施例中 此使用者停止此捕捉單元中的紀錄之後，一分析軟體 啟動。在處理此紀錄的影像資料之後，能取得此會議 之含URL的電子郵件被送予已登記的參加者。假若沒 記的參加者，此會議記錄可公佈於一公開可存取的網 3.瀏罾軟贈:此瀏覽軟體2〇6讓使用者觀看及重 放所紀錄與被分析的會議資料。此瀏覽軟體206較佳 為由想要觀看此會議記錄的使用者即插安裝於一網路 旦已安裝，此使用者可點選上述的URL啟動軟體以存 分析伺服器上的資料。 2.2影像蒋取 如第 容的 是被 一數 捕捉 聲音 有時 通常 音樣 心之 ，在 自動 紀錄 有登 站0 新播 提供 〇 —^ 取此 20 200405260 顯示 何時 鍵訊 板内 機的 的旁 靠近 固定 序列 的一 能變 以減 度， 實施 腦， 中，. 光與 期之 變0 此白板捕獲系統的輸入為一組靜態數位影像，第4圖 這樣的影像之示範組。分析此影像序列以決定使用者 與何處寫在白板，且分析此影像序列以精選出一組關 框影像’此組關鍵訊框影像概述自始至終一會議的白 容。 任何相對高解析度的相機可被使用於影像獲取，此相 控制疋由電腦來執行。此相機較佳架設於一會議室 邊或後面其中之一，使相機顯示比例被放大為盡可能 此白板以極大化有效的解析度。相機在裝設好之後為 的，而饭a又白板是不移動的，所以自始至終捕捉到的 之白板影像為固定的。 假若使用-相機只有自動聚焦模式，％果此白板前面 :件引起相機的自㈣焦機制之注意力時，此白板可 付,匕。ϋ著對齊相機的影像平面盡可能平行於白板 J背豕冰度及/或減小該光圈以增加相機視野的深 則減=廷失焦的問冑。實際上，在該白板捕獲系統的 例中八有觀察到該訊框的1 - 2 °/。是失焦的。 相^盡其所能地快速照像，且將影像傳輸至個人電 較^ ^由—USB連接。在此白板捕獲系統的—實施例 大約每5秒得到一 JPEG影像檔（靜態影像壓縮）。此曝 白平衡參數典型被保持不變。假設光線設定值在一會 内不改變’在一序列中此白板背景的色彩應該維持不 毛現到稍微曝光的影像供給較佳的色彩飽和度，將在 21 200405260 後面更精確地討論筆劃擷取處理過程。在紀錄之後，可執 行一色彩平衡步驟以使此略帶灰色的白板影像更動人。 2.3數傻庠列的斤 既然正在寫白板的人是在數位相機與此白板之間視線 的線上，他/她經常使白板的某部分不清楚及使陰影投落在 白板的其他部分。 與其在一每像素的層級上分析此影像（雖然這是可辦 到的），不如將白板的區域分割成長方形的格以降低計算上 的成本。此格的尺寸被選為大約相等於在此板上一單獨的 字元大小（在一實施例中，大約1 · 5英吋X 1 · 5英忖，或2 5 像素X25像素）。既然，此格狀將此輸入序列中的各訊框分 割成#影濛，此輸入可視為一格影像的三度空間的矩陣（例 如x，y，時間）。各影像分割成格典型是在此輸入影像已經橋 正之後才執行。 如第5圖所示及如下，分析此輸入影像序列的程序之 通用的處理動作如下：

1 ·矯正在此序列中的各影像之白板區域（處理動作 502) ° 2 · 擷取此白板的背景色彩（處理動作 3. 504) 〇

是相同，他們被群聚在同一群組。

22 200405260 動作5 0 8 )。 5. 過濾此格影像以空間上和時間上兩者而精選出此 分類的結果（處理動作510)。 6. 利用分類的結果以擷取該關鍵訊框影像（處理動 作 5 12)。 7. 使該關鍵訊框影像色彩平衡（處理動作5 1 4)。 在以下段落中，如第4圖所示之執行的範例被用於圖 解說明此輸入影像序列的分析程序。

2.3.1矯正此白板影像

在將此影像序列饋入該筆劃擷取處理之前，切掉非白 板區域而矯正此影像。因為使用於實施例中之相機的透鏡 具有相當低的徑向失真，只需要確認此白板的四角落（否則 可能需要在矯正此影像之前，藉由慣用方法來校正徑向失 真）。在一次校準步驟的期間於一捕捉到的影像裡，這矯正 步驟藉著手動地點選此白板的四角落之位置上，雖然這矯 正步驟可自動地完成（例如藉著使用邊緣债測法），以此四 角落，在各捕捉到的影像中使用雙三次方内插法以得到一 已切邊且已矯正的白板影像，對序列中的各影像執行一簡 單慣用的雙線回繞法。 2.3.2計算白板色彩 對此格的分類而言，需要知道對每格而言白板的色彩 是甚麼（亦即，白板本身沒有寫任何東西在其上的色彩）。 在產生此關鍵訊框中此白板色彩也被使用於白平衡，所以 23 200405260 白板色彩應該被精確地評估以確保此關鍵訊 質。 用於計算白板影像已經使用兩種策略。 概述於第6A圖，是根據假設此白板格具有 亮度及具有最小的變化量（例如在各格内幾」 這是很合理的，因筆劃的色彩（紅、綠、藍s 亮度。在處理動作602所示，計算此擁有最 具有最小的變化量之白板格。然而，在此最 影像中可能產生洞，例如，假若一格為包含 此序列自始至終由一前景物件擋住兩者其中 所計算的此白板色彩將不是正確的（這格顯 的其他部分，因此看起來像一個洞）。為此 6 04所示，在此白板的色彩影像中的任何洞 所謂的最小平均值平方演算法（least-median 在下一段落所敘述之分離物（outlier)偵測2 偵測。然後，此洞被填滿（處理動作 606)， 洞，搜尋它的附近，此白板色彩被設定為最 是一個洞的色彩。這策略通常進行的相當好 人穿著一白色運動衫及/或拿著一白紙時這I 7圖的左側影像顯示從第4圖中的輸入序列 色彩影像的結果，在第4圖的某些訊框中一 白紙。可見到此白紙使此計算的白板色彩摻 決定白板色彩的第二種策略是顯示於第 複雜。假設為在歷時每格此像素的一重要部 框影像的高品 第一種策略， 歷時最明亮的 卜是一致的）。 民黑）將降低此 明亮的亮度及 終白板的色彩 一筆劃或者為 之一，為每格 得不同於白板 ，如處理動作 是藉由利用一 squares)(類似 法）技術而被 為了填滿一個 靠近的格且不 ，不過當一個 [略就失敗。第 所計算之白板 個人正拿著一 雜lib誤。 6B圖且比較 分是屬於此白 24 200405260

板，藉著建立對每格的一亮度分佈圖（histogram)，對應於 含有一高亮度值的峰的色彩是非常像這格白板的色彩。所 以第一步驟為對每格建立一亮度分佈圖及計算最大的亮度 值（處理動作610直到614)以計算在這方法中一起始的白 板色彩。即使一格自始至終的序列中只包含一筆書彳，這技 術是可行的，不過當一個人穿著一白色運動衫及/或拿著一 白紙的案例中，或當一格總是被人或其他物件隱藏時這策 略就失敗。在這樣的案例中，此已計算的白板色彩影像包 含分離物。下一動作即是偵測任何分離物（處理動作6 1 6)。 此分離物的偵測是根據所謂的最小平均值平方演算法 (least-median squares)之一穩健的技術。假設此色彩平穩 地變化在白板上，藉著減小平方誤差的平均值而一平面被 放在此亮度Y或RGB色彩空間。那些色彩不按照這模型 的格被視為分離物’而結果不被接受’亦即，它們被標兮己 為洞（處理動作6 1 8)。對於這技術的細節，感興趣的讀者 請參閱附錄。接著’如處理動作620所示，藉著使用計算 白板色彩的第一種策略之相同的程序填滿那些洞（處理動 作620)。最後，為了更加改善結果，由區域地放一平面於 RGB空間可過濾此白板色彩影像（處理動作622)。對於這 技術的細節，感興趣的讀者再請參閱附錄。以這新技術在 相同範例上所得到的結果為顯示於第7圖的中間影像。以 第一種策略，所得到的結果可見到清楚的改善如第7圖的 左側影像所示。此實際空白的白板也顯示於右側影像作為 比較之用。 25 200405260 2.3.3歷時群聚格影像 在會議期間，每一格的内容通常經歷時間而改變。對 每一格而言，吾人係想要在此時間序列中群聚所有此格影 像成群組，其中每組包含經歷時間被認為是相同的格影 像。使用一修整過之正規化相關演算法（NOmalized Cross-Correlation)以決定是否兩格影像是相同的。以下， 使用此影像的一色彩元件以敘述正規化的相關演算法 (Normalized Cross-Correlation)，不過此演算法應用於所有rgb 元件。 思考兩格影像/和/’。讓]Γ和7是它們的平均色彩，而 σ和σ是它們的標準偏差。此正規化的相關演算法的計分 假定為(/广，其中總和是遍及每像素卜而 #是像素的總數。此計分的範圍從兩完全不相似的影像_ 1 至兩完全相同的影像1。既然計算這計分是在與此平均色 彩相減之後，即使兩影像有非常不同的平均色彩，計分可 能仍是一高值。所以根據Mahalan〇bis距離測試法一外加 的測試被使用在此平均色彩的差異，假定為 - 7|/(σ+σ)。簡言之，兩格影像厂和z，被認為是相同: 輔 因此，若且僅若仏卩及c5尺應該放於相同群組。在該白板 捕獲系統的一實施例中，成功地使用[=2及rc=:〇.7〇7。 2.3.4格分類 分類的處理動作決定—格影像是否為一白板、一筆劃 或一前景物件。使用下面啟發式方法的應用：丨）—白板袼 · 色彩是一致性的且為灰色或白色（即RGB值大約是相同）； _ 26 200405260 2) —筆劃格有一或兩原色混合其中而大部分為白色或灰 色；3) —前景物件沒有上述的特徵。所以，該分類決定目 前的格影像的色彩分佈及此白板的色彩分佈是否相同、或 是不一樣但有強烈重疊的現象、或者完全不同。再者，使 用Mahal an obis距離測試法如下所述。 注意，如上面所述，已經計算該白板色彩。再者，RGB 的一色彩元件被使用作為一範例，讓夂為白板色彩且、為 標準偏差（因為一白板格色彩大約是〆致性的，標準偏差是 一小值）。讓7和σ為目前的格影像之平均值與標準偏差。 若且僅若|7-7；|/( σ+〜）< 7；及σ/〜< 7；，此格影像被分類為 一白板格；若且僅若|7-厂|/((7+〜）</；及L 5此格影 像被分類為一筆劃格；否則，此格影像被分類為一前景物 件格。在此白板捕獲系統的一實施例中，成功地使用n 及 Γσ = 2 〇 2.3.5 i渡格合類 上面分類程序僅使用在一單一格中的色彩資訊。藉著 利用在格群組中空間與時間上的關係可達成更精確的結 果。 2.3·5·1皇間上的過濾 關於空間上的過濾，此基本觀察為既然一人通常阻擔 白板的一連續區域，前景格不應在交間上顯得分離。在空 間上的過渡中，在每單一的白板影像上執行兩操作，如第 8圖所示。首先，確認分離的前景格且再分類為筆劃（處理 動作802)。其次，立即連接到某些前景格的筆劃格被再分 27 200405260 類為前景格（處理動作 804)。此第二操作的一主要目 處理在此前景物件的邊界之格。若這樣的格包含筆劃 二操作將不正確地分類這格為前景物件。然而，幸運地 下面時間上過濾更正如此潛在的錯誤。 2.3.5.2時間上的過濾 關於時間上的過濾，基本觀察為在筆劃被拭除之 在完全相同的位置上寫著相同的筆劃實質上是不可能 換言之，若對任意假定的格而言，兩相異的訊框之此 像包含相同的筆劃，然在兩訊框之間的所有此格影像 具有此相同的筆劃，除非有一前景物件擋著此格。這 是非常有用於分割出此前景物件。思考在前段中的範 此前景物件的邊界之一筆劃格不正確地分類為一前景 在此時間上過濾的步驟裡，只要是這格被曝光在相機 此前景物件擋著此格之前與之後，這格將被分類為一， 第9圖顯示此分類結果用於第4圖的樣本影像， 筆劃是以綠色、前景是以黑色及白板是以白色表示。 2.3.6關鍵訊框影像的擷取 關鍵訊框影像包含在此白板上的所有重要内容且 此記錄的一概要。使用者應該期待此關鍵訊框影像具 列特性：1)它們應該捕捉在白板上所有重要的内容； 關鍵訊框的數量應被維持為一極小值；3)它們應該僅 劃及白板，而不該含在前面的人；4)為了容易剪下與 及列印，它們應該具有一致性的白板及飽和的筆色彩 關鍵訊框影像的擷取程序使用此格影像分類起因 的是 此第 k是， 後， 的。 格影 必須 觀察 例， 格。 下於 ^劃。 其中 做為 有下 2)此 含筆 貼上 〇 於前 28 200405260 面所敘述的處理動作，此程序首先決定在此序列中那一訊 框選為關鍵訊框，這詳細敘述如下。 2.3.6.1關鍵訊框的潠敌 在選擇此關鍵訊框中，沒有惟一的解決之道一正如沒 有單一的方法以概述一會議。在最一般的常識中，參閱第 11圖。使用已經被分類為筆劃、前景或白板之輸入影像格 (處理動作1102)。首先，此會議被分成數章節（議題）（處理 動作1 1 04)，此白板内容的一重要部分的一拭除通常指示 一議題的改變，所以此拭除可利用作為章節的一分配者。 然後，為該章節產生一代表白板内容的關鍵訊框（處理動作 11 06)。在一重要的拭除開始之前的此訊框被選為此關鍵訊 框，確保在這些訊框中内容被保留。詳細的程序，如第U 圖所示，工作如下： 計算在序歹中用於每訊框之筆劃格的數量（處理動作 1202)。一筆劃格影像可能跨越多數個訊框一對那此 訊框的每一者均被算進計數裡。第10圖顯示在範2 的會議中筆劃格的計數對訊框數量所會的圖（第4 圖）。在圖面的上昇顯示在白板上寫著更多筆劃 圖面的下降顯示在白板上某些筆劃被拭除。此曰 非常雜亂的。有兩個原目：1)使用者在白板上固: 作小調整；2)分類結果包含小錯誤。 也 作1204)。若在夂τ政 理 在各下降時產生一關鍵訊框，則 鍵訊框將因而诰占 & 夕 W成。為了維持關鍵訊框的數量為〜 29 200405260 小值，此資料被過濾以維持僅有重要的拭除事件。此 程序忽視在資料中的變動，除非在相鄰的峰與谷之間 的差異超過一定的臨界值（處理動作1206)。在此系 統的一實施例中，成功地使用該最大筆劃計數量的百 分之二十為臨界值。 3 ·然後，資料中的谷被使用於分割會議成章節（處理動 作1208)。選擇在一章節之内含峰的訊框以作為代表 此章節的關鍵訊框。 2 · 3 · 6 · 2影像重諸 一 样L框，重建對應於白板在這些時間點上看 來像什麼的影像是需要的。然而，無法僅使用來自輸入 歹J的原始影像’因為它們可能包含前景物件。藉由聚集 ^ ^框中的格*像以重建此影像。參閱第1 3圖，分割成 、匕訊框與分割成格影像的關鍵訊框是輸入（處理 作113〇2)。依據此袼分類有三案例： I饭若一關鍵訊框格影像是白板或筆劃，使用它自己 2影像（處理動作1 304、1 306)。 右關鍵訊樞前景格影像是在一筆劃的範圍内（即 白 ig 、 上的筆劃模糊，在分析階段期間經時間 ⑨β ;慮而决疋），此格影像係以來自鄰近訊框之筆劃 〜像置換（處理動作1 308、1310)。 •否則，如處理 、 里動作1 3 1 2及1 3 1 4所顯示，一前景物 必、須正涵蓋在μ ^ 此袼中的白板背景，而被填滿如前面 述所計算的白板色彩。 30 200405260 2.3·7關鍵訊框的色彩平衡— 此重建處理自白板影像除去人的部分， .. 丨刀不過此影像 起來仍像是從輸入序列的原始影像：略帶灰 — 1八巴且有雜訊 匕們能色彩平衡以產生-較佳影像，此處理包含兩步驟 1 ·使背景均勻白色及增加筆劃的色彩飽合度，對每 格而言，如前面討論所計算的白板色彩，_，被 於估算在格中各像素的色彩。 ’⑽ ί — min(255, · 255)(處理動作；[4〇2)。 1 w 2 ·減少影像雜訊。關鍵訊框中，各像素 ,、 ’、的各色彩通 的值根據一 S-型曲線被再安置（處理動作14〇4)。 度小於25 5/2被按比例縮小逼近〇， 而強度大 、 2 5 5/2被按比例放大逼近255。 章節的開始與結束以及它們的關鍵訊框影像之播名 著筆劃的時間戳記被儲存於索引，筆劃的時間戮記為這 劃出現的第一訊框，這資訊已經計算於段落2 3 3。 2.4瀏覽器操作與使用者介面 2.4.1概觀 在分析伺服器處理影像序列及產生索引與關鍵訊框 像之後’送出電子郵件含此已處理的紀錄之URL給有登 的會議參加者，使用者可點選該URL以啟動潮覽軟體， 覽軟體的目標是讓使用者觀看關鍵訊框影像及快速存取 連於一特定議題的聲音。 劉覽軟體的使用者介面（UI)是顯示於第15圖。UI 主要區域包括一關鍵訊框之視窗1504為展示關鍵訊框 看 用 道 強 於 隨 筆 影 記 瀏 關 的 之 31 200405260 小視窗（Thumbnails)1 502(關鍵訊框影像之圖形表示法）及顯 示出自相機之原始影像1 5 1 2與目前的關鍵訊框影像1 5 02 的一合成物之瀏覽器的主要顯示窗。關鍵訊框之視窗1 504 也合併一背景透明的滑動件1 5 1 6，此滑動件讓使用者調整 顯示於主要顯示窗1 506之影像從原始輪入影像至關鍵訊 框影像。目前的筆劃1 5 1 0，已經寫在會議播放的時間線之 筆劃，比還未寫在會議播放的時間線之筆劃即未來的筆劃 1 5 08呈現得較深且更清晰。參與者在未來將撰寫的筆劃 1 5 0 8以似幻影（g h 〇 s t -1 i k e)的形式顯示。這可視性的技術將 在後面更詳盡地敘述。 在此瀏覽器UI的左下角，即主要顯示窗的下方提供 一 VCR和標準時間線之控制1514。此VCR及標準時間線 控制1 5 1 4讓使用者在影像/聲音序列中對序列緩慢地或快 速地往後或往前或停止，很像在一典型視訊錄影機（VCR) 上所發現的控制。一時間線的計時橫軸丨5 1 8圖示地展現影 像/聲音序列的長度如一橫軸，且提供會議播放的起始時 間、結束時間、以及目前時間之數字值。在計時橫軸丨5 i 8 上的指針1 5 2 0可沿著計時橫軸被選擇且往前或往後拖曳 至影像/聲音序列中往前或往後的線性序列。 應注意到即使假疋某些上述的UI元件之位置，這不 意味是限定的。這些UI元件可呈現於顯示上的任何位置， 獨自或與其他元件結合兩者其中之—。 2.4.2會議資料之非鱗存取 在視覺索引的上下文中，提供對所紀錄的聲音之非線 32 200405260 性存取的兩階段。 非線性的存取之第一階段為透過關鍵訊框小視窗 1 5 02的運用。每關鍵訊框小視窗在顯示上有與它關連的時 間範圍。使用者能為對應的關鍵訊框而點選關鍵訊框小視 窗以跳到聲音的起始點（例如那章節的開頭）。

對所紀錄的聲音之非線性存取的第二階段為透過在每 一關鍵訊框中筆劃的運用。當游標在主視窗1 5 06中正停留 於一筆劃格（目前的筆劃格 1 5 1 0或未來的筆劃格 1 508) 時，將游標改變至一指示它是可選擇的一 “手型”符號（例如 用一滑鼠時“可點選的”之意）。以一滑鼠或其他輸入裝置雙 重點選在格上，將應用程式帶至聲音播放模式。當點選的 筆劃格被寫入時，自開會時間開始播放。當相同圖案的格 影像出現於序列時，所點選的筆劃是最早的時候寫入的。 主視窗開始顯示當時的影像。使用者仍能點選其他筆劃格 以跳至開會的另一部分。

隨著VCR和標準時間線控制1 5 14 —起，這些視覺索 引的兩階段讓使用者以一非常有效率的方式流覽一會議。 2.4.3.影像之觀看 如第1 5圖所顯示。關鍵訊框影像的小視窗（例如1 502) 被陳列於關鍵訊框之視窗1 5 04。以一滑鼠游標或其他輸入 裝置選擇一小視窗1 5 02將對應的關鍵訊框影像帶至左側 的主視窗1 5 06，以及將應用程式選取至影像觀看模式，為 使用者使用顯示比例控制按鈕1 522可放大與縮小之處，讀 取影像中的文字與圖式，或將影像的一部分剪下及貼上至 33 200405260 其他文件。此外，整個關鍵訊框能被剪下及貼 件或列印成筆記。 2.4.4.白板内容之可視性 假定關鍵訊框影像與時間戳記資訊，在任 間點對應於白板内容的影像可被重建。假若每 是根據使用時間線控制 1 5 1 4之聲音的播放 現，主視窗播放白板内容如同一場電影。利用 者對會議具有聽覺與視覺的兩者背景。不過， 選任何筆劃，在時間線中將它們帶往前面（未 1 5 08)，因為這些筆劃還未被呈現於主視窗。 在白板捕獲系統的初始實施中，以一色淡 來的筆劃。然而，在一短暫測試階段，瀏覽器 常混淆未來的筆劃與不是拭除乾淨的筆劃。關 一抱怨為雖然使用者喜好白板影像沒有人在前 時候想要知道誰寫此筆劃。 在一些設計重複疊代之後，而對下列的可 決定，顯示於第1 6圖，其陳述所有上述關心的 理的處理動作如下： 1. 使用目前章節的關鍵訊框影像與時間I 現目前白板的内容（處理動作1602)。 2. 呈現未來的筆劃，轉換結果成灰階， (G a u s s i a η)瀘、波器使其朦朧（處理動作 3. 從步驟1及步驟2，加入影像（處理動> 4. 將從步驟3的影像與從輸入序列中已 上至其他文 何假定的時 訊框的影像 時間而被呈 此法，使用 他們無法點 來的筆劃格 模式顯示未 的使用者常 於介面的另 方，他們有 視性處理下 丨事務。這處 說記資訊，呈 而使用高斯 1604) 〇 作 1606) ° 橋正的影像 34 200405260 作alpha混色（處理動作1608)。橋正的影像是來自 輸入序列（如第4圖所示）而有切掉非白板區域之對 應的影像，接著再安置於一長方形。使用者可用圖 形使用者介面（GUI)的滑動件（如第15圖的1516) 來控制alpha值，從僅顯示所呈現的關鍵訊框白板 影像0，到完全顯示原有的矯正影像1。所呈現的 關鍵訊框白板影像為含有被除去的前景物件與由 被阻礙的筆劃替代之關鍵訊框白板影像。 相信這是一非常有益的可視性方法，因為1)在所呈現 的白板影像上顯示現在和未來兩者的筆劃，讓使用者往前 跳至過去及往後跳至未來，2)將矯正的輸入影像與關鍵訊 框混合加上前景物件，因此給與更多内容。見第1 5圖於這 樣一可視性以a 1 p h a = 0 · 8的一範例。 2.5安全性 會議參加者對於紀錄一會議通常是擔憂的，因為敏感 的資訊可能被非預期者看到。對他們而言，保持已紀錄的 資料安全是一關心的事。為了就這關心的事提出建議，發 展一簡易通行證為基礎的存取安全模型顯示於第1 7圖。 在白板捕獲系統中，請求會議參加者在會議紀錄開始 時以捕獲軟體登記（處理動作1702)。他們可在電腦螢幕上 一對話訊框中填入他們電子郵件的別名，或是為了加速處 理，將他們團體的識別卡插入一智慧卡讀卡機以登記。 所有紀錄的會議存於一網絡伺服器。若無一登記者， 會議被公佈至一公開可存取的網頁上（處理動作 17〇4, 35 200405260 1706)。若至少有一登記者，在會議的紀錄與分析之後產生 -存取的許可證（處理動作17阶許可證為_長且隨意產 生包含-獨特的會議鍛利之字串，包含許可證的網址 (URL)以電子郵件傳送給登記的參加者（處理動作171〇卜 參加者至網址啟動網絡流覽軟體以檢視此會議（處理動作 1 7 1 2)。他們也可轉送此網址給未參加此會議者。 這簡易隱匿的安全性（Securit厂by-〇bscurity)模型似 乎實行的不錯。然而，其他的安全性量測可被使用。

除了上面所討論白板捕獲系統的安全性特色以外，當 紀錄會議時’可使用一保密模式。萬一會議參加者說或& 某些他們不欲被紀錄的事，存有一特色為栻除先前的影像 與聲音兩者15秒（雖然可使用另一規定的時限）。這拭除藉 由按一實體或圖形使用者介面的按鍵。 2.6屋二r實1見 上面所敘述基本的白板捕獲系統可與許多其他技術和 裝置結合以呈現另一實施例。在下面討論的各種實施例可 被單獨或結合使用。

在一這樣的實施例中’在關鍵訊框上執行慣用的光學 文字辨識（〇 C R)以提供容易被使用而產生文件或介紹性的 投影片圖解之可編輯的文字。 在另一實施例中’使用平常的語音辨識軟體以轉換捕 捉到的資料之聲音部分成為文字。這讓會議記錄及其他文 件容易產生。它也提供一相對花費不高的方式以提供會議 資訊給聽障者。 36 200405260 白板捕獲系統也可製造成可攜式，例如使 &币一筆記型 電腦配有一麥克風與架設於一三角架上的相機 i ^ 這配置只 需要一額外的初始校準以決定相機相對於白板 ★ π位置。可 藉由手調決定在影像中面板的四角落而手動地 > u轨行這杈 準，或者是自動地，藉由使用如邊緣偵測這樣的一 1 巧万法0 白板捕獲系統的分析軟體也能被用來決定各 3有白板捕 獲系統之關鍵訊框。此白板捕獲系統使用筆追妒”仏^人 干心被以推論白 板内容。既然筆座標的歷程在這些系統中典型是以向量型 式捕獲，在任何假定的瞬間，後來可重建在白板上的内容。 在這樣的一系統中使用白板捕獲系統的分析軟體巧化此八 析處理。既然沒有前景物件將干擾寫在白板上的文字，則 沒有需要決定白板的背景色彩或白板的區域矯正，沒有必 要空間與時間的過渡，以及白板格的分類將比較簡易因為 格影像將為筆劃或白板兩者其中之一。現在，由白板區域 的筆位置所推論的内容引申出格“影像”。本發明的這實 施例基本上群聚在第5圖中所討論的格“影像”，處理動 作506，分類每格為一筆劃或白板格類似處理動作508除 了沒有前景格，且使用分類結果（處理動作512)擷取關鍵 訊框影像。結果會以低頻寬且小儲存要求被傳送及歸檔。 此外，在這實施例中’ OCR也能用於將所捕捉到的關鍵訊 框轉譯成文字。 此外，在白板捕獲系統的實施例中，系統的訊框速率 受限於商業上可獲得的靜物相機之訊框速率。為了達到較 高的訊框速率，可使用一高解析度攝影機例如一 HDTV攝 37 白板的某處 辯識對於名 〇 入序列中6 修補片可相 。根據這溶 調整相機詞 。以下列方 不同的光錦 。假定修補 曝光參數。 區域也是如 200405260 影機。 又另一實施例中，白板捕獲系統合併 手勢命令。舉例而言，一命令盒能被寫在 :用者移動或指到此盒時，系統利用手勢 疋時間所作出的手勢之影像留下時間戳記 在基本應用+ ’分析處理假設在-輸 景的色彩維持不變 '然而，一已知的色彩 人能從相機使它隱蔽之處

檢測的修補片之P 4 A 片之已知的色彩特徵，軟體能 訊框為基準之不ρη + 同光線條件的曝光參數 成’假若曝光參數維持不變，在室内具有 之捕捉到的影像+ ^ 1豕中，修補片的色彩可不同 色彩為先前訊框的由少 的色彩’相機可調整它的 片的色杉會維持在特定範圍之内，白板的 3.0系統_ _效 3.1背景 白板捕獲系統的設計目標為它應是1)與現存的 協力e作’ 2)自動且可靠地捕捉白板内容；3)使用白 今為可視性的索引以有效率地瀏覽一使用此系統所 的會議。 比較使用一感測機制或一電子白板之白板捕獲系 本白板捕獲系統也有一套獨特的技術挑戰。首先，白 景色彩典型不是預先校準（例如，藉由照一空白板 片）’因為每一室有數個光線設定，可從會議至會議 使用 ，當 此特 板背 安裝 易可 以每 式完 條件 片的 修補 此。 白板 板内 紀錄 統， 板背 的相 而變 38 200405260 化。其次，人員經常在數位相機與白板之間移動，而這些 前景物件使白板的某些部分不清楚且投落陰影在它上面。 在一序列之内，可能沒有訊框是完全不模糊的。為了計算 時間戳記與擷取關鍵訊框，這些問題必須解決。

3.2 t統 TfcA 在白板捕獲系統的設計期間，建立原型系統且疊代式 地改善。三會議室裝設一白板捕獲系統。關於這三會議室 的資陳列於下表1。樣本影像（8 0 χ 8 0像素，在板上大約 96點字型）顯示於第18Α圖（影像對應從左至右分別為第1 室，第2室，第3室）。 表1關於三安裝地點的資訊 第1室 第2室 第3室 白板尺寸（箪吸） 4x3 8x5 12x5 關鍵訊框影像的尺寸（像素） 1200x900 2400x1500 2400x1000 解析度（每英吋的點dpi) 25 25 16.7 在這些室中，白板的尺寸改變，且所產生的關鍵訊框 影像之品質也不同。如可從樣本影像見到（第18Α圖），在 一 12、5’板上筆跡比其他兩板之筆跡較模糊些（最右邊）， 因為解析度最大達到4百萬-像素的輸入影像。然而，他們 仍是相當清楚的。也顯示從一使用12，χ5，白板會議中數個 被選的訊框（第18Β圖）及對應的關鍵訊框影像（第18。圖 和第1 8 D圖）。 既然系統係為與現存的白板協力合作’沒有需要特殊 39 200405260 的筆及板擦，選擇一直接的捕捉裝置和一靜物相機以捕极 白板内容。在示範的白板捕獲系統之實施例中，使用〜 〜隹 能Canon® P〇werSh〇t G2含4百萬-像素的數位靜物相機 此相機提供2272像素X 1 704像素的影像—相當於解析度 3 1·6 dpi(每英吋的點）於一 6, x4,板，選擇這相機的一重要 原因是一軟體開發工具的可利用性，其讓客製的軟體解決 方法從一 P C寫入以控制相機，這軟體能在一每拍攝的基 準上虛擬地指定所有的相機參數。既然系統直接拍照白 板，不會有筆劃的錯失登記，只要使用者在拭除之前打開 系統，内容是保留著。 在一 Pentuim (奔騰）ΠΙ 800百萬赫玆（MHz)雙中央處 理器個人電腦（dual CPU PC)執行分析伺服器。分析處理對 開會期間的每一小時花大約2 0分鐘。對於1 6位元n千赫 玆（KHz)單音之儲存需求使用MP3編碼需要每小時大約 1 5Mb。使用動作jpeg影像壓縮，輸入影像序列需要每小 時大約34Mb。 安裝於三會議室的系統時常被各種不同團隊使用。超 過6個月的課程，總計紀錄4 8小時有1 0 8場會議一平均每 會議27分鐘且每星期4.5場會議，以JPEG格式儲存關鍵 訊框影像，平均影像的大小為5 1 · 8Kb，大小範園從1 7 Kb 至150Kb。因為在均勻的白板色彩上，JPEG影像壓縮作用 得極佳，影像的大小是比影像尺寸更有關於多少位使用者 寫在白板上。 所有系統的使用者相信系統對廣泛使用白板的會議是 40 200405260 非常有用的。關鍵訊框影像與視覺索引能力不僅讓在一後 來的時間點去檢視一會議，也讓沒有參加會議的使用者能 在一小段實際會議時間中去體會此會議的要旨。 有些使用者發現新方法以使用非原預期的系統，以通 常不必要寫在白板上的現狀報告會議之範例，人們仍打開 白板捕獲系統。當輪到某人說話時，管理者將他/她的名字 寫在板上，所以後來能在紀錄的聲音中藉由在關鍵訊框影 像中點選名字而容易地找到演說的段落。另一範例為在一 集體研討會議期間，當某人想到一好點子時，他在板的邊 上記下一顆星，且大聲說出。然後，聲音可藉由點選那顆 星而找回。 對於圖解說明與敘述之目的已經呈現本發明前面的敘 述。不是故意毫無遺漏或限制本發明為揭露正確的形式。 依照上面的教導許多修改及變化是可能的。詳細的解說非 用以限制本發明之範圍，而是由在此隨附的申請專利範圍 所界定。 附錄：以平面為基準的白板色彩估算 僅考慮色彩影像的一元件，但下面所敘述的技術應用 於所有元件（R、G、B或Y)。各格ζ·由它的影像座標（ '，少,·) 定義。由z,(z = R、G、B或Y)指定它的色彩，如敘述於段 落2.3.2計算色彩，因此為雜訊的及甚至是錯誤的。從會 議室的經驗裡，白板的色彩規則地變化。一般在上方的部 分明亮多些而到下方的部分變得暗些，或者是在上方的角 41 200405260 落明亮多些而到對面下方的角落變得暗些。這是因為光線 靠著天花板裝設。所以，對一局部區域而言（例如7 X 7格）， 色彩能由一平面準確地配套；對整著影像而言，一平面的 配套仍是合理的，並提供一功能強大的指示一格色彩是否 為一分離物。 一平面能由 αχ + 6少+ c-z = 0 表示，一套 3D 點 {(xt_，乂，zj|/=l，...，n}假定僅 zt.含雜訊，平面參數 p=〇,6，c]r 藉 由極小化下列的目標函數尸=Σ/2而估算，其中 Λ 1 z= 。 • · · • · · 及 一旦決定平面的參數，格 i的 Λ 1 由 α χ，+ 6 兄· + c/ 取代。 最 小 平 方 技術對錯誤的資料（分離物）不是功能 強大 如早先所提到，最初計莫 •的白板色彩真的包含分離物。 偵 測 與1 除 去分離物，使 用一功能強大的技術以配 套一 丨至 整 個 白 板影像。使用 最小平均值平方技術[11 ] 5 — k功 能 強 大 的技術能夠容 忍接近資料的一半是分離 物。 ，法 為 藉 由 平方的誤差之 平均值的極小化以預估參 數， :是 平 方 的 誤差之總和， 例如 min median 乂2。首先， 晝3

fi A 點的任意m次樣本（3是定義一平面最小的數量）。每一次 樣本給予平面的一估算，m的數量應夠大，以致於m次樣 本之至少一者是好的機率接近於1，譬如說9 9 %。若假設 資料的一半可以是分離物，然m = 3 5，所以，任意取樣能非 常有效率地備妥。對每一次樣本而言，計算平面的參數及 平方的誤差/；2之平均值，已平方的誤差之最小平均值的平 42 200405260 面的參數被保留，以Μ表示。然後，計算所謂功能強大的 標準偏差σ= 1.4 826 #(當沒有分離物出現時，使用係數以 達到相同的效果）。一點/被視為一分離物並廢棄若其誤差 為|乂|>2.5 σ。最後，使用早先所敘述的最小平均值平方技 術，一平面配套至好的點。離開本體之格 /的色彩由 矣=α易+δ兄· + c/取代。 【圖式簡單說明】 本發明的特定之特色、態樣、及優點關於下面的說 明、增添的專利申請範圍、以及隨附圖示將變得比較好懂， 如下： 第1圖為一描繪一般用途之計算裝置的示意圖，構成一 示範系統用於實施本發明。 第2圖為一描繪此白板捕獲系統的三主要元件一此捕 捉單元、分析伺服器及此流覽軟體。 第3圖為根據本發明的一白板捕獲系統的概要圖。 第4圖為一系列影像，顯示來自一輸入影像序列之所 選擇的訊框。 第5圖為根據本發明的系統及方法，描繪影像分析處 理之一流程圖。 第6A圖為計算白板的色彩之第一種技術。 第6B圖為計算白板的色彩之第二種技術。 第7圖為顯示白板色彩的擷取結果之一系列影像。左 側影像為計算白板的色彩之第一種策略的結果，居中影像 43 200405260 為計算白板的色彩之第二種策略的結果，右側影像顯示為 真實空白的白板影像。 第8圖為根據本發明的系統及方法描繪格分類處理之 一流程圖。 第9圖為分類的結果之一系列樣本。上面的影像對應 於第5圖的影像在切掉非白板區域及矯正之後。

第1 0圖為對第4圖的序列而言，一筆劃的數量相對時 間之圖示。 第11圖為描繪從輸入影像的一序列中，使用於選擇關 鍵訊框的一般處理之一流程圖。 第1 2圖為根據本發明在系統及方法中，描繪識別章節 與關鍵訊框的處理之一流程圖。 第1 3圖為根據本發明在系統及方法中，描繪重建關鍵 訊框影像的處理之一流程圖。 第1 4圖為根據本發明在系統及方法中，描繪將關鍵訊 框影像色彩平衡的處理之一流程圖。

第1 5圖為描繪白板捕獲系統的瀏覽器介面之一影 像。每關鍵訊框影像表示在紀錄中一關鍵時刻的白板内容。 第1 6圖為根據本發明在系統及方法中，描繪顯示目前 與未來筆劃的處理之一流程圖。 第1 7圖為根據本發明，描繪使用於系統及方法中之安 全性的處理之一流程圖。 第1 8 A圖為提供在本發明的一實施例之三裝設地點所 拍攝到白板内容之樣本影像。 44 200405260 第18B、18C和18D圖為一系列圖描繪輸入（第18B圖） 及輸出 ，關鍵訊框影像， 本發明的一 實施例（第18( 圖）。 【元件代表符號簡單說明 ] 100 計算系統環境 110 電腦 120 處理單元 121 系統匯流排 130 系統記憶體 13 1 唯讀記憶體 132 隨機存取記憶體 133 基本輸入輸出 134 作業系統 135 應用程式 136 其他程式模組 137 程式資料 140 非可移除非揮發性之記憶體介面 141 硬碟機 144 作業系統 145 應用程式 146 其他程式模組 147 程式資料 150 可移除非揮發性之記憶體介面 151 磁碟機 155 光碟機 160 使用者輸入介面 161 指標裝置 162 鍵盤 170 網路介面 171 區域網路 172 數據機 173 廣域網路 180 遠端電腦 181 記憶體儲存裝置 185 遠端應用程式 190 視訊介面 191 監視器 195 輸出週邊介面 196 印表機 m 45 200405260 197 刺口八 202 捕 捉 單 元 204 分 析 /處 :理伺服器 206 瀏 覽 軟 體 302 數 位 相 機 304 麥 克 風 306 個 人 電 腦（PC) 308 捕 捉 單 元 1502 關 鍵 訊 框之小視窗 1504 關 鍵 訊 框 之 視 窗 1506 主 要 顯 示窗 1508 未 來 的 筆 劃 1510 a 前 的 筆劃 1512 原 始 影 像 15 14 時 間 線 控制 1516 背 景 透 明 的 滑 動件 15 18 計 時 橫 軸 1520 指 針 1 5 22 顯示比例控制按鈕 46

Claims (1)

1. 200405260 拾、申請專利範圍： 1 · 一種用於概述及索5|視聽内容之處理方法，至少包 含下列的處理動作： ‘ 利用一相機捕捉寫在非電子式白板上的内容之一影像 ， 序列； 記錄相關聯於該影像序列之音訊；以及 分析該影像序列，以分離出概述該板内容的關鍵點之關 鍵訊框。 _ 2 ·如申請專利範圍第1項所述之處理方法，更包含使該 音訊記錄相關聯於該關鍵訊框。 3 ·如申請專利範圍第2項所述之處理方法，其中該音訊 由時間戳記相關聯於該影像序列，而該時間戳記為關連該紀 錄的音訊及該影像序列。

   4 ·如申請專利範圍第3項所述之處理方法，其中使該音 訊相關聯於該影像序列包含下列處理動作·· 在該影像被捕捉時，以一共用時脈對該影像序列作時 間戳記； 在該音訊被紀錄時，以一共用時脈對該音訊作時間戮 記；以及 使用該共用時脈之該時間戳記 使該影像序列與該音 47 200405260 訊相關聯。 5·如申請專利範圍第3項所述之處理方法，更包含在該 影像序列中的-想要的點，# $該影像序列與該相關聯的音 訊0

   6 ·如申請專利範圍第5項所述之處理方法，其中該關鍵 訊框被使用於選擇在該序列中該所想要的點。 7.如申請專利範圍第1項所述之處理方法，其中該分析 處理動作至少包含下列的處理動作： 阿正在該影像序列的每一影像中該白板的一圖像； 拍貝取白板的背景色彩； 77割該影像序列中的每一影像成為袼，每一格一 髟你. 丨力丨〜衣一格

   子自始至終該影像序列歷時的每一格，群聚格影像 类員每格衫像成為一筆劃格、一前景物件格或白 以及 用該分類的結果，擷取關鍵訊框影像。 上 •划曱請專利範圍第 、應袼影像的處理動作以精選出分類的結果 48 200405260 9.如申請專利範圍 上過濾格影像的處理動 第7項所述之處理方法， 作以精選出分類的結果。 更包含時間 10·如申請專利範圍第7項所述之 心 古，更包含色彩 平衡該關鍵訊框影像以改善影像品質。 -如申請專利範圍第7項所述之處理方法，其中橋正該 白板更包含·· 在一影像中，指定該白板的該四角落； 切掉每一影像之任何非白板的區域；以及 在該影像序列之各捕捉到的影像中，使用雙三次方内插 法對各白板區域之一長方形執行一雙線回繞，以得到一已 切邊且已矯正的白板影像。 1 2.如申請專利範圍第7項所述之處理方法，其中擷取 白板的背景色彩之處理動作至少包含： 以最明亮的亮度及最小的變化量而決定白板格； 決定在白板之色彩中的任何洞；以及 藉著尋找在該洞周圍的白板格，及設定最靠近但不是 洞的格之色彩而填滿各洞。 1 3 ·如申請專利範圍第7項所述之處理方法，其中決定白 板中的任何洞之該處理動作包含下列的處理動作·· 49 200405260 指定一白板格會有的一色彩範圍； 檢查在該範圍之外的每一白板格；以及 將任何具有一該範圍之外的色彩之格指定為一洞。 1 4.如申請專利範圍第7項所述之處理方法，其中擷取白 板的背景色彩之該處理動作至少包含： 將白板影像的亮度建立起亮度分佈圖；

   決定最大的白板亮度； 將對應於最大亮度之色彩指定為初始的白板色彩； 決定任何白板色彩的分離物，該分離物表示錯誤的資 料； 將任何分離物標記為洞；以及 藉著尋找在洞周圍的格，及設定最靠近但不是洞的格 之色彩而填滿各洞。

   1 5.如申請專利範圍第14項所述之處理方法，更包含在 填滿每一洞之後過濾白板的色彩影像。 16.如申請專利範圍第15項所述之處理方法，其中係使 用最小平均值平方（least-median squares)技術而偵測出該分離 物。 17.如申請專利範圍第16項所述之處理方法，其中該最 50 200405260 小平均值平方技術包含下列的處理動作： 藉著將平方的誤差之平均值減至最少，而在亮度γ和 RGB空間中配套一平面；以及 指定不遵照這模型的格為分離物。 1 8.如申請專利範圍第1 5項所述之處理方法，其中過濾 該白板影像至少包含在紅、綠、藍（RGB)色彩空間中配套一 平面。 19.如申請專利範圍第7項所述之處理方法，其中分割每 一影像成為格之該處理動作包含分割每一影像成為長方形 的格。 2 0.如申請專利範圍第7項所述之處理方法，其中分割每 一影像成為格之該處理動作包含分割每一影像成為的格大 小約相等於板上所寫的一單獨字元的大小。 2 1.如申請專利範圍第20項所述之處理方法，其中該格 大小相當於一 1.5英吋X 1.5英吋白板中的區域。 22.如申請專利範圍第19項所述之處理方法，其中該格 大小係由相機解析度與白板尺寸所決定。 51 200405260 23 ·如申請專利範圍第1 5項所述之處理方法，其該中格 大小為1像素X 1像素。 24·如申請專利範圍第7項所述之處理方法，其中群聚格 影像之該處理動作包含群聚被認為是經時相同的格影像。 2 5 ·如申請專利範圍第24項所述之處理方法，其中群聚 被認為是經時相同的格影像之該處理動作包含使用一正規 化的相關演算法（Normalized Cross-Correlation)技術去同 時比較兩格以決定是否格影像是相同的動作。 26. 如申請專利範圍第25項所述之處理方法，其中該相 關演算法計分的範圍從兩影像完全不相似的-1至兩影像 完全相同的1。 27. 如申請專利範圍第26項所述之處理方法，更包含應 用一 Mahalanobis距離測試法以決定是否兩格為相同之處 理動作。 2 8.如申請專利範圍第27項所述之處理方法，其中該 Mahal anobis距離測試法為/ -/'|/( σ + σ')；其中 /為第一 格影像和厂為第二格影像，7為第一格影像的平均色彩 值，歹為第二格影像的平均色彩值，σ是從7的標準偏差及c/ 52 200405260 ’ i和/ ’被認 其中乃=2及 是從/丨的標準偏差，若且僅若3<乃及 乂 C日寻 為是相同的兩格影像，在一特別實施例裡， 7； = 0.707 〇 2 9 ·如申請專利範圍第7項所述之處理方 甘+ a从 v /¾，具中該格分 類處理動作更包含： 若該RGB(紅、綠、藍）值係大約相等時，指定一格影 像為一白板格； 若該格大部分為白色或灰色且含有一或兩原色混和在 其内時，指定一格影像為一筆劃格；以及 若一格影像不具一白板格或一筆劃袼的特徵時，指定 一格影像為一前景格。 30了如申請專利範圍第7頊所述之處理方法，其中該格分 類處理動作更包含： 決定一目前的格影像之色彩分佈’ 決定一對應的白板格之色彩分佈’及 決定目前的格影像之色彩分佈及對應的白板袼之色彩 分佈是否為相同、非相同但具有/強烈的相似性、或者是 完全不同。 3 1.如申請專利範圍第2 9頊所述之，f方法’其中該格 影像被分類為一白板格，砮真僅若—/w|/( σ+ ')< 7；及 53 200405260 σ/〜< 7；，而7；為白板色彩，為從7；的標準偏差，7為目 前的格之平均色彩及σ為7之標準偏差；其中' =2及2； = 2， 否則，該格影像被分類為一前景物件格。 32.如申請專利範圍第8項所述之處理方法，其中該空間 上過濾格影像的處理動作包含下列的處理動作： 確認分離的前景格；

   再分類已分離的前景格為筆劃格； 確認相連於前景格之筆劃格；以及 再分類相連於前景格之筆劃格為前景格。 33.如申請專利範圍第9項所述之處理方法，其中該時間 上過濾格影像的處理動作包含下列的處理動作： 評估歷時的每格以決定在被分類為前景格之前或之後 是否它包含相同的筆劃格；以及

   在一格被分類為筆劃格之前或之後若它被分類為相同 的筆劃格，將它分類為筆劃格。 34.如申請專利範圍第7項所述之處理方法，其中關鍵訊 框擷取處理動作包含： 輸入該分類的結果， 計數在該影像序列中每訊框的該筆劃格； 使用該訊框的筆劃計數量以決定該筆劃計數量的峰與 54 200405260 谷；以及 若在各相鄰的峰與谷之間的差異超過一規定的臨界值 時，指定在谷之間的該資料為章節及在各章節之内的峰為 代表該章節的關鍵訊框。 3 5 ·如申請專利範圍第3 4項所述之處理方法，其中該規 定的臨界值為全部筆劃計數量的2 0 %。

   3 6.如申請專利範圍第34項所述之處理方法，更包含重 建該關鍵訊框影像的處理動作。 37.如申請專利範圍第36項所述之處理方法，其中該重 建該關鍵訊框影像之處理動作更包含下列的處理動作： 輸入該分類之影像序列的格影像及分割成為格影像的 關鍵訊框；

   若一關鍵訊框的格影像被分類為一白板影像或一筆劃 影像，呈現它的影像； 若一關鍵訊框的前景格影像為在一筆劃的範圍内，則 該關鍵訊框的前景格影像以該序列中鄰近的影像之該筆劃 格影像一呈現；以及 若該關鍵訊框的格影像不是被分類為一白板影像、一 筆劃影像或在一筆,劃的範圍内之一前景格影像，它被填滿 呈現為一白板影像。 55 200405260 3 8 .如申請專利範圍第1 0項所述之處理方法，其 之色彩平衡該關鍵訊框影像以改善影像品質更包含 作為： 使背景變成均勻地白色且藉著使用平均白板色 比例定出在一格中各像素的色彩來增加筆劃格的色 度；以及 減少影像的雜訊。 3 9. —種用於觀看及播放事件資料的圖形使 面，至少包含： 一主要顯示視窗，顯示寫在一白板上的原始影 與一寫在一白板上之關鍵訊框影像概述内容之一 像。 中上述 處理動 彩以按 彩飽和 用者介 像内容 合成影

   40. 如申請專利範圍第39項所述之圖形使用者A 包含： 至少一寫在一白板上的關鍵訊框影像概述内容 形示法。 41. 如申請專利範圍第39項所述之圖形使用者A 中顯示於該主要顯示視窗之該原始影像描繪在一事 時間線的某時間點中所寫在一白板上的内容，該事 的一圖 面，其 件播放 件播放

   56 200405260 時間線表示一紀錄的事件時間線之播放，其中該關鍵訊框 影像顯示在一事件播放時間線比該原始影像的稍後時間點 中所寫在一白板上的内容。 42. 如申請專利範圍第41項所述之圖形使用者介面，其 中聲音是關連於該原始影像，且該關鍵訊框影像相關聯於 該内容被寫時所紀錄的關連音訊。

   43. 如申請專利範圍第41項所述之圖形使用者介面，更 包含一背景透明的滑動件控制，讓一使用者調整該顯示於 主要顯示視窗之合成影像從該原始輸入影像至該關鍵訊框 影像。

   44.如申請專利範圍第41項所述之圖形使用者介面，更 包含顯示目前的筆劃與未來的筆劃，而目前的筆劃表示已經 寫在一事件播放時間線之筆劃；未來的筆劃表示還未寫在 一事件播放時間線之筆劃。 45. 如申請專利範圍第44項所述之圖形使用者介面，其 中目前的筆劃比未來的筆劃呈現得較深且更清晰。 46. 如申請專利範圍第44項所述之圖形使用者介面，其 中未來的筆劃，即還未寫在一事件播放時間線之筆劃，以 57 200405260 似幻影（ghost-like)的形式顯示。 4 7.如申請專利範圍第39項所述之圖形使用者介面，其 中該合成影像由下列事項而決定： 使用在一假定的時間中的一影像與時間戳記資訊，呈 現目前的白板内容之第一原來已矯正的影像； 呈現一相對於該第一影像之未來筆劃的第二關鍵訊框 影像，將該未來筆劃轉換成灰階且使用高斯（Gaussian)濾 波器使其朦朧； 加入該第一及第二影像以得到一合成影像；以及 將該合成影像與從一輸入序列的該已矯正的影像作 alpha混色（alpha-blended)以完成一 alpha混色的合成影 像。 48.如申請專利範圍第47項所述之圖形使用者介面，其 中一使用者能以一滑動控制件來控制用於alpha混色的該 alpha 值。 49.如申請專利範圍第47項所述之圖形使用者介面，其 中該使用者可從僅顯示該關鍵訊框影像的 〇，移動滑動件 至1以完全顯示該原有已矯正的影像。 5 0.如申請專利範圍第42項所述之圖形使用者介面，更 58 200405260 包含一 VCR及讓該使用者做至少下列一者的標準時間線控 制： 在一事件播放時間線中往後的序列； 在一事件播放時間線中往前的序列；以及 在一事件播放時間線中停止。 5 1.如申請專利範圍第42項所述之圖形使用者介面，更 包含一計時橫軸圖形顯示一事件播放時間線為一橫軸。 52.如申請專利範圍第51項所述之圖形使用者介面，更 包含該事件時間線播放的起始時間、結束時間與目前時間的 數字值。 5 3.如申請專利範圍第52項所述之圖形使用者介面，更 包含在該橫軸上的一指針，可沿著計時橫軸被選擇且往前 或往後拖曳至影像/聲音序列中往前或往後的線性序列。 5 4.如申請專利範圍第42項所述之圖形使用者介面，其 中一使用者可跳至一聲音起始點，其係藉由選擇該關鍵訊 框小視窗而對應於依會議播放時間線中的關鍵訊框影像。 5 5.如申請專利範圍第42項所述之圖形使用者介面，其 中一使用者可同時存取對應紀錄的聲音，藉由選擇目前或 59 200405260 未來筆劃其中之一，在一事件播放時間線中寫上一目前筆 劃或一未來筆劃。 5 6.如申請專利範圍第5 5項所述之圖形使用者介面，其 中當該目前的筆劃或未來的筆劃出現時，寫一目前筆劃或 一未來筆劃的該時間是最早的。

   5 7.如申請專利範圍第55項所述之圖形使用者介面，其 中當游標在主視窗中正停留於一目前的筆劃格或未來的筆 劃格時，一輸入裝置的游標被改變成指示其為可選擇的一符 號。 5 8.如申請專利範圍第40項所述之圖形使用者介面，其 中選擇一關鍵訊框的小視窗顯示該對應的關鍵訊框影像至 該主視窗。

   59.如申請專利範圍第58項所述之圖形使用者介面，其 中一使用者能做至少下列一者： 使用顯示比例控制按鈕而放大與縮小、 讀取顯示於該主視窗之該影像中的文字與圖式、 列印該顯示於該主視窗的影像；以及 將顯示於該主視窗之影像的部分剪下及貼上至其他文 件0 60 200405260 6 0 ·—種用於捕捉一會議的音訊及視訊内容之系統，至 少包含： 一捕捉系統，該捕捉系統捕捉寫在一白板上的資料之 影像序列及捕捉發生於一會議期間的聲音所對應之音訊； 一分析伺服器，用於分析該影像序列，該分析伺服器 #員取寫在該白板上的關鍵資料訊框及使該音訊相關聯於該 關鍵資料訊框；以及 一劉覽模組，用於觀看該已分析的會議關鍵資料訊框 及相關聯的音訊。 6 1 ·如申請專利範圍第6〇項所述之系統，更包含： 一相機，定位以捕捉影像的序列； 一麥克風，以紀錄該音訊；以及 一電腦，用於記載該影像序列及該音訊。 62 ·如申請專利範圍第6 1項所述之系統，其中該相機是 下列至少一者： 一靜物相機；以及 一攝影機。 63 ·如申請專利範圍第6 1項所述之系統，其中使該相機 顯示比例被放大係盡量靠近該白板以極大化解析度。 61 200405260 64.如申請專利範圍第6 1項所述之系統，其中使該相機 _ 係盡量對齊平行於該白板以減小背景深度。 6 5 ·如申請專利範圍第6 0項所述之系統，其中該分析伺 服器藉由下列動作而確認該關鍵資料訊框： 矯正在該影像序列的每一影像中該白板的一圖像； 擷取白板的背景色彩； 分割該影像序列中的每一影像成為格影像的格； 對該影像序列自始至終歷時的每一格，群聚類似的格影 像； 分類每一格影像成為一筆劃格、一前景物件格或白板 格；以及 使用該分類的結果，擷取關鍵訊框影像。

   6 6 ·如申請專利範圍第6 0項所述之系統，其中該分析伺 服器藉由下列動作而確認該關鍵資料訊框： 矯正在該影像序列的每一影像中該白板的一圖像； 擷取白板的背景色彩； 對該影像序列自始至終歷時的每一格，群聚類似的像 素； 分類每一像素成為一筆劃格、一前景物件格或白板格； 以及 62 200405260 用者 事件 位置 記憶 鑑別 的事 址。 捉單 使用該分類的結果，擷取關鍵訊框影像。 67·如申請專利範圍第60項所述之系統，其中 一或多個使用者在紀錄開始之前於該捕捉單元的一使 鑑別器登記； 若至少一使用者登記於該捕捉單元，該分析伺服器在 紀錄與分析之後產生一存取許可證； 提供該存取許可證和被分析的會議資料之電腦記憶體 給該被登記的使用者鑑別器；以及 該一或多個使用者存取該被分析的事件資料之該電腦 體位置，以檢視該被分析的會議資料。 68.如申請專利範圍第67項所述之系統，其中該使用者 器為一電子郵件地址。 69·如申請專利範圍第67項所述之系統，其中該被分析 件資料之該電腦記憶體位置為一網際網路網站的一網 70.如申請專利範圍第60項所述之系統，更包含於該捕 元之一保密特色，允許一使用者拭除下列至少一者： 該影像序列的部分；以及 該音訊的部分。 63 200405260 71.如申請專利範圍第70項所述之系統，其中藉由按一 圖形使用者介面的按鍵或一實體的按鍵而啟動該保密特 色。 7 2 ·如申請專利範圍第6 0項所述之系統，其中該捕捉系 統是可攜式的。 73·—種用於抽出事件内容精華之處理方法，至少包含 以下的處理動作： 以一相機捕捉寫在一非電子式白板上的内容之影像序 列； 紀錄相關聯於該影像序列之音訊；及 藉由以下步驟分析該影像序列，以分離出該板内容的概 述關鍵點之關鍵訊框： 矯正在該影像序列的每一影像中該白板的一圖 像； 擷取白板的背景色彩； 分割該影像序列中的每一影像成為格； 對該影像序列自始至終歷時的每一格，群聚格影 像； 分類每一格影像成為一筆劃格、一前景物件格或 白板格；以及 64 200405260 使用該分類的結果，擷取關鍵訊框影像。 74·如申請專利範圍第 析處理動作更包含使用光 訊框影像中提供可編輯的 73項所述之處理方法， 〃 T讀分 學文字辨識（OCR)技術以從關 文字。 75·如申請專利範圍第73項所述之處理方法，其中診、 析處理動作更包含使用語音辨識技術以將該聲音轉換 字。 、文

   7 6 ·如申請專利範圍第7 3項所述之處理方法 用手勢辨識技術。 更包含使 77 ·如申請專利範圍第73項所述之處理方法 捉處理動作包含： 其中讀捕 在該白板上安裝一已知色彩特徵之一色彩修補片· 捕捉在該影像序列的一影像之該色彩修補片； 決定由該影像的該色彩修補片所展示的色彩； 捕捉在該影像序列的該下一影像中之該色彩 >補片； 決定由該下一影像中的該色彩修補片所展 一 的色彩； 藉由大於一規定的臨界值決定由該色彩佟 /啊片所展示

   的色彩是否已經在該影像與該下一影像之間改變；以及 該下一影像中，若所展示的色彩超過該臨界值則調整相 65 200405260 機的曝光參數至一設定，其已經產生該下一影像之該色彩 修補片的色彩、使該相機被設為該曝光設定、符合該影像 中的該色彩修補片所展示的色彩。 78. 如申請專利範圍第77項所述之處理方法，其中在每 一捕捉到的影像上執行該調整處理動作。 79. —種用於抽出一會議的内容精華之系統，至少包 含： 一捕捉系統，捕捉寫在一白板上的資料序列，該捕捉系 統追蹤筆的位置以推論寫在一白板上的内容，且紀錄相關聯 於寫在一白板上的該内容之音訊； 一分析伺服器，用於分析該影像序列，其擷取寫在該白 板上的關鍵資料訊框且將該音訊相關聯於該關鍵資料訊框。 8 0.如申請專利範圍第79項所述之系統，其中該分析伺 服器執行以下的動作： 分割該白板的每一區域成為格； 對自始至終歷時寫在每一格的該資料序列，群聚相同的 格； 分類每一格影像成為一筆劃格或一白板格；以及 使用該分類的結果，擷取關鍵訊框影像。 66 200405260 8 1.如申請專利範圍第8 0項所述之系統，其中該白板格 被分割成近似一書寫的字元大小之格。 82.—種電腦可讀取媒體，具有用於提供對一會議期間 所紀錄的資料非線性存取之電腦可執行的指令，該電腦可 執行的指令包含程式模組用於：

   以一相機捕捉寫在非電子式白板上的内容之影像序 列； 紀錄相關聯於該影像序列之音訊；及 藉由以下步驟分析該影像序列，以分離出概述該板内容 的關鍵點之關鍵訊框： 矯正在該影像序列的每一影像中該白板的一圖 像； 擷取白板的背景色彩；

   分割該影像序列中的每一影像成為格； 對該影像序列自始至終歷時的每一格，群聚格影 像； 分類每一格影像成為一筆劃格、一前景物件格或白 板格；以及 使用該分類的結果，擷取關鍵訊框影像。 67