TW200401943A - Integrated design for omni-directional camera and microphone array - Google Patents

Description

200401943 玖、發明說明: 【發明所屬之技術領域】 本發明關於一種整合性全向攝影機與麥克風陣列。更 特別是，本發明係指一用於電話會議與會議記錄之整合性 全向攝影機與麥克風陣列。 【先前技術】 視訊會議系統以往在商業上僅具有限度的成功。此歸 因於許多因素。特別是，在此等系統中通常有各種技術上 之缺失。不良的攝影機視線與不足之影像解析度使參加與 會者難以看到發言人。此情形會因不準確之發言人偵測（特 別是在遙控/傾斜/送大攝影機）造成攝影機未指向發言人 而更形惡化。此外，不良之視頻壓縮技藝常導致不良視頻 影像品質且使影像顯示“波動”。 用於電話會議之捕捉裝置與系統傾向於集中於少數對 視訊會議與會議觀看較具價值之主要資料來源。這些包括 視頻資料、聲頻資料及電子文件或顯示在電腦監視器上之 陳述。就現行用以共享文件與陳述之各種特定軟體解決方 案，捕捉聲頻與視頻資料之改良方式是特別令人關注的° 現有三種不同捕捉視頻資料之方法：遙控/傾斜/送大 (PTZ)攝影機、鏡面架構全向性攝影機與攝影機陣列。雖然 PTZ攝影機是目前最流行之選擇’但具有二主要限制。首 先，只可捕捉有限之視野。如果其鏡頭拉得太近，就會失 去會議室之内容；如果拉得太遠’人們的表情則變得不清 3 200401943 楚。其次’因為控制馬達需要時間移動攝影機，攝影機對 會議之反應（如在發言者間切換）嫌太慢。事實上，ptz攝 影機無法移動太大或太快，否則觀眾可能會十分困擾。 因為這些缺點及近年來在鏡頭/棱鏡架構全向視覺感 測器技術的提升，研究人員已開始再思考捕捉與分析視訊 之方式。例如，貝喜（BeHere)公司提供在娛樂、新聞與運 動網路廣播之360度網際網路視頻技術。遠端使用者可用 此介面控制與其他觀眾獨立之個人化360度攝影機角度， 以獲得一種“臨場”經驗。雖然此方式克服PTZ攝影機所面 臨之視野有限與攝影機反應緩慢的二種困難，以今日現行 技術與市場需求來架構這些型式之裝置將頗為昂貴。此 外，這些鏡面/稜鏡架構全向攝影機深受低解析度（即使具 有IMP之感測器）與離焦問題之苦，因而導致次級之視頻 品質。 在另一方式中，多個較不昂貴攝影機或視頻感測器將 可組合以形成一全向性攝影機陣列。例如，一習知系統利 用四個國際電視系統委員會（NTSC)以建構一會議室之全 景。然而，此設計具有些缺點。首先，NTSC攝影機提供 相當低品質之視頻訊號。此外，該四攝影機需求四視頻捕 捉電路板以便在分析、傳輸或記錄前先數位化。對四個視 頻捕捉板之需求增加了此系統之成本與複雜度，且使其更 難製造與維護。 除了對視訊捕捉問題外，在一會議室中捕捉高品質聲 頻也是挑戰。該聲頻捕捉系統需要移除各種雜訊與迴音。 4 200401943 其亦必須調整不同位準之輸入訊號增益。通常有三種方式 可滿足這些需求。最簡單之方式是使用密閉式麥克風（如經 由頭戴式耳機），但此對使用者/發言者是累贅而有所侵 犯。第二種方式是置放一麥克風於會議桌上。此可防止多 重聲音路徑且是目前最常用以記錄會議聲音内容之方式。 這些系統使數（通常三）個超心型曲線麥克風以提供全向性 特徵。第三種方式係提供一桌上型電話會議系統。在此方 式中，一單向性麥克風係裝設在一指向發言者之PTZ攝影 機之上方。該攝影機/麥克風組合係由一使用分離群組之麥 克風以施行聲源定位之電腦所控制。然而此方式會需求二 組分離之麥克風。 【發明内容】 本發明關於一種可克服上述在視訊會議與會議記錄系 統中之限制的系統與方法。明確言之，本系統與方法利用 一整合式全向攝影機與麥克風陣列以達成此工作。 在大多數通識中，本發明由一薄至對於人類發聲頻率 範圍（5 0至4000赫）之聲音係可透過且連接一攝影機陣列 至一麥克風陣列的圓桿所組成。結果，可消除聲音之繞射 與陰影。 該整合性全向攝影機與麥克風陣列使用設計供解決上 述視訊會議中各問題的一 360度攝影機。該360度攝影機 可位於會議桌之中央，其比起典型視訊會議系統（其中攝影 機是在室内的一端），可提供與會者絕佳之攝影機取景點。 200401943 該 點 度 體 何 單 設 除 連 50 該 者 而 是 覺 之 及 更 個 聲 攝影機係升高於桌上以提供與會者接近正面的一取景 。此外該整合性全向攝影機與麥克風陣列提供足夠解析 ，使一遠端觀眾可看到與會者之面部表情（如，一有效具 實施例具有3000 X 480之解析度）。該攝影機可以是任 全向型式，即利用一攝影機陣列或一具有雙曲線鏡頭之 一視頻感測器。 該麥克風陣列係在一平面組態。該等麥克風最好是裝 在一麥克風陣列基座上，以致可儘可能地靠近桌面以消 來自桌子反射之聲音。如上述，該攝影機是以一薄圓桿 接至該麥克風陣列，其對於人類聲聲頻率範圍（即，約 至4000赫）之聲音係可透過。此提供從說話者至所有在 陣列中麥克風的一直接路徑，使其聲源的定位（決定發+ 之位置）與形成聲束（藉由過濾非由發言者方向來之聲音 改進發言者之聲音品質)效果最佳。該整合性麥克風二 用以施行即時聲源定位，且該攝影機陣列是協同電腦視 架構之人體偵測與追蹤，以準確地偵測發言者在影像中 位置。該聲頻與視頻偵測可用於自動化攝影機管理，以 大幅度地改進視頻壓縮（即藉由在面部區域 多位元）。 《比“ 整合性全向冑影機與麥克風陣列之輸出最_是連接至 人電腦，在其中可進行譬如影像聯結與壓縮、聲源定位、 束形成及攝影機管理等之應用。 施例使用 以傳輸聲 整合性攝影機與麥克風陣列的一有效具體實 1 394匯流排以傳輸視頻至—pc，及類比電纜 200401943 頻至一個人電 優異視頻品質 另一替代具體 有攝影機與麥 電纜傳輸。該 間只需要一單 所使用之 向），因為其等 少之麥克風數 個以增加聲源 統之強健性。 平面麥克風基 使用愈多麥克 然而較多數量 外，具有愈多 為減低桌子雜 器可置於麥克 該攝影機 而向下為隱私 機感測器之快 以關閉該攝影 關閉。在記錄 機在操作中。 各種整合 腦（pc)。在此具體實施例中使用五個可提供 之IEEE 13 94攝影機且只需一單一 i 3 94卡。 實施例使用一單一印刷電路板（PCB)用於所 克風，使得所有聲頻與視頻可透過單一 1394 13 94電鏡也提供電源，因此在攝影機與pc 一電纜。 麥克風可以是全向或單向性（雖然最好是全 會對所有關注之角度有一致的反應。所需最 量為3，然而本發明一較佳具體實施例使用8 定位準確性、較佳之聲束形成與整個聲頻系 該等麥克風最好等向地置放於圍繞該圓形、 座周邊的一圓上，雖然其他組態也係可行。 風會有愈佳之全向聲頻涵蓋與信號雜訊比。 的麥克風其成本與複雜性則另需考量。此 麥克風時，處理該等聲頻信號變得愈複雜。 Λ 麥克風可裝設在一橡皮殼體内，而隔音 風下方。 可使用一鏡頭遮蓋，向上為正常操作模式， 模式。另一選擇是，當在隱私模式時，攝影 門可關閉或是該攝影機可在電子系統上分離 機。當遇到隱私模式時，該等麥克風最好也 時’攝影機上之燈會打開讓使用者知道攝影 备攝影機在隱私模式時燈會關閉。 I*生全向攝影機與麥克風陣列設計之替代具體 200401943 實 在 測 中 來 等 之 風 桿 只 繞 等 達 聲 透 此 成 成 用 像 器 使 =例均可行。此部份是由於㈣統之模組化本質。例如， 器：：全向攝影機之一具體實施例中，利用多個視頻感 合至"60度涵蓋。或者，在本發明另一具體實施例 曰用一全向攝影機；，其利用一視頻感測_與一可捕捉 自360度光線的雙曲線鏡頭以達到全景涵^再者，該 攝影機之設置可由复楚；么— ~ 八 仃使用（升高至該聲音可透過 ?干上)以提供與會者之正面影像。或者其可與上述麥克 P ^合。或者’其他之攝影機設計也可用以結合該圓 要=^攝㈣與麥克風陣列之桿也不需要是圓柱狀， 八t薄使付在（5〇 i彻〇赫）範圍不會使聲音 射0 同理如前述’在一 ，冑丨 一體實施例中，該麥克風陣 距離置放在一圍繞一圓 早夕j疋由 之圓周上且儘可能接近桌面以 成到至内任何發言者的一清 立畀Ϊ沾欠夾古ΓΤ 月晰路徑，使離開桌面反射之 曰最小的各麥克風所組成。缺 …、而，其他可使用該聲音可 過之标整合一全向攝影機 , ^ J I克風組態也是可行。 外’可使用則述全向麥身 η Α 洛&立 見風陣列而無須任何攝影機以達 *佳360度聲音的涵蓋。 ^ A 函盖對於聲源定位與聲束形 特別有用，因為可最小化 利用本發明攝影機ί5ΜΜ^° 電腦以最佳化該影像資 -體實“j 輸出與麥克風陣列之聲好^4。攝影機之數位影 ,h广 頌輸出（經由一類比對數位轉換 )會經由一路徑進入電搬#恭 恥。該電腦施行各種功能以加強且 用該影像與聲頻輸入。γ | 如’一全景影像過濾器會將在 8 200401943 全向攝影機内各種感測器所取得之影像聯結。此外，該影 像資料可經壓縮使其更相容供透過一網路（譬如網際網路） 廣播，或儲存在一電腦可讀媒體中，最好是經由一可分則 待傳輪及/或記錄之視頻與聲頻輸出的分割器。視需要該影 像> 料也可輸入一人員4貞測器/追縱器以改進攝影機管 理。例如， 結該聲頻信 影機影像可 部比背景較 該聲頻 聲源定位， 音。此外， 之聲束形狀 一雜訊減低 整該增益以 内之背景雜 聲頻處理模 含有該發言者影像/視頻之部份可經^…$

號），使得當其等發言時在視訊會議中顯示之I 指向發言者。此外，發言者定位可藉由提供面 高之解析度以改進視訊壓縮。 輸入也可用於各種目的。例如，該聲艇 々j用於 使得任何時間均可最佳化在發言者方向之$ 在電腦中可使用一聲束形成模組以改進訪r聲步頁 ’藉以進一步改進對一特定方向聲音的過、廣 與自動增益控制模組也可藉由減低該雜訊與= 更佳地捕捉來自一發言者之聲頻信號（而 —

^ 一 ^ I 訊），而改進該信號對雜訊比。各個此笼& 寸衫像與 、組可單獨，或組合或無須使用。 /、 該視頻或聲頻信號（不論是否經加強）可被廣播至另 視訊會議地點或網際網路。其等也可被儲存至一 媒體供後續觀看。 吻 上述整合性全向攝影機與麥克風陣列主要應用為、= 會議與會議記錄。I!由整合該麥克風陣列與全向攝麥:訊 在視頻與聲頻間所需之校正可大幅簡化（一準確製=， 影機與麥克風將無須校正)，且可達到以一單 ：之攝 机罝從一會 9 200401943 議室收集聲頻與視頻資訊。 【實施方式】 在以下本發明較佳具體實施例的說明中， 本發明-部份之附圖，且其中所顯示係以可實 特定具體實施例加以示範。請瞭解可以使用其 例及可達成結構上之改變而不脫離本發明之範 第1圖示範可實施本發明之適當計算系統 範例。該計算系統環境1〇〇僅是一適當計算環 且不希望使人聯想到任何對本發明使用或功能 =希：計算環境100被解讀為對於代表性操 中所不範組件之―或其組合具有"性或必需 可用各種其他—般目的或特殊目的 农兄或，、且態操作。適於使用本發明之習 及/或組態的範例包括(但不限於)個人電腦。 手持或膝上型裝置、多重微處理 ° 構之系統、視訊轉接器、可程式消費者統電子= 迷你型電腦、主機型電腦、包括上述、 散式計算環境與其類似物。 D /、統. 本發明可在由-電腦所執行 程式模組)中之-般上下文中加以描述大可體執上行 包括執行特定工作或實施特定抽取資料型式4 '參考形成 >本發明的 >具體實施 0 境1〇〇之 之範例’ 限制。同 :環境ιΜ 〇 計算系統 統、環境 器電腦、 理器為架 網路P01' 裝置之分 i令（譬如 程式模組 常式、# 10 200401943 式、物件、組件、資料結構等等。本發明也 由經一通信網路連結之遠端處理裝置施行的 境中實施。在一分散式計算環境中，程式模 記憶體儲存裝置之區域與遠端電腦儲存媒體 請參考第1圖，用以實施本發明的一代 如電腦110型式之一般電腦。電腦11〇之組1 限於）一處理單元1 2 0、一系統記憶體J 3 〇及 記憶體之各種系統組件輕合至處理單元1 2 〇 1 2 1。系統匯流排1 2 1可為任何數種型式匯流 一記憶體匯流排或記憶體控制器、一周邊匯 任何各種匯流排結構之區域匯流排。藉由實 制，此架構包括工業標準架構（ISa)匯流排 (MCA)匯流排、增強工業標準架構（eisA)匯 子標準協會（V E S A)區域匯流排、與周邊組件丨 匯流排（亦稱為Mezzanine匯流排）。 電腦110通常包括各種電腦可讀媒體。 可以是由電腦110存取之任何可用媒體，且 非揮發性、可移與不可移媒體二者。以實会 制）’電腦可讀媒體可至少包含電腦儲存媒體 電腦儲存媒體包括揮發性與非揮發性、可 體’能以任何用於儲存譬如電腦可讀指令、 式模組或其他資料之資訊的方法或技術實施 體包括（但不限於）RAM、ROM、EEPROM、 其他記憶體技術，CD-ROM、數位多功能碟片 可在工作係藉 分散式計算環 組可位於包括 中。 表性系統包括 t可包括（但不 一將包括系統 之系統匯流排 排結構，包括 流排與一使用 例說明而非限 、微通道架構 流排、視頻電 勺部連線（PCI) 電腦可讀媒體 包括揮發性與 說明（而非限 與通信媒體。 移與不可移媒 資料結構、程 。電腦儲存媒 快閃記憶體或 (DVD)或其他 200401943 光碟儲存、磁卡厘、磁帶、磁碟儲存或其他磁性儲存裝置， 或任何其他可用以儲存需求資訊且可由電腦11〇存取之媒 體。通信媒體通常包括電腦可讀指令、資料結構、程式模 組或在調變資料信號（譬如載波或其他傳輸機構）内之其他 資料，且包括任何資訊傳遞媒體。“調變資料信號，，一詞意 指一信號具有能經設定或改變之一或多數特徵，以便將資 訊編碼在該信號中。舉例而言（而非限制），通信媒體包括 有線媒體（譬如有線網路或直接佈線連接）與無線媒體（譬 如S響、射頻 '紅外線及其他無線媒體）。以上之任何組合 也包括在電腦可讀媒體之範疇。 系統記憶體130包括揮發性及/或非揮發性記憶體型 式之電細儲存媒體，譬如唯讀記憶體（R〇M)13丨與隨機存 取記憶體（RAM)132。含有可協助電腦110内元件之間傳送 資訊（譬如在開機期間）之基本常式的一基本輸入/輸出系 統（BI〇S)通常係儲存於ROM 131内。RAM 132通常含有可 由處理單元120立即存取及/或目前正在其上操作之資料 及/或程式模組。舉例而言（而非限制），第1圖示範操作系 統134、應用程式135、其他程式模組136與程式資料137。 電腦110也可包括其他可移/不可移、揮發性/非揮發 性媒體。舉例而言(而非限制），第i圖示範一可讀自或寫 至一不可移、非揮發性磁性媒體的一硬碟驅動器、一 用於讀自與寫至一可銘、 移非揮發性磁碟152之磁碟驅動器 151、與一用於讀自與寫至一可移、非揮發式光碟156(譬 如 '一 C D R Ο Μ 或发 /JL· m T-Η- mM, \ X具他先學媒體）之光碟驅動器155。其他可 12 200401943 用於該代表性操作環境中 ^泰 兄甲之了移/不可移、揮發性/非揮發 匕括（但不限於）磁帶卡S '快閃記憶卡、 數位多功能碟片、备仿样麥选 m ⑧位錄衫帶、固態隨機存取記憶體、固 態唯讀記憶體與其他類似物。該硬碟驅動請通常是經 由一如介®140之不可移記憶體介面連接至系統匯流排 121，而磁碟驅動琴 机排 ° 與先碟驅動器155通常是藉由一如 ”面150之可移式記憶體介面連接至系統匯流排η ^。 六以上討論與示範於第1圖中之驅動器及其相關電腦儲 存媒體提供電腦11〇之雷腦 之電恥可讀指令、資料結構、程式模 組或其他資料的健在。,μ 1& 〇 )在第1圖中所示範之硬碟驅 動器141是作為儲在極 存刼作系統1 44、應用程式1 4 5、其他程 式模組1 4 6與程戎咨μ , 1， 貝4 7。s月注意這些組件可與操作系 、先134應用程式135、其他程式模組136與程式資料I” 相同或不同。在Jf牲中ρη# — 此特疋冋數子之操作系統144、應用程式 145其，程式模址146與程式資料⑷，是用以示範（至 y)”等疋不同版本。一使用者可將命令與資訊經由輸入裝 置。鍵盤1 62與一般稱為滑鼠、軌跡球或觸摸板之指向 裝置mm人電腦11G。其他輪人裝置（未顯示）可包括一 麥克風搖才干、遊戲塾、萬用碟、掃描器或其類似物。這

些與其他輸入裝晉補赍. A 通承、士由一耦合至系統匯流排1 2 1之使 用者輸入介面160連接至處理…2〇，但也可藉由其他 介面與匯流排，壁如一承你$ s如千仃連接埠、遊戲連接埠、統一串 列匯流排⑽B)連接。一㈣191或其他型式之顯示裝置 也可經由-介面(譬如一視頻介φ 19〇)連接至系統匯流排 13 200401943 121，ιΤτ 常也包 可經由 能夠捕 靜態或 腦110 包括多 多個攝 入個人 以容許 内，或 應注意 110 ， rfi 電 端電腦 端電腦 網路個 包括許 只不範 包括一 可包括 室、泛： 當 路介面 1後與視頻記憶體1 8 6通信。除螢幕1 9 1外，電腦通 括其他周邊輸出裝置，譬如喇π八1 9 7與列表機1 9 6 一輸出周邊介面195連接。本發明中特別重要的是 捉一序列影像164之攝影機163(譬如一數位/電子 視頻攝影機，或薄膜/圖片掃描器），可當作個人電 之一輸入裝置。再者，雖然只描述一攝影機，但可 個攝影機作為個人電腦110之輸入裝置。來自一或 影機之影像164會經由一適當之攝影機介面165輸 電腦11 0。此介面1 6 5係連接至系統匯流排1 2 1，藉 經一路徑將影像傳至且儲存於隨機存取記憶體i 32 連接至電腦110之一或其他資料儲存裝置。然而， 影像資料可從任何上述電腦可讀媒體輸入電腦 i無須使用攝影機163。 腦110可在一使用至一或多數遠端電腦（譬如一遠 18 0)之邏輯連接的網路化或分散式環境中運作。遠 180可以是一個人電腦、—伺服器、一路由器、一 人電腦、一同級裝置或其他共用網路節點，且通常 多或所有上述與電腦11 〇有關之元件（雖然第1圖中 一記憶體儲存裝置181)。第丨圖中描述之邏輯連接 區域網路（LAN)171與一廣域網路（WAN)173，但也 其他網路/匯流排。此網路化環境係位於家中、辦公 b業電腦網路、内部網路與網際網路中之共用處所。 使用在區域網路化環境中時，電腦丨i 〇係經由一網 或適配器170連接至區域網路171。當在廣域網路 14 200401943 環境中使用時’電腦Π0通常包括一數據機172或其他用 於透過廣域網路173(譬如網際網路）建立通信的構件。數 據機172(可為内建或外接）係經由使用者輸入介面ι6〇或 其他適當機構連接至系統匯流排丨2丨。在一網路化環境 中，所顯不連接至個人電腦i〗〇之程式模組或其部份，可 儲存於遠端記憶體儲存裝置中。藉由舉例（而非限制），第 1圖顯不遠端應用程式185係駐留在憶體裝置181上。應 瞭解所顯示之網路連接是代表性，且其他在電腦間建立： 通信鏈路之其他構件均可使用。 現已討論過代表性操作環境 力於說明包含本發明之程式模組 本說明書剩餘部 份將致 3·0整> 性全向攝與春免風陳列 在此ί又落中將討論經由一聲音可透過圓桿 It 之 性全向攝影機與麥克風陣列。 ϋ 3.1 概述 全向性攝影機與一麥克 本發明陳述如何最佳地整合一 風陣列。設計之目標為： 1 ·該麥克風陣列之設計應提供從一發言人至 陣列内之麥克風的一清晰路徑。如果一 π晰路徑不 可行，則所使用之聲源定位與聲束形成 砜次异法會變 得特別困難且獲得品質降低之結果。 2·該麥克風陣列之設計應使該麥克風儘 月匕接近桌

15 200401943 面或其他表面，以防止聲音從該表面反射，而使你 何聲音定位與聲束形成結果品質降低。 3·該攝影機陣列應升升高以提供與會者的一接近正 面影像。該影機陣列應小至不明顯。 4·該麥克風陣列之幾何性質（二麥克風之位置與距離） 應容許該聲頻處理演算法達到在工作頻寬中之_ 好聲束形狀（直接到該發言人），藉以提供高品質聲 音。 3.2整合設計 該整合性攝影機與麥克風陣列利用一圓桿連接麥 兄風 基座與攝影機陣列。該桿在聲音上對於人類演講之頻率範 圍（50至4000赫）而言應視為可透過的。 如第2圖所示，該整合性攝影機與麥克風陣列2〇2是 希望置放在會議室桌204之中央。 該設計提供從任何特定發言人或聲源至所有麥克風的 一清晰路徑’且置放該麥克風靠近桌面以避免聲音從該桌 反射之多重路徑問題。此外，該設計會將攝影機從桌面升 高，因此提供所有與會者的一正面或接近正面之影像。 該整合性全向攝影機與麥克風陣列確保一良好聲束形 狀’可藉由過濾而只留一方向之聲音而改進發言者之聲音 品質。再者’該攝影機與麥克風之整合性本質係優點，因 為其消除了重覆校正之需要。由於攝影機與麥克風被整合 成一單一裝置，只需要一次初始化校正。同時，由於該攝 影機與麥克風可以是一精簡、固定設計，其比二分離之攝 16 200401943 影機與麥克風（在1 減少干擾。 3.3 系統組件 整合性全向攝 第3A與3B圖。 一圓桿304、一麥 放大器3 1 0與一類 3.3.1全向攝影機 目前有各種全 式，其中多個視頻 起。另一全向攝影 之雙曲線鏡頭的單 與麥克風陣列設計 影機頭部302足夠 面時不會干擾。 如果是使用一 數個攝影機或視頻 器最好是以背對背 等角距離分散。例 相鄰感測器隨45 >! 時，也可能包含不 況會如同在一矩形 4桌上需要分開之電纜與額外 影機與麥克風陣列的一具體實施 二設計中之組件包括一全向攝影拍 克風基座306、麥克風3〇8、一麥 比對數位（A/D)轉換器（未顯示）。 向攝影機技術。這些包括一攝 感測器是以背對背方式緊密地封 機型式包含一具有一可捕捉3 6〇 一視頻感測器。本發明之整合性 可使用任何此類全向攝影機。最 小，以致當設置於一會議室桌或 多個感測器攝影機之組態，則可 感測器。較佳之數目為8個。這 方式置放，使得各感測器之投影 如使用8個感測器，則各感測器 [。然而，如果需要以不同距離捕 同鏡頭與不同攝影機佈置。例如 或橢圓形會議桌。具有較長、較 間）會 例示於 302 ^ 克風前 影機型 裝在一 度光線 攝影機 好該攝 其他表 包含複 些感測 t心是 將是與 捉影像 ，此情 窄規野 17 200401943 之鏡頭可用於較長距離，而較寬、較短視野之鏡頭可用以 捕捉在短距離之影像。在此情形下該攝影機感測器可能不 是等向地繞該攝影機頭部置放。具有較寬視野之攝影機感 測器可置放於比具有較窄視野之攝影機感測器要更遠。或 者，可使用具有一可變視野（可旋轉縮小或放大以調整一特 定位置）之攝影機。 本發明一有效具體實施例（如第4圖所示）使用一精簡 型多個感測器設計，其中多個微型感測器402是以背對背 方式繞一圓形攝影機404頭部之圓周設置。攝影機404之 底部最好具有吸音材料以避免發生聲音從桌子反射至攝影 機至麥克風。在此具體實施例中使用8個攝影機感測器。 此精簡型設計（其中該攝影機感測器是以背對背方式緊密 地封裝在一起）改進了影像聯結。在此具體實施例中，攝影 機頭4 04是約50毫米寬，而連接該攝影機頭至基座之圓桿 4〇6是約250公分高。以此高度置放攝影機404可使其獲 得所有與會者之正面影像。或者，攝影機頭404可低於此， 而攝影機感測器402可稍微朝上。此也使得攝影機較少受 干擾。 3-3.2 請參考第3A與3B圖中之具體實施例，該全向攝影機 3 〇2係附接至一較佳是中空之圓桿304,其係附接至一麥克 風基座306。該圓柱直徑（D1)應足夠薄，以使圓柱304在 聲音上對希望使用之相關頻率是可透過的。最好該攝影機 18 200401943 電纜是通過圓柱3〇4，以致不會造成任何額外的 礙。圓柱高度（H1)應足夠高以提供每一個繞著合議 人士的一正面影像，但不應太高以致造成對攝影 擾。該圓柱高度視需要應可調整。例如在一視訊會 中’該圓柱高度可調整以考慮各種桌子及參與者^ 請再參考第3A與3B圖中所示之有效具體實^ 柱3 04具有2公分或更少之直徑（D1),其可容許參 4000赫之聲頻（相對於人聲）通過該圓桿，基本上不 任何發言之與會者至基座内之所有麥克風。在此具 例中，該圓桿高度（H1)係14公分。 3·3·3 Μ 通常，麥克風基座是支撐該麥克風、麥克風前 及A/D轉換器。其連接該圓桿且提供一攝影機電纜 座該麥克風基座具有較低輪廓，以使桌面與麥 之距離最小。此基座提供從各麥克風至與會者間一 徑。 在第3Α與3Β圖中所示之整合性攝影機與麥克 之有效具體實施例中，麥克風基座306之直徑D3 2頭302之直徑〇2寬。此提供該整合性全向攝 是I陣列穩定性’避免其易於被碰倒。基座之高 足象I小。此尺寸最好是足夠低以保持該嵌入麥 令Λ近桌面以避免多重路徑問題，但需夠高以 風 3 〇 8 ώ 苷 入土座内。對於此有效具體實施例，D 3 聲音障 桌坐之 機之干 $義應用 度。 k例，圓 丨50至 平擾從 體實施 放大器 之連接 克風間 直接路 風陣列 是比攝 影機與 度（H3) 風308 許麥克 .16公 19 200401943 刀H3是15公分、H2是6公分而D2是ι〇公分。 3.3·4 所使用之麥克風可為全向或單向，但全向麥克風是較 因為其等對所有關注之聲音角度均可獲得一致的響 〜⑥求麥克風之最少數量為3，雖然本發明之具體實施 使用8個以增加聲源定位準確性、較佳聲束形成與整體 聲頻系統之強健性。 _ 為減低桌面雜訊，麥克風可裝設在一橡皮殼體内，且 隔音器可置放於該麥克風下用於相同之目的。 再明參考第3Α與3Β圖所示之有效具體實施例，麥克 疋繞該平面麥克風基座306上一圓之圓周等向置 放在此具體實施例中包含8個麥克風308。一般而言， 使用愈多麥克風，全向聲頻涵蓋性與信號雜訊比愈佳。然 而 須考量較多麥克風之成本與複雜性。此外，愈多麥克 、】處理該聲頻信號變得愈複雜。在第3Α與3Β圖所示之 1 /、體實施例中，從圓柱3 〇 6中心至各麥克風3 〇 8中心 之距離（D5)是7公分。 Ο λ • ·5 風前放大器，A/D轉換器 該麥克風前放大器310與類比對數位（A/D)轉換器（未 顯示）最好是整合於麥克風基座3 06内，如第3B圖所示。 在此具體實施例中，前放大器310之寬度（D4)是5.901公 刀。該麥克風前放大器放大來自於麥克風之信號，以標準 20 200401943 化該信號幅度供後續A/D轉換器使用。該a/d轉換器轉換 來自於攝影機之類比信號成為數位。 在此具體實施例中，來自麥克風之信號的信號取樣是 彼此同步於丨毫秒内，以有助於聲源定位與聲束形成。 3.4隱私模式 其正常彳呆作模式時開 該攝影機可使用一鏡頭遮蓋， 當在隱私模式時， 機可與電子系統分 ，該等麥克風最好 打開讓使用者知道 時燈會關閉。 啟’而在隱私模式時關閉。另一選擇θ 攝影機感測器之快門可關閉或是該攝$ 離以關閉該攝影機。當遇到隱私模式^ 也關閉。在記錄時，攝影機上的一燈會 攝影機在操作中。當攝影機在隱私模式

. U 各種整合性全向攝影機盥來 眚Μ w h m/ …麥克風陣列設計之替代具體 實施例均係可行。此部份 m "疋由於該系統之模組化本質。 例如，可包含各種攝影 例1心异體實施例。A 一且艚眚 施例中，使用之全向攝影 &例I具體實 ^ ^ ^ 360 ^ ^ 匕3多個視頻感測器以達到攝 衫機之360度涵蓋。或者在本 使用一全向摄與攙甘 具體實施例中，會 360度光蟯視頻感測器與一可捕捉來自 36〇度先線的雙曲線鏡頭以達到涵 影機設置可由其等自杆你 景再者，該荨攝 八 使用（升高至該聲音可透逬之圓桿 上)以提供與會者之正面 #曰了透過之圓柃 風陣列整合。另—選擇θ $料攝影機彳與-麥克 、疋其他全向攝影機設置也可用以結 21 200401943 合該圓桿及/或麥克風陣列。 同理，可包含各種麥克, 該麥克風陣列是由等距離圍Γ具體實施例中， 儘可能接近桌面，以達 π ®形之圓周上且 的各麥克風所t成 4内任何發言者的—清晰路徑 合-全向攝影機設置：麥，其他使用該聲音可透過圓桿整 用前文討論之么 向麥克風陣列而無須任何攝影機以達成最 佳36〇度的聲音 日⑨蓋。此涵蓋對於聲源定位與聲束 別有用，因為可I "丄、 *、、、了最小化或消除多重路徑之問題。 在整口 1±攝影機與麥克風陣列之一具體實施例中，影 像聯結與屋縮4 + ' 、、疋在一 P C上施行。一替代具體實施例是在 呈有.一 八一琢可程式化閘陣列（FPGA)或其他閘陣列之攝影機 中行〜像聯結與壓縮。該設計使用一 u S Β介面以建立攝 影機盘p p ^ . ^ L之介面，且提供該PC更多CPU循環以進行其 他工作’譬如影像壓縮及記錄/廣播該會議。 5·0 具體實施例 包含本發明之攝影機502與麥克風陣列504之一有效 具體實施例如第5圖所示。攝影機502之數位影像輸出與 麥克風陣列504之聲音輸出會經由一類比對數位轉換器 506之路徑進入電腦508。電腦508施行各種功能以加強且 使用該影像與聲音輸入。例如，一全景過濾器模組5 1 0會 將在全向攝影機502内各種感測器所取得之影像聯結。此 外’該影像資料可經一壓縮模組5 12壓縮以使其更相容供 22 200401943 儲存在一電腦可 。視需要該影像 522以改進攝影 透過一網路（譬如網際網路）廣播514,或 讀媒體516中（最好是經由一分割器52〇) 貝料也可輸入一個人偵測器/追蹤器模組 含有該發s者影像/视頻之部份可經識 機管理524。例如 別（且連結該聲頻信號、，播謂由吉士亡4t / ^ ^;便付田1接指向該發言者之攝影 機/感測器捕捉之影像會被廣播或儲存於碟片。 該聲頻輸入也可用於各種目的。例如，該聲頻可被輸 入至一聲源定位模組526,使得來自發言者之聲音可被隔 離。此外，一聲束形成模組528可用於電腦508中以改進 該聲頻之聲束形狀。一雜訊減低與自動增益控制模組530 也可藉由減低該雜訊與調整該增益，以更佳地捕捉來自一 發言者之聲頻信號（而非室内之背景雜訊），而改進該信號 對雜訊比。 如上述，該視頻或聲頻信號（不論是否經加強）可被廣 播至另一視訊會議地點或網際網路。其等也可被餘存至一 電腦可讀媒體供後續觀看。 上文所呈現之本發明說明僅用於示範與說明之目的。 本發明不希望被視為亳無遺漏或使本發明受限於所揭示之 精確形式。例如，上述整合性攝影機與麥克風陣列之具體 實施例可應用於一監視系統。根據上述教示將可以有許多 修改與變化。因此希望本發明範缚之限制不在於此詳細說 明，而是依據隨附之申請專利範圍。 【圖式簡單說明】 23 200401943 本發明之特定特色、觀點與優勢可參考以下說明、隨 附申請專利範圍與圖式而更佳暸解，其中： 第1圖係描述構成實施本發明之代表性系統的一般計 算裝置之圖式； 第2圖係描述該整合性攝影機與麥克風陣列在一會議 桌上之較佳位置的圖式； 第3A圖係該整合性攝影機與麥克風陣列之一具體實 施例的側視圖； 第3B圖係第3A圖中所示該整合性攝影機與麥克風陣 列之具體實施例的上視圖； 第4圖係該整合性攝影機與麥克風陣列之另一具體實 施例的立體圖； 第5圖係本發明使用電腦以加強所捕捉視頻與聲頻資 料的一有效具體實施例。 【元件代表符號簡單說明】 100電腦系統 120處理單元 1 3 0系統記憶體 132隨機存取記憶體 1 3 5應用程式 1 3 7程式資料 1 4 1硬碟驅動器 1 4 5應用程式 11 0電腦 1 2 1系統匯流排 1 3 1唯讀記憶體 1 3 4操作系統 1 3 6其他程式模組 140介面 144操作系統 1 4 6其他程式模組 24 200401943 147程式資料 1 5 1磁碟驅動器 1 5 5光碟驅動器 160使用者輸入介面 162鍵盤 164影像 1 7 0網路介面 172數據機 1 8 0遠端電腦 190視頻介面 192攝影機 195輸出周邊介面 19 7 11 刺队 204會議桌 304圓桿 308麥克風 402感測器 502全向攝影機 506 A/D轉換器 5 1 0全景過濾器模組 5 1 4網路 520分割器 524管理 5 2 8聲束形成模組 介面 磁碟 光碟 滑鼠 攝影機 攝影機介面 區域網路 廣域網路 遠端應用程式 螢幕 攝影機介面 列表機 整合性攝影機與麥克風 全向攝影機 麥克風基座 麥克風前放大器 攝影機 麥克風陣列 電腦 壓縮模組 電腦可讀媒體 人員偵測器/追蹤器模組 聲源定位模組 雜訊減低與自動增益控制模組 25

Claims (1)

1. 200401943 拾、申請專利範圍： 1. 一種用於捕捉聲頻與視頻資料之系統，至少包含： 一或多數捕捉視頻影像資料之攝影機； 一捕捉聲頻信號之麥克風陣列；及 一將該一或多數攝影機連接至該麥克風陣列之圓柱， 該圓柱對人聲之頻率範圍内係聲音可透過。 2. 如申請專利範圍第1項所述之系統，其中該一或多數攝 影機捕捉超過360度之影像。 3. 如申請專利範圍第1項所述之系統，更包含一麥克風陣 列基座，且其中該等麥克風是裝設於該麥克風基座上。 4. 如申請專利範圍第3項所述之系統，其中該麥克風陣列 基座之高度是足夠小以定位該麥克風，以使該陣列從任 何表面拾取之聲音反射最小。 5. 如申請專利範圍第1項所述之系統，其中該圓柱對聲音 可透過之頻率範圍是50至4000赫。 6. 如申請專利範圍第1項所述之系統，其中該等聲頻信號 是輸入一電腦，該電腦使用該等聲頻信號用於聲源定 位，該聲源定位決定產生該等聲源信號之聲音的方向。 26 200401943 7.如申請專利範圍第1項所述之系統，其中該等聲頻信號 是輸入一電腦，該電腦使用該等聲頻信號用於聲束形 成，該聲束形成藉由過濾來自於所有其他方向之聲音改 進來自一方向之聲音的品質。 8 ·如申請專利範圍第1項所述之系統，其中該等聲頻信號 是輸入一電腦，該電腦使用人類偵測與追蹤演算法以準 確地偵測已捕捉在該視頻影像資料中之一人，且將該人 之該視頻影像資料與由該人發言所產生之該等聲頻信 號產生關聯。 9 ·如申請專利範圍第1項所述之系統，其中該視頻影像信 號是輸入一電腦，該電腦使用該視頻影像資料將影像聯 結在一起。 1 0 ·如申請專利範圍第1項所述之系統，其中在該麥克風陣 列中之麥克風是全向性。 1 1.如申請專利範圍第1項所述之系統，其中在該麥克風陣 列中之麥克風是單向性。 1 2.如申請專利範圍第1項所述之系統，其中該麥克風陣列 27 200401943 至少包含三麥克風。 1 3.如申請專利範圍第1項所述之系統，其中該麥克風陣列 至少包含八麥克風。 14.如申請專利範圍第1項所述之系統，其中該麥克風陣列 至少包含等向置放於繞一平面麥克風基座之該圓周的 一圓上之複數個麥克風。 1 5 .如申請專利範圍第1 4項所述之系統，其中至少一麥克 風是裝設於一橡皮殼體中以保護其免於無關的聲音反 射。 1 6.如申請專利範圍第1 4項所述之系統，其中該隔音器是 置於至少一麥克風下以保護其免於無關的聲音反射。 1 7.如申請專利範圍第1項所述之系統，其中該攝影機更包 含一鏡頭蓋，當在一正常操作模式是朝上而在隱私模式 則朝下。 1 8.如申請專利範圍第1 7項所述之系統，其中當該攝影機 是在該隱私模式作用時會關閉該等麥克風。 28 200401943 1 9.如申請專利範圍第1項所述之系統，其中當該攝影機作 用時在攝影機上的一燈會亮起。 2 0.如申請專利範圍第1項所述之系統，其中該等聲頻信號 是透過一網路傳遞。 2 1 ·如申請專利範圍第1項所述之系統，其中該等聲頻信號 是儲存至一電腦可讀媒體。 22.如申請專利範圍第1項所述之系統，其中該等視頻信號 是透過一網路傳遞。 2 3 ·如申請專利範圍第1項所述之系統，其中該等視頻信號 是儲存至一電腦可讀媒體。 2 4.如申請專利範圍第1項所述之系統，其中該等視頻信號 是使用一 1 3 94匯流排傳輸至一電腦。 2 5.如申請專利範圍第1項所述之系統，其中該等聲頻信號 是使用一類比電纜傳輸至一電腦。 2 6.如申請專利範圍第1項所述之系統，其中該等攝影機是 IEEE 1 394攝影機。 29 200401943 2 7.—種用於電話會議與會議記錄之捕捉視頻與聲頻的方 法，至少包含下列步驟： 以一全向攝影機捕捉在會議中的一人之影像； 以一麥克風陣列捕捉發生在該會議之聲音的聲頻信 號，該麥克風陣列被容置於一以聲音可透過之桿連接至該 全向攝影機的基座中。 28 ·如申請專利範圍第27項所述之方法，其中該麥克風陣 列是置放於一桌上且其中在該會議中之該等人是圍繞 該桌坐著》 29. 如申請專利範圍第28項所述之方法，其中該麥克風陣 列是儘可能靠該桌，使得來自於該桌被該陣列拾取之反 射聲音最小。 30. 如申請專利範圍第27項所述之方法，其中該麥克風陣 列至少包含三或更多之麥克風。 3 1 ·如申請專利範圍第3 0項所述之方法，其中該麥克風陣 列至少包含平均分佈於與該麥克風基座之該圓周相鄰 的一圓内之麥克風。 30 200401943 32.如申請專利範圍第27項所述之方法，其中該全向攝影 機至少包含多數視頻感測器。 3 3.如申請專利範圍第32項所述之方法，其中該等視頻感 測器是平均分佈於圍繞一圓之該圓周。 3 4.如申請專利範圍第27項所述之方法，其中該全向攝影 機至少包含一具有從3 60度捕捉光線的一雙曲線鏡頭 之單一視頻感測器。 35·如申請專利範圍第27項所述之方法，其中該聲音可透 過之桿是中空的。 3 6.如申請專利範圍第27項所述之方法，其中該聲音可透 過之桿是附接於一麥克風基座，且其中攝影機電纜通過 該聲音可透過之桿，因此該等電纜不會造成聲音障礙。 37. 如申請專利範圍第27項所述之方法，其中該聲音可透 過之桿的外徑是2公分或更少。 38. 如申請專利範圍第27項所述之方法，其中該聲音可透 過之桿具有一直徑以容許從50至4000赫之聲頻（相對 於人聲）通過該圓桿，實質上不平擾從一人朝向該麥克 31 200401943 風陣列内所有麥克風之發言。 3 9.如申請專利範圍第27項所述之方法，其中該桿之高度 是可調的。 4 0. —種整合性全向攝影機與麥克風陣列，至少包含： 一全向攝影機； 一升高該攝影機以提供最佳攝影機涵蓋之聲音可透過 桿；及 一麥克風陣列。 41.如申請專利範圍第40項所述之整合性全向攝影機與麥 克風陣列，其中該全向攝影機包含多數視頻感測器以達 到360攝影機涵蓋。 42 ·如申請專利範圍第40項所述之整合性全向攝影機與麥 克風陣列，其中該全向攝影機包含一視頻感測器與一從 3 6 0度捕捉光線的一雙曲線鏡頭以達到涵蓋全景。 43.如申請專利範圍第40項所述之整合性全向攝影機與麥 克風陣列，其中該聲音可透過之桿升高該攝影機以提供 圍繞一桌坐之人員的一正面影像。 32 γί r .1 λ 200401943 44·如申請專利範圍第4〇項所述之 楚合性全向摄影機襄 克風陣列，其中該麥克風陣列至少 — ίϋπ 包含複數個由等涵 圍繞一圓形之該圓周置放的麥 4 5 .如申請專利範 克風陣列，其 能地靠近該表 中該麥克風陣列是 面以使從該表面之 座落於一表面上，儘 聲音反射最小。 46·如申請專利範圍第41 又整合性全向攝影機 ^ 有較長較卡視野之視頻感測器 以捕捉在較長距離處之影像， 有較寬、較短視 視頻感測器可用以捕捉在短距離處之影像。 麥 離麥麥 用 之 47·一種全向麥克風陣列，至少包含： 複數個等距置放在-圍繞一平面麥克風基座 的一圓上之麥克風；且其中 該麥克風基座是足夠低以定位該麥克風陣列 該陣列從該麥克風基座座落之任何表面所拾取之 最小。 之該圓 ，使得 聲音反 48·如申請專利範圍第47項所述之麥克風陣列，其中由 等複數個麥克風捕捉之聲頻信號會輸入一電腦，該電 使用該等聲頻信號用於聲源定位，該聲源定位決定產 周 由 射 該 腦 生 33 200401943 該等聲源信號之聲音的方向° 49·如申請專利範圍第47項所述之麥克風陣列 等複數個麥克風捕捉之聲頻信號會輸入一屬 使用該等聲頻信號用於聲束形成’該聲束形 來自所有其他方向之聲音以改進來自一方 質。 5 0 ·如申請專利範圍第4 7項所述之麥克風陣列 麥克風陣列中之該等麥克風是全向性。 5 1 ·如申請專利範圍第47項所述之麥克風陣列 麥克風陣列中之該等麥克風是單向性。 52♦如申請專利範圍第47項所述之麥克風陣列 克風陣列至少包含八麥克風。 5 3 ·如申請專利範圍第47項所述之麥克風陣列 一麥克風是裝設於一橡皮殼體中以保護其 聲音反射。 54·如申請專利範圍第47項所述之麥克風陣列 器是置於至少一麥克風下以保護其免於無 ’其中由該 腦，該電腦 成藉由過濾 向之聲音品 ，其中在該 ，其中在該 ，其中該麥 ，其中至少 免於無關的 ，其中隔音 關的聲音反 34 200401943