TWI311286B - - Google Patents

Description

1311286 九、發明說明： 【發明所屬之技術領域】 本發明係關於控制具有改變攝像方向之驅動裝置之攝像 機之攝像範圍之攝像機控制裝置、具有此攝像機控制裝置 之攝像機糸統、電子會議系統及攝像機控制方法，特別係 關於提高改變攝像機之攝像方向之操作之方便性之攝像機 控攝像機系統、電子會議系統及攝像機控制方法。 【先前技術】 *近年來，可透過通信線路互相發送及接收會議中之集音 聲音及攝像圖像之信號，在遠程相隔兩地開會之視訊會^ ^備受注目。在此«統中，最好可對發言人攝像而將 ”圖像信號發送至對方側，但為達成此目的，有必要利用 人為操作轉換攝像機，或將攝像機朝向發言人側攝像。 另-方面’由圖像信號自動辨識人物等之技術已逐漸被利用 於各式各樣之裝置中。例如’如美國公開專利n。㈣Μ· 所揭示’有-種動‘態圖像監㈣置’可由在攝像機之攝像 ^虎中時間上鄰接之2賴間之差分檢测出人物等之移動 體，使攝像機之攝像方向，以追縱該移動體。又，如英國 公開專利N。. 2,343,945所揭示，也有—種攝像裝置，可檢 測並追縱攝像範圍内之人物之臉部’且預先記憶其臉部之 特徵.資訊’比較其後所攝像之人物之特徵資訊與所記憶之 特徵資訊，而對危險人物發出警報。 [發明所欲解決之問題] 而’在上述之視訊會議系統中，最好可藉簡單操作，或 I06437.doc 1311286 成此目的㈣號發送至對方側。為達 之攝像播’ Γ使用具有改變攝像機之攝像方向用之機構 之=;建藉電子控制而使攝像機朝向發言者之方向 ==採用徐徐改變攝像機之攝像方向及變焦 乍方法時，為迅速移動攝像方向，將發言者確實 t旦面t央，已成為對操作者造成大負擔之問題。又， 該位置資訊，以自動地對各俊::按㈣作等讀出 簡單。但，為達成此目的，在其操作將較為 愔祺士土 在系、冼使用刖，有必要事先記 心a 5者之位置，故有操作麻煩之問題。 不必1月^皿於此種問題點所研發而成，其目的在於提供

〜人物之攝像方向之登錄操作，而可藉簡單之操 作利用攝像機確實攝像$I 制裝置。中之1個人物之攝像機控 ^ ’本發明之另-目的在於提供不必施行各人物之攝像 夕=登錄操作’而可藉簡單之操作利用攝像機確實攝像 夕人物中之1個人物之攝像機系統。 =外’本發明之另-目的在於提供具備不必施行各人物 方向之登錄操作’而可藉簡單之操作利用攝像機確 :攝像多數人物中之!個人物之攝像機系統之電子會議系 又’本發明之另-目的在於提供不必施行各人物之攝像 :向之登錄操作’而可藉簡單之操作利用攝像機確實攝像 多數人物中之1個人物之攝像機控制方法。 106437.doc I3U286 【發明内容】 為解決上述問韻 , 控制具備使攝像方向變化:::::攝像機控制裝置係在 之攝像機控制裝置中…〜纟置之攝像機之攝像範圍 機之攝像對象之多數人7疋憶部’其係將作為前述攝像 範圍之中央部時夕 臉部位於前述攝像機之攝像 、夺之臉部方向資訊依照各摄德盤金+ . 以記憶者；臉部位置檢测部接人勿加 像信號檢測人物之臉部…，、剛达攝像機之攝像圖 部位置檢測部八係依據刖返臉 方向之資訊算出前:::方二現在之前述攝像機之攝像 :操:=:Γ其係由!述記憶部讀出對應二 部方之人物之别34臉部方向資訊，依照該臉 變驅動裝置而使前述攝像機之攝像方向 對象之：攝:象機“lj裳置中，記憶部記憶對應於作為攝像 …各人物之臉部方向資訊，驅動控 對應於使用者之操作輸入所指定之人物之臉部出 ==方向資：制驅動裝置，，只要利用使用 心广例如心疋人物’即可自動地改變攝像 像方向，使被指定之人物之臉部位於晝面之中央。又攝 部位置檢測部由攝像機之攝像圖像信號檢測勿^’臉 置，豆錄部依據其檢測結果與表示現在之攝像機之攝 ::資訊算出臉部方向資訊而登錄於記憶部。因此，= 動地將對應於被攝像之人物之臉部方向資訊登錄於記憶 I06437.doc 1311286 • > 部。 像Γ向明所提供之攝像機控制方法係在控制具備使攝 制方:中，ίΓΙ装置之攝像機之攝像範圍用之攝像機控 3檢測步驟，其係&前述攝像機之攝 信號檢測人物之臉部位置 ^像 測步驟之檢測社果盘夺―Η 其係依據前述檢 資訊”作/ 前述攝像機之攝像方向之 “作為前述攝像機之攝像對象之多數人物之各臉部 位於前述攝像機之攝像範圍之中央部時之臉部方向 依照被檢測之各人物登次土 其係由前述資料庫、對麻庫者，及驅動控制步驟， 人物C ㈣應於使用者之操作輸人所指定之 物之刖述臉部方向資訊， 驅動裝置而使前述攝像機之摄臉4方向貧_前述 J <僻像機之攝像方向變化者。 在此種攝像機拷岳丨丨士 為攝像對象之各人I用登錄步驟，將對應於作 之臉部方向資訊記憶於資料庫，利用 驅動控制步驟，由資粗庙被 ^ . 枓庫續出對應於使用者之操作輸入所 才日疋之人物之臉部方向 動茫 貧讯，依照該臉部方向資訊控制驅 勒衣罝。因此，只I女丨田v± m 1 J用使用者之操作例如指定人物，即 可自動地改變攝像機之攝像 位於晝面之中央q w D使被才曰疋之人物之臉部 傻广节於、s丨、，’用檢測步驟，由攝像機之攝像圖 像t 5虎檢測人物之臉ώ ™ ^ _ ，在登錄步驟，依據其檢測結 郊…… 像機之攝像方向之資訊算出臉部方向資 物且…己憶部。因此’可自動地將對應於被攝像之人 物之臉部方向資訊登錄於資料庫。 人 [發明之效果] I06437.doc 13 Π286 t 队像本發明之攝像機控制裝置，由於記憶部記憶對應於 作為攝像對象之各人物之臉部方向資訊，驅動控制部由記 憶部讀出對應於使用者之操作輸入所指定之人物之臉部方 向資訊，依照§亥臉部方向資訊控制驅動裝置，因此，只要 利用例如指定人物之簡單之操作輸入，即可自動地改變攝 像機之攝像方向，使被指定之人物之臉部位於晝面之中 =又’由於臉部位置檢測部由攝像機之攝像圖像信號檢 谋人物之臉部位置，登錄部依據其檢測結果與表示現在之 象機之攝像方向之資訊算出臉部方向資訊而登錄於記憶 :’因此’可自動地將對應於被攝像之人物之臉部方向資 说登錄於記憶部，而不必 ' 之登錄操作。 事先施仃各人物之臉部方向資訊 攝==之攝:機控制方法，由於將對應於作為 動控制牛驟 t臉邛方向資訊記憶於資料庫’利用驅 定之資料，對應於使用者之操作輸入所指 裳置，因此，只要利用例如指定人膝^#訊控制㈣ 即可自動地改變攝像機 ：間早之操作輸入’ 部位於畫面之中央。又：：方向，使被指定之人物之臉 攝像圖像信號檢測人物之臉部::用置檢：步驟，由攝像機之 檢測結果與表示現在之攝像機傻在登錄步驟，依據其 ., 辦像機之攝像方向之眘邙营φ私如 方向資訊而登錄於記憶部，因 貝 像之人物之臉部方向資訊,^ .自動地將對應於被攝 、D且录於資料庫，而不必事先施行 各人物之臉部方向資訊之登錄操作。 W事先^丁 106437.doc 1311286 【實施方式】 以下’參照圖式詳細說明本發明之實施型態。在以下之 說明中，假想將本發明適用於使用在視訊會議系統之攝像 機系統之情形。 <第1實施型態> 圖Η系表示第1實施型態之攝像機系統之系統構成之圖。

圖1所示之攝像機系統係利用1台攝像機1〇拍攝出席會議 之多數人物用之之攝像機系統。此系統具備有附有變Ζ機 能之攝像機10、改變攝像機10之攝像方向之攝像機座台 20、控制攝像機座台2〇之動作之攝像機控制裝置、接收 來自遙控器4〇a之紅外線信號之紅外'線受光部4〇、、統—控制 整個系統之CPU 50、顯示攝像圖像等之顯示器6〇、及:圖 像信號壓縮編碼之圖像編碼器7〇。

攝像機10係藉攝像機座台20使其攝像方向向水平方向7 垂直方向變化，且可藉來自cpu 5G之控制信號（變焦命^ 控制變焦鏡頭之焦距。又，此攝像機10係將攝像之圖師 號供應至攝像機控制裝置30。攝像機座台2 二 制裝置30接收指示對水平方向，垂直方向之攝像= 制身峨述之Pdeg，Tdeg)，刚該等值執行驢； 向攝像機控制農置30通知現在之pdeg，Tdeg值。 可 攝像機控制裝置30係依照來自CPU 50之對水 仰攝像動作之操作命令控制攝像機座台2 。攝像/俯 像機10之攝像圖像信號供應至顯示_ 且將攝 ^ T ^ Α. 鬩像編碼器70。 、 卜，攝像機控制震置3G並具傷作為資料庫而 106437.doc -10- 1311286 ( · · » '、寺有夕數人物之臉部位置’控制攝像機座台2〇及變焦動 作使其可依照操作合八w立目— ^ f P 7以規疋之大小自動地拍攝任意臉部 幾^ &由攝像機1 〇之攝像圖像信號辨識人物之臉部， 將其位置資訊登錄/更新於f料庫之機能。❿，由於該等機 月^攝像機座台20可取得現在之Pdeg，㈣值，且由CPU 5〇 取传現在之變焦動作之控制值（後述之zd⑻，將心值輪 出至CPU 50,以控制攝像機1〇之變焦動作。 • 紅外線受光部4°係由遙控器術接收用以控制攝像機座 台2〇之驅動及攝像機10之變焦機能之紅外線信號，將對應 於此等之鍵操作信號供應至CPU5“ cpU5Q依照鍵操作信 號將對水平攝像/俯仰攝像動作之操作命令，並將變焦控制 信號輸出至攝像機10，以控制攝像機座台2〇之旋轉動作及 攝像機10之變焦動作。又，有時也依照來自攝像機控制裝 置3 0之Zdeg控制攝像機1〇之變焦動作。 顯示器60係接受攝像機1〇之攝像圖像信號而顯示在會議 _ i等之現在之攝像圖㈣。圖像編碼器7〇係將來自攝像機 控制裝置30之攝像圖像信號嚴縮編碼而產生圖像流。所產 生之圖像流係與同時在會議室所集音之聲音流共同被未圖 示之發送裝置多工化而透過通信線路發送至遠地之會議 室，在接收側之會議室中即時再生在發送側之會議室之圖 像及聲音。X’在遠地之會議室所攝像.集纟之圖像及聲音 之串流係被未圖示之接收裝置所接收，並分別在顯示器6〇 及揚聲器同時再生被解碼後之圖像及聲音，藉此，遠地之 會議室可彼此一面看畫面，一面開會。 106437.doc • 11 - 1311286 圖2係表示攝像機控制裳置w 制用之機能之區塊圖。 -備之攝像機控 如圖2所示，攝像機控制裝置3〇係具 3卜臉部辨識模組3 I位置貝科庫 巫值 ㈣庫更新模組33、資料庫檢索模 . 7攝像/俯仰攝像控制部35。又’ CPU 50係具備 有控制部5 1、PT2 /Sir亚4a /a ^ (水千攝像、俯仰攝像、變焦）命令控制 邛52、Move_Next命令控制部53。

^位置資料庫31係依照各出席者分別記憶以特定大小 旦面中央映現會議出席者之臉部時之攝像機座台2〇之旋 轉動作及攝像機1()之變焦動作之控制資訊之資料庫。此於 制資訊如後面圖3所示，係由以角度形式表示對水平及垂直 之攝像機1〇之攝像方向、與攝像機1〇之變焦動作狀態之資 料（Pdeg，Tdeg，Zdeg)所構成。 臉部辨識模組32係由㈣機1G所攝像之數位圖像信號， 利用辨識技術檢測人物之臉部位置’算出座標形式之臉部 位置資訊（Ppx，Tpx, Zpx)。 資料庫更新模組33係將臉部辨識模組32算出之座標形式 之臉部位置資訊（Ppx, Tpx，Zpx)變換成角度形式，登錄於臉 部位置資料庫31。又，在攝像機10之攝像動作中，也可依 據來自臉部辨識模組32之臉部位置資訊隨時更新臉部位置 資料庫3 1之内容。 >料庫檢索模組3 4係利用臉部位置資料庫3 1之記慎資訊 控制攝像機10之攝像方向及變焦動作用之機能區塊。此資 料庫檢索模組34係依照來自Move—Next命令控制部53之方 106437.doc -12- 1311286 °八資fc &臉部位置資料庫3 i抽出對應於位於現在攝 像中之出席者隔壁之出席者之臉部位置資訊㈣％，丁㈣， g)依‘、、、》亥資矾，經由水平攝像/俯仰攝像控制部Μ及變 焦控制部51控制攝像方向及變焦動作。

水^攝像/俯仰攝像控制部35係依照來自ρτζ命令控制部 ^乍ρ 7，或依照來自資料庫檢索模組34之控制資訊 (,§’ deg)，將控制信號輸出至攝像機座台2〇而控制其水 、’攝像俯仰攝像動作。同樣地，變焦控制部Μ係依照來自 PTZ命令控制部52之操作命令，或依照來自資料庫檢索模粗 34之控制資訊㈤eg)，將控制命令輸出至攝像機1() 制其變焦動作。 …卩V控制。卩52係依照來自紅外線受光部40之鍵操作 k號而產生操作命令，將對水平攝像/俯仰攝像動作之命令 輸出至水平攝像7俯仰攝像控制部35,將對應於變焦動作: 命令輸出至變焦控制部51，。'如命令控制部53係同樣 依照來自紅外線受光部4Q之鍵操作信號而產生操作命令， 將其輸出至資料庫檢索模組34。 本實施型態之遙控器術係具備有使水平攝像/俯 p攝像之方向及變焦倍率徐徐變化用之ρτζ鍵、與利 位置資料庫指定鄰接於現在攝像中之人物之其他人物： 之方向之Move_Next鍵。 而’藉對PTZ鍵之輸入择竹，腺志_ , τ 徇钿作將表不水平攝像/俯仰攝後 之方向及變焦倍率之放大/縮小之鍵操作信號，透過 U部40供應至CPU 5〇’ ρτζ命令控制部52依照此等信號 i06437.doc -13- 1311286 發出PTZ命令。因此，水平攝德 人 象俯仰攝像控制部35依日s ΡΤΖ °㈠控制攝像機座台2G，使攝像機1心向徐徐變化’、又’ 變焦控制部5 1依照PTZ命令使搞後 大/縮小。 《攝像機1G之變焦倍率徐徐放 另-方面’藉對Move_Next鍵之輸入操作，將表干 方向之鍵操作信號，透過紅外fA 工各 χτ入 卜線文先部40供應至CPU 5〇， M〇ve_Next命令控制部53依照 任-方向一，t命令。因二 :”資料庫31抽出對應於鄰接於被指示之方向τ:= 至水平攝像/俯仰攝像控制部 “二:= 攝像鄰接之人物之臉部。 如此，細作M0ve_Next鍵時，攝傻 用簡單之操作由拍攝會議之出席者中之人之操作者可利 拍攝其他出席者之狀態，不需之狀態轉換至 手動調整攝像機!。之攝像方向及變:::顯示器6。’ -面 圖3係有關水平攝像/俯仰攝像/變焦動作之控 (Pdeg，丁deg，Zdeg)之說明圖。 二 5 在本實施型態中，利用以角声 _ 摄傻嬙丨ri你 角度式表示對水平及垂直之 τ攝二象機：術方向、與攝像機i。之變焦動作狀態之㈣ e g，e g表不水平攝像/俯仰攝像/變焦動作之控制資 讯。有關水平方向之旋轉動作（水平攝像動作），如圖3(A) 所示，將攝像機座么2〇之浐赭a A / 戈圓3(A) …… 度例如設定為最大⑽。， 將攝像機座㈣之旋轉“與所拍攝之 心點之直線之角度一-。)設定為水平攝㈣二 I06437.doc •14· 1311286 控制資訊（Pdeg)。同樣地，有關垂直方向之旋轉動作（垂直 攝像動作），如圖3(B)所示，將攝像機座台2〇之旋轉角度例 如設定為最大60。’將連結攝像機座台2〇之旋轉中心與臉部 之中心點之直線之角度㈠〇 〇。〜+3〇 〇。）設定為垂直攝像動 作之控制資訊（Tdeg)。 又，有關變焦動作之控制資訊（Zdeg)，如圖3(A)所示，係 以攝像機10之視角表示。在本圖中，將視角設定為

If〜45·〇°之_ ’其值愈小時，呈現愈接近望遠側之變焦 狀態，被照體愈會被放大。 匕專控制^訊被供應至控制水平攝像/俯仰攝像/變焦動 作之水平攝像/俯仰攝像控制部35及變焦控制部Η。同時， 記憶於臉部位置資料庫31之各人物之臉部位置資訊也成為 此等之角渡資訊之組（Pdeg，Tdeg，Zdeg)。又，臉部位置資 料庫3 1内之變焦動作之資訊例如係使用將人物臉部顯示滿 整個畫面時之視角。 其次，利用流程圖具體地說明此攝像機系統之動作。首 先，圖4係表示攝像機系統之整個處理流程之流程圖。 一面 將該 有關 [步驟sun]執行對部位置資料庫31之臉部位置資訊之自 動登錄處理。此處理係在開始使用攝像機系統之際，例如 利用CPU 5〇之控制’―面改變攝像機1G之攝像方向 利用辨識技術自動地辨識可攝像範圍内之人物臉部 等臉部位置資訊登錄於部位置資料庫3 i之處理。又 此處理，將在其次之圖5加以說明。 [y驟S 1 02]利用攝像機】〇輸出】鴨份之攝像圖像信號，待 106437.doc -15- 1311286 * » f . 機至臉部辨識模組32接收此信號為止。而，在接收此作號 之情形，進入步驟S103。 [步驟S1〇3]有等待執行之PTZ命令之情形，水平攝像/俯 仰攝像控制部35及變焦控制部5 1由PTZ命令控制部52接收 ptz命令，進入步驟S10〇無ρτζ命令之情形，進入步驟 S105。 [步驟S104]依照接收之ΡΤΖ命令，水平攝像/俯仰攝像控 _ 制部35控制攝像機座台2〇而使攝像機1〇之攝像方向變化】 步份，且變焦控制部51也使攝像機1〇之變焦倍率變化i步 份。此後，進入步驟S109。 [步驟S105]有等待執行之Move_Next命令之情形，資料庫 檢索模組34由M〇ve_Next命令控制部兄接收!^〇“—；^討命 令，進入步驟S106。無Move—Next命令之情形，進入步驟 S107。 [步驟S1 06]資料庫檢索模組34執行移動攝像機1〇之攝像 > 方向之處理’使其拍攝鄰接於命令指定之方向之人物臉 部。而，在處理結束後，進入步驟S109。又，有關步驟sl〇6 之處理’將在圖7再予以詳述。 [步驟S107]PTZ命令及Move__Next命令皆未接收到之情 形’由臉部辨識模組32及資料庫更新模組33執行利用現在 攝像中之範圍之圖像辨識之臉部位置資料庫3丨之更新處 理。又’有關此處理，將在圖6再予以詳述。 [步驟S 1 08]資料庫檢索模組34預先由更新後之臉部位置 資料庫3 1抽出現在攝像中之臉部之臉部位置資訊，以使該 106437.doc -16- 1311286 臉部位於晝面中心方式控制攝像機1〇之方向 上之臉部達到特定大小方式’控制變焦動作…在吏二 之處理中’由攝像中之晝面内辨識到多數人物之臉 ^月形，控制攝像機使其拍攝其中心值最接近書面内: 中心之臉部。以上之處理結束後，進入步驟si〇9。 = S1〇9]CPU50判定例如因電源切斷操作等而被要求 、、.α束處理，未被要求之情形，返回步驟Sl02。

在以上流程之處理中，係以在圖像信號之i㈣之同步期 垂直同步期間）執行對應於！個操作命令之處理作為例 。在接收到PTZ命令之情形，與其相對應地變更(步份之 水平攝像/俯仰攝像/變焦動作之狀態（步驟S1阶又，在接 收到Move—Next命令之情形，自動地控制水平攝像/俯仰攝 像/變焦動作，使其拍攝鄰接於被指定之方向之人物 位（步驟S 106)。 又’例如攝像機座台20之旋轉速度較慢，在拍攝鄰接之 臉部以前需要比垂直同步期間更長之時間之情形，也可在 其動作完畢以前之期間，保留執行對應於接收其次之命令 之處理及在步驟8107之資料庫更新處理之時間。 又在某疋時間之期間，皆未接收到pTZ命令及

Move-Ne_令之情形’即，攝像機1 〇之攝像方向及變焦鏡 頭停止之情形’依據當時之攝像圖像信號執行圖像辨識， 更新有關被攝像之範圍之臉部位置資料庫3 i内之記憶資訊 (步驟S107)。因此，在舍嗟々办上 仕會4之參加者之座位有移動及參加 人數有增減之情形等，可自動更新臉部位置資料庫3丄。 106437.doc 1311286 另外’依據更新之臉部位置資訊’修正攝像機1〇之方向 及變焦倍率而使攝像中之臉部移動至晝面中心（步驟 S108)。因此，攝像機Π)可追隨會議之參加者之細微之位置 移動而使臉部-直映現於畫面中心，冑高所產生之圖像之 :質’且可避免未拍攝到任何人之臉部之狀態，故不會發 送無謂之圖像信號。 、圖5係表示臉部位置資料庫31之自動登錄處理之流程之 流程圖。 [步驟咖]水平攝像/俯仰攝像控制部Μ將表示攝像機ι〇 之攝像方向之攝像機座台20之控制值設定於初始值。例如 將攝像機10控制成朝向攝像範圍之最左上。又，在此處理 中^變焦控制部51控制攝像機10使其成為最廣角側之變焦 [步驟S2G顺部辨識模組32及資料庫更新模組33利用有 關現在攝像中之範圍之圖像辨識執行臉部位置資料庫η之 更新處理。在此，新_有„應之範圍之臉部位置資訊。 又’此步_之處理相同於圖4之步驟si〇7,在其次之圖 6中再詳加說明。 # [步驟S2G3]水平攝像/俯仰攝像㈣部35對可攝像之所有 祀圍，施行利用圖像辨識之臉部位置檢測，以判定已否更 新臉部位置資訊。古土 有未施行圖像辨識之情形，進入步驟 S204，所有範圍都結束之 ^ sm而開始通常操作。…。束初始動作’圖4之步驟 機10之 驟S2G4]水平攝像/俯仰攝像控制部％控制攝像 106437.doc 1311286 . 方向使其未施行臉部位置檢測之其次之攝像範圍。其後， 返回步驟S202，施行有關現在範圍之臉部位置檢測，登錄 對應之臉部位置資訊。 利用以上之流程之處理，即可藉攝像機1〇將可攝像之所 #範圍内全都拍攝下來，自動地檢測存在於該範圍内之人 &之臉部位置，將該臉部之臉部位置資訊登錄於臉部位置 資料庫3 1。 • 圖6係表示臉部位置資料庫31之更新處理之流程之流程 圖。 [步驟S3G1]資料庫更新模組33由攝像機座台2()透過水平 攝像/俯仰攝像控制部35取得現在之Pdeg，Tdeg，由變焦控 T部51取得現在之Zdeg。而，依據此等控制資訊，特別指 疋作為更新對象之範圍（對應於現在攝像中之範圍）。 [步驟S302] >料庫更新模組33清除臉部位置資料庫3工中 之更新範圍内之記憶資料。 鲁 [步驟s3〇3]臉部辨識模組μ由攝像機1〇接收到攝像圖像 信號。又，以圖4之步驟S107執行本步驟之情形，由於在前 述步驟S102已接收到攝像像信號，故省略本步驟亦無妨。 [步驟S304]臉部辨識模組32利用所接收之圖像信號進行 圖像辨識處理，檢測臉部位置。在此，在本實施塑態中， 係由1幢份之圖像信號中檢測臉部位置M乍為可適用於本實 :型態之方法’例如’可列舉以圖像信號之色資訊為基礎， 檢測膚色分布而特別指定含臉部輪麻之範圍，將該範圍内 之輪廓線及眼、口等部位之位置等與預先記憶之多數臉部 106437.doc -19- 1311286 . I » 形態之樣板作比較’而判定有無臉不存在之方法等。又， 在前述步驟S102及S303中，也可使用藉接收多數幀份之攝 像圖像信號’利用幀間之差分之圖像辨識之方法。 又，檢測出1個以上之臉部之情形，產生可收容各臉部之 最小正方形框，以該正方形框之中心位置之晝面上之座標 (晝素號碼）作為水平方向及垂直方向之臉部位置資訊（ρρχ

Tpx) ’以正方形框之一邊長（晝素數）作為對應於變焦動作之 • 資料（Ζρχ)。而，暫時地記憶此臉部位置資訊（ρρχ，Τρχ， Ζρχ)。 例如’若為 352x288 晝素之 CIF (Common Intermediate

Format:共用中介格式；)大小之圖像，ρρ?^ 〇〜351之值，丁 π 取0〜287之值。又’ Ζρχ例如取20〜200之值。 [步驟S305]在步驟S304中檢測到！個以上之人物臉部之 情形，進入步驟S306，未檢測到之情形，進入步驟S3〇8。 [步驟S306]資料庫更新模組33依據現在之pdeg，丁心匕 丨 Zdeg值將記憶於臉部辨識模組32之座標形式之臉部位置資 讯（Ppx，Τρχ，Ζρχ)變換成角度形式之臉部位置資訊（pdeg， Tdeg，Zdeg)。 例如現在之 Pdeg，Tdeg, Zdeg 分別為 _30_0，+ 10.0，+4〇〇之 情形’攝像中之圖像左端之？(1%為_3〇 〇_4〇 〇/2=_5〇 〇，右端 之 Pdeg 為-30.0+40.0/2 = -10.0，上端之 Tdeg 為 +1〇 〇 + (4〇 〇χ 3/4)/2-+25.0，下端之Tdeg為+1〇·〇_(4〇·〇χ3/4)/2=-5.0。因 此’使此等值與圖像之端部之座標值線性地對應時，即可將 座標形式之臉部位置資訊（Ρρχ，Τρχ, Ζρχ)變換成角度形式 106437.doc -20- 1311286 之臉部位置資訊（Pdeg，Tdeg，Zdeg)。 [步驟S307]資料庫更新模組33將變換成角度形式之臉部 位置> δίΐ之目錄登錄於臉部位置資料庫3 1。 [步驟S308]臉部位置資料庫31依照pdeg值由小而大之順 序將記憶之臉部位置資訊分類。 利用以上之流程處理，僅更新現在攝像中之範圍所含之 臉部位置資訊。例如，在攝像範圍中檢測到多數臉部之情 _ 形，將此等全部之臉部位置資訊登錄於臉部位置資料庫 3 1。又，圖像辨識未檢測到臉部之情形，由臉部位置資料 庫31刪除對應於該範圍之臉部位置資訊。而，更新後之臉 部位置資訊依照Pdeg值由小而大之順序被分類，故在對應 於後述之Move—Next命令之攝像機方向移動處理中，可有效 地抽出鄰接之臉部之臉部位置資訊。 圖7係表示對鄰接之臉部之攝像機方向移動處理之流程 之流程圖。 • [步驟S401]資料庫檢索模組34由攝像機座台2〇透過水平 攝像/俯仰攝像控制部35取得現在之pdeg, Tdeg，由變焦控 制部5 1取得現在之zdeg。 [步驟S402]資料庫檢索模組34檢索臉部位置資料庫31， 在令所指定之左右中之任一方向抽出具有最 接近於現在之Pdeg值之pdeg之臉部位置資訊。 [步驟S403]資料庫檢索模組34運算所抽出之臉部位置資 訊之Pdeg與現在之Pdeg之差分。 [步驟S404]Pdeg之差分之絕對值在特定之臨限值以下之 I06437.doc -21 - rv 1311286 _ » . /，進入步驟S405，超過臨限值之情形，進入步驟S4〇6。 [步驟S405]資料庫檢索模組34在M〇ve—Next命令所指定 =方向抽出具有第2接近於現在之pdeg2Pdeg之臉部位置 貨訊。 [步驟S406]資料庫檢索模組34將在步驟S4〇2或步驟s4〇5 中由臉部位置資料庫31抽出之pdeg，了㈣輸出至水平攝像/ 二仰攝像控制部35，以控制攝像機座台2〇，使攝像機⑺朝 • 對應於該臉部位置資訊之臉部之方向。 又，利用同樣抽出之Zdeg控制攝像機1〇之變焦動 ，在本實施型態中，臉部位置資料庫3一二 可將大致等於圖像辨識所檢測之臉部大小之正方形框攝像 成滿整個晝面之值。因此’資料庫檢索模組34將抽出之z㈣ 值換算成可使對應之臉部在畫面内成特定之大小而輸出至 變焦控制部51，以控制變焦倍率。例如，將臉部大小設定 成使正方形之一邊長成為圖像之橫寬之Μ、縱方向之"3 #之情形，只要將由臉部位置資料庫Μ抽出之^喊大*倍而 輸出至變焦控制部51即可。 在以上之流程處理中’例如可在其前！垂直同步期間執行 對應於PTZ命令之攝像方向及變焦動作之㈣等，即使在現 在之恤g，Tdeg, Zdeg與臉部位置資料庫3 i内之臉部位置資 訊不—致之情形，也可執行利sM〇ve Next命令之控制。 即’將鄰接之臉部之Pdeg與現在之㈣之差分值作比較 (步驟叫該等之差分小較時，判斷Pdeg之偏移量在， 差之範圍内，將具有最接近於所指定之方向之Pdeg之” 106437.doc -22- 1311286 • » 位置資訊視為現在之控制量’控制攝像機ι〇使其在 朝：其次鄰接之臉部(步驟S405及S4〇6)。反之，pd:g之偏 =較大之情形，利用具有最接近於所以之方向之、 然之感覺操作。 藉此’知作者可利用自 ㈣明’在第1實施型態中之攝像機系統中，攝像 機ίο掃描所有攝像範圍，利用 國诼辨硪處理檢測出會議出 席者之臉部位置，而將該資訊登錄於臉部位置資料庫η。 因此’不需要施行事先將 忖4 4席者之臉部位置資訊登錄 於臉j位置資料庫31之操作， 間，提高枝性。 纟了^使用者之工作時 而，依照M〇ve—Next命令抽出登錄於臉部位置資料庫31 之臉部位置資訊，以施行^t 、 入人κ 她仃匕制時，藉由僅使用M〇Ve_NeXt °p ·?之簡單操作’即可以適 之大小使存在於鄰近之人物 臉。P映現在晝面内之正確 置。又，例如在臉部位置資 '.、，…之臉部位置資訊預先^ ^ ^ ^ 队…、Meg之大小順序附上序 5虎’則只要利用遙控器扣—— 夕“ 盗恤#定序號，也可拍攝任意人物 疋臉部。 •在广常動作時，在無改變水平攝像/俯仰攝像/變焦 〜之要求時’可精圖像辨識自動控制攝像中之臉部使其 常映現於畫面之中心，故可伯ώ 级、、，Μ 了使自然而高品質之圖像顯示於 發运側之會議室卡。 <第2實施型態> 圖8係表示第2實施型熊锯 之攝像機系統之系統構成之圖。 J〇6437.doc -23- 1311286 又’在此圖8中’在對應於㈣機能附以相同符號表 省略其說明。 ，圖8所示之攝像機系統係除了圖1所示之系統之構成外， 尚”備卓曰k諕分析裝置80、與2個麥克風81及82。麥克風 γ及82係用來收集攝像機1〇所攝像之會議室中出席者之聲 二所收集之聲音信號被輸入至聲音信號分析裝置80。聲 ^號分析裝置8 0由被輸入之2種聲音信號中抽出人的聲 • 曰纟測產生該聲音之方向而將表示方向之聲音方向資訊 輸出=攝像機控制裝置30。因此，攝像機控制裝置3〇可依 據聲音方向資訊判定發言之出席者之方向，使攝像機1〇朝 向该方向。又，聲音方向資訊例如可被賦予Pdeg，Tdeg，Zdeg 值0 、圖9係表示第2實施型態之攝像機系統之整個處理流程之 流程圖。 [步驟S501]利用攝像機1〇輸出u貞份之攝像圖像信號，待 • 冑至臉部辨識模組32接收此信號為止。而，在接收此信號 之情形，進入步驟S502。 [v驟S502，S503]此等步驟分別對應於圖4之步驟sl〇3及 Si〇4。即，有等待執行之ρτζ命令之情形，進入步驟S5〇3， 尺平攝像/俯仰攝像控制部35及變焦控制部5〗由ρτζ命令控 制部52接收PTZ命令，依照該ρτζ命令控制攝像機座台別而 使攝像機10之攝像方向變化〗步份，且使攝像機1〇之變焦倍 率义化1步份。此後，進入步驟S5 1 0。 [步驟S504, S505]此等步驟分別對應於圖4之步雜及 i06437.doc -24- 1311286 S106。即，僅在有等待執行之Move_Next命令之情形，進 入步驟S5°5，資料庫檢索模組34由M〇ve_Next命令控制部 53接收M〇Ve_Next命令，使攝像機1〇之方向移動以拍攝鄰接 於命令指定之方向之人物臉部。此後，進入步驟s5i〇。 [步驟S506]由聲音信號分析裝置8〇輸出聲音方向資訊之 情形，水平攝像/俯仰攝像控制部35接收此資訊（pdeg，T㈣ 進入/驟8507。又，未輸出聲音方向資訊之情形，則進 入步驟S508。 [步驟S507]水平攝像/俯仰攝像控制部35控制攝像機座台 2〇而使攝像機1G朝向聲音方向資訊所指定之方向。此後， 進入步驟S510。 [步驟S508, S509]此等步驟分別對應於圖*之步驟呂⑽及 sl〇8。即，在步驟；55〇8中， 由臉。卩辨識极组32及資料庫更 新拉組33執行利用現在攝像中 之範圍之圖像辨識之臉部位 置育料庫31之更新處理。而，. 在步驟S509中，資料庫檢索 •、°、 預先由更新後之臉部位置資 夕置貢枓庫31抽出現在攝像中 之臉部之臉部位置資訊， flJ ^ ^ 便該臉邛位於晝面中心方式控 攝像機10之方向，再以传查品u _L- ^ 旦面上之臉部達到特定大小方 式’控制變焦動作。此後，進入步驟S510。 [步驟S 5 1 0 ] C P U 5 〇判定例如 6士 φ u電源切斷刼作等而被要求 -束處理’未被要求之情形，返回步驟S5〇i。 在以上流程之處理中，险·^国1 上 聲土# 除了圖4之處理以外，可依照來自 耳曰k號分析裝置80之聲音方&次> 向菸一土 向貝矾，使攝像機1 0自動朝 么s者之方向攝像。又 使攝像機1 〇朝向發言者後，未 106437.d〇c -25- 1311286

接收到PTZ命令及Move_Next命令、聲音方向資訊之情形， 執行步驟S5G8及S5G9之處理。因此，彳自動將發言者及位 於其周圍之人物之臉部位置資訊登錄於臉部位置資料庫 =，更以使發言者之臉部位於晝面中央方式自動調整攝像 機之方向。因此，不必施行使用者操作，即可以適度之 大小正確地拍攝發言者之臉部。又，也可依照聲音方向資 訊自動拍攝發言者附近後，利用Move一Next命令正石斑對正攝 像方向而執行臉部位置資料庫31之更新處理。 另外，使用上述處理時’例如’也可在會議開始時藉出 席者全部依序發出聲音而自動地將各出席者之臉部位置資 訊登錄於臉部位置資料庫31，其後，利用使用μ_㈣ 命令之攝像機方向轉換處理及序號指定等而執行使攝像機 10自動朝向任意出席者之臉部之處理。 、又，在以上各實施型態之攝像機系統中，也可由遠地透 過通信線路接收PTZ命令及MQVe_Next命令，依照該接收命 :控制攝像機H)之攝像方向及變焦動作。因此，可透過通 Μ路簡單地由—方之會議室控制他方之會議室之攝像機 動作1可由-處簡單地控制各地之會議室之攝像機之 動作。 又，在上述各實施型態中，係說明有關將適用本發明之 攝像機系統使用於電子會議系統之情形，但此種裝置也可 在其他例如作成錄影媒體用及放影用之影像内容之際，使 用於可藉簡單操作執行攝像機方向之轉換之類之用途。 【圖式簡單說明】 106437.doc -26- 1311286 圖1係表示第1實施型態之攝像機系統之系統構成之圖。 圖2係表示攝像機控制裝置及CPu具備之攝像機控制用 之機能之區塊圖。 ® 3(A)、（B)係有關水平攝像/俯仰攝像/變焦動作之說明 圖0 圖4係表示攝像機系統之整個處理流程之流程圖。 圖5係表示臉部位置資料庫之自叙& 1貝T才坪之目動登錄處理之流程之流

厂…貝种厍之更新處理之流程之流程圖 之圖表示對鄰接之臉部之攝像機方向移動處理之流: 圖8係表示第2實施型態之攝像機 圖9係矣-杜 之糸統構成之圖。 糸表不第2實施型態之攝像機系 流程圖。 之整個處理流程之

【主要元件符號說明】 ° 攝像機 20 30 31 33 34 35 40 攝像機座台 攝像機控制裝置 臉部位置資料庫 臉部辨識模組 資料庫更新模組 資料庫檢索模組 水平攝像/俯仰攝像控制部 紅外線受光部 106437.doc -27- 1311286 40a 遙控器

50 CPU 51 變焦控制部 52 PTZ命令控制部 5 3 Move_Next命令控制部 60 顯示器 70 圖像編碼器 106437.doc -28-

Claims (1)

1311286 * 1 •攀 十、申請專利範圍： L -種攝像機控制裝置，其係控制具備使攝像方向變化之 艇動裝置之攝像機之攝像範圍者，其特徵在於包含： ::部’其係將作為前述攝像機之攝像對象之多數人 ::各:部:於前述攝像機之攝像範圍之 々方向資訊依照各攝像對象之人物加以記憶者； 臉部位置檢測部，立係由 檢测人物之檢部位置者; 像機之攝像圖像信號 二之=:前述臉部位置撿測部之檢測結果與 丁見在之則述攝像機之攝像方向之 方向資訊而登錄於前述記憶部者^、5 -出别述臉部 驅動控制部，其係由前 操作輸入所指定之人铷：“賣出對應於使用者之 之人物之刖述臉部太a ·念^ 部方向資訊控制前述㈣裝 向Μ ’依照該臉 向變化者。 、 使則述攝像機之攝像方 2·如請求項〗之攝像機控制 接收到將前述攝像機之攝像方；:：述驅動控制部係在 物:左右〜方之鄰接=Tt攝像D中之人 由別迷記憶部抽出對被指示之向才曰不域時’ 之人物之其他人物肖最接近於現在攝像中 前述臉部方向f a部方向資訊，利用所抽出之 3. 如請求们之择像Γ述1區動裝置者。 之臉部位置藉由前2制農置’其令前述登錄部係在人物 述記Ή之J “臉部位置檢測部檢測時，記情於义 隐4之前述臉部方向資 Η。己德於别 、 ，消除包含於現在之前 106437.doc 1311286 述攝像機之攝圍之前述臉部 ι 部位置檢㈣之檢測結果， 依據前述臉 而登錄於前述記憶部者。 异“述臉部方向資訊 4. 如請求们之攝像機控制裝置，其争進—步包含. 初期驅動控制部，其係將前述 割而护剎二 傅像機之可攝像範圍分 J而t制則述驅動裝置，使前述 範圍者； 機依序攝像其分割 前述臉部位置檢測部係由對前 機之攝像圖德彳—老认w 刀。j軌圍之前述攝像 冢圖像4號;^測人物之位置， & 屮太^、+.、 猎由别述登錄部算 依次將…丰— 物之别述臉部方向資訊而 將^錄於則述記憶部，自動地 王範圍之人物之前述臉部方向 、了攝像之 者。 負°孔登錄於前述記憶部 如°月求項1之攝像機控制裝置，其中 在一定時間未施行改變前述攝 用者之操作輸入之情形時， 拽之攝像方向用之使 前述臉部位置檢測部由前述攝像 信號檢測人物之臉部位置； 之攝像圖像 前述登錄部由前述記憶部消 像範圍所含之前、f胳邱•躡像诚之現在之攝 固斤…述臉部方向資訊後 置檢測部所檢測之人物之前述臉部 ^臉抑 記憶部； 責s孔登錄於前述 别相動控制部由前述記憶部讀 檢測部所檢測之人物之臉部 Μ臉錢置 甲對應於最接近於現在攝 106437.doc 1311286 像範圍之中心#略 ..^ 臉之臉部位置資訊，依昭哕脍# 資訊控制前述驅動# ^ ”、、孩臉部位置 者。 ^置而修正前述攝像機之攝像方向 6·::求項1之攝像機控制裝置，其中前 包含對於表示藉ά ^、+、^ 4臌。卩方向資訊係 臉部之中心位置之臉部位置檢測部所檢測之人物之 7·如請求則之攝後:向及垂直方向之角度資訊者。 變二？控制裝置，其中進-步包含： 爾'錄部係使表示藉由前述臉部位置;=者； 之人物之臉部之大丨+ a 位置檢測部所檢測 小臉。卩大小資訊對應於藉由此、+、^ =向魏而登錄於前述記憶部； ❹則返驗 :述變;!、_部係依據對應於前述 之珂述臉部方向資 二制邛所讀出 _vfl 則述5己憶部内之前述臉Λβ 4· 汛，控制前述攝像機之戀』虬臉。卩大小資 訊所攝像之人鉍 率’使依據該臉部方向資 者。攝像之人物之臉部在攝像畫面内成為特定之大： 8·::=項7之攝像機控制裝置，其中前述臉 二别述攝像機以整個晝面攝像可收容藉阶況係 置仏測部所檢測之人物之 月』逑臉部位 角資訊者。 之臉之最小正方形範圍時之視 9·如請求項1:^姐,d 、之攝像機控制裝置，其中進—步 動驅動控制部，其係接 · 機之攝像對象之人铷所旅 /4由作為前述攝像 豕之人物所發出之塾立夕古a . 置之檢測信號而伙別义、.聲S之方向之聲音檢測裝 ，工、述驅動裝置’藉以使前述攝像機 106437.doc 1311286 1 1 傢别述檢測信號所示之方向者； 在前述攝像機之攝像方向 控制之情形， 3由別述自動驅動控制部所 前述臉部位置檢測部由前 測人物之臉部位置； 機之攝像圊像信號檢 刖述登錄部由前述記憶二 像範圍所含之二 "示刖述攝像機之現在之攝 置檢測部所檢洌 ^ 1將藉由前述臉部位 "似列之人物之前诚 記憶部者。 向負訊登錄於前述 10'種攝像機系統，其係包合M 改變前述攝像機之攝像方數人物用之攝像機、 動f置之攝像機控制裝置者，其特徵在於：制則述驅 月'J述攝像機控制裝置係包含： s己憶部，其係將作為前述攝像機之攝 之各臉部位於前述攝像機之攝像範圍之中=物 方向資訊依照各攝像對象之人物加以記㈣ 臉部 臉部位置檢測部，其係由前述攝像機 唬檢測人物之臉部位置者； 胃像圖像# 登錄部，其係依據前述臉部位置檢測部之檢測結田 :、不現在之前述攝像機之攝像方向之資訊算出= 邛方向資訊而登錄於前述記憶部者；& m 驅動控制部，其係由前述記 用者之柽此认 憋邠讀出對應於藉由使 之知作輪入所指定之人物之前述臉部次- 照該臉部方向資訊控制前述 D貝訊’依 助裝置而使前述攝像機之 106437.doc 1311286 攝像方向變化者。 種電子會議系統，其係包含攝 系統、收隼μ λ μ山 攝像夕數人物用之攝像機 _ 收集夕數人物發出之聲音之集立梦w R收十 月1j述攝像機系統之圖像信號與二丨 ”自 信號冬τ π = 术自則述集音裝置之聲音 夕工化而通過通信線路發 在於： 發送之發送裝置者’其特徵 前述攝像機系統係包含攝像機、 像方向之賊制 文變則述攝像機之攝 裝置； 、及控制則述驅動裝置之攝像機控制 前述攝像機控制裝置係包含： 之二=，其係將作為前述攝像機之攝像對象之人物 各臉。卩位於前述攝像機之攝 方向資訊依照各攝像對象之人物加以記憶者、部時之臉部 號檢::：置檢測部’其係由前述攝像機之攝像圖像信 现檢測人物之臉部位置者； 其係依據前述臉部位置檢測部之檢 部H前述攝像機之攝像方向之資訊算出前述臉 6資訊而登錄於前述記憶部者；及 驅動控制部，其係由前 用者之操作輸入所 讀出對應於藉由使 '昭嗜邻太“ 之人物之m述臉部方向資訊，依 攝像方向變化者。 動裝置而使别述攝像機之 12.—種攝像機控制方法，豆 化之酿#λ # /、’、用來控制具備使攝像方向變 ㈣裝置之攝像機之攝像範圍者’其特徵在於包含·· 1〇6437.do, 1311286 * , 由前述攝像機之攝像圖像信號檢測人 現測步驟之檢測結果— X戌i躡像方向之資旬曾ψl 機之攝像對象> 户& 資汛开出作為則述攝像 物登錄於轉庫者，·Γ方“訊’依照被檢測之各人 ’驢*Μ空制步驟，其#由 之操㈣ 絲由^資料心對應於使用者 11入所指定之人物之前述臉部方向資 :部方向資訊控制前述驅動裝置而使前述攝二= 方向變化者。 将诼機之攝像 106437.doc