TW201230786A - Conference system, monitoring system, image processing apparatus, image processing method and a non-transitory computer-readable storage medium - Google Patents

Description

201230786 六、發明說明： 【發明所屬之技術領域】 本發明係關於對所輸入之影像資料執行處理之影像處 理裝置及影像處理方法等之技術分野。 【先前技術】 廣角透鏡（例如，魚眼透鏡）或全方位鏡’因爲可以 廣角範圍之視野來攝取被攝體，例如，適用於監視攝影機 系統、視訊會議系統等之攝影機裝置（例如’魚眼攝影機 )° 該魚眼攝影機所攝取之魚眼變形影像發生變形，尤其 是，該影像之外緣部（端面部）明顯發生變形。所以，爲 了提高魚眼變形影像所示之被攝體的識別性’將魚眼變形 影像變換成二次元之可辨識的平面正則影像’來執行上述 變形補正之魚眼補正處理。 此外，適用於魚眼補正處理之技術，例如，專利文獻 1所示之將魚眼透鏡全景縮小影像、及以指向器所指定之 該魚眼變形影像內之期望區域之切取變形補正區域輸出顯 示於同一畫面上的技術。 [專利文獻1]日本特開2008-3 0 1 03 4號公報 【發明內容】 然而，專利文獻1所示之技術時，必須以人之目視來 特定顯示於魚眼變形影像的特定物體，並對裝置提供監視 -5- 201230786 該物體之指示，而無法正確且有效地執行物體辨識。 此外，因爲魚眼變形影像發生如上所述之變形’適用 用以辨識顯示於影像之特定物體之物體辨識技術時’難以 正確地辨識顯示於魚眼變形影像上之物體。 有鑑於如上所述之問題等’所以’本專利發明的課題 之一，係在提供可依據以廣角範圍視野所攝取之魚眼變形 影像等來執行正確且有效地物體辨識之會議系統、監視系 統、影像處理裝置、影像處理方法及影像處理程式等。 爲了解決上述課題，如申請專利範圍第1項所述之發 明的特徵，係具備：歪圓形影像記憶手段，其係用以記憶 依據外部所輸入之廣角透鏡或全方位鏡所攝取之歪圓形影 像而生成之構成該歪圓形影像的像素資訊群；變換手段， 其係用以將前述所記憶之構成歪圓形影像的像素資訊群， 變換成用以構成可以以二維視覺辨識之平面正則影像之像 素資訊群：平面正則影像記億手段，其係用以記憶構成前 述經過變換之平面正則影像的像素資訊群；選擇指示受取 手段，其係用以受取像素資訊之選擇指示，該像素資訊對 應於前述所記憶之平面正則影像上的任意點；對應座標特 定手段’其係用以特定歪圓形影像上的像素資訊，該歪圓 形影像上的像素資訊對應於前述選擇指示所示之平面正則 影像上之像素資訊；以及再變換手段，以前述特定之像素 資訊爲中心’用以將前述所記億之構成歪圓形影像之像素 資訊群’再變換成用以構成可以以二維視覺辨識之平面正 則影像的像素資訊群。 δ -6- 201230786 申請專利範圍第2項所述之發明，係如申請專利範圍 第1項所述之影像處理裝置，其中，具備··畫面資訊生成 手段’其係依據用以構成前述經過再變換之平面正則影像 的像素資訊群’生成顯示於顯示部之規定大小的畫面資訊 〇 申請專利範圍第3項所述之發明，係如申請專利範圍 第1或2項所述之影像處理裝置，其中，前述選擇指示受取 手段，其係用以受取像素資訊的選擇指示，該像素資訊的 選擇指示對應於由前述變換手段所變換之平面正則影像上 之複數點，前述對應座標特定手段，其係用以特定歪圓形 影像上的像素資訊，該歪圓形影像上的像素資訊對應於前 述選擇指不所不之平面正則影像上之各像素資訊，前述再 變換手段，其係以前述特定之各像素資訊爲中心，針對以 前述對應座標特定手段特定之各像素資訊，將前述所記憶 之構成歪圓形影像的像素資訊群，再變換成用以構成可以 以二維視覺辨識之平面正則影像的像素資訊。 申請專利範圍第4項所述之發明，係如申請專利範圍 第3項所述之影像處理裝置，其中，具備：顯示控制手段 ，其係將前述所生成之各畫面資訊以相同大小顯示於前述 顯示部之顯示形態來進行控制。 申請專利範圍第5項所述之發明’係如申請專利範圍 第1至4項中任一項所述之影像處理裝置，其中，具備：物 體辨識手段，其係用以辨識在前述經過變換之平面正則影 像所示之規定物體，前述選擇指示受取手段，其係用以受 201230786 取像素資訊的選擇指示，該像素資訊對應於前述經過 之物體上之任意點。 申請專利範圍第6項所述之發明，其特徵爲具備 圓形影像記憶手段，其係以對應於各歪圓形影像之方 來記億依據外部所輸入之廣角透鏡或全方位鏡所連續 被攝體的複數歪圓形影像而生成之構成該複數歪圓形 的像素資訊群；變換手段，其係針對前述各歪圓形形 ’將前述所記憶之構成各歪圓形影像的像素資訊群， 成用以構成可以以二維視覺辨識之平面正則影像的像 訊群；平面正則影像記憶手段，其係用以記憶前述經 換之各平面正則影像的像素資訊群；物體辨識手段， 用以辨識前述經過變換之平面正則影像·的特定物體； 辨識手段，其係用以針對前述各平面正則影像，辨識 所辨識之物體於平面正則影像所示之隨時間之變化； 對應座標特定手段，用以特定對應於由前述動作辨識 所辨識之前述各平面正則影像之物體上之任意點之歪 影像上的像素資訊；以及再變換手段，以前述第2對 標特定手段所特定之各歪影像上之像素資訊爲中心， 第2對應座標特定手段所特定之各像素資訊，用以將 前述歪圓形影像之像素資訊群，再變換成構成可以以 視覺辨識之平面正則影像的像素資訊群。 申請專利範圍第7項所述之發明，具備：攝影機 係將以廣角透鏡或全方位鏡所攝取之被攝體當作歪圓 像輸出至影像處理裝置；及前述影像處理裝置，其係 辨識 :歪 式， 拍攝 影像 影像 變換 素資 過變 其係 動作 前述 第2 手段 圓形 應座 針對 構成 二維 ，其 形影 依據

S -8- 201230786 前述所輸入之歪圓形影像來生成畫面資訊並輸出 置之會議系統，其特徵爲：前述影像處理裝置， 圓形影像記億手段，其係用以記億依據前述所輸 形影像而生成之構成該歪圓形影像的像素資訊群 段，其係用以將前述所記憶之構成歪圓形影像的 群，變換成構成可以以二維視覺辨識之平面正則 素資訊群；平面正則影像記憶手段，其係用以儲 述經過變換之平面正則影像的像素資訊群：物體 ，其係用以辨識前述經過變換之平面正則影像所 複數之特定物體；選擇指示受取手段，其係針對 識之各物體，用以受取像素資訊的選擇指示，該 對應於前述經過辨識之物體上之任意點；對應座 段，其係用以針對前述所辨識之各物體，用以特 影像上的像素資訊，該歪圓形影像上的像素資訊 述選擇指示所示之平面正則影像上之像素資訊； 段，其係以前述對應座標特定手段所特定之像素 心，針對前述所辨識之各.物體，將前述所記憶之 形影像的像素資訊群，再變換成構成可以以二維 之平面正則影像的像素資訊群；畫面資訊生成手 用以針對前述所辨識之各物體，以構成前述經過 平面正則影像的像素資訊群，生成顯示於顯示部 小的畫面資訊；以及輸出手段，其係將前述所生 資訊輸出至前述終端裝置。 申請專利範圍第8項所述之發明，係如申請 至終端裝 具備：歪 入之歪圓 ;變換手 像素資訊 影像的像 存構成前 辨識手段 示之一或 前述所辨 像素資訊 標特定手 定歪圓形 對應於前 再變換手 資訊爲中 構成歪圓 視覺辨識 段，其係 再變換之 之規定大 成之畫面 專利範圍 -9 - 201230786 第7項所述之會議系統，其中，前述攝影機，搭載於該攝 影機之廣角透鏡或全方位鏡係朝天頂方向配置。 申請專利範圍第9項所述之發明，係具備：監視攝影 機，其係搭載將以廣角透鏡或全方位鏡對第1攝取中心之 規定攝取範圍內所攝取之被攝體當作歪圓形影像輸出至影 像處理裝置的功能，與將以具備變焦機構之透鏡群對第2 攝取中心之規定範圍內所攝取之被攝體當作平面正則影像 輸出至前述影像處理裝置的功能；以及前述影像處理裝置 ，其係依據前述所輸入之歪圓形影像來生成畫面資訊的監 視系統，其特徵爲：前述監視攝影機具備：雙軸（pan-tilt )驅動手段，其係用以切換該攝影機之攝取位置；前述影 像處理裝置具備：歪圓形影像記億手段，其係用以記憶依 據前述所輸入之歪圓形影像而生成之構成該歪圓形影像的 像素資訊群；變換手段，其係將前述所記憶之構成歪圓形 影像的像素資訊群，變換成用以構成可以以二維視覺辨識 之平面正則影像的像素資訊群；平面正則影像記憶手段， 其係用以儲存構成前述經過變換之平面正則影像的像素資 訊群；物體辨識手段，其係用以辨識前述經過變換之平面 正則影像所示之物體；選擇指示受取手段，其係用以受取 像素資訊的選擇指示，該像素資訊對應於前述所記憶之平 面正則影像上之任意點；對應座標特定手段，其係用以特 定歪圓形影像上的像素資訊.，該歪圓形影像上的像素資訊 對應於前述選擇指示所示之平面正則影像上之像素資訊： 以及位置控制手段，依據預先計算之前述第1攝取中心及 -10- 201230786 前述第2攝取中心，計算以將前述第2攝取中心重新設定於 前述對應座標特定手段所特定之像素資訊所示之位置爲目 的之距離資訊，並將以將監視攝影機驅動至該距離資訊所 示之位置爲目的之控制信號輸出至前述雙軸（pan-tilt )驅 動手段。 申請專利範圍第10項所述之發明，其特徵爲具有··歪 圓形影像記憶步驟，其係用以記億依據外部所輸入之廣角 透鏡或全方位鏡所攝取之歪圓形影像而生成之構成該歪圓 形影像的像素資訊群；變換步驟，其係將前述所記憶之構 成歪圓形影像的像素資訊群，變換成用以構成可以以二維 視覺辨識之平面正則影像的像素資訊群；平面正則影像記 憶步驟，其係用以記憶構成前述經過變換之平面正則影像 的像素資訊群；選擇指示受取步驟，其係用以受取像素資 訊的選擇指示，該像素資訊對應於前述所記憶之平面正則 影像上之任意點；對應座標特定步驟，其係用以特定歪圓 形影像上的像素資訊，該歪圓形影像上的像素資訊對應於 前述選擇指示所示之平面正則影像上之像素資訊；以及再 變換步驟’其係以前述對應座標特定步驟所特定之像素資 訊爲中心’將前述所記憶之構成歪圓形影像的像素資訊群 ’再變換成構成可以以二維視覺辨識之平面正則影像的像 素資訊群。 申請專利範圍第11項所述之發明，其特徵爲：使影像 處理裝置所含有之電腦，具有作爲以下手段的功能：歪圓 形影像記憶手段，其係用以記憶依據外部所輸入之廣角透 -11 - 201230786 鏡或全方位鏡所攝取之歪圓形影像而生成之構成該歪圓形 影像的像素資訊群；變換手段，其係用以將前述所記億之 構成歪圓形影像的像素資訊群，變換成構成可以以二維視 覺辨識之平面正則影像的像素資訊群；平面正則影像記憶 手段，其係用以記憶前述經過變換之平面正則影像的像素 資訊群；選擇指示受取手段，其係用以受取像素資訊的選 擇指示，該像素資訊對應於前述所記憶之平面正則影像上 之任意點；對應座標特定手段，其係用以特定歪圓形影像 上的像素資訊，該歪圓形影像上的像素資訊對應於前述選 擇指示所示之平面正則影像上之像素資訊；以及再變換手 段，其係以前述對應座標特定手段所特定之像素資訊爲中 心，將前述歪圓形影像的像素資訊群，再變換成構成可以 以二維視覺辨識之平面正則影像的像素資訊群。 依據本發明，因爲爲以下之構成，亦即，受取依據以 廣角透鏡或全方位鏡所攝取之歪圓形影像而生成之二次元 之可辨識之平面正則影像上之任意點之選擇指示時，特定 對應於該選擇指示所示之平面正則影像上之像素資訊之歪 圓形影像上的像素資訊，以該特定像素資訊爲中心，依據 該歪圓形影像的像素資訊群，重新來生成用以構成平面正 則影像之像素資訊群的構成，故可依據廣角範圍視野所攝 取之魚眼變形影像等而正確且有效地執行物體辨識。 【實施方式】 以下，參照附錄圖式，針對本發明之實施形態進行詳

S -12- 201230786 細說明。以下說明之實施形態，係將本發明適用於影像處 理裝置時之實施形態。 [1、魚眼變形影像之變換原理] A )平面正則影像之變換 本實施形態之影像處理裝置’詳細如後面所述，其機 能之一，係切取以廣角透鏡或全方位鏡所攝取之歪圓形影 像之一例之魚眼變形影像的一部分或全部，再執行將其變 換成二次元之可辨識之平面正則影像之處理的機能。 此處，首先，參照第1圖及第2圖’針對切取魚眼變形 影像的一部分或全部再將其變換成平面正則影像之基本原 理（以下，簡稱爲「基本原理」）進行說明。 第1圖，係基本原理之槪念的槪念圖。 此基本原理，因爲係大家所知之手法，省略其詳細說 明，然而，爲了得到平面正則影像之像素資訊群’計算對. 應於構成該平面正則影像之各像素資訊之魚眼變形影像之 各像素資訊之位置的對應座標。 具體而言，將接觸魚眼透鏡之光學特性模式化之虛擬 球面上之任意點的平面定義成平面正則影像，以公知之座 標變換，將該平面上之各座標變換成魚眼變形影像之各座 標，進而計算出上述對應座標。 其次，爲了切取以魚眼變形影像S上之切取中心點P ( X0，y0 )爲中心之一部分並變換成平面正則影像T，採用以 如第1圖所示之〇作爲原點之XYZ座標系所定義之虛擬球面 -13- 201230786 模式之對應座標的計算方法。第2圖中，以存在著魚眼變 形影像S之座標系作爲χΥ座標系，而以存在著平面正則影 像T之座標系作爲UV座標系。以下，稱爲χγ座標系、或 UV座標系時’係分別表示魚眼變形影像S或平面正則影像 T上之座標系。 利用該虛擬球面模式之對應座標的計算方法時，對應 於定義在魚眼變形影像S上之切取中心點P (xo，yo)的上 述對應座標之平面正則影像T的原點G ( xg，yg，Zg)，在將 平行於P及Z軸之直線與虛擬球面Η之交點定義成Q ( x〇,y〇，Z〇)時，係存在於通過Q及ΧΥΖ座標系之原點的向量 η上係眾所皆知的事。 其次，分別定義如下，亦即，魚眼變形影像S之半徑 爲R、連結切取中心點P ( xo，yo )及ΧΥ座標系之原點〇〇之 直線與Y軸之夾角爲方位角α、連結UV座標系原點之原點 G(xg，yg，zg)及ΧΥ座標系之原點Ο的直線與Ζ軸之夾角的 頂角爲冷、以及與通過U軸及J軸（G(x〇，y〇，z〇)而平行於 XY平面且垂直相交於直線OG之軸（以下，亦稱爲旋轉基 準軸）的夾角爲平面傾斜角Φ。該平面傾斜角6，用以定 義UV座標系之朝U軸方向之向量U、及朝旋轉基準軸J之方 向的向量J時，係以向量U及向量J之夾角來定義之角，通 常，稱爲「平面傾斜角」。由以上可知，以該方位角α、 頂角/5、及平面傾斜角Φ之3個角度’可以決定平面正則 影像Τ之UV座標系的位置及方向。該3個角度，一般亦可 稱其爲尤拉角。此外，將用以表示平面正則影像Τ之補正

S -14- 201230786 尺寸的參數定義成倍率m。依該倍率m之値，UV座標系， 可以將UV座標系配置以使OG間之距離成爲半徑R之m倍的 位置。該尤拉角及倍率m，係可對應變換平面正則影像之 方向及大小等而改變的變數。亦即，尤拉角及倍率m，具 有參數之機能，由使用者之輸入或機器之設定來決定。 利用以上之關係，XY座標系上之點Si ( xi，yi )及UV 座標系上之點Ti ( ui，vi )(亦即，上述對應座標之計算 )，利用參數A〜F及w (式（3 )至式（9 ))，而以式（1 )及（2 )來計算係一般所知的方法。 此外，式（1)及（2)所示之x、y、u、v，係對應於 上述 xi、yi、ui ' vi 〇 [數l] R(uA + vB + wC) . „ 广、 x = ~~'-「m -. - = G(uA + vB -l· wC) “•式a) λ/泣2 十 v2 + w2 [數2] R{uD +vE ^rWF) n, , rp , z?、 y = —广I·."·::工1 …2 = G (uD +vE + wF )…式⑵ λ/w2 + v2 + w2 G = ·厂R— λ/w2 + v2 + w [數3] A = cos φ cos a - sin ψ sin a cos β •"式⑶ -15- 201230786 [數4] B - -sin φcos a - cos φsin a cos β …式⑷ [數5] C = sift sin α …式(5> [數6] D = cos ^ sin a + sin φ cos a cos β …式(6) [數7] E = · -sin ^ sin a + cos φ cos a cos β …式⑺ [數8] F = -sin β cos a …式(8) [數9] w = mR …式⑼ 其次，參照第2圖，針對計算上述對應座標’切取魚 · 眼變形影像S的一部分或全部並變換成平面正則影像τ之變 換例來進行說明。 第2圖，係切取魚眼變形影像s的一部分或全部’並變 換成平面正則影像T之變換例的槪念圖° 第2(A)圖係魚眼變形影像s，切取其—部分並變換 成平面正則影像T之影像如第2 ( B )圖及第2 ( C )圖所示 -16-

S 201230786 從魚眼變形影像S變換成平面正則影像T時之影像大小 (UV座標系之座標總數）可以任意設定。亦即’構成魚 眼變形影像S之影像當中，可以將任意之範圍變換成平面 正則影像Τ。 第2 ( Β )圖，係魚眼變形影像S所示之影像當中，只 選擇D氏並變換成平面正則影像Τ之例。此外，第2(C) 圖時，係魚眼變形影像s所示之影像當中，選擇了 Β氏〜Ε 氏並變換成平面正則影像Τ之例。 Β)彎曲平面正則影像之變換 如上面所述，魚眼變形影像發生變形。該變形，隨著 從魚眼變形影像之中心部遠離（亦即，愈接近魚眼變形影 像之外緣部）愈大，係大家所熟知。 第2圖所示之例的說明時，將魚眼變形影像S之中心部 附近的影像變換成平面正則影像Τ的第2 ( Β )圖時，變形 較少’而呈現自然形狀之人物。另一方面，將魚眼變形影 像S之中心部朝外緣部之影像變換成平面正則影像τ之第2 (C )圖時，對應於魚眼變形影像S之外緣部所顯示之影像 的平面正則影像Τ(亦即，Β氏及Ε氏），變形較多，相對 於畫面，水平方向之人物像呈現擴大。換言之，呈現不自 然形狀之人物像。 針對該變形較大之平面正則影像，適用用以辨識顯示 於影像之特定物體的物體辨識技術時，難以正確地辨識顯 -17- 201230786 示於魚眼變形影像上之物體。 具體而言，針對第2(B)及（C)圖所示之影像進行 說明的話，物體辨識技術，考慮適用一般所熟知之型樣匹 配法（將預先記憶之影像、與顯示於畫面之影像進行類似 度比較來辨識物體的技術）時。 第2(B)圖所示之人物像，一般而言，可以掌握到其 爲人物，此外，類似於預先記億之人物像的可能性較高。 所以，適用物體辨識技術，可以辨識顯示於影像之特定物 ααα 體。 另一方面，第2(C)圖所.示之人物像，一般而言’難 以掌握到其爲人物，此外，類似於預先記憶之人物像的可 能性較低。所以，適用物體辨識技術，應難以辨識顯示於 影像之特定物體。 基於以上理由，基本原理上，狹窄範圍（其一例，係 將魚眼變形影像S之中心部附近之影像變換成平面正則影 像時）之作爲變形補正影像的平面正則影像時，因爲變形 較小，可以倂用物體辨識技術，然而，廣泛範圍（其一例 ，係將魚眼變形影像S之中心部至外緣部之影像變換成平 面正則影像時）之作爲變形補正影像的平面正則影像時， 隨著離UV座標系之中心部愈遠’其補正影像內之變形愈 大，而難以倂用物體辨識技術。

所以’爲了改善發生於平面正則影像T上之左右輪廓 附近的變形，發明者們發明了以下之技術，亦即，依據利 用用以表示UV彎曲座標系上之座標c / ( u -，v -)及XY

S -18- 201230786 座標系上之座標P ( x,y )之對應關係的對應關係式，來求 取並決定位於變換後之像素資訊之座標C ( u，v )位置的像 素資訊之座標P ( x，y )附近位置的像素資訊，再依據變換 後之像素配列資料將影像顯示於平面上之顯示部，而藉以 求取平面正則影像τ之技術（詳細內容，例如，參照日本 特開20 1 0-62790號公報）。 以下，將日本特開201 0-62790號公報所示之變換方法 ，簡稱爲「彎曲平面正則影像之變換」。 該彎曲平面正則影像之變換，因爲眾所皆知之技術， 故省略其詳細說明，然而，利用第3圖及第4圖，進行槪要 說明。此外，第3圖及第4圖所示之記號當中，標示成與已 說明之記號相同之記號者，因爲表示至少具有相同之機能 等（包含作用及效果），故省略其詳細說明》 第3圖，係彎曲平面正則影像之變換的槪念圖。 彎曲平面正則影像之變換，如第3(A)及（B)圖所 示，係在XY平面上之魚眼變形影像S上，定義具有半徑R 之虛擬球面Η、尤拉角及倍率m (與第2圖相同）。此外， 與第2圖相同，求取通過點P之正上方之點Q的視點向量n， 於OG之距離爲m· R之點G，將具有對應於角φ之方向的 UV座標系定義在垂直於視線向量η之平面T上》此外，以 使該UV座標系而沿著「以點G爲側面上之1點且以平行於V 軸而通過點0之直線V /爲中心軸之虛擬圓柱」之側面C彎 曲之方式，來定義UV彎曲座標系。 此外，如上所示之定義時，可以得知，UV座標系Τ與 -19- 201230786 將其彎曲所得之UV彎曲座標C，具有如第3(B)圖所示之 位置關係。 亦即，UV座標系之座標面的UV平面，係平行於XY平 面之面，兩者之間隔，設定成w = mR。如圖所示，係沿著 該UV平面之水平方向來定義U軸，於點G，則將V軸定義於 垂直圖面之方向。其次，將平面正則影像T定義於該UV平 面上》 另一方面，UV彎曲座標系之座標面的UV曲面，係使 UV平面沿著虛擬圓柱之側面而彎曲所得到之面。此處’ 虛擬圓柱，係以V /軸（平行於V軸且通過原點0之軸）爲 中心軸、半徑w = mR之圓柱，於軸V之位置接觸於UV平面 。UV曲面，係以與該虛擬圓柱之側面一致而沿著半徑 w = mR之圓的圓弧之方向來定義U軸，以點G之圖面的垂直 方向來定義V軸。其次，該UV曲面上，彎曲正則影像C定 義。 如此，UV座標系及UV彎曲座標系，一方之座標軸V軸 爲共用，而另一方之座標軸之U軸的空間位置不同。但是 ，座標尺標之刻度寬度爲相同，座標面上之任意1點的位 置，與以座標（u，v )所示之點相同。所以，以同一座標 (u，v )所表示之各座標面上的2點關係，可以下述方式來 考慮。 亦即，如第3 ( B )圖之左上所示，注意UV座標系上 之點T ( u，v )，該點T ( u，v )，係平面正則影像T上之點 ，係從原點G而沿著ϋ軸爲座標値u之間隔，V軸方向則係 -20- 201230786 間隔著座標値V之點。 其次，注意UV彎曲座標系上之點c ( u，v)，該點c ( u，v )，係彎曲正則影像C上之點，係從原點G沿著圓弧A爲 座標値u之間隔，V軸方向則係間隔著座標値v之點。 如此，點T ( u，v)及點C ( u，v)，皆爲以座標（u,v) 來表示之點，然而，因爲係以不同座標系所定義之點，於 XYZ三次元垂直相交之座標系所示之空間上的位置不同。 亦即，以XYZ三次元垂直相交座標系之座標値來考慮的話 ，相對於點T ( u，v )之座標爲T ( u，v，w )，點C ( u，v )之 座標爲CCu，，v>，w —)。此處，由第3(B)圖可知，u' =w · sinG ' w ' ==w · cos0 〇 此外，因爲圓弧GC之長度等於座標値u之絕對値，圓 弧A之半徑爲w，故，第3 (B)圖所示之角度Θ爲0 = u/w弧 度。所以，可以得知，上述u —及w' ，u" =w. sin(u/w )、w'=w. cos(u/w)。此外，兩UV座標系，因爲V軸 爲共用之座標軸，故點T、C之Y座標値爲相同之座標値v 0 利用以上之關係，XY座標系上之點Si ( xi，yi )及UV 彎曲座標系上之點c < ( U > ,ν / )，可以利用參數A〜F及 w (式（3)式（9))，而以式（1〇)及（13)之演算式 來求取。其次，求取UV彎曲座標系上之點P附近的影像， 將其展開平面T上而得到平面正則影像τ。 藉由此種構成，發明者們證實，在平面正則影像T之 右邊輪廓附近及左邊輪廓附近的變形獲得大幅改善。 -21 - 201230786 以下’係式（10)〜（13)。此外，式（10)〜（13 )之x、y ’係對應於上述xi、yi。 [數式ΐ(η 式（10〉 w = w · sin — w [數式11 W = TV · cos u w 式（11> [數式12] +M+TVC)…式(12)

X R(u'A+vB+WC) ▲，2+v2 +W2 [數式13] H(u:D+vJS+W^)=呢乃十 WjP)…綱

Ww+w2 G = R —

Vw,2 + v2 + w'2 其次，利用上述彎曲座標系’參照第4圖’針對切取 魚眼變形影像s的—部分或全部並變換成平面正則影像τ之 變換例來進行說明° 第4圖，係利用上述彎曲座標系，切取魚眼變形影像S 的一部分或全部’再將其變換成平面正則影像T之變換例 的槪念圖。 第4 ( A )圖，圖示著魚眼變形影像S，利用上述彎曲 座標系，切取其一部分並變換成平面正則影像的影像’如 201230786 第4 ( B )圖所示。此外，從魚眼變形影像S變換成平面正 則影像時之影像大小可以任意設定，此點與上述例相同。 第4 ( B )圖時，係魚眼變形影像S所示之影像當中， 選擇了 B氏〜E氏並變換成平面正則影像之例。該選擇範圍 ，與第2(C)圖所示之例爲相同之範圍，然而，相較於第 2(C)圖所示之平面正則影像，第4(B)圖所示之平面正 則影像上的左右輪廓附近幾乎未發生變形。 本實施形態之影像處理裝置時，可以適用「基本原理 」及「彎曲平面正則影像之變換」的任何變換方法，然而 ，在以下說明之例時，係針對利用「彎曲平面正則影像之 變換」時來進行說明。 此外，上述魚眼變形影像S，係由具備廣角透鏡或全 方位鏡之攝影機（例如，魚眼透鏡攝影機）所攝取者，參 照第5圖，針對該魚眼透鏡攝影機之設置方向及補正方向 之關係來進行說明。 第5圖，係魚眼透鏡攝影機之設置方向及補正方向之 關係的槪念圖。 第5 ( A )圖’係將魚眼透鏡攝影機配置成橫向（例如 ’正對於Z軸之方向）時之補正方向的例。爲了取得約ι8〇 度之廣泛視野的平面正則影像，只要進行第5 ( A )圖中之 箭頭方向的變形補正即可。 第5 ( B )圖，係將魚眼透鏡攝影機朝上方（例如，平 行於Z軸之方向）配置時之補正方向的例。爲了取得約3 6 〇 度之廣泛視野的平面正則影像，只要進行第5 ( B )圖中之 -23- 201230786 箭頭方向的變形補正即可。 亦即，魚眼透鏡攝影機爲橫向時，如第5 ( A)圖所示 ，以箭頭方向進行補正，可生成約1 8 0度之全景平面正則 影像。此外，朝上方時，以第5(B)圖之箭頭方向進行補 正，可以生成約360度之全景平面正則影像。 [2、影像處理裝置之構成及機能槪要] 本實施形態之影像處理裝置，除了執行切取以上述廣 角透鏡或全方位鏡所攝取之歪圓形影像之一例的魚眼變形 影像之一部分或全部，並變換成二次元之可辨識之平面正 則影像的處理（以下，亦統稱爲「變換」）以外，尙具有 以下之機能，亦即，以該平面正則影像上之任意點爲中心 ，執行將該攝取之魚眼變形影像再變換成平面正則影像之 處理（以下，亦稱爲「再變換」）的機能。 參照第6圖等，針對具有此種機能之本實施形態之影 像處理裝置的構成及機能槪要進行說明》 第6圖，係本實施形態之影像處理裝置之構成及機能 槪要的方塊圖。 如第6圖所示，影像處理裝置SS之構成上，係具備： 魚眼變形補正單元1 (變換手段之一例）、補正參數計算 單元2、參數輸入單元3等。 魚眼變形補正單元1，首先，其機能之一，就是執行 計算對應於用以構成上述平面正則影像之各像素資訊之魚 眼變形影像之各像素資訊之位置之對應座標的處理，爲了

S -24- 201230786 執行該機能，其構成上，具備：對應座標計算單元4、平 面正則影像作成單元5、魚眼變形影像用記憶體6 (歪圓形 影像記憶手段之一例）、平面正則影像用記憶體7 (平面 正則影像記憶手段之一例）等。 具體而言，魚眼補正單元1，係利用未圖示之光學透 鏡以180°之視野來進行周圍被攝體之拍攝，並以未圖示之 影像感測器等變換成半徑爲R之歪曲圓形影像之一例之魚 眼變形影像S的數位資料，經過變換之魚眼變形影像S，被 儲存於魚眼變形影像用記憶體6。魚眼補正單元1，則執行 將其變換成可顯示於未圖示之顯示裝置之像素資訊群的平 面正則影像T，並儲存於平面正則影像用記憶體7之處理。 魚眼變形影像用記憶體6，係由一般影像資料儲存用 之緩衝記憶體所構成，係將魚眼變形影像S，以由配置於 XY座標系上之座標（x,y)所示之位置的多數像素之集合 體所構成的像素資訊群來進行儲存。該魚眼變形影像S， 如上面所述，爲以XY座標系之原點0爲中心及半徑爲R之 影像。 平面正則影像用記憶體7，係由一般影像資料儲存用 之緩衝記憶體所構成，將平面正則影像T，以由配置於UV 座標系上之座標（u,v )所示之位置的多數像素之集合體 所構成的像素資訊群來進行儲存。平面正則影像T之輪廓 ，可以任意設定。此外，儲存於該平面正則影像用記億體 7之像素資訊，可以使用於上述平面正則影像T及彎曲正則 影像C之雙方。 -25- 201230786 此外，如Π、魚眼變形影像之變換原理]所述，uv座 標系及UV彎曲座標系，於爲具有U軸及V軸之二次元座標 系之點相同，定義於UV座標系上之平面正則影像T，定義 於UV彎曲座標系上之彎曲正則影像C，皆爲由配置於座標 値（u，v )所示之位置之多數像素配列所構成之點相同。 所以，只要依據儲存於平面正則影像用記憶體7內之像素 配列資料，將影像顯示於平面上，即可得到平面正則影像 T，然而，將影像顯示於圓柱側面上，則可得到彎曲正則 影像C »所以，儲存於平面正則影像用記憶體7之像素配列 資料本身，可以稱之爲平面正則影像T用資料，亦可稱之 爲彎曲正則影像C用資料。 對應座標計算單元4，利用由後面詳述之補正參數計 算單元2所設定之參數（上述式（3)〜式（8)之A〜F之 値及α、0、φ等）、預先設定之半徑R，計算對應於由 後面詳述之平面正則影像作成單元5所提供之平面正則影 像上之任意座標（u，v )之魚眼變形影像S上的對應座標（ x，y)。 亦即，對應座標計算單元4，具有以下之機能，亦即 ’提供平面正則影像上之任意座標（u，v )時，可以將對 應之魚眼變形影像S上的對應座標（x，y )傳回給平面正則 影像作成單元5之機能。該平面正則影像上之任意座標（ u，v ) ’由後述之uv座標値發生部51，發生被輸出之平面 正則影像的像素份。 更具體而言，對應座標計算單元4，具由藉由依據上

S -26- 201230786 述基本原理之關係式（式（1)〜式（9))、或彎曲平面 正則影像之變換的關係式（式（1 0 )〜式（1 3 ))之演算 ，來計算對應於座標（u,v )之對應座標（x,y )的機能， 其構成上，具備··共用係數演算部41、彎曲座標補正部42 、xy座標計算部43。 共用係數演算部41，由參數輸入單元100提供倍率m、 由平面正則影像作成單元300提供座標v時，利用預先設定 之歪曲圓形影像之半徑R，將以上述式（9)所計算之値代 入上述G，執行共用係數G之演算的處理。 彎曲座標補正部42，具有執行以將定義於平面上之二 次元UV垂直相交座標系上之座標（u,v)補正成定義於圓 柱側面上之二次元UV彎曲座標系上之座標（u,v )之必要 演算的機能，由參數輸入單元100提供倍率m、由平面正則 影像作成單元3 00提供座標u時，利用預先設定之魚眼變形 影像的半徑R，依據式（9)、式（10)及式（11)，執行 u 一及之演算處理。 此外，利用基本原理之關係式（式（1 )〜式（9 )) 時，省略了彎曲座標補正部42，對xy座標計算部43輸入u 、"^、％以取代\1一、¥、\^一。 xy座標計算部43，利用平面正則影像作成單元5所提 供之座標V、補正參數計算單元2所輸入之A〜F (式（3) 〜式（8 ))、共用係數演算部4 1所演算之共用係數G、彎 曲座標補正部42所演算之及、預先設定之魚眼變形 影像之半徑R，依據式（12 )及式（13 )執行X及y之演算 -27- 201230786 ，並輸出至平面正則影像作成單元5。 平面正則影像作成單元5，利用xy座標計算部43所輸 出之値，作成平面正則影像，並執行記億於平面正則影像 用記億體7之處理。更具體而言，首先，將構成平面正則 影像之1個著眼像素之座標（u，v )提供給對應座標計算單 元4並計算對應座標（x，y )。其次，讀取配置在記憶於魚 眼變形影像用記憶體6之魚眼變形影像S之對應座標（x，y )附近的像素之像素値，針對構成平面正則影像之各像素 執行依據所讀取之像素値來決定著眼像素之像素値的處理 ，並藉由將各像素之像素値記憶於平面正則影像用記憶體 7內來作成平面正則影像。 爲了實現此種機能，平面正則影像作成單元5之構成 上，具備：uv座標値發生部5 1、平面正則影像用記憶體控 制器52 (畫面資訊生成手段之一例）、像素値決定部53、 魚眼變形影像用記憶體控制器54。 uv座標値發生部51，用以發生所輸出之平面正則影像 構成像素之數量份的UV之値（座標値之値）。例如，所輸 出之平面正則影像之大小爲水平4 0 0點X垂直3 0 0點時，輸 出u=-200〜200、 v=-150〜150之値 。 平面正則影像用記憶體控制器5 2，係針對平面正則影 像用記憶體7執行資料之寫入及讀取之控制裝置，由像素 値決定部53決定特定像素之像素値時，針對記憶於平面正 則影像用記憶體7之該特定像素’執行所決定之像素値的 寫入處理。如此’若對全部像素完成像素値寫入處理時，

S -28 - 201230786 已於平面正則影像用記憶體7內作成平面正則影像T。其次 ，平面正則影像用記憶體控制器52，係讀取該平面正則影 像Τ之資料並輸出至圖示顯示部，執行將平面正則影像τ顯 示於顯示畫面上之處理。 魚眼變形影像用記憶體控制器54，係用以對魚眼變形 影像用記憶體6執行資料寫入及讀取之控制裝置。如上面 所述，所輸入之魚眼變形影像S的資料，由魚眼變形影像 用記憶體控制器54記憶於魚眼變形影像用記憶體6。 此外，必要時，魚眼變形影像用記憶體控制器54，亦 可以讀取記億於魚眼變形影像用記憶體6之魚眼變形影像S 的資料並輸出至顯示裝置，而將魚眼變形影像S顯示於顯 示畫面上。 此外，魚眼變形影像用記憶體控制器54，由對應座標 計算單元4提供座標（x，y )時，亦可從魚眼變形影像用記 憶體6所記憶之魚眼變形影像S的資料當中，讀取該座標（ x，y )附近位置之像素的像素値，並實現將其提供給像素 値決定部53之機能。 針對此種構成之平面正則影像作成單元5執行從魚眼 變形影像S變換成平面正則影像T之變換的處理進行說明。 首先，uv座標値發生部5 1，發生用以構成平面正則影 像T之像素配列上之用以表示特定著眼像素的座標（u，v ) 。所發生之座標（u，v )，由uv座標値發生部5 i提供給對 應座標計算單元4。藉此，計算對應於座標（u，v )之對應 座標（X，y )，該對應座標（X，y )，被提供給魚眼變形影 -29- 201230786 像用記憶體控制器54。 如以上所述，魚眼變形影像用記憶體控制器5 4，從魚 眼變形影像用記憶體6所記憶之魚眼變形影像S之資料當中 ，讀取該座標（x，y )附近位置之像素的像素値並提供給 像素値決定部53。 魚眼變形影像s，係由配置於二次元XY垂直相交座標 系上之座標（X，y)所示之位置之多數像素的集合體所構 成之影像，實際上，係於以特定間距縱橫配列之多數格子 點的位置分別定義固有像素値之數位資料所構成。所以， 由對應座標計算單元4所計算之對應座標（x，y)之位置， 通常，係複數格子點之間的位置。 所以，實際上，像素値決定部53時，在決定配置於座 標（u，v )所示之位置之平面正則影像T上的著眼像素之像 素値時，讀取配置於對應座標（x，y )所示之位置附近之 魚眼變形影像S上之複數參照像素的像素値，並針對該等 複數參照像素之像素値執行內插演算（例如，眾所皆知之 二度空間內插法、雙立方·仿樣內插法等）。此外，亦可 以不執行上述內插，而採用直接以最接近對應座標（x，y )所示之位置之像素的像素値作爲著眼像素之像素値的方 法。 如此，由像素値決定部5 3所決定之著眼像素之像素値 ，被輸入至平面正則影像用記憶體控制器5 2。另一方面’ 由uv座標値發生部5 1，對平面正則影像用記憶體控制器5 2 輸入所發生之座標（u，v)。

S -30- 201230786 所以，平面正則影像用記憶體控制器52，執行將像素 値決定部53所決定之像素値寫入來當作位於記憶在平面正 則影像用記憶體7之平面正則影像T之座標（u,v )位置之 眼像素之像素値的處理。 如此，針對1個著眼像素決定像素値，並執行寫入處 理，然而，uv座標値發生部51，依序發生構成平面正則影 像T之用以表示像素配列上之全部像素的座標（u，v )，針 對各像素，分別決定像素値，並記憶於平面正則影像用記 憶體7內。 參數輸入單元3，具備鍵盤、跟蹤球、觸控面板或電 子筆等，依據使用者之操作，可以指定顯示於顯示裝置之 魚眼變形影像S上或上述經過變換處理行後之平面正則影 像T的一點。 更具體而言，爲利用上述式（1)及（2)或式（12) 、（1 3 )等來計對應座標，需要視線向量n '平面傾斜角 Φ、倍率m之3個參數。參數輸入單元3，係依據使用者之 指示輸入來輸入該3個參數之構成要素。亦即，參數輸入 單元3，具有於三次元XYZ垂直相交座標系，輸入以原點〇 爲起點而朝任意方向之視線向量η作爲用以表示平面正則 影像之切取位置的參數，輸入特定之平面傾斜角φ作爲用 以表示平面正則影像之切取方向的參數，並輸入特定之倍 率m作爲用以表示平面正則影像之補正尺寸的參數之機能 〇 此外，如上所示之實施形態時，於顯示裝置，必要時 -31 - 201230786 ，可以顯示儲存於魚眼變形影像用記憶體6之角、眼變形影 像S。其次，參數輸入單元3’接收到用以指定顯示於該顯 示裝置之魚眼變形影像3上之1點之使用者的輸入指示時’ 以該1點之位置作爲切取中心點p ( xo，y〇) ’將其當作用 以表示視線向量η之參數輸入來進行接收’並輸出至補正 參數計算單元2。 補正參數計算單元2之構成上’係具備：補正參數計 算部21 (選擇指示受取手段之一例）、及對應座標計算單 元22 (對應座標特定手段之一例）。 補正參數計算部2 1，由參數輸入單元3提供視線向量η 及平面傾斜角Φ時，依據視線向量η來求取方位角α及頂 角/3 ，並依據式（3)〜（8)計算旋轉係數A、B、C、D 、E、F 0 如上面所述，本實施形態之影像處理裝置，具有執行 以上述魚眼變形影像S之經過變換之平面正則影像τ上的任 意點爲中心，將記憶於魚眼變形影像用記憶體6之魚眼變 形影像S再變換成平面正則影像T之處理的機能。 爲了實現該再變換，補正參數計算部2 1，係具備：對 應座標計算單元22、及魚眼變形補正單元1 (再變換手段 之一例）。 爲了將上述變換所得到之平面正則影像T顯示於顯示 裝置，通常必須將平面正則影像T縮小成可顯不於該顯不 裝置之可顯區域。所以，顯示之平面正則影像T，爲了縮 小原影像，以省略部分像素資訊來進行顯示。 & -32- 201230786 針對此種省略部分像素資訊之平面正則影像τ，以切 取特定範圍來顯示、或放大顯示時（亦即，顯示平面正則 影像Τ之詳細影像時），會導致塊狀變形（塊狀雜訊）、 或顯示於影像之被攝體的識別性明顯損失的結果。 該塊狀變形，亦稱爲塊狀雜訊，係指於顯示於像素上 之影像的一部分區域呈現鑲嵌狀之現象。 此處，參照第7圖，針對於平面正則影像Τ之詳細影像 發生塊狀雜訊之例進行說明。 第7圖，係平面正則影像Τ之詳細影像發生塊狀雜訊之 例的槪念圖。此外，第7(A)圖之上圖及第7(B)圖之上 圖中之十字記號，係表示爲了切取特定範圍來顯示而由參 數輸入單元3提供指示之部位（例如，利用指向器之指示 )° 第7 ( A)圖之上圖所示之例時，係利用基本原理將魚 眼變形影像S變換成平面正則影像T之例，第7 ( A )圖之下 圖所示之例，係切取變換後之平面正則影像T的一部分來 進行顯示之例。 第7(A)圖之下圖所示之例時，係於顯示之切取顯示 之平面正則影像T的被攝體發生塊狀雜訊而使該被攝體之 輪廓部發生激烈變形之狀態。 第7 ( B )圖之上圖所示之例時，係利用彎曲平面正則 影像之變換來將魚眼變形影像S變換成平面正則影像τ之例 ，第7 ( B )圖之下圖所示之例時，係切取並顯示變換後之 平面正則影像T的一部分之例。 -33- 201230786 第7(B)圖之下圖所示之例時，係於顯示之切取顯示 之平面正則影像T之被攝體發生塊狀雜訊而使該被攝體之 輪廓部發生激烈變形的狀態。 從該魚眼變形影像S變換成平面正則影像T之目的，係 因爲魚眼變形影像S發生強烈變形，將所攝取之物體變換 成容易監看之平面正則影像T，再提示給使用者。其次， 爲了持續監看、對拍攝成平面正則影像T之物體取得更詳 細之資訊，以切取顯示拍攝成該平面正則影像T之物體的 特定範圍、或擴大顯示爲佳。此外，以對上述平面正則影 像T適用物體辨識技術，並在未執行人爲動作而可正確辨 識顯示於魚眼變形影像上之物體爲佳。 然而，使用者，難以利用上述發生塊狀雜訊之影像取 得詳細資訊，且，難以適用上述物體辨識技術。 所以，本實施形態之影像處理裝置s S，係利用補正參 數計算部21、對應座標計算單元22、及魚眼變形補正單元 1來執行上述再變換。 參照第8圖〜第10圖，針對該再變換進行詳細說明。 第8圖〜第1 〇圖係用以說明再變換之詳細的槪念圖。 該再變換時，可以適用利用基本原理之變換方法、及 利用彎曲平面正則影像之變換的變換方法之任意變換方法 ，以下，針對利用彎曲平面正則影像之變換的變換方法來 進行說明。 首先，考慮利用上述處理之變換處理，亦即，將由魚 眼變形影像S轉換成彎曲平面正則影像C並將該彎曲平面正 -34- 201230786 則影像顯示於顯示部時。此處，如第8圖所示’係顯示著 以P ( xo，yo )作爲切取中心之彎曲平面正則影像c者。該 切取中心P(x〇，y〇) ’可以爲由使用者之參數輸入單元3 之操作所指定者、亦可以爲依影像處理裝置ss預先設定之 位置所指定者。 使用者，可依據參數輸入單元3之操作’選擇彎曲平 面正則影像C之任意點。該任意位置之一例’可以爲使用 者對顯示於彎曲平面正則影像C之物體當中希望得到詳細 資訊之點，例如，適用物體辨識技術來辨識特定物體時， 亦可以爲該物體之重心位置。 第8圖所示之例時，係已經變換成以點G爲中心之平面 正則影像。前面已針對該動作進行說明，然而，係於魚眼 變形影像S上指定平面正則影像之中心（點P )，並決定對 應於點P之虛擬球面上之點Q，由點Q來計算a、yS。其次 ，指定補正影像之傾斜角Φ ，利用式（3 )〜（8 )計算係 數A〜F。利用該A〜F計算魚眼變形影像及平面正則影像 之對應座標，得到以點G爲中心之平面正則影像。 第8圖所示之例時，係進一步選擇Ci ( ui，vi )作爲上 述任意點。 參數輸入單元3，接收到Ci(ui，vi)之輸入時，將該 所輸入之資訊輸出至補正參數計算部21。具體而言，參數 輸入單元3，依據使用者之指示輸入，將視線向量n、平面 傾斜角Φ、倍率m之3個當作參數輸出至補正參數計算部2 1 -35- 201230786 補正參數計算部2 1，接收參數輸入單元3所指定之魚 眼變形影像S上之一點的輸入（Ci ( ui,vi )之輸入）時， 由於魚眼變形影像S上所指定之一點，計算倍率m、魚眼變 形影像之半徑R、及A〜F (式（3)〜式（8))，並輸出 至對應座標計算單元22。 對應座標計算單元22，利用所輸入之倍率m、魚眼變 形影像之半徑R、A〜F (式（3)〜式（8))、及式（12 )及（13 )，計算作爲Ci ( ui，vi )之對應座標之魚眼變形 影像S上的點Si ( xi,yi)。 亦即，此處，對應座標計算單元22，用以特定對應於 彎曲平面正則影像C上之像素資訊之魚眼變形影像S上的像 素資訊。 具體而言，對應座標計算單元22，係以Ci ( ui，vi )作 爲切取中心，來特定對應於該切取中心之魚眼變形影像S 上的點。 亦即，如第9圖所示，決定對應於點Si ( xi，yi )之虛 擬球面上之點Qi，由點Qi來計算α / 、点/ 。其次，指定 補正影像之傾斜角Φ / ，計算新的係數Α〜F (利用式（3 )〜式（8))。其次，計算作爲Ci(ui,vi)之對應座標 之魚眼變形影像S上的點Si ( xi，yi ) ’並將該等資訊輸出 至魚眼變形補正單元1。 其次，魚眼變形補正單元1 (再變換手段之一例）， 如第10圖所示（亦即，與上述變換相同）’以Ci ( ui,vi ) 爲中心，依序發生用以表示構成平面正則影像T之像素配

S -36- 201230786 列上之全部像素的座標（U，V ) ’針對各像素，分別決定 像素値，並記憶於平面正則影像用記憶體7內。 如此，利用影像處理裝置SS，得到以點Ci ( ui，vi)爲 中心之平面正則影像。 此處，參照第11圖及第12圖，針對執行上述再變換時 所顯示之顯示畫面例進行說明。 第11圖，係再變換利用基本原理進行變換之平面正則 影像時之顯示畫面例圖’第12圖，係再變換利用彎曲平面 正則影像之變換來執行變換之平面正則影像時之顯示畫面 例圖。 第11 (A)圖，係於利用基本原理執行變換之平面正 則影像，選擇任意點之狀態。圖中之十字記號，係以參數 輸入單元3提供任意點之指示的部位（例如，以指向器指 示）。 第1 1 ( B )圖，係用以計算以上述任意點爲中心之特 定範圍內之魚眼變形影像S之對應座標時的槪念圖。該特 定範圍內，可以UV座標値發生部51之動作來任意設定。 藉由將該特定範圍設定成較爲廣泛，可以放大再變換後之 平面正則影像之布置尺寸（亦即，增加構成平面正則影像 之像素數）。 具體之動作，如上面所述，係計算第11 ( A )圖所指 定之位置、由變形補正時之角度a、yS、Φ及式（1)、 (2 )來計算魚眼變形影像內之對應位置。以虛線來表示 以計算出之位置爲中心之魚眼變形影像內之切取區域（變 -37- 201230786 換之預定區域）。圖中之十字記號，係表示對應於第η( a)圖之注目位置之魚眼變形影像的位置。由魚眼變形影 像S之圖中之十字記號之位置，計算新角度α / 、^ 、 Φ / ，更新係數Α〜F (計算）。利用新係數A〜F及式（1 )、（2)，再度執行變形補正而生成切取補正影像。 第1 1 ( C)圖，係經過再變換之平面正則影像。第1 1 (B)圖之虛線係經過再變換之區域。 第1 2 ( A )圖，係於利用彎曲平面正則影像之變換而 經過變換之彎曲平面正則影像時，選擇任意點之狀態。圖 中之十字記號，與上述第11圖相同》 第1 2 ( B )圖，係用以計算以上述任意點爲中心之特 定範圍內之魚眼變形影像S之對應座標的槪念圖。 具體之動作，如上面所述，係計算第1 2 ( A )圖所指 定之位置、由變形補正時之角度α、、Φ及式（12)、

(1 3 )來計算魚眼變形影像內之對應位置。以虛線來表示 以計算出之位置爲中心之魚眼變形影像內之切取區域。圖 中之十字記號，係表示對應於第12(A)圖之注目位置之 魚眼變形影像的位置。由魚眼變形影像S之圖中之十字記 號之位置，計算新角度α > 、/3 / 、Φ / ’更新係數Α〜F (計算）。利用新係數A〜F及式（12 ) 、（ 13 ) ’再度執 行變形補正而生成切取補正影像。 第1 2 ( C )圖，係經過再變換之平面正則影像。第1 2 (B )圖之虛線係經過再變換之區域。 本實施形態之影像處理裝置SS，藉由以上之構成，可 -38- 201230786 依據以廣角範圍之視野所攝取之魚眼變形影像S來執行正 確且有效之物體辨識。因爲，以彎曲平面正則影像C內之 注目區域之位置爲中心且由魚眼變形影像S再執行變形補 正並顯示，不會受到彎曲平面正則影像C之監視器顯示時 之縮小操作所造成之畫質劣化的影響。實施切取補正影像 之數位變焦時，該等切取手法之不同，會明顯地以畫質差 異來呈現。此外，因爲藉由適用變形補正，可以得到彎曲 平面正則影像C，故可適用傳統之辨識技術，且可藉由辨 識來自動指定注目區域。所以，可以實現監視對象之自動 追蹤。如此，無需以人來隨時進行監視，故可避免操作失 誤等。此外，因爲可以顯示複數點之切取補正影像，複數 監視對象分散存在時，也可對應。 此外，爲了實現上述魚眼補正單元1、補正參數計算 單元2、及參數輸入單元3之部分或全部之機能，魚眼補正 單元1、補正參數計算單元2、及參數輸入單元3的一部分 或全部，可以適用以執行各處理而設計之專用硬體（所謂 ，硬體加速）。藉由專用硬體來實現魚眼補正單元1等， 因爲可以於該硬體內活用電路之並列性並同時執行演算， 相較於逐次之命令執行（例如，利用CPU之軟體執行）， 可以實現處理之高速化等。此外，在軟體之控制下，搭載 於影像處理裝置SS之未圖示之CPU、RAM、及ROM等控制 裝置，當然也可執行魚眼補正單元1、補正參數計算單元2 、及參數輸入單元3的一部分或全部之機能。 此外，本發明之影像處理裝置，係具有將利用魚眼透 -39- 201230786 鏡拍攝而得到之魚眼變形影像的一部分變換成平面正則影 像之機能的裝置，然而’該裝置之變換對象的影像’並未 限定爲利用魚眼透鏡所拍攝而得到之影像。例如，只要爲 利用凸面鏡之攝影影像等，適用魚眼透鏡及同等之半球面 射影模式之影像，可利利用本發明之影像處理裝置來執行 影像變換。 [3、影像處理裝置SS之動作] 其次，參照第13圖，針對影像處理裝置SS之動作進行 說明。 第13圖，係影像處理裝置SS之動作流程圖。 首先，爲了將變換魚眼變形影像S所得之平面正則影 像T或彎曲平面正則影像C (以下，統稱爲「平面正則影像 等j )顯示於顯示部，必須執行上述變換，係依據使用者 之參數輸入單元3的操作，或者，利用預先設定於影像處 理裝置SS之値’選擇魚眼變形影像S之切取中心P(x〇，yo )選擇（步驟S1)，並將該等所選擇之資訊當作上述參數 輸出至補正參數計算部21。 補正參數計算部2 1 ’由參數輸入單元3提供視線向量„ 及平面傾斜角Φ時’依據視線向量η來求取方位角α及頂 角冷，依據式（3)〜（8)來計算旋轉係數a、B、C、D 、E、F (步驟S2)，並輸出至魚眼變形補正單元1。 如此’魚眼變形補正單元丨，利用補正參數計算部2 1 所輸入之計算結果（α '石、φ等），將上述魚眼變形影

S •40- 201230786 像S變換成平面正則影像等’平面正則影像用記憶體 器52，則將該平面正則影像等顯示於顯示畫面上（步 )° 其次，使用者依據參數輸入單元3之操作來指定 於平面正則影像等之任意點ci ( ui，vi )時（步驟S5 : )，對應座標計算單元22，決定對應於點Si ( Xi，yi ) 擬球面上之點Qi，並由點Qi計算α '、々 > 。其次， 補正影像之傾斜角Φ > ，並計算新係數Α〜F (利用5 )〜式（8))。其次’計算作爲Ci(ui，vi)之對應 之魚眼變形影像S上的點Si ( Xi，yi ) ’將該等資訊輸 魚眼變形補正單元1(步驟S6及步驟S7)。 步驟S 8時，魚眼變形補正單元1，依據由對應座 算單元22所輸入之資訊，生成以點Ci ( ui，vi )爲中心 面正則影像（亦即’利用α /、/3 > 、Φ —實施變形 )° 其次，平面正則影像用記憶體控制器5 2，將經過 換之該平面正則影像等顯示於顯示畫面上（步驟S9) [4、經過再變換之平面正則影像等之顯示形態] 其次，參照第14圖〜第16圖，針對經過再變換之 正則影像等之顯示形態進行說明。 本實施形態之影像處理裝置，可以指定複數之平 則影像等之任意點Ci ( ui，vi )，執行再變換，並將變 之平面正則影像等顯示於顯示部。 控制 驟S4 顯示 YES 之虛 指定 C ( 3 座標 出至 標計 之平 補正 再變 平面 面正 換後 -41 - 201230786 具體而言，例如，每次指定上述任意點Ci ( ui，vi )時 ，計算對應於該被指定之點Ci(ui，vi)之魚眼變形影像S 上的點Si ( xi，yi )，生成以點Ci ( ui，vi )爲中心之平面正 則影像（本專利之畫面資訊之一例）。其次，將所生成之 平面正則影像倂列地顯示於顯示部。 此外，該平面正則影像，與上述變換相同，亦可以由 平面正則影像用記憶體控制器52來生成。 第14圖，係每次指定任意點Ci ( ui，vi )時之經過再變 換之平面正則影像等被倂列顯示之畫面例圖。第14圖中之 虛線部，係表示被選擇爲再變換之對象。 第14(A)圖，係依序指定C氏及E氏作爲上述任意點 Ci ( ui，vi )時。 第1 4 ( B )圖，係將所生成之平面正則影像倂列顯示 。第14(B)圖所示之例時，因爲攝影機與被攝體之人物 之距離的關係，而使F氏看起來比C氏大。 第14(C)圖時，係只縮小F氏之顯示而使C氏及F氏 之大小成爲一致時之顯示例。如此，變更被攝體之顯示尺 寸時，只要變更上述倍率m即可。 變更倍率m之手段，係在未圖示之CPU的控制下，由 補正參數計算部21來計算即可，或者，如第6圖之方塊圖 所示，增設顯示控制單元，以該單元來執行亦可。此外， 亦可以由顯示控制手段之一例之平面正則影像用記憶體控 制器52來執行^ 第14(D)圖時，係放大再變換之平面正則影像T之區 -42- 201230786 域而只放大顯示著C氏之畫面（左側之視窗尺寸）（亦即 ，放大顯示區域）時之顯示例。爲了放大該顯示區域，只 要使上述UV座標發生部51發生上述放大之顯示區域份的座 標（u，v)即可。其次，所發生之座標（u，v)，由uv座標 値發生部51提供給對應座標計算單元4，計算對應於座標 (u，v)之對應座標（x，y )，並執行平面正則影像之再變 換。 第14(D)圖所示之C氏的顯示區域，比第M(B)圖 中顯示C氏之顯示區域更爲放大。所以，可以得知，於第 14(D)圖所示之C氏之顯示區域，顯示著到第14(B)圖 未顯示之B氏及D氏之肩部爲止。 此外，第14(E)圖時，係同時執行上述倍率m之增加 及顯示區域之放大的結果，而分別放大F氏之顯示區域及F 氏之顯示尺寸之例。 藉由此種顯示，對於顯示於該顯示區域之被攝體，可 以取得更詳細之影像。 其次，參照第1 5圖，針對利用物體辨識技術來辨識顯 示成經過再變換之平面正則影像等之被攝體，並將該經過 辨識之被攝體的特定位置當作上述任意點Ci ( ui，vi )，執 行再變換並顯示之例來進行說明。 第15圖，係利用物體辨識技術進行再變換之顯示例圖 〇 因爲物體辨識技術係眾所皆知之技術，故省略其詳細 說明，然而，亦可以爲如下之方式，例如，首先，以一般 -43- 201230786 所知之型樣匹配法或特徵點析出法的上述物體辨識技術來 辨識物體。其次，以所辨識之物體當中之預先設定之點（ 例如，物體之重心位置等）作爲上述任意點C i ( u i, V i )， 執行再變換並顯示。執行該物體辨識之構成，例如，於第 6圖所示之構成例增設由CPU等所構成之物體辨識手段的 構成。 第1 5 ( A )圖中，平面正則影像內之矩形之實線係利 用物體辨識而辨識到之人物的臉的影像。虛線，係對應之 魚眼變形影像S的切取區域。 第1 5 ( B )圖中，係經過再變換之顯示例（亦即，切 取補正影像顯示例）。如第15(B)圖所示，存在著複數 對象時，亦可以對應。此外，對象移動時，亦可以藉由辨 識而自動追蹤。此種自動追蹤，可以利用上述特徵點析出 法，計算光流來實現眾所皆知的追跡處理。 再變換之影像，亦可以利用指向器（亦即，依據人爲 動作之指定）來複數選擇上述任意點Ci ( ui，vi)。 第1 6圖，係以指向器（亦即，依據人爲動作之指定） 來複數選擇上述任意點Ci(ui，vi)時。 第1 6 ( A )圖中，十字記號係表示以指向器來指定作 爲切取區域之平面正則影像內之虛線矩形區域的記號（指 點器）。 第1 6 ( B)圖，係經過再變換之顯示例（切取補正影 像顯示例）。如此，將以指向器指定之切取區域顯示於新 視窗，亦可對應於存在著複數對象時。此外，新視窗並非 -44- 201230786 只用於顯示切取補正影像，也可將更新注目位置之切取補 正影像顯示於指定視窗。監視對象移動時，也可以手動來 更新切取區域並進行追蹤。 [5、監視攝影機系統之適用例] 其次，參照第17圖，針對將影像處理裝置SS適用於監 視攝影機系統之例進行說明。 第17圖，係將影像處理裝置SS適用於監視攝影機系統 之例的槪念圖。 本實施形態之影像處理裝置SS之構成上，除了第6圖 所示之構成以外，尙追加了搭載著魚眼透鏡（廣角透鏡或 全方位鏡等）之數位攝影機（可將魚眼變形影像輸出至影 像處理裝置SS之裝置即可）、顯示裝置，以及，用以辨識 上述經過變換之平面正則影像所顯示之特定物體的物體辨 識手段、及該所辨識之物體於平面正則影像所示之持續變 化針對前述各平面正則影像進行辨識之動作辨識手段。其 次，特定對應於動作辨識手段所辨識之前述各平面正則影 像之物體上之任意點之魚眼變形影像上的像素資訊，依據 該特定位置執行再變換。該物體辨識手段及動作辨識手段 ，亦可以利用CPU等來實現。 第1 7 ( A )圖係魚眼變形影像，第1 7 ( B )圖則係上述 經過變換之平面正則影像（亦即，以影像處理裝置S S由魚 眼變形影像所生成之平面正則影像）。 如第1 7 ( A )圖所示，魚眼變形影像，因爲隨著其遠 -45 - 201230786 離影像之中心部而發生愈強烈之變形，故難以倂用傳統之 物體辨識技術，前面已針對此點陳述過。其次，第17(B )圖所示之平面正則影像，因爲對於廣泛視野可以顯示正 則人物，故可倂用傳統之物體辨識技術，此點也在前面陳 述過。 所以，本監視攝影機系統，可對平面正則影像適用物 體辨識技術來執行監視對象之自動位置檢測，並可繼續對 該檢測到之監視對象進行監視。 具體而言，如第17(C)圖所示，藉由適用本發明， 可以持續地（繼續地）計算對應於以平面正則影像所自動 檢測到之監視對象位置之魚眼變形影像上的監視對象位置 。以魚眼變形影像上之監視對象位置作爲切取補正影像之 中心（亦即，執行上述再變換），可以進行監視對象之自 動追蹤。 針對該第17(C)圖進行具體說明，第17(C)圖之（ 1 )〜（4 )之上部所示之圖，係變換後之平面正則影像（ 第17(C)圖時，依（1)〜（4)之順序，係人從右朝左 移動之狀態）。 以上述再變換來計算對應於在平面正則影像上所檢測 之位置之魚眼變形影像（中部之圖）的位置。下部之圖， 係以魚眼變形影像上所計算出之監視對象之位置爲中心的 切取補正影像（亦即，再變換之平面正則影像）。持續將 利用物體辨識技術所自動檢測到之監視對象的位置更新成 切取補正影像之中心位置（亦即，上述任意點Ci ( ui，vi ) -46- 201230786 )，而可以該中心位置作爲基準來顯示經過再變換之影像 之監視對象的自動追蹤。 [6、TV會議系統之適用例] 其次，參照第18圖及第19圖，針對將影像處理裝置SS 適用於監視攝影機系統之例進行說明。 第1 8圖，係將橫向設置之魚眼透鏡攝影機的影像處理 裝置SS適用於TV會議室系統之例的槪念圖，第19圖，係 將魚眼透鏡攝影機朝天花板方向設置時之影像處理裝置S S 適用於TV會議室系統之例的槪念圖。 本實施形態之影像處理裝置SS之構成上，除了第6圖 所示之構成以外，尙追加了搭載著魚眼透鏡（亦可以爲廣 角透鏡或全方位鏡等）之數位攝影機（可將魚眼變形影像 輸出至影像處理裝置SS之裝置即可）、顯示裝置，以及’ 用以上述物體辨識手段。該物體辨識手段，可以CPU等來 實現。 第18(A)圖，係以橫向將魚眼透鏡攝影機設置於會 議室之例的槪略圖。此時，例如，魚眼透鏡攝影機，係設 置於牆壁等，而以正對被攝體之人的方向來設置。 第1 8 ( B )圖，係本系統之經過變換的平面正則影像 。如第1 8 ( B )圖所示，因爲可以得到約1 80度之廣泛視野 之平面正則影像，故以1台之魚眼透鏡攝影機即可顯示複 數之會議參加者。 第18 (C)圖，係利用物體辨識技術來辨識會議參加 -47- 201230786 者（人物），其次，以所辨識到之人物當中之預先設定點 (例如，人物之重心位置等）作爲上述任意點Ci ( ui，vi ) ，進行再變換並顯示平面正則影像之例。 可以平面正則影像，並以分割視窗來顯示會議參加者 ，而可以複數點同時觀察詳細情形。 此外，如第1 8 ( D )圖所示，可以個別變更各視窗內 之影像的放大縮小之倍率，可與攝影機之距離無關而以統 一之人物大小來顯示。 此外，魚眼透鏡攝影機爲橫向時，以上述第5(A)圖 之方向來執行魚眼變形補正。 此外，第19(A)圖，係將朝向天花板方向之魚眼透 鏡攝影機設置於會議室之例的槪略圖。此時，例如，魚眼 透鏡攝影機係於平台上朝向天花板設置，而與被攝體之人 爲平行設置。 第1 9 ( B )圖，係本系統之經過變換之平面正則影像 。如第19 ( B )圖所示，因爲可以得到約3 60度之廣泛視野 的平面正則影像，以1台魚眼透鏡攝影機即可顯示全部會 議參加者。 第1 9 ( C )圖，係利用物體辨識技術來辨識會議參加 者（人物），其次，以所辨識到之人物當中之預先設定點 (例如，人物之重心位置等）作爲上述任意點Ci ( ui，vi ) ，進行再變換並顯示平面正則影像之例。 可以平面正則影像，並以分割視窗來顯示會議參加者 ，而可以複數點同時觀察詳細情形。

S -48 - 201230786 [7、左右上下變焦攝影機之適用例] 其次，以第20圖及第21圖之對比，針對將左右上下變 焦攝影機適用於影像處理裝置SS之例進行說明。 第20圖，係將影像處理裝置SS適用於左右上下變焦攝 影機時之方塊圖，第21圖，係將像處理裝置S適用於左右 上下變焦攝影機時之槪念圖。 如第20圖所示，將影像處理裝置SS適用於左右上下變 焦攝影機時之方塊圖時，其構成上，除了前面所示之影像 處理裝置SS之方塊圖以外，尙追加了搭載著魚眼透鏡（亦 可以爲廣角透鏡或全方位鏡等）之數位攝影機（魚眼攝影 機。可將魚眼變形影像輸出至影像處理裝置S S之裝置即可 )、及左右上下變焦攝影機1 00 (本專利之監視攝影機） 及魚眼透鏡攝影機及左右上下變焦攝影機之對應座標計算 單元1 〇 1 (本專利之位置控制手段之一例）。 左右上下變焦攝影機1〇〇，係具備：可於水平方向、 垂直方向驅動攝影機之透鏡方向的機構部、及光學變焦機 構的攝影機。 魚眼透鏡攝影機及左右上下變焦攝影機之對應座標計 算單元101，係將以使左右上下變焦攝影機100朝特定方向 之位置控制爲目的的控制信號，輸出至左右上下變焦攝影 機100。藉由該控制信號之輸入，左右上下變焦攝影機100 之驅動部，以移至控制信號所示之位置來進行驅動。 第21 (A)圖，係將影像處理裝置SS適用於左右上下 -49- 201230786 攝影機時之槪念圖。如第2〗（A )圖所示，魚眼攝影機及 左右上下變焦攝影機係以可互相執行資訊之信號傳送及接 收的方式進行連結。 左右上下變焦攝影機1 00，可以拍攝變形較少之影像 (亦即，可以拍攝辨識性較高之影像），然而，視野較狹 窄，此外，因爲左右上下移動而發生死角，係一般所知的 缺點。所以，本實施形態時，將影像處理裝置SS適用於左 右上下變焦攝影機1 〇〇，從視野較廣泛之魚眼透鏡所攝取 之影像來掌握監視對象，並利用左右上下變焦攝影機1 00 以辨識性較高之影像來拍攝監視對象。 爲了實現本實施形態之動作，魚眼透鏡攝影機及左右 上下變焦攝影機之對應座標計算單元101，將魚眼攝影機 所計算之監視對象之位置資訊傳送給左右上下變焦攝影機 1 00，來執行左右上下變焦攝影機之控制。 參照第2 1 ( B )圖〜第2 1 ( E )圖，針對該控制之槪念 進行說明。 第2 1 ( B )圖之左圖，係魚眼攝影機所攝取之魚眼變 形影像，第21 (B)圖之右圖’係左右上下變焦攝影機1〇〇 所攝取之平面正則影像。比較該等之攝取中心可以得知’ 座標系之中心會因爲各攝影機之設置位置而出現差異。魚 眼透鏡攝影機及左右上下變焦攝影機之對應座標計算單元 1 0 1，計算魚眼攝影機所攝取之魚眼變形影像之攝取中心 (第1攝取中心之一例）與左右上下變焦攝影機1 〇〇所攝取 之平面正則影像之攝取中心（第2攝取中心）的差（以下 -50- 201230786 ，稱爲「中心位置之差」）。亦可預先記憶中心位置之差 〇 此外，因爲魚眼透鏡所攝取之視野爲預先決定，可以 掌握從攝取中心至攝取之影像內所存在之物體的現實距離 (以下，亦稱爲「從魚眼攝影機所得到之位置資訊」）。 同樣的，因爲以左右上下變焦攝影機1 00所攝取之視野也 是預先決定，也可以掌握從攝取中心至攝取之影像內所存 在之物體的現實距離（以下，亦稱爲「左右上下變焦攝影 機100之位置資訊」）。 本實施形態時，依據上述中心位置之差、及從魚眼攝 影機所得到之位置資訊、以及左右上下變焦攝影機100之 位置資訊，計算以設定左右上下變焦攝影機100之攝取中 心爲目的之距離資訊，並對左右上下變焦攝影機100輸出 以使左右上下變焦攝影機100之攝取中心移動至該距離資 訊所示之位置的控制信號。 所以，魚眼透鏡攝影機及左右上下變焦攝影機之對應 座標計算單元1 0 1，於魚眼變形影像經過變換並顯示平面 正則影像時（第2 1 ( C )圖），並以該平面正則影像選擇 監視對象（包含以指向器之選擇或以物體辨識技術之辨識 )時（第21(D)圖），計算對應於作爲上述再變換之中 心座標Ci所選擇之監視對象的特定位置（例如’重心等） 之魚眼變形影像之座標si。 其次，魚眼透鏡攝影機及左右上下變焦攝影機之對應 座標計算單元101，依據上述中心位置之差、及計算從si -51 - 201230786 之魚眼攝影機所得到之位置資訊的距離資訊，並以從魚眼 攝影機所得到之位置資訊及上述Si成爲左右上下變焦攝影 機100之攝取中心的方式，對左右上下變焦攝影機100之驅 動部傳送控制信號。 如此，左右上下變焦攝影機1 00，以執行左右上下變 焦來拍攝監視對象（第21(E)圖）。藉由倂用本發明及 左右上下變焦攝影機，可以有效率地控制左右上下變焦攝 影機。 其次，參照第22圖，針對將影像處理裝置SS適用於左 右上下變焦攝影機時之影像處理裝置SS的動作進行說明。 第22圖，係將影像處理裝置SS適用於左右上下變焦攝 影機時之影像處理裝置S S的動作流程圖。 首先，魚眼透鏡攝影機及左右上下變焦攝影機之對應 座標計算單元1 0 1，計算以魚眼攝影機所攝取之魚眼變形 影像之攝取中心、與以左右上下變焦攝影機1 〇〇所攝取之 平面正則影像之攝取中心的差（「中心位置之差」）（步 驟 SI 1 ) 〇 爲了變換魚眼變形影像S並將平面正則影像等顯示於 顯示部，必須執行上述變換，係依據使用者之參數輸入單 元3的操作，或者，利用預先設定於影像處理裝置SS之値 ，選擇魚眼變形影像S之切取中心P ( xo，yo )(步驟S12 ) ，並將所選擇之該等資訊當作上述參數輸出至補正參數計 算部21。 補正參數計算部21，由參數輸入單元3提供視線向量η

S -52- 201230786 及平面傾斜角Φ時，依據視線向量η來求取方位角α及頂 角沒，依據式（3)〜（8)來計算旋轉係數A'B、C、D 、E、F (步驟S13)，並輸出至魚眼變形補正單元1。 如此，魚眼變形補正單元1，利用由補正參數計算部 21所輸入之計算結果（α、/3、Φ等），執行從上述魚眼 變形影像S變換成平面正則影像等（步驟S 1 4 )，平面正則 影像用記憶體控制器52，將該平面正則影像等顯示於顯示 畫面上（步驟S15 )。 於平面正則影像等選擇監視對象時（步驟1 6 : YES ) ，計算對應於選擇作爲上述再變換之中心座標Ci之監視對 象的特定位置（例如，重心等）之魚眼變形影像的座標Si (步驟S 17 )。 其次，魚眼透鏡攝影機及左右上下變焦攝影機之對應 座標計算單元101，依據上述中心位置之差、及計算從Si 之魚眼攝影機所得到之位置資訊，並以從魚眼攝影機所得 到之位置資訊及上述Si成爲左右上下變焦攝影機100之攝 取中心的方式，對左右上下變焦攝影機1 00之驅動部傳送 控制信號（步驟s 1 8 )。 如此，左右上下變焦攝影機1 0Ό，以執行左右上下變 焦來拍攝監視對象（步驟S 1 9 )。 此外，上面說明之實施形態，並未用以限定申請專利 範圍之發明者。其次，上述實施形態中所說明之構成組合 ，並未限定全部爲解決發明課題的必要手段。 如以上之說明所示，接收到依據魚眼透鏡所攝取之魚 -53- 201230786 眼變形影像S所生成之二次元之可辨識之平面正則影像等 之任意點Ci ( ui,vi )的選擇指示時，計算作爲Ci ( ui，vi ) 之對應座標之魚眼變形影像S上的點Si ( xi，yi ) ’並以Ci (ui，vi)爲中心，來構成該魚眼變形影像S之像素資訊群 ，並依據前述像素資訊群來重新生成構成平面正則影像之 像素資訊群，故可依據以廣角範圍視野所攝取之魚眼變形 影像等而正確且有效地執行物體辨識。 此外，上述實施形態時，係針對適用本專利之影像處 理裝置時之例，其他，例如，亦可適用於數位視訊攝影機 、數位攝影機、個人電腦、或家庭用等之電子機器等。 【圖式簡單說明】 第1圖係基本原理之槪念的槪念圖。 第2圖係切取魚眼變形影像S的一部分或全部’再將其 變換成平面正則影像T之變換例的槪念圖。 第3圖係變換成彎曲平面正則影像的槪念圖。 第4圖係利用上述彎曲座標系，切取魚眼變形影像S的 - —部分或全部，再將其變換成平面正則影像T之變換例的 . 槪念圖。 第5圖係魚眼透鏡攝影機之設置方向、與補正方向之 關係的槪念圖。 第6圖係本實施形態之影像處理裝置之構成及機能槪 要的方塊圖。 第7圖係於平面正則影像T之詳細影像發生塊狀雜訊例 -54- 201230786 的槪念圖。 第8圖係用以說明再變換之詳細的槪念圖。 第9圖係用以說明再變換之詳細的槪念圖。 第10圖係用以說明再變換之詳細的槪念圖。 第1 1圖係依基本原理經過變換之平面正則影像再經過 再變換時之顯示畫面例圖。 第12圖係以彎曲平面正則影像之變換經過變換之平面 正則影像再經過再變換時之顯示畫面例圖。 第13圖係影像處理裝置SS之動作的流程圖。 第Μ圖係每次指定任意點Ci(ui，vi)時之經過再變換 之平面正則影像等被倂列顯示之畫面例圖。 第15圖係以物體辨識技術進行再變換之顯示例圖。 第1 6圖係以指向器（亦即，依據人爲動作之指定）來 選擇複數上述任意黠（^(11丨^〇時之圖。 第〗7圖係將影像處理裝置SS適用於監視攝影機系統之 例的槪念圖。 第1 8圖係將橫向設置之魚眼透鏡攝影機的影像處理裝 置SS適用於TV會議室系統之例的槪念圖。 第19圖係將魚眼透鏡攝影機朝天花板方向設置時之影 像處理裝置SS適用於TV會議室系統之例的槪念圖。 第20圖係將影像處理裝置SS適用於左右上下變焦攝影 機時之方塊圖。 第21圖係將影像處理裝置SS適用於左右上下變焦攝影 機時之槪念圖 -55- 201230786 第22圖係將影像處理裝置SS適用於左右上下變焦攝影 機時之影像處理裝置SS的動作流程圖。 【主要元件符號說明】 1 :魚眼變形補正單元 2 :補正參數計算單元 3 :參數輸入單元 4:對應座標計算單元 5 :平面正則影像作成單元 6 :魚眼變形影像用記憶體 7 :平面正則影像用記憶體 S S :影像處理裝置

S -56-

Claims (1)

1. 201230786 七、申請專利範圍： 1 · 一種影像處理裝置，其特徵爲具備： 歪圓形影像記憶手段，其係用以記憶依據外部所輸入 之廣角透鏡或全方位鏡所攝取之歪圓形影像而生成之構成 該歪圓形影像的像素資訊群； 變換手段’其係用以將前述所記憶之構成歪圓形影像 的像素資訊群’變換成用以構成可以以二維視覺辨識之平 面正則影像之像素資訊群； 平面正則影像記憶手段，其係用以記憶構成前述經過 變換之平面正則影像的像素資訊群； 選擇指示受取手段’其係用以受取像素資訊之選擇指 示’該像素資訊對應於前述所記憶之平面正則影像上的任 意點； 對應座標特定手段，其係用以特定歪圓形影像上的像 素資訊’該歪圓形影像上的像素資訊對應於前述選擇指示 所示之平面正則影像上之像素資訊；以及 再變換手段，以前述特定之像素資訊爲中心，用以將 前述所記憶之構成歪圓形影像之像素資訊群，再變換成用 以構成可以以二維視覺辨識之平面正則影像的像素資訊群 0 2.如申請專利範圍第1項所述之影像處理裝置，其中 具備：畫面資訊生成手段，其係依據用以構成前述經 過再變換之平面正則影像的像素資訊群，生成顯示於顯示 部之規定大小的畫面資訊。 -57- 201230786 3 ·如申請專利範圍第1或2項所述之影像處理裝置， 其中 前述選擇指示受取手段，其係用以受取像素資訊的選 擇指示，該像素資訊的選擇指示對應於由前述變換手段所 變換之平面正則影像上之複數點， 前述對應座標特定手段，其係用以特定歪圓形影像上 的像素資訊，該歪圓形影像上的像素資訊對應於前述選擇 指示所示之平面正則影像上之各像素資訊， 前述再變換手段，其係以前述特定之各像素資訊爲中 心，針對以前述對應座標特定手段特定之各像素資訊，將 前述所記憶之構成歪圓形影像的像素資訊群，再變換成用 以構成可以以二維視覺辨識之平面正則影像的像素資訊。 4. 如申請專利範圍第3項所述之影像處理裝置，其中 具備：顯示控制手段，其係將前述所生成之各畫面資 訊以相同大小顯示於前述顯示部之顯示形態來進行控制。 5. 如申請專利範圍第1至4項中任一項所述之影像處 理裝置，其中 具備：物體辨識手段，其係用以辨識在前述經過變換 之平面正則影像所示之規定物體， 前述選擇指示受取手段，其係用以受取像素資訊的選 擇指示，該像素資訊對應於前述經過辨識之物體上之任意 點。 6. —種影像處理裝置，其特徵爲具備： 歪圓形影像記憶手段，其係以對應於各歪圓形影像之 S -58- 201230786 方式，來記憶依據外部所輸入之廣角透鏡或全方 續拍攝被攝體的複數歪圓形影像而生成之構成該 形影像的像素資訊群； 變換手段，其係針對前述各歪圓形影像，將 憶之構成各歪圓形影像的像素資訊群，變換成用 以以二維視覺辨識之平面正則影像的像素資訊群 平面正則影像記憶手段，其係用以記憶構成 變換之各平面正則影像的像素資訊群； 物體辨識手段，其係用以辨識前述經過變換 則影像所示之特定物體； 動作辨識手段，其係用以針對前述各平面正 辨識前述所辨識之物體於平面正則影像所示之隨 化； 第2對應座標特定手段，用以特定對應於由 辨識手段所辨識之前述各平面正則影像之物體上 之歪圓形影像上的像素資訊；以及 再變換手段’以前述第2對應座標特定手段 各歪影像上之像素資訊爲中心，針對第2對應座 段所特定之各像素資訊，用以將構成前述歪圓形 素資訊群’再變換成構成可以以二維視覺辨識之 影像的像素資訊群。 7. 一種會議系統’係具備：攝影機，其係 透鏡或全方位鏡所攝取之被攝體當作歪圓形影像 像處理裝置；及前述影像處理裝置，其係依據前 位鏡所連 複數歪圓 前述所記 以構成可 t 前述經過 之平面正 則影像， 時間之變 前述動作 之任意點 所特定之 標特定手 影像之像 平面正則 將以廣角 輸出至影 述所輸入 -59- 201230786 之歪圓形影像來生成畫面資訊並輸出至終端裝置之會議系 統，其特徵爲： 前述影像處理裝置，具備： 歪圓形影像記憶手段，其係用以記憶依據前述所輸入 之歪圓形影像而生成之構成該歪圓形影像的像素資訊群； 變換手段，其係用以將前述所記憶之構成歪圓形影像 的像素資訊群，變換成構成可以以二維視覺辨識之平面正 則影像的像素資訊群； 平面正則影像記憶手段，其係用以儲存構成前述經過 變換之平面正則影像的像素資訊群； 物體辨識手段，其係用以辨識前述經過變換之平面正 則影像所示之一或複數之特定物體； 選擇指示受取手段，其係針對前述所辨識之各物體， 用以受取像素資訊的選擇指示，該像素資訊對應於前述經 過辨識之物體上之任意點； 對應座標特定手段，其係用以針對前述所辨識之各物 體’用以特定歪圓形影像上的像素資訊，該歪圓形影像上 的像素資訊對應於前述選擇指示所示之平·面正則影像上之 像素資訊； 再變換手段，其係以前述對應座標特定手段所特定之 像素資訊爲中心’針對前述所辨識之各物體，將前述所記 憶之構成歪圓形影像的像素資訊群，再變換成構成可以以 二維視覺辨識之平面正則影像的像素資訊群； 畫面資訊生成手段，其係用以針對前述所辨識之各物 S -60- 201230786 體，以構成前述經過再變換之平面正則影像的像素資訊群 ，生成顯示於顯示部之規定大小的畫面資訊；以及 輸出手段，其係將前述所生成之畫面資訊輸出至前述 終端裝置。 8 .如申請專利範圍第7項所述之會議系統，其中 前述攝影機，搭載於該攝影機之廣角透鏡或全方位鏡 係朝天頂方向配置。 9. 一種監視系統，係具備：監視攝影機，其係搭載 將以廣角透鏡或全方位鏡對第1攝取中心之規定攝取範圍 內所攝取之被攝體當作歪圓形影像輸出至影像處理裝置的 功能，與將以具備變焦機構之透鏡群對第2攝取中心之規 定範圍內所攝取之被攝體當作平面正則影像輸出至前述影 像處理裝置的功能；以及前述影像處理裝置，其係依據前 述所輸入之歪圓形影像來生成畫面資訊，其特徵爲： 前述監視攝影機具備： 雙軸（pan-tilt)驅動手段，其係用以切換該攝影機之 攝取位置； 前述影像處理裝置具備： 歪圓形影像記億手段，其係用以記億依據前述所輸入 之歪圓形影像而生成之構成該歪圓形影像的像素資訊群； 變換手段，其係將前述所記憶之構成歪圓形影像的像 素資訊群，變換成用以構成可以以二維視覺辨識之平面正 則影像的像素資訊群； 平面正則影像記憶手段，其係用以儲存構成前述經過 -61 - 201230786 變換之平面正則影像的像素資訊群； 物體辨識手段，其係用以辨識前述經過 則影像所示之物體； 選擇指示受取手段，其係用以受取像素 示’該像素資訊對應於前述所記億之平面正 意點； 對應座標特定手段，其係用以特定歪圓 素資訊，該歪圓形影像上的像素資訊對應於 所示之平面正則影像上之像素資訊；以及 位置控制手段，依據預先計算之前述穿 前述第2攝取中心，計算以將前述第2攝取中 前述對應座標特定手段所特定之像素資訊所 的之距離資訊，並將以將監視攝影機驅動至 示之位置爲目的之控制信號輸出至前述雙軸 動手段。 10. —種影像處理裝置之影像處理方法 有： 歪圓形影像記憶步驟，其係用以記憶依 之廣角透鏡或全方位鏡所攝取之歪圓形影像 該歪圓形影像的像素資訊群； 變換步驟，其係將前述所記億之構成歪 素資訊群，變換成用以構成可以以二維視覺 則影像的像素資訊群； 平面正則影像記憶步驟，其係用以記億 變換之平面正 資訊的選擇指 則影像上之任 形影像上的像 前述選擇指示 5 1攝取中心及 心重新設定於 示之位置爲目 該距離資訊所 (pan-tilt)驅 ，其特徵爲具 據外部所輸入 而生成之構成 圓形影像的像 辨識之平面正 構成前述經過 -62- 201230786 變換之平面正則影像的像素資訊群； 選擇指示受取步驟，其係用以受取像素資訊的選擇指 示，該像素資訊對應於前述所記憶之平面正則影像上之任 意點； 對應座標特定步驟，其係用以特定歪圓形影像上的像 素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示 所示之平面正則影像上之像素資訊；以及 再變換步驟，其係以前述對應座標特定步驟所特定之 像素資訊爲中心，將前述所記憶之構成歪圓形影像的像素 資訊群，再變換成構成可以以二維視覺辨識之平面正則影 像的像素資訊·群。 11. 一種影像處理程式，其特徵爲： 使影像處理裝置所含有之電腦，具有作爲以下手段的 功能： 歪圓形影像記憶手段，其係用以記憶依據外部所輸入 之廣角透鏡或全方位鏡所攝取之歪圓形影像而生成之構成 該歪圓形影像的像素資訊群； 變換手段，其係用以將前述所記憶之構成歪圓形影像 的像素資訊群，變換成構成可以以二維視覺辨識之平面正 則影像的像素資訊群； 平面正則影像記億手段，其係用以記憶前述經過變換 之平面正則影像的像素資訊群； 選擇指示受取手段，其係用以受取像素資訊的選擇指 示’該像素資訊對應於前述所記憶之平面正則影像上之任 -63- 201230786 意點； 對應座標特定手段，其係用以特定歪圓形影像上的像 素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示 所示之平面正則影像上之像素資訊：以及 再變換手段，其係以前述對應座標特定手段所特定之 像素資訊爲中心，將前述歪圓形影像的像素資訊群，再變 換成構成可以以二維視覺辨識之平面正則影像的像素資訊 群。 S -64 -