TW200917825A - Image processing device and camera system - Google Patents

Description

200917825 .九、發明說明： 【發明所屬之技術領域】 本發明係關於影像處理裝置及攝像齡統，尤 應用且有用於具有透過魚眼鏡頭（fishieye lens)進行: 方位監視時之失真補正處理的影像處理裝置或全方位攝^ 機糸統’和具有使被取人的影像失真的處理的影像處理 置或攝像機系統者。 乂 【先前技術】 魚眼鏡頭係廣為習知為具有廣角視野的鏡頭，已提案 有利用該魚眼鏡頭監視預定區域的全方位攝像機系統。該 全方=攝像m般係具有搖動（卿）、傾動⑴⑴、推 ==(z〇〇m)、及旋轉等功能。近年來相對於以往的機械 ㈣、推近拉遠方式，藉由將被取人魚眼鏡頭的 輸入側影像資料進行電子處理，而可不需移動裝置地實現 搖動、傾動、推近拉遠、及旋轉等各功能，並且亦將影像 之失真去除的全方位攝像機系統也有被提案。 第& 14圖為以往技術之該種全方位攝像機系統之方塊 圖。如弟14圖所示，為攝像手段之⑽s影像感測器（image 咖财）1細藉由魚眼鏡頭2所取人的廣角影像為根據而 成屬於為電性訊號的影像資料。該影像資料係將取入魚 >見Ί 2之際的失真成分原封不動地使其殘留的電性數位 訊號:並藉由於色彩處理部3進行預定之色彩處理，而作 ，同時具有亮度資訊和色彩資訊的輸入側影像資料Μ被 寫入影格記憶體4(frame memory)。 320470 5 200917825 :·.所取二5:設定有將被魚眼鏡頭2 ，推近拉遠、及旋轉的的關於搖動、傾動、 徑的參數。亦即，係作為前之中心及半 此’分別將關於搖動 '傾動、旋轉數的^ 將關於推近㈣的參數設定為倍 將肖Ή ’ 頭2之中心及半徑設定為位置值且:闕於魚眼鏡 算裝置6係為了補正以—數值貝丨。幾何學位置計 之作為輸出的切出參數设定器5的參數為依據 而計算對應於顯不=之ΓΓ魚眼鏡頭而導致的失真， 素的輸入側影像資輪出畫面）93上之各像 、 各像素的幾何學位置。 所叶^]影像¥料生成部7 H何學位置計算事置6 所“的輸入側影像資料W之各像 衣置6 憶於影格記憶體4的輪入側影像資㈣士 °于立置、和記 業經補正的輸出側影像辑"為根據而形成失真 ，依對應於前述幾何學位置的輸 將亮度資訊等依序組合的資= Τ再生於顯…之顯 已進行過失真補正處理的=預疋之切出區域的影像且為 有二述習知技術同種類技術的刊物而言存 (專利文獻1)曰本國特開2__83242號公報 320470 6 200917825 -.【發明内容】 二（發明所欲解決的課題） 、如上述的全方位攝像機系統，係將屬於攝像手段的影 像感測器1之輸出訊號的輸入側影像資料D丨寫入影格記2 =4，在一影格份之輸入側影像資料M寫入終了後，參照 影格記憶體4之記憶内容而形成輸出侧影像資料⑽，二: 串的處理之際會產生時間落差。該時間落差係成 〆為頌不晝面9a上之顯示延遲而明顯化。 本發明係有鑑於上述習知技術而研發者，其目的為提 供-種攝像機系統，可於從輸入側影像資料之失真補正 伴Ik幾何學位置之預定處理的輸入側影像資料變換至 =衫像貝料之際，不需使用影格記憶體即可實現連串的 處理。 (解決課題的手段） 為了達成上述目的’本發明之第丨態樣的影像處理裂 ^ 置，你具有： ，數°又疋手段，設定將被鏡頭所取入的影像中之欲顯 =區域㈣㈣用的關於搖動、傾動、推近拉遠、及= 中至少—者的參數； 幾:學位置計算手段’以依據前述參數而進行前 线何學位置的預定變換處理之方式，計算對應 於入: < 各像素的以攝像手段之輪出訊號為根據的 輸入側影像資料中之各像素的幾何學位置； 位址表’係記憶有：以屬於前述輪出晝面上之各像素 320470 7 200917825 •之=址的輸出側位址為基準，使屬於前述幾何學位置計算 手段之計算結果的前述輸人卿像資料之各像素之位址: -輸入侧位址產生對應而予以組合的表資訊；以及 位址匹配手段，進行被即時讀取的前述輸入侧影像資 料之各像素之輸入側位址與記憶於前述位址表的前述輸入 側位址間的核對，當兩輸入側位址一致時，將該輸入侧位 址的前述輸入側影像資料、與相對應的輪出側位址組合而 形成輸出側影像資料’且將其送出。 本發明之第2態樣的攝像機系統，係具有： 攝像手段，形成表示以鏡頭取入之影像的數位訊號； 麥數設定手段，設定將前述影像中之欲顯示區域予以 切出用的關於搖動、傾動、推近拉遠、及旋轉中至少一者 幾何學位置計算手段，以依據前述參數而進行前述區 二何學位置的預定變換處理之方式，計算對應 的幾何^置^各像素的前述輸人側影像資料中之各像素 位址表，係記憶有：以屬於前述輸出晝面上之各像素 =址1輸出，位址為基準’使屬於依據前述幾何學位金 计异手段之計算結果的前述輸入側影像資料之各 址的輪入側位址產生對應而予以組合的表資訊；、 像次址匹配手段，進行被即時讀取的前述輸入側影 輸I編料之輸入側位址與記憶於前述位址表的前述 月U ·立址間的核對’當兩輸入側位址一致時，將該輪入 320470 8 200917825 入側影像資料、與相對應的輸出側位址纪 • D而形成輸出側影像資料，且將其送出。 本發明之第3態樣的攝像機系統， 2於前述第2態樣所記载之攝像機系統中， 引述位址表係記憶有：將以關於特定區域的前述 予位置計算手段之計算結果為依據之」: 各輸出側位址佑媸兮、+、々认 表貝訊中的丽述 本發明之第入側位址更崎 f 不毛月之弟4悲樣的攝像機系統， ^於剛述第3態樣所記載的攝像機系統中， 兩述位址表係記憶有關 輸出側位址依攄…J 设數個區域將前述各 訊。止依據-逑各輸入側位址更換排序的複數個表資 本發明之第5態樣的攝像機系統，係具有： 攝像手段，形成表子 參數設定手段影像的數位訊號； 切屯用_ 别述影像中之欲顯示區域予以 切出用的關於搖彭、傾動、推近拉遠、及旋轉中^予以 的參數； ^ 次奴轉中至少—者 幾何學位置計算手段，以㈣前 域之影像的幾何學位置的預定變換處理之^進=述區 ::出畫面上之各像素的前述輪入側影像資；中：：對應 的幾何學位置； 貝料中之各像素 位址表’係記憶有：以 之位址的輸出側位址為基準：：述輪出晝面上之各像素 計算手段之計算結果㈣、十,於使屬於依據前述幾何學位置 果的^輪人側影像資料上之各像素位 320470 9 200917825 .址的輸入侧位址產生對應而予以組合的表資訊； 匹配用排序手段，將記憶於前述位址表的前述各輸出 側位址依據前述各輸入側位址而更換排列； 匹配用位址表’記憶有藉由前述匹配用排序手段更換 排列而以輸入側位址為基準使輸出侧位址產生對應而予以 組合的表資訊；以及 ( 、、位止匹配手I又，進行被即時讀取的前述輸入側影像資 料之各像素之輸人侧位址與職於前述匹配錄址表的前 述輸入側位址間的核對’當兩輪入側位址一致時，將該輸 入：位址的前述輪入側影像資料、與相對應的輸出側位址 組合而形成輸出側影像資料，且將其送出。 处本發明之第6態樣的攝像機系統，係於前述第2至第 悲k中之任-項所記載的影像處理裝置或攝像機系統 中 前述幾何學位置計算手段係將前述輸入側位址求至 小數點且作為小數值而輸出，並且 前述位址匹配手段係以铪 ^ 以則述輸入侧影像資料中對應 於刖述輸入側位址之整Iw 的複數個像素之亮度素為基準而依據鄰接 而求得前述特定像;小數部之值而加權的插補 後：欠祖々乂、+，± ^儿又，且以其作為對應於輸出側影 像負科之則述知·定像素的像素亮度。 本發明之第7態樣的攝像 所記載的攝像機系統中， 弟b 前述位址匹配手段係構成為具有至少-條線份量的 320470 10 200917825 •.緩衝記憶體，且利用記憶於該 --資訊而哫俨厪於ΠΓ ,, ώ 誕倚§己憶體之各像素的亮度 •屬於下一條線的前述特定像素之亮度。 本發明之第8態樣的攝像撫 又 能楛中夕k “匕 僻像機系統，係於前述第2至7 心樣：之任一項所記載的攝像機系統中， 復具有記憶前述輸出側影像 每當前述核對結果一致時即的㈣記憶體’且在 §己憶體隨機寫入前述輸出側影像資枓…： 述輪出影像資料之讀取。像亚且循序地進行前 本發明之第9態樣的攝傻嫩金μ ^ 態樣中之任一項所統’係於前述第2至7 ^任項所圮载的攝像機系統中， 當前記憶前述輸出側影像資料的緩衝記憶體，在每 輸出側::果柄即循序地於該緩衝記憶體寫入前述 =:㈣’另一方面，具有:將前述緩衝記憶體之 :=址以前述輸出側位址為基準而更換排列的讀取用 前述於以及將猎由以該讀取用排序手段更換排列而以 出側位址為基準使前述記憶體位址產生對應而組合 予以記憶的讀取用位址表；並且，前述輸出影像 進行。，取純據㈣讀取綠址表之前述表#訊而隨機 熊样中么月之第10態樣的攝像機系統，係於前述第2至7 ’么之任一項所記载的影像處理裝置或攝像機系統中， 二述鏡頭為具有廣角視野的魚眼鏡頭； 前述幾何學位置計算手段的前述變換處理為將 £域之影像的失真進行似的處理。 320470 11 200917825 a本發明之第11態樣的攝像機系統，係於前述第2至7 $樣中之任—項所記載的影像處理裝置或攝像機系統中， $述幾何學位置計算手段的前述變換處理，係使前述 區域之影像產生失真用的處理。 (發明效果） 依據本發明，將即時讀入的輸入側影像資料之各像素 的輪入侧位址與記憶於位址表的輸入側位址間進行核對，、 =在兩輸入側位址一致時，由於係作成將該輸入侧位址的 前述輸入側影像資料與對應的輸出側位址組合而形成輸出 側〜像貝料’故不需要如習知技術的用以記憶為攝像手^ =出訊號的輸人侧影像資料之—影格容量的影格記： 、、’。果’可去除起因於將一影格容量之影 =體的寫入時間的延遲，且可將取入的影像迅= 不為再生影像。前述效果尤其在動 視攝像機系料更為顯著。 〜轉對象的.

[實施方式】 以下依據圖示詳細說明本發明之實施形態。 (第1實施形態） 第1圖為表示本發明第i實施形態之 統的方塊圖。苐i圖中，盥第14 攝像機| 編號。如第1圖所示，屬於、:二:==予同- 係依據以魚眼鏡頭2取入的廣角影像而形成屬=心1 = 的影像資料。該影像資料係原封 ；電性訊號 茂留有以魚眼鏡頭 320470 12 200917825 ‘ 2取入時之失真成分的電性數位訊號，並於色彩處理部3 進行預定之色彩處理。色彩處理部3係從層（丨ayer)排列的 影像感測器1之輸出訊號形成像素單位之輸入侧影像資料 DI。結果，於位址匹配（address mai；ching)裝置13係供給 有依每個像素將亮度賢訊與色彩資訊組合後的輸入側影像 資料DI 〇 ^文没定器5係設定有用以從魚眼鏡頭2所取入的景 像中切纽顯示區域的關於㈣、傾動、推近拉遠、及孩 轉的茶數，和關於魚眼鏡頭2之中心及半徑的參數。在此 =別將關於搖動、傾動、旋轉的參數設定為角度資訊，將 關於，近拉遠的參數設定為倍率資訊，且將關於魚眼鏡頭 之t心及半徑的參數設定為位置及數值資訊。 用的=性地顯示於該情形時作為輸入裝置而作 關於搖動/《具體構成的說明圖。如第2圖所示， -5a、5b、5c'5d而進行:為定=訊而可藉由操作操作 數係作操杨5e、5f㈣行設定。 π η 、、逡擇鈕5g係用以依據魚眼鏡頭2之嗖置方、本沾 不同而選擇模式者。更且 員之汉置方去的 鏡頭2之設置方法有〜"’如第3圖所示，依魚眼 下方（設置於天花板）而的^方（桌上寺）及環繞顯示 圍的環繞顯示模式、和盘一要以攝影魚眼鏡頭2之周 平方向而進行攝影的正；；：：：機相同地將光軸朝向水 式之任一者，即可變更:、式。而且，藉由選擇各模 、；”、、眼鏡頭2之輪入的座標展開 13 320470 200917825 ，方式而進行顯示。 ‘：示的幾何學位置計算裝 -據已“於參數設的參數㈣^了補正依 域之影像因魚眼鏡頭2所 ::予以切出的區 之顯示畫面（輸出書面）、夂對應於顯示器9 W之各像素的幾糊 上的各像素的輪人側影像資料 如可位置計算裝置6的用於失真補正的叶曾 如了糟由利用以下原理而適當實施。 k ’例 藉由魚眼鏡頭2而可產生' 影像，係與投影於以魚眼圓形 的球面狀螢幕的影像為等價。因此，口要之半球體 為平面影像即可進行所期望的失真補正。亦即，奐 所示，只要對於鄰接於半球面的切平面p將:球;弟中4圖 即可。 “象作為失真補正後的輪出晝面顯示 在破ΐ:二吏視點移動係等同於使成為投影面的切平面P 在球面上私動。切平面Ρ之移動方法有以下3種。 :)旋轉，·繞者切平…視點向*〇〇、旋轉量 ;))=’·視點向量00、垂直方向的角移動量⑷. 3) «動；視點向量⑻、水平μ㈣ Ο 序：’關於失真雜標變化)的演算係藉由訂程 320470 14 200917825 _ 藉由將切平面P上之χγ座標㈣變換成該全方位攝 '像機糸統之xyz座標系統而將魚眼鏡頭2之圓影像變換至 - 平面影像。 。具體而言，如第5圖所示，藉由使切平面P依循以下 釭序擴大/縮小及旋轉而進行座標變換。 、，丨）將切平面P之重心〇置於座標（R，0,0)。此時，切 平面P内之點pQ(X，Y)之空間座標係成為（R，X，Y)(參照第5 圖（a))。 ' 2)依循設定於切平面p的推近拉遠倍率，將切平面p 之大小擴大/縮小（1/推近拉遠倍率）倍（參照第5圖（b))。 3) 使切平面p繞著x軸從y軸向z軸旋轉arad(旋 轉角）（參照第5圖（c))。 4) 使切平面p繞著y轴從χ軸朝z軸旋轉（9〇。一 /5 )rad(傾動角）（參照第5圖（d))。 5) 使切平面p繞著z軸從χ軸朝丫軸旋轉0rad(搖 〇動角）（參照第5圖（e))。 藉由以上的操作’將切平面P上的任意點P〇(X，Y)(參 照第4圖）之移動目標設成1>1«1，¥1，21)時，係使用旋轉矩 陣而將P1表現如下式。 [數式1] cos0 -sing sin0 cos0 .〇 〇 cos (90°-β) ο _ sin (9〇°~β) 0 1 0 β^(90°~β) 〇 cos (90°-β)

0 〇 ~ V Zoom 〇 ^ '’Zoom ROLL X, R X Υ LZi

PAN

TILT

Zoom 15 320470 200917825 」、眼鏡頭2雖為將周圍36。度之風景攝 :形成魚眼影像者，但通常對於其 有屬^圓形而 切平面p(表昭第481^& 屬於為前述 Μ …弟4圖至弟5圖）上之被攝點的任音點ρ盘 在魚眼圓形2a内之备日Ρ旦w -占P!與 U ^㈣之魚眼影像之成像點Q係藉由像 被附予對應。從而，第6 R ri* 彳冢间知·性而 y 弟b圖（3)中之距離0Q雖記為德古“ 但該像高h係因應魚眼鏡頭2之失真特性’、、、二’ 魚眼鏡頭2之對廍於Λ u a ’ 成為依每個 “现頌z之對應於入射角θ的固有值。 第6圖（b)係示有像高特性 例的 圖(b)所示，只要转宏“… 兒月圖。如第6 、 要寸疋入射角Θ即可依據該像高特性曲線 "之粗線）而決定對應於入射角0的像高h。 可用二如第6圖(。)所示，中心。與點&之距請 [數式2] [數气口^匕來自點Pl(Xl，Υι，Ζι)的入射角61可用下式求出 0 = arccos = arccos —- ζι 1 ^rSzf '、"果，以上式求得的入射角0與顯示於第6圖（b)的 像高特性為依據即可求得像高h。 、，接著，將第6圖（c)所示的點p!-(將點Ρι投影至灯 平面的點）擴大（縮小）至像高h的位置，求得於第6圖⑷ 320470 16 200917825 所示之成像點q之座標（x，y)。具體而言，藉由 s i η (9，成像點Q之座標可由下式求得。 [數式4 ]Xih Yxh =OPi x OP： y OP： 如此一來，切平面P之任咅魟 一 古々 似點ρι的座標（Xi，Y丨，Zl)係 以被補正失真後的狀態變換為成像點Q之座標（m。亦 r 即’可計算出與輸出晝面上之各像素（相當於切平面P上的 任意點）對應的輸入侧影像資料之各像素（對應於圓形影像 上的Q點)的幾何學位置。在此’本形態之幾何學位置係求 至小數點以下。 於第1 ®所示的位絲10，係記憶冑下述工作表資 訊.以屬於輸出晝面上之各像素位址的輸出側位址為基 準，使屬於以幾何學位置計算裝置6之計算結果為依據的 輸入側影像資料DI上之各像素的位址的輸入侧位址進行 I 對應而組合而得的工作表資訊。 匹配用排序(^虹^部U係將記憶於位址表1〇的各輸 出側位址依據各輸入側位址而更換排列（具體手法將於後 詳述）。 匹配用位址表12係記憶有藉由以匹配用排序部丨1進 行更換排列之以輸入側位址為基準而使輸出侧位址對應組 合後的工作表資訊。 第7圖為概念性地顯示前述幾何學位置計算裝置6、 位址表1 0、匹配用排序部11、以及匹配用位址表12之關 17 320470 200917825 '係的說明圖。如第7圖 -係以輪屮蚩；r V 丁在4何學位置計算裝置6中， :資料…)20之像素為基準而使輸入側影像 之各像素的幾何學位置產生對應。結果， 對應於輸出晝 ：：：位置為根據的輸入側位址係 而排列。又二第亦即輸出側位址的順序 域21 Α斜庙 側影像資料耵中之圓形區 之“=眼鏡頭2之視野的區域，圓形區域2ί中 域:n 22為切出區域’亦即對應於輸出晝面20的區 匹配用排序部11係依前述輪入側位址之順序更換拼 列輪出側位址。結果，於匹 之頃序更換排 右以妯皮％从 、匹配用位址表12巾，係對應排列 有排序後之輪入側位址為基準的輪出側位址。 第8圖為概念性地示有匹配用排序部^之且體 之一例的說明圖。本例係顯示有以被稱為位元排；的方式 將最初以如第8圖⑷所示之順序排列於圖中上下方㈣ 各5位兀之輸入側位址資料(前述幾何位置資料 圖⑴所示的方式按遞升次序排列時之態樣。本 位之位階起依序檢測％至「！」的狀態且適當地進^ 換排列。亦即，若著眼於第8圖⑷的最下位位元而升 更換排列則成為如第8圖⑻，於該狀態下著眼於第2位元 而升序更換排列則成為如第8圖⑹。以下分別著眼於几 位元（第8圖（C))、第4位元（第8圖⑷）、第5位元、(第8 圖（e))而重複同樣的操作，藉此最後即可進行如第8 所示之更換排列。 ) 320470 18 200917825 塊圖第:二t 資料寫入輪，器一：先::有==位址 ⑷所示之狀態。於該狀態下，首先著眼於=:“圖 其為「〇」時選擇考叨在％#山 取下位位70，當 …9 輸出緩衝器之左侧、為「1」時 送擇32則從輪出緩衝写 」τ 側位址資料寫入。二:側依序將符合的前述輪入 圖⑻的狀態。於二=緩衝器33即形成對應於第8 能逆轉，並著眼;:第2輸^緩衝器與輸出緩衝器之功 應於第8圖（c)的狀能之樣的操作’而形成對 缓㈣之: 错由於輪入缓衝器31與輸出 :衝3,間重複同樣的操作最終即可形成如 所不的狀態。 M ; 衝写第8圖⑷所示的硬體構成以8個輸入緩 L及8個輸出緩衝器33構成者。藉由該並聯構成可 =固位7L為|位進行位^排序，且使讀寫次數變 結果即Γ使處理速度成為4倍。—般而言，藉^個輸出 入緩衝②3卜33之並聯構成可以使處理速度成為時。因 =出入緩衝器心3之個數可配合所期望之處理速度 於第1圖所示的位址匹配裝置13係由位址匹配部14 和輸幻則影像資料生成部15構成。其中，位址匹配部^ 係進仃由色衫處理部3送出而即時讀取的輸人側影像資料 DI之各像素的輸入側位址、和記憶於匹配用位址表12的 輸入側位址間的核對’以檢測其一致和不一致。輪出侧影 19 320470 200917825 -.，貧料生成部15係在位址匹配部14的兩輸入側位址—致 守’夺該輸人侧位址的輸人側影像資料DI與對應 -位址組合而形成輸出側影像資料D〇。 出側 D0出側影像資料生成冑15形成的輸出側影像資料 ⑽係將輸入側影像資料M之失真依據前述幾何學位置次 訊去除者’其係按每個像素依序將依據輸人側影像貝 的亮度資訊及色彩資訊予以级合而得的資料，並依序蓄積 ,^衝記憶體8’且經由讀取電路16而依每—個影格再生 於顯不斋9之顯示晝面（輸出晝面）9&上。 出例位母““核對(匹配)結果-致時即以輪 二：位址為基準將輸出側影像資料⑽隨機寫入緩衝記憶 體卜另外，輸出側影像資料⑽之讀取係經由讀取電路μ 而循序（se_ntial)地進行。關於此點將於後詳述。 ^如此一來’於顯示晝面9a係再生有預定之切出區域 (扇形區域22)之影像且進行了失真補正處理㈣像。 依據本形態，於位址匹配裝置13中，係進行即時讀 取的輸入侧影像資料Di之各像素輸入側位址與記憶於匹 配用位址表12的輪入側位址間的核對，當兩輸入側位址一 2時’以輸出側影像資料生成部15將一致的輸入側位址之 輪入側影像資料DI與對應的輸出侧位址予以組合而形成 輸出側影像資料D0。 在此，於本形態中設置匹配用拼序部η，並依輸入側 位址之順序而更換排列輸出側位址，因此即可合理地進行 位址匹配部14的財健匹配。此乃因預先㈣輪入位址 320470 20 200917825 •匹配部14的輸入側影像資 矣 、科之順序而排列匹配用位址 :2之輸入侧位址，而可野於輸入側影像資料耵之一個 f以一次檢索即使其對應於所有的輸出側影像資料D0 之像素之故。 第ίο圖為概&性地表π位址匹配裝置^及緩衝記憶 武之更詳細功能的說明圖。於第1〇目⑷顯示有依影像 ⑷之位址的順序讀出的輸入側影像資料1)1之輸入侧 位址（y，x)和與其對應的輪出側影像資料⑽間的對應關 係。另一方面，第1〇圖（b)示有位址匹配部14的匹配動作、 和輸出側影像生成部15的輪出側影像資料⑽之生成態樣 以及朝緩衝記憶體8的寫入形態。/ 如第ίο圖（b)所示，位址匹配部14雖即時地進行依 序所讀取的輸人㈣像資料DI之輸人側健與記憶於匹 配用位址表12的輸入側位址（y，x)間的核對，但本形態的 匹配用位址表12之輸入側位址(y，x)係具有小數部分，因 此係以其整數部為基準進行判斷。具體而言，係比較表示 輸入側影像資料DI之輸入側位址之y座標的線計數器 (line Counter)41、與表示x座標的行計數器（c〇lumn counter)42之内容。在此’線計數器41之y座標與行計 數益4 2之X座標係給為整數值。 輸出側影像^料生成部15係選擇位址一致的像素附 近的合計4像素，亦即選擇相對於輸入側位址（y，χ)之像素 在同一線上鄰接的輸入側位址（y，χ_ 1 )與在前一線分別鄰 接的輸入側位址（y-1，x-l)、（y-1，χ)的各像素資料，以合 320470 21 200917825 .計4像素43形成輪出侧影像資料⑽之各 因此於輸出侧影像資料生成部i ::加+ 古己惰；# 44。JE4 綠^刀里的線緩衝 刖所述於形成各像素資料DOy 配用位址表12之輪人側位址（y，X)之小數部的^ 依據而用直線插補求出鄰接像素間的亮度。在此，為 以小數部的值為依據加權的插補即可，為績 :補的需要。又，雖未圖示，但各像素資料心 據4像素43而生成的色彩資訊。 3依 以輪出侧影像資料生成部15所形成的各 心1被寫人緩衝記憶體8,此時各像素㈣D(M係 形成時以輸出側位址為基準而隨機寫人緩衝記憶體8 於緩衝記憶體8係以依輸出位址之順序循序排列的^ 先、寫入各像素資料D(M。結果，各像素#料則 係從緩衝記憶體8之前頭循序進行。 ° (第2實施形態） 第1圖所示的第1實施开九態中’如上所述，係於緩 衝5己憶體8依輸出側位址之順序而排列有各像素資料 D0-1’因此可對應地將用於各像素資料之讀取的構成 予以簡單化。 相反的，在將以輪出側影像資料生成部15所形成的 各像素貝料D0-1寫入緩衝記憶體8時，由於係以輸出側位 止為基準而隨機進行寫人，因此在寫入輸人側影像資料^ 中的對應歪曲較大的扇形區域22 (參照第1()圖）之周邊部 的各像素貝料D0-1時，難以確保充分的寫入速度，視情況 22 320470 200917825 .甚至會變成無法進行寫入。 域的各像素資料D0-1的情形中次1對應於前述周邊部之區 :隔超過緩衝記憶體8之寫入二/料係錯綜複雜’故寫入間 本形態係為了避免該不；寫：=溢位(―)。 憶體8之寫入及讀入方式不同‘ L者，其對於緩衝記 形成各影像資料D0-1時即循序宫P ’ ^寫入時係當每次 行讀取。 ’、’、入’於讀取之際則隨機進 弟11圖為表示本發明之筮 ^ 機系統的方塊圖。於第貫施形態之全方位攝影 附加相同編號而省略重複的：明係:；第1圖相同的部分 影像資料生成部⑽^的^:^彡^㈣出侧 成即循序地依序寫入緩衝記憶體8二象一每當形 記憶體8 -邊參照讀取^ ”從緩衝 ^ ^ 16 逯經由讀取電路？β =影像細隨機被讀取且再生於顯示器9之： 部π更換摄於Γ取用位址表18，係記憶有藉由讀取用排序 = 立址進行對應而予以組合的工作表資訊。另外，= =序係以記憶於匹配用位址表12的輸出側位址為 又據而更換排列緩衝記憶體8之記憶體位址者。 ’、’、 一如此一來，依據本形態，由於輸出側影像資料D〇 :緩，，8的寫入係循序進行’故不會產生將其隨機 左 > 卞$舄入資汛之溢位。相對的由於在緩衝記憶體8係 隨機地寫入輪出侧影像資料D〇’故於讀取之際必須依輪出 320470 23 200917825 -.侧位=之順序而隨機地讀取。由於用於該讀取之資訊係記 憶於讀，用位址表1δ，故只要參照該讀取用位址表18之 -記憶内容即可如預定地依輸出侧位址之順序地隨機進行讀 取。此點可以第12圖為依據更加詳細說明。 上# ^ 12圖為概念性的示有於第u圖所示的幾何學位置 :十异叙置、位址表、排序部、以及匹配用位址表之關係的 祝明，，且為對應於第〗實施形態之第7圖者。因此，將 『其與第:圖相同的部分附加相同編號，且省略重複的說明。 、 如帛12圖所示，如上所述之匹配係利用匹配用位址 表12之輪入側位址表（y，x)而進行。另一方面，讀取用位 址表18係利用匹配用位址表12之輸出側位址表（v，u)而作 成。亦即，將輸出側位址表（v，u)之輸出側位址以緩衝記憶 體8之位址編號表19之順序排列而作成對照表，接著藉由 用排序部Π將前述對照表之位址編號以輪出側位 ί 準予以更換排列’即可作成記述有對應於輪出側位 址的緩衝記憶體8之位址的工作表。將其記憶於讀取用位 :表18’依據該貧訊隨機地進行讀取即可將循序排列的輸 出側影像資料D0予以再生。 第13圖為概純地表示於第u圖所示的位址匹配 的己意體之功能的說明圖，並對應於第1實施形態 f卢，而4二番。因此，在與第1〇圖相同的部分附加相同編 :而切重複的說明。第13圖係表示每當以輸出側影像 ::己所形成的各影像資料D。—1被形成時即從緩 衡屺k肢8之珂頭依序循序地進行寫入。 320470 24 200917825 如上所述，依據本形態，由於可循序地進行對於缓衝 記憶體8的讀入，故可避免讀入時的資料溢位。相反的， 雖於讀取時必須隨機地進行讀取，但此時由於讀取之間尸 為一定故不會產生資訊之溢位。 网 雖於前述第1及第2實施形態中，係設置匹配用排序 部Η，且錄人隸址之順序更換排㈣幻錄址，但並 不一定要進行排序。雖會增加匹配所需的搜尋次數，但本 發明亦包含不進行排序的情形。亦即，只要具有位址表-1〇 及位址匹配裝置13,雖匹配處理之效率較差，但仍可構 將習知技術中之影格_ 4(第14圖)去除的攝 另外，於具有與位址表1G相同功能的位址表中 關於特定區域的工作表資訊，並且使其對應於各輸入触 址而預先將各輸出難址更㈣列，藉此對於前述特定區 域即可記憶與匹配用位址表12所記憶的已排序工作 的訊。從而，此情形時對於前述特响 的匹=理配用排序部U的位址匹配同程度合理 因此，設定複數個前述特定區域，且使 上所述之已排序的工冼主-欠# Β ι,ν:ί 序◊工作表_貝訊，即可進行關於各 理的匹配處理。并技女处、仰& 、 ^ 、，亦此以將各區域自動地適當切換 方式進行控制。 、田刀換 前一 另外，於前述第1及第2實施形態申 線之像素而形成輪出側影像資料D0 由於也利用了 之各像素資料 320470 25 200917825 ' H故設有—線份量的線緩衝記憶體44,但在僅利^ 问-線上鄰接的輸入側位址時，當然就不 …。另-方面，若設有二線份量以上線緩衝記憶：= 目對的可利用更多的輸人側位址資訊而形成高精密度 出側影像資料])〇。從而，考慮再生影俊— ' 緩衝記憶體之數量即可。 像之精讀而選擇線 鏡頭：：丨:二第1及弟2貫施形態係具有魚眼鏡頭2作為 f頭2之^形，故幾何學位置計算農置6的計算為用以插 '正因魚眼鏡帛2所致之輸入側影像資料])1之失真者，但並 不限於此。進行將以通常鏡頭所取入的不呈失直二。 側寻;ί德咨极.n τ , ’、有矢異的輪入

Di賦予所期望之失真的處理的情形也包含於 本毛明之内。亦即，幾何學置 、 於鏡頭的影像之失真補正者，M = 包含將取^ 像失真之補正等處理者。亦仃…、失真的影 入的影像之幾何學位置維為可進行將以鏡頭取 i... ;【圖式簡單說明】 者即可而無特別限制。 統的方第：為顯示本發明第1實施形態之全方位細 第2圖為抽出於笫】 _ 地顯示其具體構成的說明圖。不的參數設定器，且概念性 执置為概念性地顯示依據第1圖所示的备眼鏡頭之 -置方法的顯示模式的說明圖。以後、、、眼鏡頭之 第4圖為用以說明 一 之失真補正原理的說明圖。圖所示的幾何學位置計算裝置 320470 26 200917825 第5圖（a)至（e)為用以說明於第丨 置計《置之處理操作之順序的說明圖。以何學位 第6圖（a)至（e)為用以說明於第丨圖所 之像高特性的說明圖。 J“、、眼鏡頭 第 算裝置 明圖。 7圖為概念性地顯示於第i圖所示的幾何學位 、位址表、排序部、以及匹配用位址表之關係的= , 第8圖⑷至⑷為概純地顯示於第1圖所示的排座 、部之排序處理的說明圖。 _序 第9圖為概念性地表示用以實現於第1圖所示的排庠 部之=序處理的多重位元處理方式之硬體構成的說明圖。 第10圖（a)及（b)為概念性地顯示於第i圖所示的位 址匹配裝置及缓衝記憶體之詳細構成的說明圖。 .第Π圖為顯示本發明第2實施形態之全方位攝像機 系統的方塊圖。 (:: 第12圖為概念性地顯示於第u圖所示的幾何學位置 計算裝置、位址表、排序部、以及匹配用位址表之關係的 說明圖。 第13圖（a)及（b)為概念性地顯示於第u圖所示的位 址匹配裝置及緩衝記憶體之功能的說明圖。 第14圖為顯示習知技術之全方位攝像機系統的方塊 圖。 2 魚眼鏡頭 【主要元件符號說明】 影像感測器 320470 27 200917825 3 色彩處理部 4 影格記憶體 5 參數設定器 5a 操作紐 5b 操作紐 5c 操作紐 5d 操作紐 5e 操作鈕 5f 操作紐 5g 模式選擇鈕 6 幾何學位置計算裝置 7 輸出侧影像資料生成部 8 緩衝記憶體 9 顯示器 9a 顯示晝面 10 位址表 11 排序部 12 第2位址表 13 位址匹配裝置 14 位址匹配部 15 輸出側影像資料生成部 16 讀取電路 17 讀取用排序部 18 讀取用位址表 19 位址編號表 20 輸出晝面 21 圓形區域 22 扇形區域 25 輸入側影像資料生成部 26 讀取電路 31 輸入緩衝器 32 選擇器 33 輸出緩衝器 41 線計數器 42 行計數器 43 4像素 44 缓衝記憶體 28 320470

Claims (1)

1. 200917825 十 1. 申請專利範圍： -種影像處理裝置，其係具有： 欲顯屮設定將被鏡頭所取入的影像中之 及旋，少-者二=於搖動、傾動、推近拉遠、 述區:;之异手段’以依據前述參數而進行前 計算對應預定變換處理之方式， 訊號為根據的素的以攝像手段之輪出 置； 彳輪人側影像資射之各像素的幾何學位 役止表係圮憶有：以屬於前述輪出晝面上之各 何學出側位址為基準，使屬於依據前述幾 之表#去計算結果的前述輸入侧影像資料 =素之位址的輸入側位址產生對應而予以組合的 衣貝sfL，及 傻址匹配手段’進行被即時讀取的前述輸入側影 =之各像素之輸入側位址與記憶於前述位址表的 月」v雨入側位址間的核對，當兩輪入側位址一致時， 2輸入側位址的前述輸入側影像資料、與相對應的 〗側位址組σ而形成輪出側影像資料，且將其送出。 —種攝像機系統，其係具有： 攝像手段，形成表示以鏡頭取入之影像的數位訊 號； 翏數5又疋手段，設定將前述影像令之欲顯示區域 320470 29 2. 200917825 !;二：:於搖動、傾動、推近拉遠、及旋轉中 ^何子位置計算手段，以依據前述參數而進行 二影像的幾何學位置的預定變換處理之方式， 料;⑽入㈣像資 本位址表’係記憶有：以屬於前述輸出晝面上 位址為基準’使屬於依輸^ 之I德Γ 算結果的前述輸人側影像資料 :::素:r的輪入卿^ 像資=::段，進行被即時讀取的前述輪入側影 一;、於 輸入側位址與記憶於前述位址表的 則述輸入側位址間的核對.，當兩輸入側位址—致日士， =該輸入側位址的前述輸入側影像資料、與相對： 3. 如申請專利第2項之攝像機系統，其^ 意有二將以關於特定區域的前述幾何學位ΐ :又之计异結果為依據之前述表資訊 =出側位址依據前述各輸人側位址更換排序的表資 如申請專利範圍第3項之攝像機m中，〜 址表係記憶有關於特定複數個區域將前述 址依據前述各輸人側位址更換排序的複數個表資訊。 320470 30 4. 200917825 5. 一種攝像機系統，其係具有： 號；攝像手段’形成表示以鏡頭取人之影像的數位訊 參數設^手段’設定將前述影像中之欲顯示 '刀出用的關於搖動、傾動、推近拉遠、及旋 至少-者的參數； 乙夂％轉中 ^何于位置計算手段，以依據前述參數而進行前 钭曾射/ 置的預定變換處理之方式， 、⑺於輸出晝面上之各像素的前述輸人側影像資 抖中之各像素的幾何學位置； 、 位址表，係記憶有：以屬於前述輸出晝面上之各 像=之位址的輸出側位址為基準，使屬於依據前述幾 :予位置計算手段之計算結果的前述輸入側影像資料 之各像素位址的輸入侧位址產生對應而予以组 表資訊； 认匹配用排序手段’將記憶於前述位址表的前述各 輪出側位址依據前述各輪入側位址而更換排列； 匹配用位址表，記憶有藉由前述匹配用排序手段 更換排列而以輸入側位址為基準使輸出侧位址產生對 應而予以組合的表資訊；以及 、位址匹配手段，進行被即時讀取的前述輸入側影 像資料之各像素之輸人懸址與記憶於前述匹配用位 址表的前述輸入側位址間的核對，當兩輸入側位址一 致時，將該輸入側位址的前述輪入側影像資料、與相 320470 31 200917825 對應的輸出側位址組合而开彡士、认 其送出。 成輪出側影像資料，且將 6.如申請專利範圍第2項或第$馆+ μ 义…* 飞弟5項之攝像機系統，其中， 至小算手段係將前述輸入側位址求 至J數沾且作為小數值而輸出，並且 前述位址匹配手段係以前 應於前述輸入側位址之整數二側衫像資料中對 據鄰接的複數個像素之特疋像素為基準而依 上加 度藉由以前述小數邱夕佶； 加權的插補而求得前述特 】數权值而 對應於輪出側影像資料之前述特定後0^ ’且以其作為 7.如申請專利範圍第6項之攝像機Ί像素亮度。 址匹配手段係構成為具有至^欠:Ί ’前述位 體’且利用記憶於該緩衝記„體的緩衝記憶 8. 而求，:-條線的前述特t像素=亮度資訊 如申印專利範圍第2 _ 禮呈古#卜立义貝次弟5項之攝像機系統，其中， 且在每當前述核：ί:出：影像資料的緩衝記憶體， 於該緩衝記憶體夂==輸出側位址為基準 9. 循序地進行前述輸出影像資:之輪，像資料，並且 如申請專利範圍第2項或第$ 〇貝取。 復呈有ρ、，、一 項之攝像機系統，其中， 在每當影像資料的緩衝記憶體， 寫入前述輪出側影像f:ST =序地於該缓衝記憶體 緩衝記憶體之記憶體位；=，具有··將前述 止以刚述輪出側位址為基準而 320470 32 200917825 更換排列的讀取用排序手 斤于·^又，以及將藉由以該靖跑田 排序手段更換排列而針 °、用 纪㈣…Γ 輸出側位址為基準使前述 用你“矣.并 且口的表資汛予以記憶的讀取 述讀取用位址表m h \ 4之㉖取係依據前 ίο 11. 衣之刖述表貧訊而隨機進行。 •如申請專利範圍第2項或第 义、+.拉_ 、 月飞弟5項之攝像機系統，其中， 剧处鏡碩為具有廣角視野的魚眼鏡頭； 前述幾何學位置計算手段的前述換’ 述區域之影像的失真進行補正的處理。、"為將則 如申請專利範圍第2項或第5項之攝像機 前述幾何學位置舛管丰i；L μ & ,、、先，、中， 前述區域之:: j述變換處理，係使 4之衫像產生失真用的處理。 320470 33