TW200822752A - Image processing system integrating images of various resolutions - Google Patents

Description

200822752 九、發明說明： 【發明所屬之技術領域】 ㈣像舰純，尤終好鑛減影像之影 【先前技術】 傳統的影像監控受職取像範·架設位置之關，往往叙 ^有^函盖監控範，，在空間上形成死角造成安全監控上的漏.、、、 =.、、，了擴大驗翻，—是增加攝韻的數目 ==相對的設置成本增加，同時多台攝影機的管理不 =要考慮關題。即便使職速球麵織（Speed _ 動操控或定點巡猶，錢存树間上之監控死㈣題。 ^ 了=善上獅題，廣練場驗祕為啊 像取像能力及高晝質影像取像能力之智慧型全方位安全監控Γ ^在此齡統巾’若需要進—步觀察特定減或人時，只需要 =2度環鄉像上_，触之_可取得制雜域的高晝 二f象。Ϊ此類系統中，通常會提供多種反㈣（tmdistort)劉覽 ^二麟環場影像至—般的正常影像。關於上述廣角環場監 控系統的詳細内容，可參閱： 趣逆歐觀也酿尬£l，iioview· htm 2 ’在此類系統中，為了傳輸高解析、高畫質影像，對於傳輸 :，的要求相對較〶，在使用成本上也容易隨之增加。若均改用 2析度擷取影像，並在必要時採用高騎度呈像裝置進行呈像 8、’雖然可有效降低傳輸頻寬的需求，但低解析度影像仍難以用 200822752 南解析度呈像手段呈現岐夠高品質的影像。 【發明内容】 本發=主要目的在提供—種整合多轉析度影像之影像處理系 、、先藉著擷取、呈像分流處理手段，亦即分別採高解析度影像操 取、呈=糊注的人或物體影像、以及採低解析度影像擷取、 =屬背景的影像，而猶_頻寬需求，卻無損高品質呈像的 為求。 基於上述目的’在整合多種解析度影像之影像處理系統中，主要 以不同解析度影像擷取裝置齡觀測場景巾的影像，並利用不同 解析度呈絲置分取整合地找補_ ^免低解析度影像仍難㈣高解析度呈像手段呈現出足夠高象品 貝的影像。為_兩個不同贿度影像源可無缝地被呈像出來， i要f 2像擷轉置之_座標轉換、呈像裝置之間的座標轉 、，使件正個影像棘、呈像可以如同單—影像擷取源、單一呈 像手段般的情況。 關於本發明之優賴精神可减由町的 到進-步的瞭解。 【實施方式】 本發明整合乡_爾之影像纽$魅 =操轉置(其角解析度(A_ar Re喻ti〇n)的單位為H 飧卿lAiegree))擷取觀測場景⑽咖㈣_β)中的影像， ^ 2 ^ ^析度呈像I置整合地呈現相對於觀測場景之場景影 ’雜、呈像分鱗理手段，亦即分麟高解析度影像 200822752 擷取、呈像特別關注的人或物體影像、以及採低解析度影像擷取、 呈像屬背景的影像，而達到降低頻寬需求，卻無損高品質呈 需求。 、 請參閱第1 ® ’第1圖為本發明整合綠解析度影像之影像處理 系統的示意圖。如第丨圖所示，在本發明整合多種解析度影像之 影像處理系統中，主要由兩台解析度不同的影像擷取裝置(即廣角 式(wide angle)影像擷取裝置12、指定式(pan—Tilt—z〇〇m， 影像擷取裝置16)、兩台解析度不同呈像裝置（_定式（f’ixed) 呈像裝置10、導向式(steerable)呈像裝置⑷、處理裝置2〇所 組成。PTZ影像綠取裝置16可左右/上下移動鏡頭、以及縮放焦 距。導向式(steerable)呈像裝置U可採反射鏡式的可調整投射 目標、區域的投影裝置。 -般來說，廣角式(wide angle)影像擷取裝置12的第—解析产高 於指定式(Pan-Tilt-Zoom，PTZ)影像擷取裝置16的第二解析f 而固定式（fixed)呈像裝置1〇的第三解析度也高於導向式又 (steerable)呈像裝置η的第四解析度。 簡略而言，在整合錄騎度影像之影像處理祕巾，為達到兩 個不同解析度·源可鱗地被呈像蛛，主要顧影像顧取裝 置之間的座標轉換、呈像裝置之_座標轉換，使得整個影像類 取、呈像可以如同單-影像娜源、單一呈像手段般的情況。底 下，先簡單描述整㈣_運作方式，_在針對整合兩個解析 度影像的輪、指找練減錄辭段、以 矩陣（t )誠衫段作制。 以置轉換 如第1圖所示’廣角式(Wide angle)影像擷取裝置12先以第一解 析度(即較低解析度)麟朗場景，並產生崎細象(/_)。指 疋式(Pan-Tm-Zcm PTZ)影像擷取裝置16則基於自動選取或如 200822752 4圖所示使用者選取的模式’以弟—解析度、系統或使用者指定的 方位、焦距拍攝觀測場景，並產生出指定影像（^)。 在接獲上述廣角影像(/㈣）、指定影像（/m)之後，可先將廣角影像 (/—)經反扭曲（undistort)處理，在送至呈像模組22準備呈像。 在呈像模組22將指定影像（fe)和廣角影像（/)縫合(stitch)之 前^需先透過轉換模組24基於影像擷取裝置轉換矩陣(h〇m〇graphy; //:)將指定影像d)轉換成為廣角式(Wide angle)影像擷取裝

置12之座標系統之轉換影像咐e)，而達到如同單一影像擷取 源。 。 關於影像擷取裝置轉換矩陣（好的產生，主要是先使指定式 (Pan-Tilt-Z〇om，ΡΤΖ)影像擷取裝置16採用所有可能的方位、焦 距拍攝觀測場景，然後再和廣角式(wide angle)影像賴取装置^ 所拍攝觀測場景作比較分析而產生出影像擷取裝置轉換矩 (焊⑽）。 、干 v £1 wide y 請參閱第2 ® ’第2 ®為本發日職合祠騎度影像之示意圖。 如第2圖所示’在縫合(stitch)這兩個不同解析度影像（即鱗析 度的廣角影像(/_)、高解析度的轉換影像(IpTZ_wide))時，呈 像模組22係透過固定式(fixed)呈像裝置1〇以第三騎度在呈 平面18上呈現已被處理過的廣角影像（/_)3{)、以及基^ 置轉換矩陣(〇採導向式(steerable)呈像裝置14之座_系、 統、以及細騎度在呈料面18上同輕配被處理過^指定 影像㈤3卜以整合的手段呈現出相對於觀測場景之場景影 上述已被處理過的廣角影像(/·)3〇、已被處理過的指定影像 (D31主要疋在廣角影像(人涵)3〇中除了透過低 L2 ^ 貝訊的保—域施’但在奴影像㈤31也只有相對於保留區 200822752 域30a之區域31a有像素資訊。換句話說，指定影像㈤31只包 含原本應在保留區域3Ga中的影像，但這影像妓過高解析度的 PTZ景>像擷取裝置16提供的高解析度影像。 在缝合(stitch)不同解析度影像時，所使用到的呈像裝置轉換矩 陣(0(其為固定式(fixed)呈像裝置1〇、導向式(steerable) 呈像裝置14之間的座標轉換矩陣）、影像擷取裝置轉換矩陣 (h〇m〇graphy;丑=)(其為廣角式(wide angle)影像擷取裝置12 和指定式(pan-Tiit-Zoom，PTZ)影像擷取裝置16 =陣）、固定式此⑹呈像裝置1G、導向式地⑽㈣呈 ，14對呈像平面18之間的座標轉換(d:r)均採用類似 的方式獲取，亦即拍攝已知影像後作分析。不過，兩台呈像裝置 1呈像平面18的座標轉換屬於一般呈像裝置的校正，在此不累述。 j閱第3圖，第3圖為本發明產生呈像裝置轉換矩陣之示意圖。 如弟3圖所示’在本發明系統中的處理褒置2()額外包含了 f圖案模組34、收集校正圖賴組36、轉換 置轉換模組40。 ϋ 裝置轉換矩陣的手段’主要是糊相同影像擷取 同解析度的呈像裝置作校正，然後在整合出兩 σ呈像裝置之間的呈像裝置轉換矩陣（万。 =體2:呈像校正圖案模組34先使‘式⑴_呈像裝置 向式(steerable)呈像裝置14分別地呈像校正_(例如 :狀的圖案），然後再由收集校正圖案模組36使指定式 而獲_ _置14所錄峨正圖案 在獲得兩張校正影像後，轉換矩陣模組3δ可基於相對於導向式 200822752 (Me)呈像裝置14之校正影像而推算出第一擷取呈像轉 矩陣(fT)、基於相對於固定式(fixed)呈像裝置1Q之校正影像 =推算出第二擷取呈像轉換轉(€)，最後再由呈像裝置轉換 核組40基於第-棘呈像轉換矩陣(〇第二娜呈像轉換矩 陣(/Ο而決定出呈像裝置轉換矩陣使得如第i圖所示 之呈像模組22 _細呈像裝置轉換矩陣（t)等完成影像縫 合，並投射在呈像平面18上。 如同先前所述’指定如第2圖所示在廣角影像3〇中的保留區域咖 之相對位ϊ ’除了可採系統缺外，也可讓制者指定。 請參閱第4圖’第4圖為本發明使用者指定保留區域之示意圖。 在本發明祕巾額外包含如第4騎示之雷卿32、影像榻取 置、保留模組(均未描綠）。 、 當使用者手持雷射筆32並對含廣角影像(/_)之呈像平面18射 指定點18a時’影像擷轉置可擷取到至少包含呈像平面18上的 指=18a之指定點影像’然後保留模組便可基於此指定點影像

中指定點18a所在的位置，而推算出在廣角影像(/·)3〇中保留 域30a之相對位置。 藉由以上雛舰實_之詳述，係輕能更加紗描述本發明 之特？與精神’而並細上骑減的健具體實酬來對本發 明之範嘴加嫌制。相反地，其目的是希望能涵蓋各種改變及丄 相等性的安排於本發明所欲申請之專利範圍的範疇内。 、 【囷式簡單說明】 ^圖為本發明整合多種解析度影像之影像處理系統的示意圖。 弟2圖為本發明縫合不同解析度影像之示意圖。 200822752 第3圖為本發明產生呈像裝置轉換矩陣之示意圖。 第4圖為本發明使用者指定保留區域之示意圖。 【主要元件符號說明】 , 10固定式呈像裝置 12廣角式影像擷取裝置 14導向式呈像裝置 16指定式影像擷取裝置 φ 18呈像平面 18a指定點 20處理裝置 22呈像模組 24轉換模組 30廣角影像 30a區域 31指定影像 31 a區域 32雷射筆 34呈像校正圖案模組 — 36收集校正圖案模組 ， 38轉換矩陣模組 40呈像裝置轉換模組 11

Claims (1)

1. 200822752 十、申請專利範圍： .一種整合多種解析度影像之影像處理系統，係以不 同解析度影像擷取裝置擷取一觀測場景⑽町⑹ scene)中的影像，並利用不同解析度呈像裝置整合 地呈現相對於該觀測場景之一場景影像，該影像處 理包含： 一呈像平面； 廣角式（wide angle)影像擷取裝置，係以一第 一解析度拍攝該觀測場景，並產生出一廣角 影像（Τ^’ί/e); ' 一指定式（Pan-Tilt-Zoom，PTZ)影像擷取裝 置係以弟一解析度、指定的方位、隹距 拍攝該觀測場景’並產生出一指定影'像 (/m)，在解析度上該第二解析度高於該第一 解析度； 一固定式（fixed)呈像裝置，係以一第三解析度 在該呈像平面上呈現已被處理過的該廣角影 像（人心)，該已被處理過的該廣角影像（八心） 中至少具有未有像素資訊的一保留區域； 一導向式（steerable)呈像裝置，係以一第四解 析度在該呈像平面上呈現已被處理過的該指 定影像（/^)且該指定影像（"幻僅呈現在被 呈現的該廣角景> 像（人7心）中的該保留區域 中，在解析度上該第四解析度高於該第三解 12 200822752 析度； 一轉換模組，係用以基於一影像擷取裝置轉換矩 陣（homography;丑3)將該指定影像（/⑽）轉 換成為該廣角式（wide angle)影像擷取裝置 之座標系統之一轉換影像；以及 一呈像模組，係用以透過該固定式（fixed)呈像 裝置以該第三解析度在該呈像平面上呈現已 被處理過的該廣角影像（Λ/α)、以及基於一呈 _ 像裝置轉換矩陣（丑：）採該導向式 (steerable)呈像裝置之座標系統、以及該 第四解析度在該呈像平面上呈現已被處理過 的該指定影像（/；>rz)且該指定影像（八幻僅呈 現在被呈現的該廣角影像（人心）中的該保留 區域中’以整合的手段呈現出相對於該觀測 場景之該場景影像。 2·如申請專利範圍第1項所述之整合多種解析度影像 ⑩ 之影像處理系統，其中該影像擷取裝置轉換矩陣 (homography;开=)為該廣角式（wide angle)影像 榻取裝置、該指定式（Pan—Tilt—z〇⑽，PTZ)影像擷 取裝置之間的座標轉換矩陣。 3.如申請專利範圍第1項所述之整合多種解析度影像 之景々像處理系統，其中該呈像裝置轉換矩陣（好:,） 為該固定式（fixed)呈像裝置、該導向式（steerable) 呈像裝置之間的座標轉換矩陣。 13 ^200822752 4·如申叫專利範圍第1項所述之整合多種解析度影像 之衫像處理系統，其中該整合多種解析度影像之影 像處理系統進一步包含： 一雷射筆，係用以讓使用者手持並對含廣角影像 ， （八y一之該呈像平面射出一指定點； ^ 一景> 像擷取裝置，係用以擷取至少包含該呈像平 面上的該指定點之一指定點影像； _ 一保留模組，係用以基於該指定點影像中該指定 點所在的位置，而推算出在該廣角影像（/^〇 中該保留區域之相對位置。 5 ·如申請專利範圍第1項所述之整合多種解析度影像 之影像處理系統，其中該整合多種解析度影像之影 像處理系統進一步包含： 一呈像校正圖案模組，係用以使該固定式（fixed) 呈像裝置、該導向式（steerable)呈像裝置 _ 分別地呈像一校正圖案； 一收集校正圖案模組，係用以使該指定式 • (Pan—Tilt-Zoom，PTZ)影像擷取裝置分別地 . 拍攝該固定式（fixed)呈像裝置、該導向式 (steerable)呈像裝置所呈像的該校正圖案 而獲得一校正影像； 一轉換矩陣模組，係用以基於相對於該導向式 (steerable)呈像裝置之該校正影像而推算 出一苐一擷取呈像轉換矩陣（）、基於相對 200822752 於該，定式（fixed)呈像裝置之該校正影像 而推异出一第二擷取呈像轉換矩陣（）； -r? 上上 steer 及 ，像裝置轉換模組，係用以基於該第—榻取呈 像轉換矩陣(心、該第二擷取呈像轉換矩陣 凡b)而決疋出該呈像裝置轉換矩陣。 Ji JL steer