1379588 Π) 九、發明說明 . 【發明所屬之技術領域】 . 本發明係有關於影像處理裝置、及影像處理方法、以 及電腦程式。尤其是有關於發生在移動的被攝體之攝影影 像上的跳動（jerkiness)或模糊（blur)等之畫質劣化的減 * 低，生成高品質的輸出影像的影像處理裝置、及影像處理 方法、以及電腦程式。 【先前技術】 若將以商速快門拍攝下來動畫影像或卡通（Animation) ' 等’使用投影機或顯示器等顯示設備來加以顯示，則影像 中所含之移動物體的運動會呈不連續顯示，觀察影像的觀 ' 察者會知覺到多重影像，此種影像劣化會頻繁發生。這是 - 一般稱作跳動（jerkiness)的畫質劣化現象。 另一方面，以開放快門等低速快門速度拍攝的動畫影 φ 像進行顯示時，會因運動遲緩的影響，經常會使得被攝體 的細節缺損或邊緣變得不鮮明。此現象係爲一般稱作模糊 (blur)的畫質劣化現象。 • » 關於這些跳動和模糊的發生原理，使用圖1〜3來說; ’ 明。人類的知覺特性，是將入射至眼睛的光線，當成一定 時間積分後的値而加以知覺。圖1〜3 ’係基於該知覺特 性來說明從觀察者來看物體時的模擬說明圖。 - 圖1係靜止物體和移動物體在真實世界中觀看時的說 明例子 -4- (2) 1379588 圖1(1)係令橫軸爲位置（X)、縱軸爲時間（t)，來表示 靜止物體11和移動物體12的時間性變遷；圖1(2)係觀察 這些靜止物體11和移動物體12的觀察者之知覺狀況的模 ’ 擬圖示。其係爲，觀察者是追從著移動物體12而進行觀 - 察的追從視，以及不追從移動物體12而將視點固定而進 . 行觀察的固定視的2種不同觀察形態下的知覺狀況。分別 以（a)追從視、（b)固定視來表示。 如圖1(2)的（a)追從視所示，當觀察者是追從著移動 物體12觀看時，移動物體12看起來，就像圖1(2)的移動 - 物體知覺資訊al2。這是和圖1(2)的（b)固定視下的固定物 . 體11看起來的樣子也就是固定物體知覺資訊bll相同的 感覺。如此，當觀察者是追從觀看移動物體12時，觀察 -. 者的知覺會是和固定視下的固定物體1 1看起來的樣子相 一 同。 另一方面，如圖1(2)的（b)固定視所示，當觀察者是 φ 固定觀看移動物體時’移動物體12看起來的樣子，就像 圖1(2)的移動物體知覺資訊bl2。這是由於觀察者是知覺 到移動物體是呈連續性移動地變化’所以觀察者不會產生 異樣感。 • 圖2係以高速快門拍攝的動畫影像或卡通等，使用投 影機或顯示器等之顯示設備來進行顯示時，被觀察者知覺 到發生跳動之說明圖。亦即，影像中所含之移動_物體的運 動係不連續地顯示’觀察影像的觀察者會知覺到多重像的 一種現象。 -5- 1379588 ⑶ 圖2中，將圖1中的真實世界中的移動物體’使用高 速快門拍攝，以60Hz更新畫面的顯示設備加以顯示時’ 從觀察者所見到的樣子的模擬性圖示。圖2(1)，係圖示顯 示靜止物體21和顯示移動物體22在顯示設備上的顯示位 置之變化。縱軸是時間（0，也就是顯示設備的每個畫面更 新間隔（1/60 sec)就劃分一格。横軸係爲顯示位置（X)。 圖2(2)係觀察著顯示設備所顯示之顯示靜止物體21 ^ 和顯示移動物體22的觀察者的知覺狀況的模擬性圖示。 其係爲，觀察者是追從著顯示移動物體22而進行觀察的 • 追從視，以及不追從顯示移動物體22而將視點固定而進 • 行觀察的固定視的2種不同觀察形態下的知覺狀況。將其 分別以（a)追從視、（b)固定視來表示。 ' 如圖2(2)(a)所示，顯示設備上所顯示之顯示移動物 - 體22，被觀察者追從觀看時所看到的樣子（a22)，係和參 照圖1說明過之圖l(2)(a)的追從視所看到的樣子（al2)相 φ 同，觀察者係會知覺到和固定視觀看靜止物體時相同的感 覺。 另一方面，在觀察者以固定視觀看顯示設備上所顯示 之顯示移動物體時，如圖2(2)(B)所示，觀察者的視覺所 致之知覺上，和真實世界不同地，顯示移動物體22係並 非連續而是離散式地移動變化，看起來的樣子係爲 (b22)。結果’觀測者係會基於把入射至眼裡的光做一定 時間積分過的値而加以知覺此種知覺特性，把顯示設備上 所顯示的移動物體，知覺成多重像。 -6 - (4) (4)1379588 觀測者係不知道原本是1個物體，而會錯認爲像是有 複數物體存在。此種現象就稱爲「跳動劣化」。跳動劣 化’理論上是移動速度越快的物體越容易發生。又，跳動 劣化，係顯示設備的畫格速率（frame rate)越低則越容易 發生，畫格速率越高則越難發生。再者，跳動劣化，一般 而言，係在空間上亮度變化大的部份，換言之，在空間對 比局的部份'谷易發生。 圖3係以例如開放快門等之低速快門拍攝的動畫影像 或卡通等，使用投影機或顯示器等之顯示設備來進行顯示 時，被觀察者知覺到發生模糊的說明圖。模糊，係因運動 遲緩之影響，使得被攝體的細節損失或邊緣變得不鮮明之 現象。 圖3中，將圖1中的真實世界中的移動物體，使用低 速快門拍攝，以60Hz更新畫面的顯示設備加以顯示時， 從觀察者所見到的樣子的模擬性圖示。圖3 (1 )，係圖示顯 示靜止物體31和顯示移動物體32在顯示設備上的顯示位 置之變化。縱軸是時間（t)，也就是顯示設備的每個畫面更 新間隔（1 / 6 0 s e C)就劃分一格。横軸係爲顯示位置（X )。 圖3 (2)係觀察著顯示設備所顯示之顯示靜止物體31 和顯示移動物體32的觀察者的知覺狀況的模擬性圖示。 其係爲，觀察者是追從著顯示移動物體32而進行觀察的 追從視，以及不追從顯示移動物體32而將視點固定而進 行觀察的固定視的2種不同觀察形態下的知覺狀況。將其 分別以（a)追從視、（b)固定視來表示。 (5) (5)1379588 如圖3 (2 ) ( b)所示，顯示設備上所顯示之顯示移動物 體32，在觀察者是固定視的時候（b3 2)，看起來係和參照 圖1說明過之圖l(2)(b)的固定視所看到的樣子（bl2)相 同，觀察者是知覺到移動物體是呈連續性移動地變化，觀 察者不會產生異樣感。 另一方面，觀察者以追從視觀看顯示設備上所顯示之 顯示移動物體22時，係如圖3(2)(a)的觀感（a32)所示，對 觀察者而言，和靜止物體固定視時不同，是知覺到模糊的 影像。這是因爲，如圖3(1 )(a)的顯示移動物體22所示， 於攝影時，基於低速快門的長期間曝光中的移動物體的運 動是被記錄成1畫格，該移動之物體是在1畫格中被顯示 成帶狀的緣故。此種現象就稱爲「模糊（blur)」。 如之前所說明，跳動劣化及模糊劣化的發生，係關於 攝影時的快門速度呈相反的關係，因此單純的快門控制係 會使其中一種劣化變得醒目。 又，跳動係當進行轉換成和原始動畫影像不同畫格速 率來顯示時，是很容易發生的畫質劣化而爲人所知。例 如，將高畫格速率的原動畫影像，轉換成低於原動畫影像 之畫格速率來進行顯示的手段，一般是配合轉換後的畫格 數，單純地抽掉畫格之方法，但此時，由於原動畫影像係 以較短曝光時間進行攝像，因此容易發生跳動。 作爲抑制該畫格速率轉換之際發生之跳動的手法，公 知的有，不進行抽格所致之畫格速率轉換，而是配合轉換 後的畫格數，單純地進行原始動畫影像的構成畫格之平均 -8- (6) (6)1379588 化的方法。藉由該畫格平均化手法，就可抑制跳動。可 是，該手法的結果爲，相當於藉由基於高速快門對應之高 畫格速率影像的平均化，來生成低畫格速率、亦即用低速 快門攝得攝影影像，導致模糊劣化醒目之問題產生。 另一方面，將低畫格速率的原動畫影像，轉換成高於 原動畫影像之畫格速率來進行顯示時，關於時間上不存在 的畫格，則將前後存在之畫格予以複數次顯示的手法，最 爲簡易。可是，若進行此種畫格速率轉換，則移動的被攝 體的運動係變成離散，因此容易發生跳動。 如此，在根據低畫格速率原始影像來生成高畫格速率 影像的畫格速率轉換處理進行時，作爲用來抑制跳動發生 的手法，使用運動補償，將時間上不存在之畫格藉由內差 處理而生成之，以作成高畫格速率之動畫影像的手法，係 爲公知。（例如專利文獻1)藉由使用該手法，就可謀求跳 動劣化之改善。 [專利文獻1]日本特開平1 1 - 1 1 293 9號公報 【發明內容】 [發明所欲解決之課題] 如上述，跳動及模糊的發生，係關於攝影時的快門速 度呈相反的關係，因此單純的快門控制係會使其中—種劣 化變得醒目，存在此一問題。又，於畫格速率轉換時，如 前述，原理上，要抑制雙方之劣化是有困難，若抑制其中 —方則另一方會變得醒目，存在如此問題。 (7) (7)1379588 例如在進行從低畫格速率轉換成高畫格速率的轉換 時，進行前述之畫格內插，進行相當高畫格速率之轉換， 則在顯示動畫影像之際的跳動劣化是可以減低。可是，現 行的電影膠卷（每秒24畫格）或電視（每秒50.畫格或是60 畫格）標準的動畫影像格式之顯示，由於畫格速率並非充 分很高，因此跳動劣化之減低是有極限。可以顯示現行的 電視標準以上、高速畫格速率之動畫影像的顯示設備，目 前數目是非常有限，對於現行的許多顯示設備，利用畫格 內插所致之畫質劣化之改善，是有極限。 本發明係有鑑於此種問題而硏發，目的在於提供可以 抑制動畫畫質劣化之主因的跳動和模糊雙方的影像處理裝 置、及影像處理方法、以及電腦程式。 本發明的目的係爲提供一種，例如，對每個輸入影像 訊號的分割領域，算出畫格間的移動速度或空間上的特徵 量，基於算出之移動速度或空間特徵量來對每一領域進行 適應性過濾處理，藉此，而可生成跳動和模糊雙方皆抑制 之畫質劣化少的高畫質影像訊號並加以輸出的影像處理裝 置、及影像處理方法、以及電腦程式。 [用以解決課題之手段] 本發明之第1側面，係 一種影像處理裝置，係屬於對動畫影像執行影像處理 的影像處理裝置，其特徵爲，具有： 移動速度演算部，以構成動畫影像之畫格影像所區分 -10- (8) (8)1379588 成的分割領域單位，算出隨應於輸出影像之畫格速率的被 攝體之移動速度；和 影像生成處理部，輸入前記分割領域單位之移動速度 資訊，以前記分割領域單位，取得會使輸出影像之影像劣 化被降低之最佳快門速度，當作對應於移動速度之最佳攝 像快門速度，以前記分割領域單位來生成已取得之最佳快 門速度所對應之影像，將所生成之分割領域影像結合而成 的畫格影像加以輸出。 再者，於本發明之影像處理裝置的一實施形態中，其 構成特徵爲，前記移動速度演算部，係執行以下處理：藉 由適用了從輸入影像之畫格所選擇出來之探索用畫格和參 照用畫格的區塊比對處理，以分割領域單位來算出移動速 度。 再者，於本發明之影像處理裝置的一實施形態中，其 構成特徵爲，前記移動速度演算部，係具有：區塊比對 部，藉由適用了從輸入影像之畫格所選擇出來之探索用畫 格和參照用畫格的區塊比對處理，以分割領域單位來> 出 運動向量；和運動向量規格化部，基於前記區塊比對部中 所算出之運動向量資訊，來算出隨應於輸出影像之畫格速 率的被攝體之移動速度。 再者，於本發明之影像處理裝置的一實施形態中，其 構成特徵爲，前記移動速度演算部，係執行以下處理：將 前記探索用畫格，以隨應於輸出影像畫格速率之畫格間 隔，從輸入影像之畫格中選擇出來。 -11 - (10) 1379588 再者，於本發明之影像處理裝置的一實施形態中，其 構成特徵爲，前記過濾處理部係執行以下處理：設定隨應 於前記最佳快門速度算出部所算出之最佳快門速度的權重 係數，執行輸入影像的複數畫格之像素値的加權平均，決 定輸出影像畫格的像素値。 再者，於本發明之影像處理裝置的一實施形態中，其 構成特徵爲，前記影像生成處理部係具有中間畫格生成 ^ 部，生成輸入影像之畫格中所不含有之中間畫格；且執行 以下處理：適用前記中間畫格，而以分割領域單位，來生 • 成前記最佳快門速度算出部所算出之最佳快門速度所對應 • 之影像。 再者，於本發明之影像處理裝置的一實施形態中，其 • 構成特徵爲，前記影像處理裝置，係更具有空間特徵量偵 • 測部，以前記分割領域單位，偵測出空間對比的大小；前 記影像生成處理部，係執行以下處理：針對空間對比是未 φ 滿預定閎値的分割領域，是將比對應於前記移動速度所算 出之最佳快門速度還要高的快門速度，當成最佳快門速度 而加以設定。 再者，於本發明之影像處理裝置的一實施形態中，其 構成特徵爲，前記影像處理裝置，係更具有空間特徵量偵 測部，以前記分割領域單位，偵測出空間對比的大小；前 記影像生成處理部，係執行以下處理：針對空間對比是未 滿預定閾値的分割領域，不是算出對應於前記移動速度所 算出之最佳快門速度，而是將輸入影像所帶有之畫格速率 -13- (11) (11)1379588 所對應之快門速度，當成最佳快門速度而加以設定。 再者，於本發明之影像處理裝置的一實施形態中，其 構成特徵爲，前記輸出影像之影像劣化，係爲跳動 (jerkiness)及模糊（blur)所造成之影像劣化；前記影像生 成處理部，係執行以下處理：以前記分割領域單位，取得 使跳動及模糊所致之影像劣化會被降低之最佳快門速度， 並以前記分割領域單位，來生成已取得之最佳快門速度所 對應之影像。 再者，本發明之第2側面，係 —種影像處理方法，係屬於在影像處理裝置中，對動 畫影像執行影像處理的影像處理方法，其特徵爲，具有： 移動速度演算步驟，係於移動速度演算部中，以構成 動畫影像之畫格影像所區分成的分割領域單位，算出隨應 於輸出影像之畫格速率的被攝體之移動速度；和 影像生成處理步驟，係於影像生成處理部中，輸入前 記分割領域單位之移動速度資訊，以前記分割領域單位， 取得會使輸出影像之影像劣化被降低之最佳快門速度，當 作對應於移動速度之最佳攝像快門速度，以前記分割領域 單位來生成已取得之最佳快門速度所對應之影像，將所生 成之分割領域影像結合而成的畫格影像加以輸出。 再者，於本發明之影像處理方法的一實施形態中，其 特徵爲，前記移動速度演算步驟，係執行以下處理：藉-由 適用了從輸入影像之畫格所選擇出來之探索用畫格和參照 用畫格的區塊比對處理，以分割領域單位來算出移動速 -14- (13) (13)1379588 基於使用者選擇資訊，來決定適用表格。 再者，於本發明之影像處理方法的一實施形態中，其 特徵爲，前記影像生成處理步驟，係具有：最佳快門速度 算出步驟，以前記分割領域單位，算出對應於移動速度的 最佳快門速度：和過濾處理步驟，將前記最佳快門速度算 出步驟中所算出之最佳快門速度所對應之影像，以前記分 割領域單位來加以生成。 再者，於本發明之影像處理方法的一實施形態中，其 特徵爲，前記過濾處理步驟，係執行以下處理：基於從輸 入影像之畫格中所選擇出來的畫格，以前記分割領域單位 來生成前記最佳快門速度算出步驟中所算出之攝像快門速 度所對應之影像。 再者，於本發明之影像處理方法的一實施形態中，其 特徵爲，前記過濾處理步驟，係執行以下處理：設定隨應 於前記最佳快門速度算出步驟中所算出之最佳快門速度的 權重係數，執行輸入影像的複數畫格之像素値的加權平 均，決定輸出影像畫格的像素値。 再者，於本發明之影像處理方法的一實施形態中，其 特徵爲，前記影像生成處理步驟，係執行以下處理：生成 輸入影像之畫格中所不含有之中間畫格；將前記最佳快門 速度算出步驟中所算出之最佳快門速度所對應之影像，適 用前記中間畫格，以分割領域單位而加以生成。 再者，於本發明之影像處理方法的一實施形態中，其 特徵爲，前記影像處理方法，係更具有空間特徵量偵測步 -16- (14) (14)1379588 驟，係於空間特徵量偵測部中，以前記分割領域單位，偵 測出空間對比的大小；前記影像生成處理步驟，係執行以 下處理：針對空間對比是未滿預定間値的分割領域，是將 比對應於前記移動速度所算出之最佳快門速度還要高的快 門速度，當成最佳快門速度而加以設定。 再者，於本發明之影像處理方法的一實施形態中，其 特徵爲，前記影像處理方法，係更具有空間特徵量偵測步 驟，係於空間特徵量偵測部中，以前記分割領域單位，偵 測出空間對比的大小；前記影像生成處理步驟，係執行以 下處理：針對空間對比是未滿預定閾値的分割領域，不是 算出對應於前記移動速度所算出之最佳快門速度，而是將 輸入影像所帶有之畫格速率所對應之快門速度，當成最佳 快門速度而加以設定。 再者，於本發明之影像處理方法的一實施形態中，其 特徵爲，前記輸出影像之影像劣化，係爲跳動（jerkiness) 及模糊（blur)所造成之影像劣化；前記影像生成處理步 驟’係執行以下處理：以前記分割領域單位，取得使跳動 及模糊所致之影像劣化會被降低之最佳快門速度，並以前 記分割領域單位，來生成已取得之最佳快門速度所對應之 影像。 再者’本發明之第3側面，係 一種電腦程式，係屬於在影像處理裝置中，令其對動 畫影像執行影像處理的電腦程式，其特徵爲，係令其執 行： -17.- (15) (15)1379588 移動速度演算步驟，係於移動速度演算部中，令其以 構成動畫影像之畫格影像所區分成的分割領域單位，算出 隨應於輸出影像之畫格速率的被攝體之移動速度；和 影像生成處理步驟，係於影像生成處理部中，令其輸 入前記分割領域單位之移動速度資訊，以前記分割領域單 位，取得會使輸出影像之影像劣化被降低之最佳快門速 度，當作對應於移動速度之最佳攝像快門速度，以前記分 割領域單位來生成已取得之最佳快門速度所對應之影像， 將所生成之分割領域影像結合而成的畫格影像加以輸出。 此外，本發明之電腦程式，係例如對可執行各種程式 碼的通用電腦系統，可藉由以電腦可讀形式而提供之記億 媒體、通訊媒體，例如CD或FD、M0等之記億媒體，或 者網路等之通訊媒體來予以提供的電腦程式。藉由將此種 程式以電腦可讀形式加以提供，就可在電腦系統上實現相 應於程式的處理。 本發明之更多其他目的、特徵或優點，係可基於後述 之本發明之實施例或添附圖面，更詳細說明來明瞭。此 外，於本說明書中所謂的系統，係爲複數裝置的邏輯集合 構成’並無限制各構成裝置是否位於同一框體內。 [發明效果] 右依據本發明之構成，則在生成以一定畫格速率輸出 的動晝影像之際，以構成動畫影像之畫格影像所區分成的 分割領域單位，算出隨應於輸出影像之畫格速率的被攝體 -18- (16) (16)1379588 之移動速度；以分割領域單位，取得會使輸出影像之影像 劣化被降低之最佳快門速度，當作分割領域單位之移動速 度所對應之最佳攝像快門速度，以分割領域單位來生成已 取得之最佳快門速度所對應之影像，將所生成之分割領域 影像結合而成的畫格影像加以輸出，因爲如此構成，所以 可以輸出同時降低了輸出影像中的影像劣化、具體而言係 跳動及模糊之雙方的高品質影像》 【實施方式】 以下，一面參照圖面，一面說明本發明之影像處理裝 置、及影像處理方法、以及電腦程式的構成。 本發明之影像處理裝置中，關於以一定畫格速率輸入 的輸入動畫影像，將各畫格影像切割成所定的分割領域， 以各分割領域單位算出畫格間的移動速度或空間上的特徵 量，基於所算出之各分割領域的移動速度或空間特徵量來 對每一領域進行適應性過濾處理，藉此，隨應於各領域而 生成已使跳動或模糊減低的影像，而生成跳動和模糊雙方 皆抑制之畫質劣化少的高畫質影像訊號並加以輸出。 例如，在本發明的影像處理裝置中，保持有畫格間的 移動速度或空間性特徵量和過濾處理參數建立對應關連而 成的表格，基於該表格，進行對應於各分割領域的最佳過 濾處理。此外，對應於各分割領域的最佳之過濾處理，具 體而言，係相當於各分割領域中，決定用來減低跳動和模 糊之發生的最佳攝像快門速度，生成該攝像快門速度所對 -19- (17) (17)1379588 應之影像的處理。 亦即，各分割領域所對應之最佳過濾處理之參數的決 定處理，係包含針對各領域來決定會使跳動和模糊之發生 減低的最佳快門速度的決定處理。本發明之影像處理裝置 中，對應於各分割領域，決定可使跳動和模糊之發生減低 的最佳快門速度，依照該已決定之快門速度的擬似影像， 是對每分割領域個別地生成而輸出。 以下，說明本發明之影像處理裝置的細節。將依照以 下的項目，詳細說明。 1. 本發明之影像處理裝置中的基本處理之槪要 2. 輸入影像訊號及輸出影像訊號之相關說明 3 .移動速度演算部之處理的細節 4. 影像生成處理部之處理的說明 5. 過濾處理部所執行之過濾處理的細節 6. 關於過濾處理時所用之畫格的選別方法 7 -關於移動速度之最佳攝像快門速度的對應關係 8. 關於最佳攝影快門速度算出方法 9. 最佳攝影快門速度算出、以及輸出畫格生成處理的 具體例 1 0 .關於具有移動速度和快門速度曲線之調整機能的 裝置 1 1 .第2實施例之槪要 [1.本發明之影像處理裝置中的基本處理之槪要] -20- (18) (18)1379588 首先，說明本發明之影像處理裝置的基本處理之槪 要。圖4係本發明之第1實施例所述之影像處理裝置100 之構成的區塊圖。影像處理裝置100，輸入具有一定畫格 速率的影像訊號，來作爲處理對象影像。該輸入影像訊 號，係被輸入至移動速度演算部101及影像生成處理部 102° 在移動速度演算部101中，如圖5所示，針對輸入影 像訊號的各畫格影像，進行領域分割，並針對每一分割領 域所含之影像，執行區塊比對處理，算出每一分割領域之 影像資料的畫格間移動速度（VI，V2，V3···)。只不過，此 處所算出的畫格間移動速度（VI，V2，V3…），係爲輸出影 像訊號所帶有之畫格速率所對應的畫格間的移動速度。影 像處理裝置，係將輸出影像畫格速率資訊1 03保持在記憶 部中，在移動速度演算部101上，基於輸出影像畫格速率 資訊103，算出每一分割領域的畫格間移動速度（VI，V2, V3 …）0 於移動速度演算部101上所算出之各分割領域中的移 動速度，係被輸入至影像生成處理部102。在影像生成處 理部102中，已經被輸入了輸入影像訊號。影像生成處理 部1 02，係隨應於移動速度演算部1 0 1上所算出之各分割 領域中的移動速度（VI, V2，V3…），將輸入影像，以各分 割領域單位，進行轉換處理。亦即，基於在各分割領域單 位所求出的移動速度（Vn)，轉換成可降低跳動和模糊之發 生的最佳快門速度所對應之擬似性影像，是執行此種處 -21 - (19) (19)1379588 理。 在各分割領域單位所求出的移動速度（V η);和可使跳 動和模糊之發生降低的最佳攝像快門速度的關係，係可隨 應於輸出影像訊號所帶有之畫格速率來算出。影像生成處 理部102，係將此對應關係當成預先設定之表格而保持 之，並適用輸出影像畫格速率資訊103，從保持表格中求 出每一各領域的最佳攝像快門速度。或者，藉由預定之算 出式，基於在各分割領域單位所求出的移動速度（Vn)，來 算出可使跳動和模糊之發生降低的最佳攝像快門速度。 影像生成處理部102,係更就每一各分割領域生成對 應於已求出之攝像快門速度的擬似影像，將這些各分割領 域的生成影像予以合成而生成1畫格影像，以預定之畫格 速率進行輸出。藉由這些處理，就可輸出已使跳動和模糊 所致畫質劣化雙方都降低的高畫質資料。 如此，在影像生成處理部102中，係以基於移動速度 演算部1 0 1所算出之各分割領域中的移動速度而決定之最 佳攝像快門速度，來生成擬似性的攝影影像。該影像生成 處理，例如係可藉由時間方向的過濾處理等來實現。影像 生成處理部1〇2中所作成之影像，係以帶有一定畫格速率 之輸出影像訊號的方式而被輸出。 [2.輸入影像訊號及輸出影像訊號之相關說明] 其次，詳細說明輸入影像訊號及輸出影像訊號所帶有 之畫格速率。此外，於圖4所示的影像處理裝置1〇〇中， -22- (20) (20)1379588 輸入影像訊號、及轉換處理所生成之輸出影像訊號的畫格 速率並非受到限定，可以做各種設定。只不過’於影像生 成處理部102中，以可使跳動和模糊所致畫質劣化雙方降 低的最佳快門速度，在每領域生成擬似性攝影影像所需之 處理，若是採用時間方向的過濾處理時，則輸入影像訊 號，係相對於輸出影像訊號所帶有之所望畫格速率，理想 上是具有越高的畫格速率越好。這是因爲，在影像生成處 理部102上所進行的影像轉換處理中，使用較高畫格速率 的輸入影像訊號，是較容易生成滑順的影像。 此外，在圖4所示的例子中雖然說明了，於影像處理 裝置1 〇 〇，輸出影像訊號的畫格速率値係參照記憶部中所 保持之値的構成，但亦可構成爲，該輸出影像訊號的畫格 速率値是從外部輸入。 輸出影像訊號之畫格速率値是從外部輸入之構成的影 像處理裝置的構成例，示於圖6。從外部輸入的輸出影像 訊號之畫格速率値，係被輸入至圖6所示的移動速度演算 部101、影像生成處理部102雙方。影像生成處理部 102，係基於所輸入之畫格速率資訊，來執行影像轉換處 理。藉由如此構成，就可執行對應各種畫格速率的最佳之 畫質轉換。 以下，說明本發明之影像處理裝置所執行之處理的具 體例。爲了說明方面，作爲輸入影像訊號和輸出影像訊號 所帶有之畫格速率的例子係爲： 輸入影像訊號的畫格速率爲240 (畫格/秒）， -23- (21) (21)1379588 輸出影像訊號的畫格速率爲6 0(畫格/秒）’ 針對這些設定下的處理例子加以說明。只不過’該畫 格速率僅爲一例，在本發明的影像處理裝置上’並未對輸 出入影像的畫格速率加以限定。 [3.移動速度演算部之處理的細節] 首先，說明移動速度演算部101的處理之細節。移動 速度演算部101，係以輸出影像訊號所帶有之畫格速率爲 基準，算出參照圖5說明過之影像的每一分割領域中的畫 格間移動速度，並輸出至影像生成處理部。所謂移動速 度，係表示被攝體在1畫格間移動了多少距離。例如其單 位係爲像素/畫格，是以輸出影像訊號所帶有之畫格速率 爲基準。 圖7係移動速度演算部1 0 1之詳細構成圖。圖7所示 的移動速度演算部1 〇 1，係具有：記憶著輸入影像訊號之 複數畫格的影像積存部201、選別出區塊比對處理用的畫 格並進行從影像積存部20 1之讀取控制的控制部202、將 運動偵測對象之畫格予以分割成領域的領域分割部203、 進行區塊比對處理而算出各領域之移動速度的移動速度偵 測部204。 輸入至移動速度演算部的輸入影像訊號，係首先 被輸入至影像積存部2〇1而儲存。影像積存部201，係爲 可記憶複數畫格的記憶部。於移動速度偵測部204上所進 行的實際之區塊比對處理之際’運動向量偵測對象的探索 -24- (22) (22)1379588 用畫格、及其參照用畫格的至少2畫格之資料是必需的， 影像積存部201，係記億著這些複數畫格。 控制部202，係選別探索用及參照用畫格，進行從影 像積存部201的讀取控制。探索用及參照用畫格之選別， 係基於被輸入至控制部202的輸出影像之畫格速率資訊， 於控制部202上進行。關於該選別方法，將詳述於後。 控制部202所讀出的成爲運動向量偵測對象之探索用 畫格，係被輸出至領域分割部203。又，同樣被控制部 2 02所讀出之參照用畫格，係被直接輸出至移動速度偵測 部204。被輸出至領域分割部203的探索用畫格，是被分 割成適當大小的區塊，亦即算出移動速度之領域單位。被 分割成用來算出移動速度之每一領域的探索用畫格，係被 輸入至移動速度偵測部2 0 4。 圖8係移動速度偵測部204之詳細構成例圖。輸入至 移動速度偵測部204的探索用畫格影像資料，係被輸入至 區塊比對部221。區塊比對部221中，與同樣被輸入至區 塊比對部22 1的參照用畫格之間，就每一分割領域進行區 塊比對處理。區塊比對，係就每一微小像素領域，在畫格 間偵測出對應之像素位置的處理。 移動速度偵測部2 0 4，係在每一分割領域中進行區塊 比對處理，藉由此處理，算出每一分割領域的運動向量 量’當成畫格間的被攝體之移動資訊。此外，區塊比對處 理中係可設定比對評價函數等各式各樣的設定，其方法並 無特別限定。 -25- (23) (23)1379588 區塊比對部221上的區塊比對處理所算出之各分割領 域的運動向量量，係輸入至運動向量規格化部222。以 下，說明運動向量規格化部222上所進行之處理。 區塊比對部221上的區塊比對處理所算出之探索用畫 格各領域的運動向量量，係爲表示其相對於參照用畫格移 動了多少距離。另一方面，所要求出的移動速度（像素/畫 格），係爲以輸出像素所帶有之畫格速率爲基準的1畫格 間之移動量。因此，必須要將區塊比對處理所得到的運動 向量量，規格化成以輸出影像訊號所帶有之畫格速率爲基 準之、表示1畫格間移動量的移動速度（單位係爲像素/畫 格）。 運動向量規格化部222，係從控制部202輸入基於輸 出影像訊號之畫格速率資訊的控制訊號，基於該控制訊 號，將區塊比對處理所得到之運動向量量，規格化成以輸 出影像訊號所帶有之畫格速率爲基準之、表示1畫格間移 動量的移動速度（單位係爲像素/畫格），是進行此種處理。 藉由該運動向量之規格化，以輸出影像訊號所帶有之 畫格速率爲基準之移動速度（像素/畫格）就被算出。此外， 關於此規格化之方法，將詳述於後。 於運動向量規格化部222，已算出之影像各領域中的 輸出畫格對應之移動速度，係當成移動速度演算部的 輸出，從移動速度演算部101，輸出至影像生成處理部 102° 如此，在移動速度演算部1 0 1中係會執行處理，以輸 -26- (24) (24)1379588 出影像訊號所帶有之畫格速率爲基準，來求出每一分割領 域的移動速度（像素/畫格）。該處理中，首先，必須要從輸 入影像中選擇出探索用畫格和參照用畫格，基於此2個畫 格來偵測出運動向量。針對該運動向量偵測時所適用的探 索用畫格和參照用畫格的選別方法，詳細說明。 (關於移動速度演算時所適用之畫格） 圖9係移動速度演算部101中，運動向量偵測時所適 用之探索用畫格和參照用畫格的選別處理之說明圖。 本處理例係如目II述般地，假設： 輸入影像訊號的畫格速率爲240 (畫格/秒）， 輸出影像訊號的畫格速率爲60 (畫格/秒）， 是說明這些設定下的處理例子的圖。 此外，於移動速度演算部1 0 1中，運動向量偵測時所 適用的探索用畫格和參照用畫格，係從構成輸入影像之畫 格爲240(畫格/秒）之畫格速率的輸入影像訊號的構成畫格 中，選擇出運動向量偵測時所適用的探索用畫格和參照用 畫格。 圖9中，輸入影像訊號的各畫格是被標上畫格編號’ 該編號係爲，在時刻〇(秒）時，輸入影像訊號的第〇個畫 格被拍攝到的方式來標示。由於輸入影像訊號之畫格速率 係爲240(畫格/秒），因此時刻s(秒）就會標示成第240xs 個之畫格。 關於藉由控制部202所進行的探索用及參照用畫格之 -27- (25) (25)1379588 選別方法，參照圖9來加以說明。 首先’說明探索用畫格的選別。 探索用畫格，係基於輸出影像所帶有之畫格速率而抽 出。 此處’輸出影像訊號之畫格速率係爲 6〇(畫格/秒） 因此’從輸入影像訊號[240(畫格/秒）]中，將每1/60 秒間所攝得之畫格，當成探索對象而抽出。 圖9中是圖示了，將第240xs + 0個、第240xs + 4個、 第240xS + 8個畫格，當成被選擇之探索畫格。結果而言， 探索用畫格係和輸出影像之畫格爲相同數目。換言之，爲 了生成輸出影像的1個畫格，是要選擇1個探索用畫格。 其次，說明參照用畫格的選別。 參照用畫格，係對應於1個探索畫格，來選擇1個參 照用畫格。具體而言，就像圖9所示的（例1 )、（例2)、 (例3 )，可以適用各種選擇手法。 說明以第24〇XS + 〇個畫格爲探索用畫格，對該第240 xs + 0個畫格選擇參照畫格的例子。如前述，應求出的移 動速度（像素/畫格），係以輸出像素所帶有之畫格速率 6 0(畫格/秒）爲基準。因此，探索用畫格和參照用畫格之間 隔若爲1 /60秒時，則基於該探索用畫格和參照用畫格所 算出之移動向量，係具有相當於輸出影像所帶有之畫格速 率60(畫格/秒）所對應之移動速度的大小。因此，在此 時，藉由區塊比對處理所得之運動向量的規格化，係無必 -28- (26) (26)1379588 要。 如圖9所示（例1)的參照用畫格的選別處理例’係設 探索用畫格和參照甩畫格之間隔爲1 /60秒的處理例。 探索用畫格亦即第240xs + 〇個畫格的1/60秒後所拍 攝到的畫格，係爲第240xs + 4個畫格；選擇此第240xs + 4 個畫格，當成探索用畫格亦即第240XS + 0個畫格所對應之 參照用畫格》 又，下個探索用畫格亦即第240xs + 4個畫格的1/60 秒後所拍攝到的畫格，係爲第240XS + 8個畫格；選擇此第 24〇XS + 8個畫格，當成探索用畫格亦即第240XS + 4個畫格 所對應之參照用畫格。 如此（例1)所示，若爲將探索用畫格和參照用畫格之 間隔設定爲1 /60秒的例子，則基於該探索用畫格和參照 用畫格所算出之移動向量，係具有相當於輸出影像所帶有 之畫格速率60(畫格/秒）所對應之移動速度的大小。因 此’在此時，藉由區塊比對處理所得之運動向量的規格 化，係無必要。 相對於此’如圖9所示的（例2)、（例3)的參照用畫格 之選擇亦是可能。在（例2)中，係將探索用畫格所對應之 參照用畫格，設定成探索用畫格的下一個畫格、亦即 1/24〇秒後的畫格；在（例3)中，則是將探索用畫格所對應 之參照用畫格，設定成探索用畫格的後2個畫格、亦即 2/24 0秒後的畫格之例子。如此，亦可將較接近探索用畫 格的畫格，當成參照用畫格而加以設定。 -29- (27) 1379588 藉由選別出較靠近探索用畫格的參照用畫格， 畫格間的被攝體移動量較小，於區塊比對處理時， 探索範圍。因此，可使區塊比對處理高速化、高精 將第24〇XS + 0個畫格當成探索用畫格時，在圖 的（例2)中，係將第240xs+l個畫格選擇當成參 格，在（例3)中則是拿第24〇xs + 2個畫格當成參 格。 (例2 )、（例3 )的情況中，由於移動速度偵測部 區塊比對處理部22 1上的區塊比對處理所得到之 量，係和相當於輸出影像訊號之畫格速率的移動 同，因此需要進行，基於所求出之運動向量，轉換 於輸出影像訊號之畫格速率的移動速度的此種規 理。以下，說明將運動向量規格化之方法。 (關於運動向量的規格化） 圖9中的（例2)的情況下，探索用畫格亦即f s + 〇個畫格，和參照用之第24〇xs+l個畫格間， 1 /24 0秒之差距所拍攝的畫格。另一方面，輸出影 有之畫格速率係爲60(畫格/秒）。移動速度偵測部 運動向量規格化部222，係基於以1/240秒之差距 到之畫格間所算出的移動向量，轉換成相當於輸出 帶有之畫格速率[60(畫格/秒）]的移動速度，進行規 理。該規格化處理係相當於，基於移動向量，來求 秒間的移動量。 就可使 可縮小 度化。 9所示 照用畫 照用畫 204的 運動向 速度不 成相當 格化處 % 240x 係爲以 像所帶 204的 所拍攝 影像所 格化處 出 1/60 -30- (28) (28)1379588 圖9所示的（例2)的情況下， 區塊比對處理所得之運動向量，係爲基於以1/240秒 之差距所攝得之畫格而算出的移動向量， 由於欲算出之移動量，係爲1/60秒間的移動量，因 此 對區塊比對處理所求得之運動向量的大小’乘算 (1/60)/(1/240)=4 之値，就可算出相當於輸出影像訊號畫格速率[6〇(畫格/ 秒）]的已被規格化之移動速度。 又，在圖9所示的（例3)的情況下， 區塊比對處理所得之運動向量，係爲基於以2/240秒 之差距所攝得之畫格而算出的移動向量， 由於欲算出之移動量，係爲1/60秒間的移動量，因 此 對區塊比對處理所求得之運動向量的大小，乘算 (1/60)/(2/240)=2 之値，就可算出相當於輸出影像訊號畫格速率[60(畫格/ 秒）]的已被規格化之移動速度。 此種運動向量的規格化，雖然式在移動速度偵測部 204內的運動向量規格化部222上進行，但在本實施例 中，於控制部202上在選別探索用及參照用畫格之際，將 規格化時所必須之運動向量的大小所要乘上的係數，以實 數値精度加以算出，將該値當成控制訊號而輸出至運動向 量規格化部222，是採取此種構成。 (29) (29)1379588 至此爲止，說明了探索用畫格之選別、參照用畫格之 選別、以及將得到之運動向量予以規格化來算出移動速度 的方法。如之前所說明，本處理例中，爲了生成輸出影像 的1個畫格，而設定了 1個移動速度的探索用畫格。其結 果爲，和輸出影像畫格數同數目的探索用畫格會被選擇， 針對這些探索用畫格，畫格內所設定之各分割領域的移動 速度，是被算出成相當於輸出影像之畫格速率的値，從移 動速度演算部101輸出至影像生成處理部102。 [4.影像生成處理部之處理的說明] 其次，說明影像生成處理部1 02所執行之處理的詳 細。在影像生成處理部102中，隨應於從移動速度演算部 101輸入之影像中的各領域之移動速度，對輸入影像的每 一分割領域進行適應性影像轉換處理，擬似性地生成會使 每一分割領域中跳動及模糊之發生被抑制成最小的影像、 亦即以最佳快門速度拍攝之影像，將各分割領域單位中生 成之對應於最佳快門速度的擬似影像加以合成而生成1個 畫格影像並加以輸出。 圖10係影像生成處理部102之詳細構成例之區塊 圖。影像生成處理部1 02，係如圖1 〇所示，具有：記憶 著輸入影像訊號之複數畫格的影像積存部251、選別出過 濾處理甩的畫格並進行從影像積存部2 5 1之讀取控制的控 制部2 5 2、基於移動速度而對各領域算出最佳攝像快門速 度的最佳快門速度算出部25 3、對輸入影像在每一領域進 -32- (30) (30)1379588 行適應性過濾處理的過濾處理部254而構成。 影像生成處理部102，係以處理對象影像的分割領域 單位，擬似性地生成最佳快門速度之攝像影像。亦即，生 成會使每一分割領域中跳動及模糊之發生被抑制成最小的 影像。作爲該影像生成處理之一例，針對使用時間方向之 過濾處理的處理例，說明如下。 參照圖10來說明，將輸出影像訊號的某1畫格予以 生成之處理流程。輸入至影像生成處理部102的輸入影像 訊號，係首先被輸入至影像積存部25 1而儲存。影像積存 部25 1，係爲可記憶複數畫格的記憶部。從影像積存部 251所積存之輸入影像訊號中，後段之過濾處理時所要用 的畫格雖然會被依序讀出，但此讀出控制係於控制部252 上進行。 爲了生成輸出影像的某1畫格所需使用的讀出畫格之 選別，其細節將於後述。藉由控制部2 52之控制而被讀出 之輸入影像中的各畫格，係被輸入至過濾處理部254。 另一方面，從移動速度演算部25 1所輸出之、輸入影 像的各分割領域對應的移動速度資訊，會被輸入至最佳快 門速度算出部253。此移動速度資訊，係藉由移動速度演 算部101內的控制部202(參照圖7)而從輸入影像訊號中 被選別出來，針對探索用畫格內之各領域加以算出，因此 如之前參照圖9所說明，各探索用畫格係一對一地對應於 輸出影像的各畫格。 最佳快門速度算出部25 3，係基於已輸入之各分割領 -33- (31) (31)1379588 域對應之移動速度資訊，針對輸出影像的該當畫格內的各 領域，算出最佳攝像快門速度。移動速度和最佳攝像快門 速度的關係雖然將於後述，但當輸出影像是用指定之畫格 速率進行顯示之際，是基於跳動劣化和模糊劣化雙方皆降 至最低的設定條件，來算出最佳攝像快門速度。此設定條 件，是被最佳快門速度算出部253事先所保有。 最佳快門速度算出部253 ’輸入各分割領域對應之移 動速度資訊，算出會使跳動劣化和模糊劣化雙方皆降至最 低的最佳攝像快門速度。此處所算出之最佳攝像快門速 度’係輸出影像之各畫格上所被設定之分割領域單位的最 佳攝像快門速度。最佳快門速度算出部253，係將已算出 之輸出影像畫格內的各分割領域單位之最佳攝像快門速 度，輸出至過濾處理部254。 在過濾處理部254，係更基於控制部252之控制，輸 入從影像積存部251讀出之輸出影像的該當畫格生成所需 使用的輸入影像畫格。過濾處理部2 5 4，係對該輸入影像 執行影像處理。亦即，基於從最佳快門速度算出部25 3輸 入之輸出影'像畫格內的各分割領域單位之最佳攝像快門速 度，針對輸入影像畫格的每一分割領域，擬似性地生成最 佳快門速度的攝像影像，進行此種過濾處理。於過濾處理 部254中所生成的影像，係被當成輸出影像訊號之1畫格 而輸出。 影像生成處理部1 02中，係將至此爲止所說明之處 理，重複輸出影像的畫格數之次數，以生成具有指定畫格 -34- (32) (32)1379588 速率之輸出影像訊號。 [5.過濾處理部所執行之過濾處理的細節] 過濾處理部254,係基於從最佳快門速度算出部253 輸入之輸出影像畫格內的各分割領域單位之最佳攝像快門 速度，針對輸入影像畫格的每一分割領域，擬似性地生成 最佳快門速度的攝像影像，進行此種過濾處理。該過濾處 理，最簡單能夠實現的方法的1個手法，係爲將輸入影像 畫格之分割領域，在時間方向上做平均化之處理。 隨著最佳攝像快門速度，在各領域中改變平均化所用 之畫格數來進行平均化，藉此就可擬似性地生成在攝影時 之快門速度是在各領域中有所不同的輸出影像。 又，藉由在進行時間方向之平均化處理之際，作成用 來在既存之畫格間進行內差之中間畫格，就可進行更滑順 的運動遲緩生成的方法，也可有效使用。該內差處理，係 輸入影像訊號的畫格速率是相對於輸出影像訊號之畫格速 率爲十分大時，特別有效。執行該內差處理的影像生成處 理部102之構成例，示於圖11。 圖1 1係影像生成處理部1 02內加入中間畫格生成部 之構成例的圖示。於圖11中，輸入影像訊號係連同影像 積存部251 —倂被輸入至中間畫格生成部250。中間畫格 生成部250,係以既存畫格爲基礎來生成中間畫格，藉由 使用該中間畫格，可使後段過濾處理部2 5 4上所進行之過 濾處理，生成滑順的影像。 -35- (33) (33)1379588 中間畫格生成部250上的中間畫格之生成處理手法， 係可是用各種既存之手法。例如，將既存的前後畫格，加 重權値而加以混合的方法以外，如圖1 1所示，對中間畫 格生成部250，輸入各領域的移動速度資訊，基於該移動 速度資訊來執行加權或影像混合，就可生成更高精度的中 間畫格。 又，作爲過濾處理部254中的擬似性生成最佳快門速 度之攝像影像的過濾處理，係除了時間方向之平均化處理 以外，亦可構成爲，在時間方向上進行頻帶限制過濾處 理，改變訊號的限制（或是通過）頻帶。甚至，不僅有時間 方向之過濾，在空間方向之頻帶限制過濾，或是利用運動 向量來取得周圍的像素資訊以生成運動遲緩的方法（例如 “ Image-Based Motion Blur for Stop Motion Animation, " G · J . B r o sto w et al. SIG GR AP H20 0 1 ·等所揭 露之方法）等，可以適用各式各樣的方法。 [6.關於過濾處理時所用之畫格的選別方法] 如前述，過濾處理部2 5 4，係基於從最佳快門速度算 出部253輸入之輸出影像畫格內的各分割領域單位之最佳 攝像快門速度，針對輸入影像畫格的每一分割領域’擬似 性地生成最佳快門速度的攝像影像，進行此種過濾處理。 亦即，關於輸入影像畫格的每一分割領域，皆擬似性地生 成會使跳動及模糊之發生被抑制成最小的最佳快門速度之 攝像影像》 -36 - (34) (34)1379588 參照圖12來說明有關爲了生成輸出影像之1畫格所 需使用的讀出畫格之選別處理。圖12係過濾處理時所用 之輸入影像畫格、和所輸出之影像畫格之對應的說明圖。 如之前所說明，本發明的影像處理裝置中，輸入影像 及輸出影像的畫格速率之組合雖然可做各種設定，但此處 作爲一例係爲， 輸入影像訊號的畫格速率爲240(畫格/秒）， 輸出影像訊號的畫格速率爲6 0(畫格/秒）， 以這種組合爲例來說明。又，此處說明的處理例中， 係假設不進行中間畫格之生成。 於圖12中，（a)輸入影像訊號中，係和之前說明過的 圖9相同’對各畫格標示了畫格編號。該畫格編號係表現 爲’在時刻〇(秒）時是拍攝到輸入影像訊號的第0個畫 格。由於輸入影像訊號之畫格速率係爲240 (畫格/秒），因 此時刻s(秒）就會標示成第240xs個之畫格。 基於圖10所示之影像生成處理部102的控制部252 之控制，輸出影像的某1畫格生成所需之過濾處理時所用 的讀出畫格選別處理，會被執行。圖12中係圖示該畫格 選別處理例的2個例子（例1 )、（例2)。 圖12的（a)輸入影像訊號中係圖示了，之前參照圖9 說明過的探索用畫格，係爲第240xs + 0個、第24〇xs + 4 個、第2 4 0 X s + 8個畫格’而以斜線表示。 本處理例中’輸出影像訊號之畫格速率係爲 60(畫格/秒） -37- (35) 1379588 因此，從輸入影像訊號[240(畫格/秒）]中，將每1/60 秒間所攝得之畫格，當成探索對象而抽出。亦即，移動速 度演算部101中，被選別來作爲探索對象畫格的畫格，係 爲第240XS + 0個、第240XS + 4個、第240XS + 8個畫格，係 爲以斜線表示的晝格。 本實施例中’用來生成輸出影像的過濾處理時所用之 輸入影像畫格’係採用含有各輸出影像畫格所對應之探索 φ 用畫格的前後畫格。此外，關於生成1個輸出畫格所需之 過濾處理時所適用的輸入影像畫格，是不需要像這樣使用 _ 含有各輸出影像畫格所對應之探索用畫格的前後畫格來進 •行的處理，而是可以僅使用含有各輸出影像畫格所對應之 探索用畫格的前畫格、或者僅後畫格等，可適用各種處理 形態。 可是，如之前參照圖9所說明，當對於輸出影像的1 畫格，對應關連有1種移動速度之探索用畫格，並藉由過 φ 濾處理來生成輸出影像畫格的情況下，爲了能夠含有該輸 _ 出影像畫格所對應之探索用畫格而使用該前後畫格，就可 實現反映了移動速度資訊的過濾處理。 圖12中，作爲（例1)、（例2)係圖示了，基於影像生 成處理部1 02的控制部252之控制，輸出影像的某1畫格 生成所需之過瀘處理.時所用的讀出畫格的2個選別處理 例。 此外，與第60XS + 0個輸出影像畫格對應之輸入影像 中的移動速度偵測適用探索畫格係爲第240XS + 0個輸入影 -38- (36) (36)1379588 像畫格。 與第60xs+l個輸出影像畫格對應之輸入影像中的移 動速度偵測適用探索畫格係爲第240xs + 4個輸入影像畫 格。 與第60xS + 2個輸出影像畫格對應之輸入影像中的移 動速度偵測適用探索畫格係爲第240xs + 8個輸入影像畫 格。 首先，針對（例1)的處理例加以說明。 於（例1)中，生成第60XS + 0個輸出影像畫格310時的 過濾處理時所適用之輸入影像畫格，係如圖所示，是設定 爲所對應之移動速度的探索用畫格亦即第240XS + 0個，和 其前1畫格與後2畫格。亦即，是將第240XS-1個、第 240xs + 0個、第240xs + l個、第240xs + 2個的總計4畫 格，當成過濾處理時所用之畫格而加以選擇之例子。 圖中，輸出影像畫格所對應之移動速度偵測時所適用 之探索用畫格係圖示爲[0]，前η個畫格係圖示爲[-η]，後 η個畫格係圖示爲[ + η]。在（例1)的情況下，生成1個輸出 影像畫格時的過濾處理時所適用之輸入影像畫格’係設定 爲對應於輸出影像畫格的移動速度之探索用畫格的前1個 (-1)畫格起至後2個（ + 2)畫格，亦即-1，〇，+1，+2這4畫 格。適用這些4個畫格，在每一分割領域中’進行擬似性 生成最佳快門速度之攝像影像的過濾處理。例如’進行將 輸入影像畫格的分割領域，在時間方向上進行平均化的處 理。 -39- (37) (37)1379588 在（例1)中，與生成第60xs+l個、及第60xs + 2個輸 出影像的畫格311，312時同樣地，將對應之探索用畫格 和其前1畫格與後2畫格（-1〜+2)總共4畫格，當成過濾 處理時所用之畫格而加以選擇。 於（例2)中，生成第60XS + 0個輸出影像畫格320時的 過濾處理時所適用之輸入影像畫格，係如圖所示，是設定 爲所對應之移動速度的探索用畫格亦即第24 0xs + 0個，和 其前2畫格與後2畫格。亦即，是將第240XS-2個、第 240xs-l 個、第 240xs + 0 個、第 240xs + l 個 '第 240XS + 2 個總計5畫格，當成過濾處理時所用之畫格而加以選擇之 例子。 在（例2)中，與生成第60xs+l個、及第60xs + 2個輸 出影像的畫格321，322時同樣地，將對應之探索用畫格 和其前2畫格與後2畫格（-2〜+2)總共5畫格，當成過濾 處理時所用之畫格而加以選擇。在例2時，適用這5個畫 格，在每一分割領域中，進行擬似性生成最佳快門速度之 攝像影像的過濾處理》例如，進行將輸入影像畫格的分割 領域，在時間方向上進行平均化的處理。 在（例2)的情況下，例如，第24〇XS + 2個畫格，是被 重複用於第60xs + 0個和第60XS+1個輸出影像之畫格320, 321的生成所需之過濾處理中，第240XS + 6個畫格，是被 重複用於第60xs+l個和第60XS + 2個輸出影像之畫格321， 3 22的生成所需之過濾處理中，但是，如此重複之畫格選 擇，係不會特別造成問題。 -40- (38) (38)1379588 [7.關於移動速度之最佳攝像快門速度的對應關係] 如前述，圖11所示之影像生成處理部102中的最佳 快門速度算出部253，係其輸入係爲從移動速度演算部 101所輸出之影像中的各分割領域中的移動速度，基於該 各分割領域的移動速度資訊，來算出最佳攝像快門速度， 亦即會使跳動及模糊減至最低的攝像快門速度。 此時，最佳快門速度算出部25 3，係基於由移動速度 和最佳攝像快門速度所對應關連而成的表格，或著預先設 定好的算出式，來求出攝像快門速度。最佳快門速度算出 部25 3係保持有，由移動速度和最佳攝像快門速度所對應 關連而成的表格或算出式資訊。 圖1 3係移動速度和最佳攝像快門速度之對應關係之 一例圖。圖形的橫軸係表示移動速度，縱軸係表示快門速 度’圖形中的曲線係表示移動速度和最佳攝像快門速度之 對應關係。圖13的曲線，係藉由主觀評價實驗所求出之 結果的圖形。 關於被攝體之亮度、移動速度、攝像快門速度，針對 複數組合類型進行實驗，探索出使跳動劣化和模糊劣化雙 方降至最低的條件，然後，針對複數被驗者的結果加以平 均’使其近似於某個函數，藉此而得到的曲線係爲圖13 所示之曲線。 以下，雖然在本實施例中，是以實驗所得之結果亦即 圖1 3之曲線爲例來繼續說明，但該曲線係僅爲表示移動 -41 - (39) (39)1379588 速度和最佳攝像快門速度之對應之一例，本發明的裝置係 並非被限定爲只能適用該曲線。最佳快門速度算出部 253 ’係只要構成爲能夠基於所輸入之各分割領域之移動 速度資訊來算出會使跳動劣化和模糊劣化雙方皆降至最低 的最佳攝像快門速度的構成即可，因此需要保有用來達到 該目的之對應表或是算出式。 又，於實裝有本實施例所述處理的裝置上，亦可構 成，可以隨著顯示輸出影像訊號之設備的反應特性、使用 者之偏好等，來變更速度和最佳攝像快門速度之對應關 係。關於此之細節將於後述。 [8_關於最佳攝影快門速度算出方法] 以下將說明，最佳快門速度算出部25 3是將圖13所 示的圖形數據，以移動速度-最佳攝像快門速度之對應表 方式加以保持時，輸入某個分割領域之移動速度資訊，算 出最佳攝像快門速度的處理例。亦即，影像中某個分割領 域中的移動速度資訊，被輸入至最佳快門速度算出部253 時，對該領域算出最佳攝像快門速度的最基本之處理例， 使用圖1 4來說明。 首先，從圖形的横軸，探索出某輸出畫格的1個分割 領域之移動速度的値。例如，假設圖14之橫軸上的移動 速度點3 3 1，係爲某個輸出畫格的1個分割領域之移動速 度的値。其次，探索對應於横軸値的圖形曲線上的點。如 圖中箭頭A所示，探索出横軸的値（移動速度點331)所對 -42- (40) (40)1379588 應之圖形曲線上的點。探索出圖示的圖形點332。 其次，探索出已被探索之圖形曲線上的點3 32所對應 之縱軸上的値。藉由圖中所示的箭頭B，就可探索出圖形 曲線上的點3 3 2所對應之縱軸上的値（最佳攝像快門速度 點333)。藉由此處理，對特定之分割領域的移動速度， 就可獲得最佳攝像快門速度的値（最佳攝像快門速度點 333)。用此要領，就可求出各分割領域所對應之、對應於 移動速度的最佳快門速度。已決定之最佳攝像快門速度， 係從圖11所示之影像生成處理部1.02的最佳快門速度算 出部253輸出，輸入至過濾處理部254。 此外，上述攝像快門速度的算出方法，係僅爲最基本 之手段的一例，可因應算出處理之高速化或記憶資料之刪 減的必要性，做適度的簡化。圖1 5係表示了，將圖1 3所 示之移動速度和最佳攝像快門速度之關係之一例，予以粗 化的圖示。藉由將移動速度和最佳攝像快門速度之關係的 資訊，如圖1 3所示表現成粗化過之資料，就可使最佳快 門速度算出部253所必須預載的資訊，轉變成有限組合的 表格狀之資料，資料量就可減輕。 亦即，在此例中，最佳快門速度算出部25 3所應預載 的資訊，係爲圖16所示之移動速度和最佳快門速度的對 資料。如圖16所示， 移動速度爲〇〜Va時’最佳快門速度= t4’ 移動速度爲Va〜Vb時，最佳快門速度=tk， 移動速度爲Vb〜Vc時，最佳快門速度=tl’ -43- (41) (41)1379588 移動速度爲Vg〜Vh時，最佳快門速度=tr， 移動速度爲Vh〜時，最佳快門速度=ts， 如此，亦可構成基於圖15所示之圖形，來生成移動 速度之區間資料所對應之最佳快門速度所設定成的表格， 將該對應表加以保持。藉由該構成，就可減輕最佳快門速 度算出部253所應保持之資料量。又，此時，在計算成本 這點上也較有利。亦即，最佳快門速度算出部253，係當 輸入某領域的移動速度資訊而要算出該領域之最佳攝像快 門速度時，可以只需判別移動速度是對應於圖1 6所示表 格的哪一區間，取得該區間所關連對應的最佳快門速度資 料，即可取得各移動速度所對應之最佳攝像快門速度。 [9.最佳攝影快門速度算出、以及輸出畫格生成處理 的具體例] 其次，參照圖17〜圖19，說明.最佳攝影快門速度算 出、以及輸出畫格生成處理的具體例。 以下的說明中，也是 輸入影像的畫格速率係爲240 (畫格/秒）， 輸出影像的畫格速率係爲60(畫格/秒）， 以此畫格速率設定爲例來說明。又，本例中，假設輸 入影像之各畫格，係爲單一快門速度1 /240(秒）所攝得之 影像。 圖17係於本發明之影像處理裝置的移動速度演算部 -44- (42) (42)1379588 101(參照圖4)中，針對各分割領域算出移動速度的，某1 張探索用畫格的圖示。本例中，係假設將影像畫格分割成 4x4像素之領域，以這些4x4像素之分割領域爲單位，偵 測出各分割領域的移動速度。參照圖7所說明過的移動速 度演算部101之領域分割部203中，分割成4x4像素單 位，針對各個領域算出對應之移動速度。 各分割領域之移動速度，係藉由執行之前參照圖7〜 圖9說明過的移動速度偵測處理，亦即設定探索用畫格和 參照用畫格，在這些畫格間執行區塊比對，而加以算出。 圖1 7所示的分割領域之內，標示著6個識別記號A 〜F。此處，假設於各個領域A〜F的分割領域中所算出 之移動速度，分別爲Va、Vb、Vc、Vd、Ve、Vf。 圖1 8係圖示了，影像生成處理部1 02中所進行之基 於移動速度的最佳攝像快門速度算出時所適用的圖形（表 格）。該表格係爲參照圖Π所說明過之影像生成處理部 102的最佳快門速度算出部2 5 3中所保持的表格，是移動 速度和最佳攝像快門速度的對應資料。最佳快門速度算出 部253，係適用該表格，基於對應各分割領域所求得之移 動速度，算出各分割領域所對應之最佳快門速度。圖18 所示之資料，係和之前參照圖1 5所說明過的圖形同樣， 對每個所定之移動速度區間，關連有最佳快門速度而成的 資料。 最佳快門速度算出部25 3，係被輸入了對應於各分割 領域所求出之移動速度資訊，適用圖18所示的資料來算 -45- (43) 1379588 出各分割領域所對應之最佳快門速度。以下將說明，圖 17所示之畫格影像資料，是當成輸出影像畫格所對應之 探索用畫格而輸入至影像生成處理部102時的處理例。 圖11所示之影像生成處理部102的最佳快門速度算 出部253，係被輸入著圖17所示之畫格影像的各分割領 域的移動速度資訊。對於分割領域A〜F(4X4像素），係輸 入有移動速度資訊Va〜Vf 〇 此處，圖17所示分割領域A〜F的每個者所具有之 移動速度Va〜V_f之値，和圖1 8所示圖形的横軸所示之 閩値t h 1〜t h 6的大小關係，係假設設定如下。
0 ^ Va < th 1 thl ^ Vb < th2 th2 ^ Vc < th3 th3 ^ Vd < th4 th4 ^ Ve < th5 th6 ^ Vf 如之前的說明，根據某個領域的移動速度算出該當領 域的最佳攝像快門速度的處理，係首先，判別移動速度晏 位於被上記閩値所區隔之移動速度區間的哪一區間，然 後，取得該移動速度區間所對應關連之最佳快門速度，是 執行此種處理。 例如，圖17所示的分割領域c，係具有移動速度 -46- (44) 1379588 th2 ‘ Vc < th3 因此，移動速度Vc係被移動速度區間th2〜 含。移動速度區間th2〜th3所對應之最佳快門 據圖1 8所示圖形係爲[1 / 1 2 0秒]。如此，具有 Vc的分割領域中的最佳快門速度，係被判定 秒]。這就意味著，若將分割領域C之影像設成 度1 /1 2 0秒的擬似影像，就可視爲會使跳動及模 低的影像。 該快門速度資訊係被輸入至圖11所示的影 理部102的過濾處理部254，在過濾處理部254 用來將分割領域C之影像變成快門速度1 /1 20秒 像的影像生成處理（過濾處理）。影像過濾處理， 參照圖1 2所說明，是將既存的前後畫格，加權 合之處理。 參照圖19來說明，於過濾處理部2 5 4上所 濾處理、亦即作爲跳動及模糊減至最低的快門速 像的擬似影像之生成處理。 對過濾處理部254係輸入有，各領域所對應 門速度資訊，和之前參照圖12所說明，於圖11 像生成處理部102之控制部252中所選擇的過濾 適用的輸入影像畫格。在本例中，過濾處理時 格’係如參照圖1 2所說明過的（例2)，係爲移動 索用畫格的前後2畫格。 _ th3所包 速度，根 移動速度 爲[1/120 以快門速 糊降至最 像生成處 上，執行 的擬似影 係如之前 後加以混 執行的過 度攝像影 之最佳快 所示之影 處理中所 听用的畫 速度之探 -47- (45) (45)1379588 圖19中係圖示了，輸入至過濾處理部254的輸出影 像畫格所對應之移動速度的探索用畫格與其前後2畫格的 5個輸入畫格。這些5個畫格，係輸出影像畫格所對應之 移動速度的探索用畫格亦即第240xs + 0個畫格，以及作爲 過濾時所用之畫格的其前後2畫格亦即第240xs-2個、第 240xs-l個、第240xs+l個、第240XS + 2個晝格。這些輸 入畫格中所示的像素351(-2)〜351(2)，係之前參照圖17 所說明過之處理對象的4x4像素的分割領域中所含之像 素。設輸入畫格中所示的像素351 (-2)〜35 1(2)的各像素 値爲 in(-2) 、 in(-l) 、 in(0) 、 in(l) 、 in(2)。 又，圖19中係圖示了，使用這些各畫格的過濾處理 之結果所輸出的輸出畫格370。這些畫格，係相當於圖12 的（例2)中所示之[第60xs + 0個輸出畫格]3 20。輸出畫格 3 70中，將與注目像素351(-2)〜35 1(2)在位置上相對應的 輸出像素371的像素値，設爲out(0)。 在本例中，輸出畫格中的輸出像素371的像素値 out(0)’係藉由將輸入影像之各畫格的注目像素351 (-2)〜 351(2)之像素値 in(-2)、in(-l)、in(0)、in(l)、in(2)予以 加權平均所算出，以下舉例說明。 (A)注目像素係爲分割領域a內的像素時 首先，考慮注目像素是存在於圖17的領域A內的例 子。 注目像素係具有移動速度Va(0$Va<thl；)。 此時，對注目像素的最佳快門速度，係已經在最佳快 -48 - (46) (46)1379588 門速度算出部253中根據圖18的表格而算出，且被輸入 至過濾處理部254，其値係爲1/240(秒）。 輸入影像的各畫格，係用單一快門速度1/240(秒）所 攝得。因此’第240xs + 0個輸入畫格的注目像素的像奉 値’係爲用根據圖18之表格所算出的最佳快門速度 (1/240秒）所拍攝的影像，輸出畫格中之注目像素的像素 値out(0) ’係只要直接使用in(〇)的値即可。以數式表現 則如以下所示。 out(0)=in(0) (B)注目像素係爲分割領域B內的像素時 其次，考慮注目像素是存在於圖17的領域B內時的 情形。 注目像素係具有移動速度Vb(thl $ Vb < th2)。 此時，對注目像素的最佳快門速度，係已經在最佳快 門速度算出部25 3中根據圖18的表格而算出，且被輸入 至過濾處理部254，其値係爲1/160(秒）。 輸入影像的各畫格，係用單一快門速度1/240(秒）所 攝得，對注目像素的最佳快門速度1 / 1 60(秒），係爲 ( 1 / 1 60)/(1 /240)= 1 .5 倍。 此時，輸出畫格中的注目像素的像素値out(0)，係如 以下般地將輸入影像之各畫格的注目像素之像素値予以加 權平均而計算求得。 〇ut(0) = (in(-1 ) * 0.25 + in(0) + in( 1) * 0.25)/1.5 上記式子中’輸出影像畫格所對應之移動速度的探索 -49- (47) (47)1379588 用畫格亦即第240XS + 0個畫格的像素的像素値之權重係設 爲[1]， 前1個畫格與後1個畫格的對應像素之像素値的權重 係皆設爲[0.25]，藉由加權平均，來算出輸出影像畫格的 像素値out (0)。藉由上記式子，就可擬似性地生成，用注 目像素之原本曝光時間的1.5倍之期間所曝光拍攝而成的 像素。 (C) 注目像素係爲分割領域C內的像素時 其次，考慮注目像素是存在於圖17的領域C內時的 情形。 注目像素係具有移動速度Vc(th2S Vc< th3)。 此時，對注目像素的最佳快門速度，係已經在最佳快 門速度算出部253中根據圖18的表格而算出，且被輸入 至過濾處理部254，其値係爲1/12〇(秒）。 輸入影像的各畫格，係用單一快門速度1 /2 4 0 (秒）所 攝得，對注目像素的最佳快門速度1 / 1 2 0 (秒），係爲 (1/120)/(1/240) = 2.0 倍。 此時’輸出畫格中的注目像素的像素値〇 U t (0 )，係如 以下般地將輸入影像之各畫格的注目像素之像素値予以加 權平均而計算求得。 out(0) = (in(-1 )* 〇.5 + in(0) + in(l)* 0.5)/2.0 藉由上記式子’擬似性地生成，用注目像素之原本曝 光時間的2.0倍之期間所曝光拍攝而成的像素。 (D) 注目像素係爲分割領域D內的像素時 -50- (48) (48)1379588 其次，考慮注目像素是存在於圖17的領域D內時的 情形。 注目像素係具有移動速度Vd(th3 S Vd < th4)。 此時’對注目像素的最佳快門速度，係已經在最佳快 門速度算出部253中根據圖18的表格而算出，且被輸入 至過濾處理部254，其値係爲1/96(秒）。 輸入影像的各畫格，係用單一快門速度1/240(秒）所 攝得，對注目像素的最佳快門速度1/96(秒），係爲 (1/96)/(1/240) = 2_5 倍。 此時，輸出畫格中的注目像素的像素値〇ut(〇)，係如 以下般地將輸入影像之各畫格的注目像素之像素値予以加 權平均而計算求得。 out(0) = (in(-1 ) * 0.75 + in(0) + in(l)* 0.75) /2.5 藉由上記式子，擬似性地生成，用注目像素之原本曝 光時間的2.5倍之期間所曝光拍攝而成的像素。 (E)注目像素係爲分割領域E內的像素時 其次’考慮注目像素是存在於圖17的領域E內時的 情形。 注目像素係具有移動速度Ve(th4SVe<th5)。 此時，對注目像素的最佳快門速度，係已經在最佳快 門速度算出部253中根據圖18的表格而算出，且被輸入 至過濾處理部254，其値係爲1/80(秒）。 輸入影像的各畫格，係用單一快門速度1/240(秒）所 攝得，對注目像素的最佳快門速度1/80(秒），係爲 -51 - (49) (49)1379588 (1/80)/(1/240)=3.0 倍。 此時，輸出畫格中的注目像素的像素値〇ut(0)，係如 以下般地將輸入影像之各畫格的注目像素之像素値予以加 權平均而計算求得》 out(0) = (in(-l) + in(0) + in( 1))/3.0 藉由上記式子，擬似性地生成’用注目像素之原本曝 光時間的3.0倍之期間所曝光拍攝而成的像素。 (F )注目像素係爲分割領域F內的像素時 其次，考慮注目像素是存在於圖17的領域f內時的 情形。 注目像素係具有移動速度Vf(th6$Vf)。 此時’對注目像素的最佳快門速度，係已經在最佳快 門速度算出部253中根據圖18的表格而算出，且被輸入 至過媳處理部254·’其値係爲1/6〇(秒 輸入影像的各畫格，係用單一快門速度〗/2 4 〇(秒）所 攝得，對注目像素的最佳快門速度1 / 6 0 (秒），係爲 (1/60)/(1/240) = 4.0 倍。 此時，輸出畫格中的注目像素的像素値〇 u t (〇),係如 以下般地將輸入影像之各畫格的注目像素之像素値予以加 權平均而計算求得。 out(0) = (in(-2) * 〇.5 + in(-l) + in(0) + in(l) + in(2) * 0.5)/4.0 藉由上記式子’擬似性地生成，用注目像素之原本曝 光時間的4·0倍之期間所曝光拍攝而成的像素。 如此，由於在過濾處理部254上，生成了各像素是用 -52- (50) (50)1379588 最佳快門速度所拍攝而成的輸出畫格，因此，將輸入影像 畫格的像素値，設定了相應於移動速度的係數，而藉由加 權平均，執行過濾處理，生成設定好像素値之影像。 如此，在過濾處理部254中，隨應於所生成之輸出影 像的快門速度，將過濾處理時所適用之輸入影像畫格的數 目予以適宜變更，然後進行處理。 [10.關於具有移動速度和快門速度曲線之調整機能的 裝置] 甚至，於實裝有本發明所述之影像處理構成的裝置 上，亦可構成爲具有以下機能：可以隨著顯示輸出影像之 設備的反應特性、裝置之使用者偏好等，來調整移動速度 和最佳攝像快門速度的關係。 圖20係圖示了，表示移動速度和最佳攝像快門速度 之關係的曲線的數個例子。例如，從圖20中所示的第1 階段〜第5階段的曲線之中，使用者可以調整移動速度和 最佳攝像快門速度的關係。移動速度和最佳攝像快門速度 的關係，係有可能會隨著顯示輸出影像的顯示設備之反應 特性、或裝置之使用者偏好，而有所不同。此種情況下， 藉由使移動速度和最佳攝像快門速度的關係可以調整，就 可隨著狀況來做最佳處理。 例如圖3 0所示的表示移動速度和最佳攝像快門速度 之關係的複數曲線中，比較第1階段和第5階段時，移動 速度相等時的最佳攝像快門速度，在第5階段是較爲高 -53- (51) (51)1379588 速。因此，藉由過濾處理所生成的輸出影像，係採用第1 階段者，相較於採用第5階段，會是跳動劣化較爲減低的 影像；反之，採用第5階段者，相較於採用第1階段，會 是模糊劣化較爲減低的影像。 裝置的使用者，係可隨其偏好，以最不會察覺到雙方 之劣化的方式，來選擇圖20中所示的第1階段〜第5階 段之曲線，來調整對應於移動速度的最佳快門速度。該調 整移動速度和最佳攝像快門速度的關係之機能，正好和一 般的顯示裝置上，調整亮度之7曲線的機能非常類似9 作爲使用者用來調整移動速度和最佳攝像快門速度的 關係所需要的資訊的輸入手段，係可適用各種構成。例 如，可考慮設定在裝置中的使用者介面（GUI)來進行輸入 之方法。此時，裝置係具備顯示設備、滑鼠等輸入設備， 使用者係使用這些輸入設備，來進行調整。圖21係使用 者在調整移動速度和最佳攝像快門速度的關係之際所使用 的使用者介面之構成例。 圖21係於圖20中所示之第1階段〜第5階段之曲線 之中，讓使用者可以選擇移動速度和最佳攝像快門速度的 關係的構成；是設計成可令捲動條381移動來進行輸入。 使用者係使用某種輸入設備來移動捲動條381，藉由操作 OK鈕3 82，就可調整移動速度和最佳攝像快門速度的關 係。 [1 1 .第2實施例之槪要] -54- (52) (52)1379588 圖22係本發明之第2實施例所述之影像處理裝置之 構成例的區塊圖。第2實施例的區塊圖，係在參照圖4說 明過之第1實施例中，附加空間特徵量偵測部5 03。影像 處理裝置5 00’輸入具有一定畫格速率的影像訊號，來作 爲處理對象影像。該輸入影像訊號，係被輸入至移動速度 演算部501、影像生成處理部502、及空間特徵量偵測部 5 03 ° 以下，將以和第1實施例之差異爲中心，說明影像處 理裝置500之處理。具有一定畫格速率的輸入影像訊號， 係被輸入至移動速度演算部501。輸入至移動速度演算部 5 0 1的輸入影像訊號，首先係執行和參照圖4以下所說明 過的第1實施例同樣的處理，然後算出畫格內的各分割領 域之移動速度。該移動速度，係以相當於輸出影像之畫格 速率的値而算出，並從移動速度演算部501輸出至影像生 成處理部5 02。 對空間特徵量偵測部5 03也是同樣地輸入了輸入影像 訊號。關於空間特徵量偵測部503的處理，參照圖23來 說明。圖23係空間特徵量偵測部503之詳細構成例圖。 如圖23所示，空間特徵量偵測部5 03，係具有：記億著 輸入影像訊號之複數畫格的影像積存部521、將要評估空 間對比之大小的對象畫格加以選別並進行讀出控制的控制 部5 22、將評價對象之畫格予以分割成領域的領域分割部 5 2 3、藉由空間過濾處理等來評估各領域之空間對比大小 的空間對比評價部5 24 » (53) (53)1379588 本實施例中，作爲處理之基準的空間對比閩値，係預 先被空間對比評價部524所擁有。空間特徵量偵測部 5〇3’係針對身爲處理對象的每—分割領域，判定空間對 比的大小是否爲閎値以上；當身爲處理對象的分割領域之 空間對比大小係爲閾値以上時，則輸出訊號[〇]作爲空間 特徵量資訊：若爲小於閾値時，則輸出訊號[1 ]作爲空間 特徵量資訊。 輸入至空間特徵量偵測部5 03的輸入影像訊號，係首 先被輸入至影像積存部52 1而記憶。此記憶影像畫格資 料，係基於控制部522的控制，從影像積存部52 1中讀出 作爲空間對比之評估對象而選擇的畫格。 作爲空間對比之評估對象的畫格，係基於輸出影像之 畫格速率資訊而執行。該畫格選擇處理，係和之前參照圖 7〜圖9說明過之移動速度演算部之控制部上、選別出作 爲運動向量偵測對象之探索用畫格的同樣處理。從影像積 存部521讀出之畫格，係被輸入至領域分割部5U。 領域分割部5 23上所進行之領域分割處理，係和之前 於第1實施例中參照圖7所說明過的移動速度演算部之領 域分割部上所執行之、作爲運動向量偵測對象之探索用畫 格的領域分割處理，進行同樣的處理。如之前參照圖5所 說明，1畫格的影像，係被分割成預定之像素領域。 各分割領域的影像資料’係被輸入至空間對比評價部 5 2 4，進行空間過濾處理。亦即’針對身爲處理對象的每 一分割領域，判定空間對比的大小是否爲閾値以上；當身 -56- (54) (54)1379588 爲處理對象的分割領域之空間對比大小係爲閩値以上時， 則輸出訊號[0]作爲空間特徵量資訊：若爲小於閩値時， 則輸出訊號[1 ]作爲空間特徵量資訊。 如此’在本實施例中，圖22所示的影像生成處理部 502係被輸入有，從移動速度演算部501輸出之影像中的 各領域中的移動速度資訊、以及從空間特徵量偵測部503 輸出之影像中的各領域中的空間特徵量資訊。 參照圖24，說明本實施例中的影像生成處理部502 之構成及處理。圖24所示之影像生成處理部502中，從 空間特徵量偵測部5 03輸入的空間特徵量資訊，係和移動 速度資訊同樣地’被輸入至最佳快門速度算出部553。最 佳快門速度算出部5H，係適用這些各資訊，算出各分割 領域所對應之最佳快門速度。 最佳快門速度算出部55 3，例如係進行如下。當輸入 至最佳快門速度算出部5 5 3的空間特徵量資訊爲訊號[〇] 時，亦即當身爲處理對象的分割領域之空間對比大小係爲 閾値以上時，則該當領域係僅基於該移動速度資訊，基於 之前參照圖1 3〜圖1 7所說明過的移動速度和最佳快門速 度的對應表，來算出最佳攝像快門速度。 另一方面，當空間特徵量資訊係爲訊號[1]時，亦即 當身爲處理對象的分割領域之空間對比大小係爲未滿閾値 時，則該當領域係無關於移動速度爲何，都會將最佳快門 速度設定成相當於最大畫格速率之快門速度，例如將快門 速度設定成圖13中的t4。 -57- (55) (55)1379588 該最佳快門速度之決定處理，係考慮到在空間對比較 小的領域中，跳動劣化是較不顯眼的事實而設計。亦即， 當處理對象之分割領域的空間特徵量資訊係爲訊號[1] 時’處理對象的分割領域之空間對比大小係爲未滿閬値， 且空間對比較小，跳動劣化係較不顯眼》因此，此種領 域，係將相當於最大晝格速率的快門速度，例如圖13中 的t4，當成快門速度而設定，以輸出鮮明的影像。 另一方面，當分割領域之空間特徵量資訊係爲訊號[0] 時’則判定是身爲處理對象的分割領域之空間對比大小係 爲閾値以上，空間對比較大，是跳動劣化顯眼的領域，因 此，和之前說明過的實施例相同，基於之前參照圖13〜 圖17所說明過的移動速度和最佳快門速度的對應表，來 算出最佳攝像快門速度。 此外，空間特徵量資訊，係於本實施例所說明之例子 中’雖然是以所定閾値前後的[0]，[1]之2種類資訊爲例 來說明，但亦可爲其他設定。例如亦可構成爲，空間特徵 量偵測部5 03係不是預先具有1個閭値，而是爲了隨著對 比的値來輸出不同輸出値而具有詳細表格的構成，作爲空 間特徵量資訊是可採用多於2種類的多種訊號，來向影像 生成處理部502輸出。 圖24所示之影像生成處理部502的最佳快門速度算 出部5 5 3中，在算出影像中的各領域中的最佳攝像快門速 度後的處理，亦即過濾處理部554上的處理，係和之前實 施例中所說明過的處理相同，係執行於各分割領域中，基 -58- (56) (56)1379588 於複數輸入影像畫格，生成最佳快門速度所對應之擬似影 像之處理。 在本處理例中係如此般地，於空間特徵量偵測部503 是以分割領域單位來偵測空間對比的大小：於影像生成處 理部502中，針對空間對比是未滿預定閾値的分割領域， 是將較對應於移動速度所算出之最佳攝像快門速度還要高 的快門速度，當成最佳快門速度而加以設定。或者，執行 以下處理：針對空間對比是未滿預定閾値的分割領域，不 是算出對應於移動速度所算出之最佳攝像快門速度，而是 將輸入影像所帶有之畫格速率所對應之最高快門速度，當 成最佳快門速度而加以設定。 以上’一面參照特定的實施例，一面詳述了本發明。 可是在此同時，在不脫離本發明要旨的範圍內，當業者當 然可對該實施例進行修正或替代。亦即，例示之形態僅爲 用來揭露本發明，並不應做限定性解釋。爲了判斷本發明 之要旨，仍應參酌申請專利範圍。 又說明書中所說明的一連串處理係可藉由硬體、軟 體、或兩者的複合構成來執行。當用軟體所致之處理來執 行時，是將記錄有處理程序的程式，安裝至組裝有專用硬 體的電腦內的記憶體中來讓其執行，或者，將程式安裝至 可執行各種處理的通用電腦中來讓其執行。 例如’程式係可預先記錄在作爲記錄媒體的硬碟或 R〇M(Read Only Memory)中待用。或者，程式係可暫時或 永久地儲存（記錄）在軟碟片、CD-R〇M(C〇mpaCt Disc Read -59- (57) (57)1379588
Only Memory), MO(Magneto optical)碟，DVD(Digital Versatile Disc)、磁碟、半導體記憶體等可移除式記錄媒 體中。此種可移除式記錄媒體，係可用所謂的套裝軟體方 式來提供。 此外’程式係除了可從上述可移除式記錄媒體安裝至 電腦外’還可從下載網站上，透過無線傳輸至電腦，或透 過LAN(Local Area Network)、網際網路這類網路，以有 線方式傳輸至電腦，在電腦上，接收如此被傳輸過來的程 式，安裝至內藏的硬碟等記錄媒體中。 此外，說明書中所記載之各種處理，係不一定要按照 記載之時間系列而執行，亦可隨著執行處理之裝置的處理 能力’或因應需要，以平行或個別的方式來加以執行。 又，於本說明書中所謂的系統，係爲複數裝置的邏輯集合 構成；各構成的裝置並不限於是否存在於同一框體內。 [產業上利用之可能性] 如以上所說明，若依據本發明之構成，則在生成以一 定畫格速率輸出的動畫影像之際，以構成動畫影像之畫格 影像所區分成的分割領域單位，算出隨應於輸出影像之畫 格速率的被攝體之移動速度；以分割領域單位，取得會使 輸出影像之影像劣化被降低之最佳快門速度，當作分割領 域單位之移動速度所對應之最佳攝像快門速度，以分割領 域單位來生成已取得之最佳快門速度所對應之影像，將所 生成之分割領域影像結合而成的畫格影像加以輸出，因爲 -60- (58) (58)1379588 如此構成，所以可以輸出同時降低了輸出影像中的影像劣 化、具體而言係可實現降低了跳動及模糊之雙方的高品質 影像的影像處理裝置。 【圖式簡單說明】 [圖1]跳動和模糊之發生原理的說明圖，係靜止物體 和移動物體在真實世界中之觀感的說明圖。 [圖2]跳動之發生原理的說明圖。 [圖3]模糊之發生原理的說明圖。 [圖4]本發明之第1實施例所述之影像處理裝置之構 成的區塊圖。 [圖5]關於影像訊號之各畫格影像的領域分割處理的 說明圖。 [圖6]輸出影像訊號之畫格速率値是從外部輸入之構 成的影像處理裝置的構成例圖。 [圖7]移動速度演算部之詳細構成圖。 [圖8]移動速度偵測部之詳細構成例圖。 [圖9]移動速度演算部中所執行之運動向量偵測上所 適用之探索用畫格和參照用畫格的選別處理之說明圖。 [圖10]影像生成處理部之詳細構成例的區塊圖。 [圖11]影像生成處理部內加入中間畫格生成部後的影 像生成處理部之構成例圖。 [圖12]過濾處理時所用之輸入影像畫格、和所輸出之 影像畫格之對應的說明圖 -61 - (59) (59)1379588 [圖13]移動速度和最佳攝像快門速度之對應關係之一 例圖。 [圖14]基於移動速度資訊，算出最佳攝像快門速度之 基本處理例的說明圖。 [圖15]移動速度和最佳攝像快門速度之關係之一例予 以粗化表示的圖。 [圖16]移動速度和最佳攝像快門速度之關係之一例予 以粗化後之對應資料構成的圖。 [圖17]於移動速度演算部中，針對各分割領域算出了 移動速度的某1張探索用畫格的圖。 [圖18]影像生成處理部中所進行之基於移動速度的最 佳攝像快門速度算出時所適用的圖形（表格）的圖。 [圖19]使用畫格的過濾處理的說明圖。 [圖20]表示移動速度和最佳攝像快門速度之關係的複 數不同曲線之例圖。 [圖21]使用者可從表示移動速度和最佳攝像快門速度 之關係的複數不同曲線中，選擇出曲線之此種構成的介面 的圖。 [圖22]本發明之第2實施例所述之影像處理裝置之構 成例的區塊圖。 [圖23]空間特徵量偵測部之詳細構成例圖。 [圖24]影像生成處理部之構成及處理的說明圖。 【主要元件對照表】 -62- (60) (60)1379588 11 :靜止物體 12 :移動物體 2 1 :顯示靜止物體 22 :顯示移動物體 31 :顯示靜止物體 3 2 :顯示移動物體 100 :影像處理裝置 101 :移動速度演算部 102 :影像生成處理部 1 0 3 :輸出影像畫格速率資訊 2 0 1 :影像積存部 2 0 2 :控制部 203 :領域分割部 204 :移動速度偵測部 2 2 1 :區塊比對部 222 :運動向量規格化部 2 5 1 :影像積存部 2 5 2 :控制部 25 3 :最佳快門速度算出部 254 :過濾處理部 2 5 0 :中間畫格生成部 351(-2)〜351(2):像素 3 7 0 :輸出畫格 3 7 1 :輸出像素 -63- (61) (61)1379588 3 8 1 :捲動條 382 ： OK 鈕 5 00 :影像處理裝置 501 :移勖速度演算部 5 02 :影像生成處理部 5 03 :空間特徵量偵測部 5 2 1 :影像積存部 522 :控制部 5 2 3 :領域分割部 5 24 :空間對比評價部 5 5 1 :影像積存部 5 5 2 :控制部 5 5 3 :最佳快門速度算出部 5 5 4 :過濾處理部 -64