TWI238977B - Method and apparatus for generating new images by using image data that vary along time axis - Google Patents

Method and apparatus for generating new images by using image data that vary along time axis Download PDF

Info

Publication number
TWI238977B
TWI238977B TW092129646A TW92129646A TWI238977B TW I238977 B TWI238977 B TW I238977B TW 092129646 A TW092129646 A TW 092129646A TW 92129646 A TW92129646 A TW 92129646A TW I238977 B TWI238977 B TW I238977B
Authority
TW
Taiwan
Prior art keywords
image
value
frame
pixel
time
Prior art date
Application number
TW092129646A
Other languages
English (en)
Other versions
TW200419466A (en
Inventor
Tomokazu Kake
Akio Ohba
Akira Suzuki
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of TW200419466A publication Critical patent/TW200419466A/zh
Application granted granted Critical
Publication of TWI238977B publication Critical patent/TWI238977B/zh

Links

Classifications

    • G06T3/18
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/44Morphing

Description

1238977 玖、發明說明: 【發明所屬之技術領域】 二::係:於用以產生影像之方法及褒置,尤其是關於 :種:術,其中可對被一照相機拍攝到之複數個移動影像 仃处理,亚且重新輸出該等被處理過的移動影像。 【先前技術】 近年來電腦技術的卓越進展與發展,已經大幅地改良配 借著電腦的影像處理功能。即使是—般消費者使用的家用 PCs(個人電腦)及遊戲機亦能_易地實現各種處理,該等 處理-度僅能由具影像處理能力之專用高階I作站才能 成。. 改良該等PC的影像處理效能和功能之後,便賦予該等家 用PC及遊戲機另-潛在用途。也就是,現在只要以低廉的 價格便可使用到電影編輯、影像處理、編寫及類似功能所 使用的各種工具,符合一般消費者的需求。因此,不在需 要具備處理複雜影像處理的專門技術,即使是業餘的使用 者,藉由該些容易使用的工具亦能夠輕易地處理移動圖像 的處理。 【發明内容】 依照如面的情形,本發明的發明人已經找到一種創新的 影像處理方法,藉此方法便能夠取得新穎及類特效的影 像。本發明的發明人係基於上面的認知來創造本發明,而 本發明目的則係取得有趣的影像。再者,本發明係鑒於可 透過本案說明書之說明來瞭解之下面目的或其他目的中之
O:\88\88542.DOC 1238977 任一者。換言之,該等目的包括改良影像處理的效率、減 輕因該影像處理所造成的負擔、提出新的方案來改良 處理技術等。 根據本發明之較佳具體實施例係關於一種影像產生方 方法包括·將複數個原來的移動圖像看作可沿著時 間軸變化的複數個二維影像,當以虛擬的方式將該等移動 圖像表不成由該等二維影像和該時間軸所構成之盒狀空間 寺可利用纟有時間值互不相同之複數個點的表面來切 吾“亥盒狀空間;將出現在該切割表面上的影像投影於時間 軸方向中的平面上以及於時間中來改變該切割表面,輸出 出現在該平面上的影像,當作複數個新的移動圖像。以各 種方式來設定該表面便可決定變化的内容,並且可輸出不 同;該專原來和動圖像内容的複數個新的移動圖像。 此處之「原來的移動圖像」可能係此刻被照相機拍攝到 的影像或是先前便被儲存於—紀錄媒體中的影像,例如以 MPEG或類似格式加以編碼的影像。「投影於_平面上」的 j思是,如果被投影於時間軸之平面上的話,那麼,此J「投 平面上」便會產生欲被投影於此平面上的影像。明 確1說m胃著’當從該時間軸方向直接來看該切割表 面時’欲被投影於此切割表面上的影像便等於被投影於該 平面上的影像。 舉例來說,沿著時間轴來移動該切割表面,同時讓該切 d表面的表面形狀保持不變,便可實現「隨著時間來改變 該切割表面」。隨著_流逝來移動該㈣表面便可取得平
O:\88\88542.DOC 1238977 順且連續的複數個新的移動圖像。表面形狀亦可隨著時間 流逝而改變。如果該表面中内含的點的位置於時間轴上^' 來表示,而二維影像中内含的點的座標以(χ,”來表示的 話’那麼t便可定義成t=f(x, y)’其為以_般的等式來表示 的函數。該表面可能係一平面。被投影的影像會隨著^面 形狀的種類而改變。 根據本發明之另一鮫佳且許者 ?乂侄具體Μ施例係關於一種影像產生 裝置。此裝置包括··一影像記憶體,其可沿著時間抽來連 績地儲存複數.個原來的移動圖像;一影像轉換單元,直可 =皮t存於該影像記憶體中之該等原來的移動圖像料可 時間軸變化的複數個二維影像,當以虛擬的方式將該 成由該等二維影像和該時間軸所構成之盒 像間’並且可將出現在該切割表面上的影 像才又〜於¥間軸方向中的 元,豆可將於兮乂及一衫像資料輸出單 面所獲得==換單元:隨著時間來改變該切《表 圖像像框。m己二、'面上的5亥等影像設為-個新的移動 存-段固定: 來移動圏傻φ 像框’直到内含於該等原 =Γ的像框皆被轉換成新的像框為止。 產生裝置可能進一步包括一 _ :得該照相機所拍攝到的影像,作為 像,亚且將該坻 手原木的移動圖 可對該^ 〜像處理,以便能夠於
O:\88\88542.DOC 1238977 螢幕上顯示出不同於一物體真實狀態的奇異影像或 效影像 影像轉換單元可利用一表面來切割該盒狀空間,該表面 係由構成-二維影像之影像區的座標函數定義而成。此 「影像區域」可能係一涵蓋單個像素的區域,或是一涵 盍-像素區塊的區域。可以與該:維影像於水平方向中之 座標不相依的函數來定義其表面。「水平方向」可能係掃描 線的方向。影像轉換單元可㈣__表面來㈣該盒狀空 間,該表面係由構成該二維影像之影像區的屬性值函數定 義而成。「屬性值」可能係各種參數,其可決定每個像素的 气不.内容’例如像素值、深度值、與—衫影像圖案的近 似專級、與其他像框的變化程度或類似的參數。此屬性值 可能係該影像區中的平均值或中間值。 可依照像素值、深度值、近似等級以及變化程度等參數 中任-者來決定上述表面中内含的點的時間值。再者,可 依妝像素值、深度值、近似等級以及變化程度等表數中任 一者來決定哪個影像區欲被投影至上述平面中。 根據本發明之另一較佳具體實施例係關於一種影像產生 进去。此方法包括:針對複數個原來的移動圖像中之一目 内:的影像的每個圖像中位置,從該等原來的移 動圖像中时的複數個像框中至少其中—者 該圖像中位置-的眘粗·人丄 貝®對應於 、枓,a成該等被讀出的資料;以及笋由 連續輪出於該合成中所槿忐 猎由 移動_ 、Μ所構成的像框,用以構成複數個新的 '。可以像素或像素線為單位,從過去的像框中分
O:\88\88542.DOC 1238977 ^買出資料,以便取W料原來的移動圖像的影 ,。^些便係所謂_補影像,其含有以像素或像素線為 早位被混雜組合在-起的複數個不同時間的資料,因而便 可取得現實世界中並不存在之獨特且奇異的影像。 「目標像框」係能夠於顯示時作為基準的像框,而且可 隨著時間流逝而改變。舉例來說,於慣用的掃描方法中, 此「目標像框-」會對應到欲於此刻被輸出的目前像框。可 =此目標像框為基礎來判斷欲讀出哪個真實資料及從哪個 像框被輸出。「圖像中位置」可能係_作為掃描線之像素線 的位置,亦可能係-像素的位置。可從複數個像框中讀出 與其相對應的個別資料’並且以像素線或像素為單位加以 合成。「合成」可能係下面任―者:影像疊加、混合、代換 以及黏合。 * 根據本發明之另一齡牡目Μ — 季又乜具體貫施例係關於一種影像產生 f置,其包括—影像記憶體、一影像轉換單元以及-影像 貝料輸出早70 °影像記憶體會連續地記錄每個像框的複數 個原來的移_像。影像轉換單元可針對每個目標像框中 内3的〜像的每個圖像中位置從被記錄於該影像記憶體中 至V像框中項出對應於該圖像中位置的資料,並且人 成該等資料。影像資料輸出單元可連續地輸出由該影像: 換早兀所合成且重建的複數個像框。影像記憶體的功能如 同一緩衝器,其可塹拄妙— j ^ 4儲存一段預定時間期間中的複數個 像框,直到内含於古女楚広+ a % 4 4原來移動圖像中的像框皆被轉換成 新的像框且該此傻据并土 —像框亚未再被使用為止。「像素」係一構成
O:\88\88542.DOC 1238977 被顯示於-螢幕上之影像的 來表現顏色的像素。 而且有可此係一由RGB組 請注意,亦可採用上文中之方 式、虞置、系統、電腦程 更的結構組件和表示法的任h且人貝U寻之間經過變 的具體實施例中。㊃…且合’亚且亦涵蓋於本發明 再者,本發明的發明内容並 而士欲〇口各 疋乃所有必要的特點,因 而本發明亦可能係該些已述特點的次組合。 【實施方式】 現在將以各具體實施例為基礎來說明本發明 K施.例僅係舉例說明本發明,並非意圖限制本發明= 弩。該等具體實施例中所述之 發明的必要條件。 《所有特點及其組合都並非本 <第一具體實施例> 根據本發明之第-具體實施例,可以連續的方式將内含 於,數個原來的移動圖像中的複數個像框儲存於—環 衝益中(參見圖3),而曰可從工pr| y Μ 攸不同的像框令讀出每條掃描線 、貧枓’以便在-螢幕上顯示出該等被讀出的資料, 一新的像框。明綠地說’可從較新的像框中讀出位於—整 幕上緣之掃描線中之複數個像素上的資料,而其下緣 描線中之複數個像素上的資料則可從較早期的複數個^ 像框中讀出。於該螢幕上所_ +从总τ η 茧举上所顯不的係不同於—真實物 可怪且奇異的影像。 圖1係以虛擬方式來圖解及表示一種狀態,其中該等原來
O:\88\88542.DOC -11 - 1238977 的移動圖像的像框沿著時間軸呈現連續狀態。可將該等原 來的移動圖像視為且捕捉成會沿著時間軸變化的二維影 像。一矩形-平行六面體空間10 (下文中亦稱為「盒狀空間」) 可隨著時間的流逝而於時間軸t的方向中延伸。垂直時間轴 t的剖面代表的便係一像框。像框係由X軸與y軸所構成之平 面的衩數個座標來表示的一組像素。可以具有預期形狀之 表面來切割此盒狀空間10。根據第一具體實施例,如圖丄所 示’可於時間從時間tG流逝到時間ti時從上方的X軸往下方 的直線的方向中以一平行x軸的斜面來切割該盒狀空間 10。當將一出現在切割表面14之上的影像投影於時間軸方 <中妁平面上時,便可輸出被投影於該時間軸上之該平面 上的影像’當作真實的像框,取代目前像框丨2。 切割表面14可隨著時間流逝而沿著時間軸1移動。可以於 時間轴t的方向中具有連續寬度的方式來定義切割表面 14。可合成内含於此寬度中的複數個影像,該些經過合成 的影像便可當作真正被顯示於該螢幕上的像框。 目月像框12對應的係以普通顯示技術來掃描時的像框。 假設目前像框U於時間軸上的目前位置為時間。。接著,時 間to之前的複數個像框(舉例來說,位於^、^及^的個別 像框)對應的則係應該已於正常顯示時間中被顯示過的像 框。不過,於此第-具體實施例中,實際上卻會延遲時間 t。之前的該等像框的㈣。可錢續地延遲水平方向中每條 像素線的資料輸出的方式來輸㈣含於每個像框中之複數 個像素上的貝#。可於相同的掃描時間讀出單—像素線中
O:\88\88542.DOC 12- 1238977 内含的t個像素的資料,而後便可進行顯示。 後,二。:處的像素線可於正常掃描時間中被輸出。而 ;線;:一個像框延遲之後便可輸出位於該最高點處之像 :、、、=-個像素處的像素線。因此,該像素線的等級越 低,,、輸出的延遲時間便越長。 ::過去的複數個像框中讀出位於該勞幕上之每個像素 後二’而且可以像素座標的函數(例如t=Vy)來表示該些 像框應該已流逝多久。函數t=Vy僅為該條像素線的y座標 的函數,與該條像素、㈣X純不相依。 於目前像框12的解析度為720x彻的情況中,假設最左上 方像.素的座料(〇,〇),最右下方像素的座標為(719,479)。 於此情況中,座標y的最大值為479,最低等級的掃描時間 則會延遲479個像框。於盒狀空間1〇中,時間t。至時間t2之 間共有480個像框。 圖2 A與2 B分別係—顯示被拍攝到之物冑的榮幕和一顯 不實際被顯示出來之情形的螢幕,並且可用以比較前者與 後者° @ 2A顯tf的係-影像拍照結果’此物體的影像等於 目刖像框12。此處,該物體緩慢地搖晃著他/她的手16。圖 2B為出現在圖!所示之切割表面14之中的影像,並且係圖 2A之物體真正被顯示於該螢幕上的影像。因此,可於該螢 幕上顯示出具有不同於該正確且自然物體本身之形狀的物 體。換言之,依照過去的複數個像框至目前像框,手丨6的 位置會從左邊依序變到中點、右邊、中點以及左邊,因此, 藉由從該等不同的過去像框中讀出每條掃描線的資料
〇:\88\88542.D〇C -13- 1238977 便可父替地出現該手16於左邊位置處的影像及於右邊位置 處的衫像。因4可從時間上相目掃描時間的該等像框中讀 出位於同-條掃描線上的資料,所以於水平方向中並不合 造成任何的彎曲或變形。不過,於垂直方向中,則可以^ 手“為類似左右彎折或彎曲的形狀的方式來顯示手μ。 反也除了手16之外,搖晃該手16的物體幾乎不會移 動。因此即使合成從時間上互不相同之該等像框中所讀出 的衫像’因為其顯示位置中並無任何差異,所以幾乎不會 彎曲或變形。 圖3為根據第一具體實施例之影像產生裝置的功能方塊 圖'。就硬體而言,可以CPU及任意電腦之類的元件來實現 影像產生裝置50的結構。就軟體而言,則可以具有資料儲 存、影像處理與繪圖功能的程式或類似方式來實現,不過, 圖3中所圖解及說明的則係協同兩者方式來實現的功能方 塊。因此T以下面各冑方式來實現該些功能方塊:僅有硬 體、僅有軟體或是兩者組合。 影像產生裝置50係由下面所組成:一影像輸入單元52, 其可取得一照相機所拍攝到的影像,作為複數個原來的移 動圖像,並且將該等原來的移動圖像中内含的像框送至一 影像圯憶體;一環狀緩衝器56,其可作為影像記憶體,用 以沿著時間軸連續地儲存該等原來的移動圖像;一緩衝器 控制單7054,其可控制從該環狀緩衝器56來讀取像框及控 制將像框寫至該環狀緩衝器56中;一影像轉換單元6〇,其 可將被儲存於該環狀緩衝器56中的複數個像框轉換成用於 O:\88\88542.DOC -14- 1238977
顯示的複數個像框;一函I 框轉換相關聯的函數其可健存與進行像 以及顯不緩衝器74,1可儲存用 於顯示的該等像框。 /、J儲存用 衫像輸入早疋52可能包括—用以捕捉數位影像⑽〇, 用以取得經過A_D轉換之數位影像的轉換單元。可將 Γ 單元52實現成以可拆卸式位於外部且被安裝於該 二:二Ϊ裝置50之上的元件。緩衝器控制單元54可將該影 兩入早凡52所輸人之該等原來的移動圖像的像框連續記 錄在該環狀緩衝11 56之寫人指標所指示的區域中。 對内含於目前像框咖之每個像素而言,影像轉換單元 6〇可從被記錄於該環狀緩衝㈣中的像框中讀㈣應於該 像,的貝肖’並且合成該資料。該影像轉換單元的包括一 决策處理單凡62 ’其可決定應該從哪個像框讀出每個像素 的資料;—資料獲取單元64,其可從該決策處理單元似斤 決定,像框中讀出資料以及一影像形成單元%,其可藉由 合成每條被讀出之像素線的資料來形成一像框。 於決策處理單元62中,可依照且由下面等式⑴所定義的 方式來決定應該從哪個像框讀出資料。
Pfi* (X,y,t〇) = p (x,y,t〇_y)…⑴ /、中★囷1所示,x與y為目前像框12上的像素座標,^為 時間軸t上的時間值。pFr為真正被輸出之像框中每個像素的 像素值。從等式⑴中可以清楚看出,欲被輸出之像框的時 間值僅為座標y的函數。因此,僅會針對每條像素線來決定 於被儲存於該環狀緩衝器56中之複數個像框中應該從哪個
O:\88\88542.DOC -15- 1238977 像框讀出資料,而與座標X不相依。 11 :等气⑴所表不的函數儲存於函數儲存體之中。亦 I將其他額外的函數儲存於函數儲存㈣之中。使用者透 過-指令獲取單元72便可決定該採用哪個函數。 影像形成單元66可將資料獲取單元64所讀出的每個像素 2貝科相寫人顯示緩衝器74之中,影像形成單元66的功 月b可田作圖形舟,因而可構成一像框。 ▲〜像產生|置5〇進_步包括_指令獲取單元其可從 使用者中接收到—指令;_影像資料輸出單元76,其可 t出被儲存於該顯示緩衝器74中的複數個像框以及—監視 :’用以於一螢幕上來顯示該輸出像框。監視器78可能 係-位於該影像產生裝置5()外部的顯示器。 影像資料輸出單元76會從儲存—像框之影像資料的顯示 、、、^74中讀出該影像資料,而後便將其轉換成複數個類 4號,亚且將其外送至該監視器78。影像資料輸出單元 76可連續輸出被儲存於該顯示緩衝器74中該等像框,以便 輸出複數個新的移動圖像。 圖4為根據第-具體實施例用以將該等原來的移動圖像 轉換成複數個新的移動圖像的步驟流程圖。首先必須初始 W Μ示該環狀緩衝11 56中下個寫人位置的寫入指標 ^也就是’設為㈣(S10) ’使得可從該環狀緩衝器^最頂 W域中來開始儲存該等像框。將該等原來的移動圖像中 内含的該等像框記錄於該環狀緩衝器56的第t區中(S12)。因 而便可提供一像框的總T〇區。
O:\88\88542.DOC -16- 1238977 初始化該顯示缓衝器74中的像素線編號11,也就是,設為 n=〇 (S14),以便能夠從對應於該螢幕最頂端直線的資料開 始來將資料連續地複製到該顯示緩衝器74中。計算出一讀 出才曰‘T ’用以指疋對應該編號n的資料的讀出位置⑻十 此處可以T=t-n來取得T。隨著編號n的增加,讀出指標τ便 會回到更過去的該等像框卜剛開始時Τ=(Μ)=(),因此讀出 指標T指示的係第〇區。 如果讀出指標T小於〇的話(S18中的是)’此讀出指標實際 上並不存在。因此,便可將該讀出指標T移至該環狀緩衝写 56的結束處(S2〇)。更明確地說,係將該環狀緩衝器56的區 气數了。添加至該讀出指標τ中。f料獲取單元料會從被儲存 ^該環狀緩衝器56内之讀出指標了之區域中的該等像框中 。、、·!、扁號η❿該影像形成單元66則會將對應於此讀出 編就的#料複製到該顯示緩衝器74的線編號η中。 當線編號η不是該顯示緩衝器74中的最後一條線的話 =4中的否)’便於該線編號种加(咖)。線編號打會 遞增’並且重複進行⑽至咖的處理,直到線編號幻 -、取後I線為止。當線編號η變成對應於最後一條線的 編號時,便可將—像框的影像資料儲存於該顯示緩衝器74 (中的疋),而且於該寫入指標t中加「1」(S28)。杂今 寫入指標⑭出該環狀緩衝器56的結束區時(請中的是 寫^曰t ^會返回該環狀緩衝器56的最頂端區域(S32)。 柜,2貝料輸出早⑦76會從顯示緩衝器74中讀出複數個像 剧出任亥等像框作為視訊資料,並且讓監視器78於螢幕
O:\88\88542.DOC -17- 1238977 上來顯不邊等像框(S34)。重複進行si2至s34的處理,直到 被命令結束顯示為止(S36)。依此方式,便可以像素線為單 位從相同的像框中讀出資料,而後再寫人該顯示緩衝器 中不過,該等像素線I本上為複數個像素组,與被排列 於^平方向中的複數條掃描線相同,因此於正常設定中, 4等像素線為應該於同_掃描時間中被讀出的資料。因 此,可於掃描過程中有效地處理讀取和寫人作業,並且可 避免因本具體實施例中之影像轉換而造成負擔過度增加。 以本具體實施例的修正範例為例,決策處理單元Μ可依 照座標X來決定欲從中讀出的像框。舉例來說,就一位於該 ^左侧的像素線來說,可從目前像框12的左側中來讀出 其資m位於該螢幕右側的像素線來說,則可從圖工 :不之時處的像框的右側像素線中來讀出其資料。接 著八切割表面將會是一被時間至時間^上的斜面所切割 的表面,其中此斜面平行y軸。 ^另一修正例為例,決策處理單元62可依照X與y座標來 决疋欲從中讀出的像框。舉例來說,就一位於該螢幕左上 、,的像素來4 ’可從目前像框12的左上緣中來讀出其資 料,而就一位於該營幕 、 士 京参右下緣的像素來說,則可從圖1所示 另修正例為例,可將掃描線設在垂直方向中,而非 ^ ° 此日可,右依照x座標來決定欲從中讀出的像框 的:,便可實現更有效的影像轉換。 〈第二具體實施例〉 之日守間t2處的像框的右下緣像素中來讀出其資料。
O:\88\88542.DOC -18- 1238977 於苐一具體實施例中係依照每個像素專屬的深度值(z值) 從不同的像框中讀出資料。因此,此處第二具體實施例的 處理方式不同於第一具體實施例(其係依照一像素的y座標 來決定該像框)。舉例來說,於該等原來的移動圖像中被拍 攝複數個物體中,可從較早期的像框中讀出較靠近該照相 機之其中一物體的資料。因此,照相機與該物體之間的距 離越小,其顯示時間的延遲便越大。 圖5係根據第二具體實施例以虛擬方式將該等原來的移 動圖像表示成·盒狀空間的示意圖。於目前像框12中被拍攝 到的該等物體中,第一影像20的2值被設為「12〇」,而第二 影'像24的Z值被設為「60」。z值越大意謂著該物體越靠近該 照相機。顯示時間的延遲量會隨著Z值成正比增加。真正被 顯示於該螢幕上之該等像框的每個像素可以下面的等式(2) 來定義。 PFr (X,y,t〇) = P (X,y,t〇_Z (X,y,to))…(2) 其中Z (X,y,tG)為目前之像素單元的Z值。當Z值變大時,可 從中讀出其像素資料的像框便會於時間軸t中從、往^與“ 的方向進一步地返回。可從時間k上之像框中被標示為第三 影像22的區域中讀出對應第一影像2〇的資料。可從時間h 上之像框中被標示為第四影像26的區域中讀出對應第二影 像24的資料。 於該盒狀空間10的切割表面中,第三影像22之區域的時 間值為k,而第四影像26之區域的時間值為ti。其他區域的 時間值為t〇。因此,内含於該切割表面中之各點係分散於 O:\88\88542.DOC •19· 1238977 to :t#t2中’使得其切割表面於時間轴的方向中具有離散 的寬度。 X等構成策一影像20的像素的2值大於該等構成第二影、 的像素的z值,並且可從時間上較早期的像框中讀出其 ^。換言之’因為該等構成第二影像以的像素的z值小於. 该等構成第-影像2〇的像素的2值,所以,其返回較早期像 框中所需要的時間長度比較短。 —圖6A與6B係用卩比較顯示物體拍照結果的螢幕和顯示 實際被顯示出來之情形的榮幕。圖6A表示的係物體拍攝結# 果此If況中的物體拍攝結果係一個人3〇,其已舉起他/她 、手並且剛開始緩慢地左右搖晃該手以及一部位於後方 的汽車32。圖6B表示的係圖6A所示之物體真正被投影於該 . 螢幕上的影像。該物體係以不同於正常設定的方式被顯* 於該螢幕上。換言之,其一區域越靠近該照相機,其顯示 時間的延遲便越大。明確地說,現在,人3〇最靠近該照相 機’所以其顯示時間的延遲量最大。就幾乎不會移動的部 伤或區域來說’顯示其像素之較早期的影像將會造成該物_ 體幾乎相同的影像。相反地,就於左右或上下方向中移動· 頻繁或大幅移動的區域的影像來說,其於該像框中的顯示 · 位置則會移動。因此,即使在對應於圖6 A中之像框的座標 下從該等早期像框中讀出其資料,該區的影像仍然會如圖 6B所不般地呈現透明或被滲透的狀態。人於該螢幕中被 顯示的狀態為移動頻繁的手部會消失於圖印中。位於後方 的、/飞車32與該照相機的距離較遠,其z值較小,因此於圖6a
O:\88\88542.DOC •20- 1238977 的顯示狀 所不之該汽車的顯示狀態和於圖6B所示之該汽車 態之間的差異非常小。 根據第二具體實施例的影像產生裝置5〇基本上與圖3所 不之裝置具有相同的結構。根據上面等式⑺,決策處理單 ㈣會依照每個Z值計算出返回過去的時間量,接著便針對 每個像素單元來決定欲從中讀出資料的像框。下文中,欲 攸中項出貧料的像框亦稱為來源像框。根據第二具體實施 例的影像輸人單元52包括—距離測量感測器,利用該感測 W更可偵測到每個像素單元的2值。距離測量法可能係雷射 法、紅外線照明法、相位偵測法或類似的方法。 '圖7係第二具體實施例中藉由依照Z值從該像框中讀出資 料來產生複數個新的移動圖像的步驟流程圖。首先必須初 始化用以#示該環狀緩衝器56中_^固寫入 卜也就是,設為—卜使得可從該環狀丄二 頂端的區域中來開始儲存該等像框。將該等原來的移動圖 像中内含的該等像框記錄於該環狀緩衝器%的第丨區中 (S102) 〇 於該顯示緩衝器74中初始化—目標像素的位置心,也 就是,將位置续提為㈣且H (s副),使得可從該營幕 最頂端直線中來開始將該等像素連續地複製到該顯示緩衝 器74中。計算出—讀出指標τ’用以指定對應該等像素〜 的資料的讀出位置(S106)。決策處理單元62會依照每個偉 素的Z值計算出該讀出指許τ — 貝出才曰私Τ。資料獲取單元64會從被儲存 於該環狀緩衝器56内之讀出指標Τ的區域中的該等像框中
O:\88\88542.DOC -21 - 1238977 讀出一像素px,y的資料。接著,影像形成單元66便會將此讀 出貧料複製到顯示緩衝器74的像素Px y的區域中(sl〇8)。 當Px,y不是該顯示缓衝器74中的最後一個像素時,換言 之,當像素Px,y不是右下緣的像素時(su〇中的否),便將像 素卩”移至下一個像素(S112)。重複進行81〇6至8112的處 理,直到像素Px,y變成最後一個像素為止。當像素PM變成 最後-個像素時,便可將一像框的影像寫入該顯示緩衝器 74中(S110中的是),並且由影像形成單元㈣行緣製 (S114) 〇 於該寫入指標t中加ri」(S116)。當該寫入指標t指出該 環,鍰衝器56的結束區時(S118中的是),該冑入指桿t便會 返回該環狀緩衝器56的最頂端區域(S120)。影像資料輸出 單元76會將該等已緣製的影像輸出至監視器78(S122)。重 =_至仙的處理,直到被命令結束顯示為止 ( )依此方式,便可以像辛為置办作\ 出資粗品w 冢素為早位從分離的像框中讀 顯示緩衝器74中,主意,此處係 刀開地:對母個像素來決定從哪個像框中讀出資料,因 攸不同的像框或相同的像框中讀出資料。 〈第二具體貫施例〉 、 根據本發明之第三具體實施例與第〜 的不同處在於,其係藉由從複數個 /、體a: 性值的像素資料來合成複數”像。上2出具有預期屬 值,舉例來說,當藉由讀出僅具有红色:的屬性值為像素 成該等影像時,那麼於所獲得的奇里2之影像值來合 了 /、及頌特效影像中,該
〇:\88\88542.D〇C -22- 1238977 僅有的預期顏色便會殘留,彷如殘影般。 圖8係根據第二具體實施例以虛擬方式將該等原來的移 動圖像表示成盒狀空間的示意圖。盒狀空間丨〇内於時間、 ti、h及h中被投影於該等像框上的人3〇係一缓慢地於左右 方向中搖晃著手的物體,該手中握著一紅色材質物體。被 才又影於個別像框上之紅色材質物體影像34、35、36及”之 個別的顯示位置互不相同。 根據第二具體實施例,可從被儲存於環狀緩衝器%中的 複數個早期像框巾事先決以㈣於進行影像構圖或影像 合成的複數個像框。於圖8的情況中,係使用時間t〇、^k v 3中的四個像框來進行影像構圖。該些四個像框係被排列 於該盒狀空間10内複數個固定時間間隔處的複數個表面。 圖9A/、9B如用以比較顯示物體拍照結果的螢幕和顯示 實際被顯示出來之情形的螢幕。圖9A表示的係物體拍照結 圖B表不的係圖9A所示之物體真正被投影於該營幕上 的影像。該等僅有的紅色成份會被抽Μ被合成於此螢幕 上’使其僅顯示出古女梦,么』 出4專紅色材質物體的影像34、35、36及 37,其背景為白色或黑色。 的每個像素可以下 面
真正被顯不於全女盤^苔I π 4螢幕上之該等像框 的等式(3)來定義。 祕y,t0)令〜。—••⑶ 其義 中表示構圖比例 的α或阿爾法值可以下面的等式(4)來定
〇:\88\88542.DOC -23- 1238977 ^=PR(x,y,t0 - const ^ ή 〜(句 其中二PR為一像素之紅色成份的像素值。 資料獲取單it 6何以等式⑺為基礎來讀取每個像素的資 料,亚且決定該等影像是否要合成。依此方式,便可實現 顏色來進行像素抽出的目的。雖然在等式⑷中將紅色 成伤的像素值設為阿爾法值,不過,並不僅限於此。如果 阿爾法值叹為’G或ρβ的話,那麼便可抽出僅有綠色成份或 僅有監色成伤’並且加以合成。因此,如果該物體中内含 任何特定顏色成份的話,那麼便可顯示僅含該特定顏色成 份的特殊部份,彷如一殘留的殘影般。 ''根據第三具體實施例的影像產生裝置50基本上與圖3所 不:裝置具有相同的結構。根據上面等式(3)與⑷,決策處 理皁兀62會選擇位於複數個固定時間間隔處的複數個像 框。貧料獲取單元64和影像形成單元66會以由每個像素之 像素值所決定的比例來合成該讀出資料。 圖1〇係根據第三具體實施例,用以從該等原來的移動圖 像中來產生4等移動影像的步驟流程圖,纟中可抽出預期 的顏色成份。首先必須初始化用以指示該環狀緩衝器㈣ 下個寫入位置的寫入指標卜也就是,設為t=0(S50),並且 初始化像框合成編號i,也就是,設為i = 〇 (S5i),使得可從 該環狀緩衝器56最頂端的區域中來儲存該等像框。將該等 原來的移動圖像中内含的該等像框記錄於該環狀緩衝器% 的第t區中(S52)。 於該顯示緩衝器74中初始化一目標像素的位置,也
O:\88\88542.DOC -24 - 1238977 ;I^rx#y^x=0"y=0(S54W^^^^« 二二:始將該等像素連續地複製到該顯示緩衝器74
應該“置ΓΓ^Γ56中之讀出指標τ的位置,作為對 -時間信讀出位置(S56)。此讀出指標Τ係 奸 可以Γ = ί°—的方式來獲得,並且可料由、VU 者時間轴返回到複數個固定時間間隔處來表示過去=; 1料獲取單元64會從被儲存於該環狀緩衝器56内 料::指標:的區域中的該等像框中讀出-像素、的資 者,影像形成單元66便會將此讀出 緩衝器74的像素%的區域中(S58)。 U不
叶异且設(該像素Px,y的阿爾法值〇cx,y(S6G)。當像素P 不是該顯示緩衝器74中的最後一個像素時,換言之/當: 素Ρχ’ν不是右下緣的像素時(S62中的否),便將像素至 下一個像素(S64)。重複進行祝至862的處理,直到像素&
變成該顯示緩衝器74中的最後一個像素為止。當像素J
變成該顯示緩衝器74中的最後一個像素時,便可將一像J 的,像寫入該顯示緩衝器74中(S62中的是),並且由影像形 成單元66進行繪製(s66)。 如果像框合成編號i尚未抵達預定數字j的話(S68中的 否)便於该編號i中加r丨」(S69),並且重複進行s54至 的處理。於此第三具體實施例中,該預定數字I為「3」,而 合成作業則會重複進行四次,直到像框合成編號丨從「〇」 计數至「3」為止。當像框合成編號丨抵達預定數字丨時^⑽ 中的是),便於寫入指標t中加「丨」(S7〇)。當該寫入指標丈
O:\88\88542.DOC -25- 1238977 指出該環狀缓衝II 56的結束區時(S74),該寫人指標t便合返 回該環狀緩衝器56的最頂端區域(S74)。影像資料輸出^元 财將該等已緣製的影像資料輸出至監視器78(叫重複 進行S52至S76的處理,直到被命令結束顯示為止㈣)。依 此方式,便可以像素為單位從該等過去的像框中讀出僅有 預期顏色成份的資料,而後再寫人該顯示緩衝器中。 以第三具體實施例的修正例為例,可將對應於合成編號 ㈣之像框的阿爾法值(即目前像框12的阿爾法值)設為p,取 代PR。此時,可同時抽出三種顏色咖,使得於_所示 之螢幕上不僅會出現該等紅色材質物體影像⑽, 現人30。 ^ <第四具體實施例> 根據本發明之第四具體實施例與第三具體實施例的差別 在於’此第四具體實施例中的屬性值為一表示-預期影像 =案和一真正影像之間之近似等級的數值。如一圖案匹配 結果’該等影像與該預期影像圖案越近似且靠得越近,便 會=越早期的像框中讀出其資料。因此,便可於延遲時間 單蜀』不出該等原來的移動圖像中内含的預期部份影 像。 ’、 圖1係根據第四具體實施例以虛擬方式將該等原來的移 :圖像表示成盒狀空間的示意圖。盒狀空間1〇中内含的目 則像框12含有一第一影像⑽。現在假設係利用複數個影像 圖案來計算匹# π匕配It形以近似該第一影像4〇,那麼,相較於 其他區域中的像素,構成第一影像4〇的該等像素與該影像
O:\88\88542.DOC -26- 1238977 圖案的近似等級比較高。因此,沿著時間軸進一步地返回, 便可依照近似等級,從過去的複數個像框中讀出與其相對 應的資料。此處,沿著時間轴返回到時間h,便可從具有時 間值之像框中的第二影像42的位置中讀出資料。該盒狀空$ 間10的切割表面於第二影像42的區域中僅佔據時間私,於 其他區域中則僅佔據時間值tl。因此,該切割表面於時間轴 的方向中具有離散的寬度。 根據第四具體實施例的影像產生裝置5〇基本上與圖3所 示之裝置具有相同的結構。使用者可透過指令獲取單心 來規定該等影像圖案’而決策處理單元62則可處理該影像 圖、案與一像框之影像之間的匹配情形。因此,可逐個像素 地偵測出該影像圖案的近似等級。決策處理單元以根據每 個像素的近似等級來決定欲從中讀出資料的像框。 。現在將參考圖7來說明根據第四具體實施例之處理流 程々首先纟步驟sl〇〇之前’使用者必須先規定出作為欲 計算其匹配情形之物體的影像圖案,並且計算出該目前像 框12與該影像圖案之間的匹配情形,以偵測每個像素的近 似等級,以「S ,矣+ 她一 、 」表不。換5之,就近似該影像圖案的影像 區域中的傻去-rr I而&,必須設定該影像區域的近似等級。步 驟〇至8104與第二具體實施例中的步驟相同。於S106 :根據近似等級「s」來決定該讀出指標τ。舉例來 來取得讀出指標T。後面的步驟亦與第 一具體貫施例中的步驟相同。 <第五具體實施例>
O:\88\88542.DOC -27- 1238977 於此第五具體實施例中,同樣係依照像素的屬性值從複 數個刀離的像框中讀出資料並且加以合成。此屬性值與第 一和第四具體實施例中不同的係,其為表示一影像區之時 間變化程度的數值。舉例來說,於該等物體中,移動快速 或大幅移動的區域於時間中具有大量的影像變化,因而可 從該等較早期的像框中讀出資料。因此,可延遲内含於該 等原來的移動圖像中具有大量影像改變的區域的顯示,影 像改變越大,將會進—步地延遲該物體的區域的顯示。 根據第五具體實施例的影像產生裝置5〇基本上與圖3所 I之裝置具有相㈣結構。可利用決策處理單元62來針對 每、個像素偵測出一目前像框和此目前像框前一個像框之間 於¥間中的變化程度。決策處理單元62會依照其變化程度 來決定欲從中讀出資料的像柩。 現在將參考圖7來說明根據第五具體實施例之處理流 :像:ΓΓ中,可逐個像素來比較該環狀緩衝器56中第τ 矣 (τ·!)個像框,並幻貞㈣變化程度,以「c」來 說表==度、來決定該讀出指標T。舉例來 高時H 得讀出指標T。當變化程度「C」提 回知,表不該時間沿著時 」扠 會提I 1軸返回過去之程度的時間值便 <第六具體實施例> 六具體實施例與第 用該螢幕上的介面 哪個像框中讀出資 根據本發明之第 在於該使用者可利 由地決定且定義從 一具體實施例的差別 來針對每條掃描線自 料。下文中將針對不
〇:\88\88542.DOC -28- 1238977 同於第一具體實施例的差異點來說明第六具體實施例。 圖12係一影像產生裝置之結構的方塊圖。該影像產生裝 置50與根據圖3所示之第一具體實施例的影像產生裝置5〇 主要的差異在於圖12所示之裝置包括一設定值輸入單元 8〇。該設定值輸入單元80會透過由使用者來操作之指令獲 取單元72來獲得用於定義圖1之切割表面14的設定值輸 入。於第六具體實施例中,以定義著欲從哪個像框中讀出 每條像素線之資料的函數為例,t=tG-y為預定值,其為一内 定的設定值。也就是,此函數定義著該像框應該返回過去 的程度。該設定值輸入單元80會將由一關係圖所表示的影 像、送給一顯示缓衝器74,該關係圖顯示著時間值與該 像素線之座標y的關係。影像資料輸出單元76會在監視器78 上顯示出由該設定值輸入單元8〇產生且表示時間t與座標y 之間的關係的關係圖。觀看該監視器78上所顯示的關係圖 時,使用者便可操作該指令獲取單元72並且修正該關係圖 的形狀,用以將t=t〇-y函數改變成另一函數。舉例來說,指 令獲取單元72可能係一被黏貼於該監視器78之螢幕上的觸 摸面板此時,可輸入用以表示該使用者按壓該觸摸面板 之位置的數值作為該等運算内容。 指令獲取單元72會將該使用者的運算内容送給該設定值 輸入早凡8〇 ’帛卩改變被顯示於該監視器78之上的關係 圖二依照從指令獲取單元72中所獲得的該等運算内容,該 設定值輸入單元80便會改變函數t,”以設定一新的函 數’並且將該新設的函數記錄在函數儲存體7G之中。決策
O:\88\88542.DOC -29- 1238977 處理單心可從函數館存體7G之㈣出由該設Μ輸入單 彳叹疋的函數’亚且以此新函數為基礎來決定欲從哪 二像框中讀出每條像素線的資料。因此,便可以該設定值 輪入早讀所設^之函數較義的表面來切割圖^所示之 -狀工間10 ’亚且輸出出現在該切割表面上的影像,作為 真正的像桓,取代目前像框12。實現上面的結構,使用者 便可利用影像產生裝置50作為編寫工具,並且藉由自由地 隻被』不在„亥螢幕上的關係圖便可產生複數個奇異且獨 特的影像。 一圖13係[視态的螢幕的範例,該監視器顯示出由該設 、輸入單元所决疋之函數的關係圖。剛開始時,設定螢幕 82上顯示的係用以表示函數t〜y中時間丈與座標y之間的關 係的直線84。使用者可將直線84變成貝齊爾曲線—r curve) 86。貝齊爾曲線86係_連接第—端點與第二端點 9〇的曲線,而且可利用第一控制點96和第二控制點98的位 置來決m線的形狀。使用者改變第—柄線92或第二柄 線94的位置及長度便可決定第一控制點96和第二控制點 的位置。如果以貝齊爾曲線86來規定該設定值輸入單元川 所設的函數的話,那麼針對每條像素線所獲得的影像便可 將從靠近目前像框的複數個像框巾所讀出的資料和從過去 的複數個像框中所讀出的資料混合在一起。舉例來說,使 用者可透過該設定值輸入單元8〇利用貝齊爾曲線%來規定 係 一週期性曲線,例如正弦波曲線。雖然本具體實施例中 利用貝齊爾曲線86來規定該函數,不過,以修正例為例
O:\88\88542.DOC -30- 1238977 '、可提t、其匕結構,利用其他的曲線(例如b弧線)來規定該 函數。 <第七具體實施例〉 根據本發明之第七具體實施例與第六具體實施例的差別 在於,錢定錢人單元叫取得目前隸12巾的複數個 特徵點的座標作為其中一個該等設定值,而且該函數係由 ^專特徵點的座標來定義。下文中將針對不同於第六具體 貫施例的差異點來說明第七具體實施例。 指令獲取單元72同樣係—被黏貼於監視器78上的觸摸面 ^當使用者於-預期位置上按壓該觸摸面板且移動該按 座點以畫出-铜圓形時,便會將代表該等按&點之座標的 ,連續值送至一設定值輸入翠元8〇。以該 f標值為基礎’該設定值輸人單㈣可確認-被該等複數 個按壓點包圍且涵蓋的區域, ^ 並且產生禝數個函數來決定 =匕圍區,以便記錄於函數儲存體7〇之中。以從函數儲存 料rt中讀出的函數為基礎’從該等過去像框中讀出的資 2針對内含於該包圍區中的複數個像素,而從目前像框 Γ讀出的資料則係針對不包含於該包圍區中的複數個像 素°因此’便可以該設定值輸入單元80所獲得之該等座標 的函數所定義的表面來切割I所示之盒狀空間10,並且輸 見在該切割表面上的影像,作為真正的像框,取代目 L:貫現上面的結構’使用者便可利用影像產生裝 置〇作為編寫工具,並且藉由於該觸摸面板上規定一任音 區便可產生複數個奇異且獨特的影像。
O:\88\88542.DOC -31 - 1238977 <第八具體實施例> 根據本發明之第八具體實施例與其他具體實施例的差別 在於,係以在該螢幕上浮現一預定的可變形狀的方式來事 先疋義一函數,並且從以此函數為基礎所決定之像框中讀 出資料。根據此第八具體實施例,係以在該螢幕上浮現一 可後:波形(例如水圈)的方式來事先定義一函數。 =策處理單元62會決定目前像框12中的複數個特徵點。 與第六和第七具體實施例雷同的係,可由使用者透過被黏 貼於一監視器78之螢幕上的觸摸面板來規定該等特徵點, 其中該觸摸面板係作為一指令獲取單元72。決策處理單元 62會決定—㈣像框和—像素座標,使得以該特徵點為中 心浮現出由複數個水圈所組成的一波狀形狀。此處,該來 源像框係—欲從中讀出資料的像框。舉例來說,為表現出 該等水圈的立體感,吾人假設可從該特徵點開始於放射方 向中來顯示一圓圈或複數個圓圈,而該決策處理單元“則 可針對每個放射圓利用漸漸改變的時間值來決定複數個來 源像框。該漸漸改變之時間值的變化方 為週期性變化。因而便可表現出該等水圏中的義不為= 象。再者,該決策處理單元62可於預定方向中將該欲被讀 出之像素座標偏移預定的像素量。從而,便可表現出該等 水圈所造成的光折射現象。 <第九具體實施例> 根據本發明之第九具體實施例與利用該觸 令獲取單元72來輸人料特徵點的第七和“具體實乍^
O:\88\88542.DOC -32- 123 123
,^29646號專利中請案 j J::& 94 \. 22 中文說明書替換頁(94年6月) j
L—GL...—JiJ 的差別在於’其係以内含於該目前像框12中的資訊來決定 該等特徵點。 根據第九具體實施例的決策處理單元62係以内含於該目 月IJ像框12中每個像素的像素值來決定該等特徵點。舉例來 說,可將一高速閃爍的LED併入一物體中,使其變成該物 體的一部份,而該決策處理單元62藉由於該等連續輸入的 目剛像框12中規定一其中的像素值係於兩個數值之間來回 改變的區域’便可確認該閃爍位置。該決策處理單元以可 將該閃爍位置判為該等特徵點的座標。以一修正例為例, 該決策處理單元62可利用複數個固定座標來決定該等特徵 點。以另一修正例為例,如果像素值、Z值、與一預期圖案 的近似等級以及該像素之像素值的變化等係數中任一者落 在預定範圍中的話,該決策處理單元62便可將一像素判為 一特徵點。 <苐十具體實施例> 根據本發明之第十具體實施例與其他具體實施例的差別 ί:,影像輸入單元52不僅可取得該等原來的移動圖像, =可取得語音資料。該影像輸入單元52所取得的語音資料 至以同步於㈣原來的移動圖像的方式被輸人,以 的頻率分佈、音量Λ 讀可㈣語音資料 卓· 里交化以及類似因素來決定下面至少一 者·來源像框、讀出時間、 說,當咳扭m立 _法值以及特徵點。舉例來 田口袭口口曰貝枓的音量轡介$ 輩“一 1 夂化起過臨界值時,該決策處理 早兀62便θ以如第八具體 J所这之形狀浮現於該螢幕
O:\88\88542-940621 .DOC -33- !238977 上的方式來決定該來源像框和該讀出像素。舉例來說,如 果該音量變化於部份頻域中超過臨界值的話,那麼該決策 處理單元62便會依照該頻域來決定該等第八和第九具體實 施例中的該等特徵點。 、 <第十一具體實施例> 根據本發明之第十一具體實施例會依照内含於該目標像 框中之像素的屬I生值於該像素位㈣近構成一預定的關係 圖此處,S亥屬性值係一表示一影像區之時間變化程度的 數值。舉例來說,可持續地顯示於一物體中快速移動或大 幅移動的區域’因而可將具有粒狀形式之藝術的或醒目的 物體變形’其變形方式係從—時間變化較大的像素開始朝 其周圍以擴散方式來進行。依此方式,便可於該原來的影 像(例如-移動區域或基點)中之主物體的周圍中產生指向 與竄改效果(例如被顯示於該螢幕上的類紙雪球效果 公根據第十-具體實施例之影像產生裝置5〇與圖3所示之 “象產生裝置具有雷同的結構。決策處理單元62可針對每 個像素於該目前像框12和時間上位於該目前像框Η前一個 像框之間來制構成一像框之影像區的像素值的時間變化 =度。如果—像素的變化程度超過預定臨界值的話,該決 朿處理單元62便會將該像素視為—指向與竄改物體的中心 位置。如果有*數個像素的變化程度超過該臨界值且彼此 位於附近的話’那麼便可將該等像素中具有最大變化程度 =素判為中心位置,並且可於該中㊃置周圍以擴散方 式來顯㈣數個指向與竄改物體。再者,該決策處理單元
O:\88\88542.DOC -34- 1238977 62可以該目前像框12中的像素和該前一像框中的像素(該 等兩個像素的每-者於每個像框中皆具有冑大的變化程幻 之間的差異為基礎來決定該指向與竄改物體的移動方向。 圖14係一用以產生一指向與操作物體的步驟流程圖。首 先必須先輸入一目前像框12作為一處理物體(sl5〇)。如果 亚未在開始輸入該目前像框12後立即實施再生處理的話 (S 152中的否),便可於該目前像框12和時間上位於該目前 像框12之别的像框之間抽出複數個像素值的變化情形 (S154),偵測出像素值變化最大的位置(8156),並且將具有 最大像素值變化之由複數個位置所組成的向量判為該指向 與竄政物體的移動方向(S158)。如果在開始輸入該目前像 框12後立即實施再生處理的話,其前面便不會有任何此種 像框存在,因而便可略過8154至S158的處理(S1S2中的 是)。可分開地儲存該目前像框12,用以和下個像框作比較 (S160)。可以於S156中被偵測到之位置周圍為中心來顯示 該指向與竄改物體的影像(S162)。可將所產生的指向與竄 改物體和該目前像框12疊加在一起,以便處理欲顯示的繪 圖(S164)。重複進行上面S150至S164的處理,於S158所決 疋之移動方向中移動的同時來顯示該指向與竄改物體 (S166中的否),直到結束顯示為止(S166中的是)。 於上面的範例中所述的結構係,依照與其前一個像框之 間的像素值變化來決定用以顯示該指向與竄改物體的位 置。以另一範例為例,決策處理單元62亦可依照顏色成份、 輪廓、照度、Z值,移動軌跡或其他因素來決定用以實施該 O:\88\88542.DOC -35- 1238977 才曰向與竄改效果的位置。舉例來說,可依照一像素值的大 小來決定欲產生該指向與竄改效果的位置,例如「該影像 中含有最多紅色成份的位置」或是,可將單—像框;^鄰 輪廓之間其像素值差異最大的輪扉線判為該指向μ改位 产置。下文中也就是,將「欲產生該指向與竄改效果的位置」 間稱為「指向位置」。再者,亦可將㈣「紅色輪廊」之間 的像素值差異大於臨界值且顏色成份大於臨界值的部份判 為該指向位置。再者,亦可將照度大於臨界值的部份判為 忒指向位置或是將具有特定範圍2值的部份判為該指向位 置。如果於-段有限的固定時間内儲存複數個過去像框的 話,-那麼便可谓測到由以特定準則為基礎而被抽出之複數 個特徵點所構成的-條軌跡。因此,可沿著該條軌跡產生 該指向與竄改效果。決策處理單元62可顯示一具有醒目顏 色或類似顏色之線性物體或人物或是一符號之類的物體, 作為指向與竄改效果。決策處理單元62亦可產生一種指向 與竄改效果’將從目前像框12中被抽出的特徵區域的透明 性質變為半透明狀態,以便疊加至過去的像框中。 一決策處理單元62可以下面的屬性值為基礎來決定欲被顯 不之指向與竄改物體的大小或移動速度:座標、Ζ值、每個 像素的像素值、與-預期影像圖案的近似等級以及該像素 值中的變化速率。就個別的像素來說,用於構成該指向盘 竄改物體的阿爾法值可能係—固定的數值或是不同的數 值舉例來规,可依照下面的屬性值來設定阿爾法值:座 標、Z值、每個像素的像素值、與—預期影像圖案的近似等
O:\88\88542.DOC -36- 1238977 級以及該像素值中的變化程度等。 圖15係心將-指向與竄改效果套用於該目前像框如 的步驟流程圖。首先,可以來自使用者的指令為基礎,決 定出欲套用於該目前像框12中的指向與竄改效果的種類 (S200)。接著’輸入會產生該指向與竄改效果的目前像框 12 (S202)。接著’抽出目前像框12内彼此相鄰之像素 差異超過臨界值的部份作為輪廓(咖4),並且 異最大的位置判為欲產生該指 ”差 玍4 ^向與竄改效果的位置 (譲)。而後’便將指向與竄改效果套用於所決定的位置 ^2〇8),並且進行繪圖處理,用以顯示已產生該指向鱼 窥改.效果的影像(咖)。重複地對目前像框Μ施上㈣ 處理S202至S210 (S212中的否),直到紝 *认e、 置幻、、、口束顯不為止(S212 中的疋),以便於其上套用該指向與窥改效果。 <第十二具體實施例> =據第十二具體實施例,再生像框速率會隨著内含於一 目不像框内之像素的屬性值變化而揭部地改變。換古之, 切割表面14會依照構成一二 、σ , 备個旦r # 、准〜像的影像區的屬性值針對 心象£域以不同的速率隨著時間而 像資料輸出單元76中輸出 口而奴從影 部份地改變。舉例來古兒,艾像#圖像的像框速率便會 於臨界值的部份二於時㈣的變化程度大 會比較長,以便降低再生像框速率。因 ^間隔便 且獨特的影像,真正移動 、 、曰產生一奇異 動便越慢,因此,爷等、、區域’其在顯示器上的移 — ㈣移動圖像中-物體的—部份的移動
O:\88\88542.DOC -37- 1238977 速率將不同於正常的速度。 根據第十二具體實施例的影像產生裝置5〇基本上與圖3 所不之裝置具有相同的結構。根據本具體實施例的決策處 理單元62可以逐個像素為基礎來改變像框速率,或是亦可 以以其像素值為基礎所抽出的物體為單位來改變該像框。 2決策處理單元62可以將該像素周圍的幾個像素納入討論 範圍之一部份的方式來抽出該物體。此時,亦可將像素值 漸漸改變的部份(例如該物體的邊緣)納入作為該物體的一 部份,並且加以處理。 就像框速率欲改變的區域來說,決策處理單元62會於改 變之後來決定像框速率。舉例來說,可依照該區域内之像 素值的日守間變化私度來設定該像框速率,並且將變化速率 較大的區域的像框速率设為較低的數值。決策處理單元Μ 可依照所決定的像框速率,針對每個像素來決定一來源像 框與欲讀取之下個像框之間的時間間隔。決策處理單元^ 可隨著時間來改變該像框速率。舉例來說,決策處理單元 62可先將像框速率设為低速率,並且漸漸地提高像框速 率,使其能趕上此像素周圍其他像素的顯示時間。 以修正例為例,有一種結構係,使用者可透過如圖12 所不之‘令獲取單72來設定是否要以將該物體之邊緣納 入A物體乾圍中的方式來實施處理。可改變該目前像框U 中具有預疋Z值範圍的像素的像框速率。可改變該目前像框 中與-預期影像圖案具有預定近似等級的位置的像框速 率。換言t,此處係以逐個像素為基礎來控制像框速率。
O:\88\88542.DOC -38 - 1238977 <苐十二具體實施例〉 根據本發明之第十三具體 ”讀出目標像框中具有預定屬性值的像素_ : ::目標像框中讀出。舉例來說,可從早期的像:中:: 於黑色的像素值的資料,使得能夠產生-醒目的表現 1吉旦果像彷如從—具修剪形狀之視窗中來觀看該等部份過去 根據第十三具體實施例的影像產生裝置5〇基本上與圖3 :::之裝置具有相同的結構。根據本具體實施例之決V處 =心2可從-目前像框12中抽出一具有預定像素值範圍的 二:並且同時決定該區域的來源像框。來源像框可能係 /°了¥間軸返回一段預先固定時間長度而獲得的過去像框 或是可依照下面的屬性值來決定:座標、2值、每個像素的 ,素值、肖一預期影像圖案的近似等級以及該像素值中的 變化大小或類似的屬性值。 以一修正例為例,當該像框越早期,可讓此等較早期像 ,逐漸變濃,以便強調且醒目地表示其久遠性。決策處理 單元62可抽出同樣包括幾個周圍像素的區域。舉例來說, 可從人的臉上抽出對應於嘴巴的區域和該嘴巴周圍的幾個 像素,以便成功地抽出像素值漸漸改變的部份(例如一物體 的邊緣)。於該等上面具體實施例中係從時間中複數個前面 的像框中讀出該資料。不過,如果於環狀緩衝器%中圖樣 儲存著時間中未來像框的話,那麼便可從該些未來像框中 讀出資料。
O:\88\88542.DOC -39- 1238977 <第十四具體實施例> 於本發明第十四具體實施例中,可依照_目標像框内含 之像素的屬性值的變化將一像素值加到一像素中。舉例來 說,可以紅色-或類似顏色來顯示一物體中大幅移動之區域 的方式將指向與竄改效果套用於原來的影像中。 根據第+四具體實施例的影像產生裝置5〇基本上與圖3 所Γ之裝置具有相同的結構。根據本具體實施例之決策處 理早7062可將-預定數值加到_像素的像素值中,使得可 以紅色來顯示目前像框12中變化程度極大的像素。而後, 就欲加入該預錢值的像素而言,可隨著時間漸漸降低欲 加至此像素中的像素值,因此便可顯示出—後方 紅色尾巴的殘影。 以衫像產生_裝置50的修正例為例,其結構可能係,心 該像素已經被顯示過’可以讓該像素仍然:保留在該螢幕_ 的方式,以-預定的阿爾法值來合成於時間中大幅變化自 2素的資料。可將—像素值進—步地加到該已合成資辛 ,以便以·的顏色來,㈣其影像1後,可隨著時段 漸漸降低欲合成的資料的阿爾法值,因此便可顯示出一種 :留^條尾巴的殘影。以另-修正例為例,其結構可能 比、、古預定的阿爾法值,以其上所有像素的阿爾法值 := 零的營幕來合成變化程度極高的像素的資料,並 漸漸地顯示整個螢幕。以另一修正例為 ==像素中的像素值’藉由累加的方式來心像 像素值’便可隨著時間改變-像素的顏色。
〇:\88\88542.D〇C 1238977 <第十五具體實施例> 於本發明第十五具體實施例,可依照内含於未來像框中 之像素的屬性值,以預定的物體來合成一目標像框。換言 ;事先儲存的該等原來的移動圖像中所内含的複數個 像框中,可於在時間上欲晚點被顯示的像框内的預定影像 回案附近的區域上顯示如第十一具體實施例般的粒狀物 體因而便可產生一告示般的指向效果。舉例來說,可於 主要人物(其為此處的物體)出現在螢幕上之前先顯示紙雪 球影像或類似影像。 根據第十五具體實施例的影像產生裝置5〇基本上與圖3 所不之裝置具有相同的結構。根據本具體實施例之決策處 里單元62可於事先被儲存在環狀緩衝器56中的該等原來的 移動圖像中所内含的複數個像框中在時間上欲晚點被顯示 ,該等像框中偵測出與-預定影像圖案的近似等級落在預 定範圍内的區域。決策處理單元62可合成位於該偵測區附 近内的複數個粒狀物體。用以組合及合成該等影像的方法 與第Η 具體實施例中所述的方法雷同。 以一修正例為例,可將該物體的合成處理套用於與目前 的影像再生處理同時被拍攝的複數個即時移動圖像中。換 言之,可將拍攝後立即取得的該等移動圖像暫時儲存於一 緩衝器中,然後在從該拍攝時間之後的時間中來再生每個 像框。可從拍攝後立即取得的目前像框中 ^ τ ?田出違預定的影 像圖案,並且同時在從該拍攝時間之後的時間中來再生其 像框,以便產生一告示般的指向效果。 八 O:\88\88542.DOC -41 - 1238977 本發明已經以複數個僅作為示範的具體實施例加以說 明。熟習本技術的人士便可瞭解,上述的每種組件與方法 的組合皆有其他各種的修正例,而且此等修正例亦涵蓋於 本發明的範疇中。 第二具體實施例申係依照z值來決定欲從中讀出資料的 像框。不過’以一修正例為例,可於複數個恆定的時間間 :中設定複數個像框作為來源像框,並且依照z值的比例來 合成該等複數個像框。此處,相想到,該等來源像框係 欲攸中碩出資料的像框。此時,將會依照2值來決定阿爾法 值。可以將其阿爾法值設定為較大值的方式來設定一物體 或複數個物體、中具有較大z值的一個區域或複數個區域(也 就是,較靠近照相機的區域)。此時,較靠近照相機的區域 被投影時將會更清楚且鮮明,而大幅移動的區域將會以殘 留的方式來顯示’彷如其為殘影般。 於第二具體實施例中係依照像素值來設定阿爾法值。不 過,以另一修正例為例,可以像素值來決定來源像框。舉 例來說,當抽出具有複數個紅色成份的像素值時,可從較 早期的像框中讀A具有較多紅色成份之區域上的資料,因 而可進一步地延遲含有較多紅色成份之區域的顯示。 於第四具體實施例中,係依照與預期影像圖案之近似等 級來決定該來源像框。不過,以另一修正例為例,可依照 近似等級來設定該阿爾法值。此時,較靠近該影像圖案的 區域被顯示時會更清楚且鮮明,而快速或大幅移動的區域 將會以進一步殘留的殘影方式來顯示。再者,可事先製備 O:\88\88542.DOC -42- 1238977 複數個不同的影像圖案,並且可依照欲以其作為近似等級 比較的特殊㈣來讀出—㈣像框。或者,可依照欲以其 作為近似等級比較的特殊㈣來決定—阿爾法值^確認一 影像不只是確認每個像框,還要確認複數個像框上的姿勢。 於第五具體Λ知例中,係、依照該影像區中時間的變化程 度來決定該來源像框。不過,以另—修正例為例,可依照 該變化程度來設定該阿爾法值。此時,變化程度較大的區 域被顯示時會更清楚且鮮明,並且也是以殘留的殘影方式 來顯示。 一;“等第至第十五具體實施例之每一者中,係利用相 同的座t (X ’ y)來判斷複數個像框中該等像素的對應關係。 不k以另一修正例為例,可藉由將該等座標偏移複數個 特定像素來騎該對應關係或是,可依照―項物的屬性或 寬度來判斷是否要進行此種偏移。 於α亥等第一至第五具體實施例中,係、依照該等個別的屬 ι± =或阿爾法值來決定該等個別的來源像框。不過,以另 A U正例為例,可以下面的複數個屬性值為基礎來決定該 "、,、象忙或阿爾法值:乙值、像素值、近似等級以及變化程 又牛例來况,在針對一特定像素依照其ζ值來決定一來源 像框之後,倍V <瞀 4 ^出該像框和該目前像框12之間的圖案 匹配情形,技装庙 ’、 ^ 者使可依照對應於其近似等級的阿爾法值來 成複數個像框。此時’如果該物體較靠近該照相機的話, 便可從該等較早期的像框中讀出資料,此外,可以殘留的 殘影方式來顯示大幅移動的區域。
O:\88\88542.DOC •43· 1238977 於該等第-至第十五具體實施例之每—者中所提供的結 構係,可該等原纟的移動圖像中所内含之對應於 間期間的該等來源像框事先儲存於環狀緩衝器56中。J 過’以另-修正例為例’影像輸入單元52可從被壓縮成 mpeg格式的複數個原來的移動圖像中讀出由該決策處理 單元62所決定的複數個像框,而且緩衝器控制單元54可促 使將該些像框儲存於該環狀緩衝器56之中。可以緩衝器控 制,元54來解碼該些欲被儲存的像框。再者,該緩衝器控 制早疋54則可參考該像框前面或後面的複數個像框。 下文將說明其他的修正例。 1 L第具體貫施例中所提供的結構係針對每條像素 線從-不同的像框中讀出資料。於此修正例m中有一種社 構係’設定數個過去的像框(其為該等來源像框),並且針對 ^條像素線從該些設定像框中任一者中讀出資料。舉例來 5兄’有—種結構係’將兩個像框設為來源像框,並且 依“亥像素線的順序究竟是奇數號或偶數號,以便從MB 中讀出資料。舉例來說,有一種結構係,將六個像框A、B、 C D、設為來源像框,第〇至第π條像素線的資料可 ^框斜讀出’⑽至第159條像素線的資料可從像框B 等^ 1依此類推。換言之’可以8〇條線為單位來分割該 素線’並且從不同的過去像框中讀出由該等分割線所 所單t的資料。當針對該榮幕上由五十條像素線 士 、母個單位從互不相同的複數個像框中讀出資料 才便了於一移動的區域上浮現出條紋圖案或類似圖案。
O:\88\88542.DOC -44- 1238977 1-2·第二具體實施例中所提供的結構係依照ζ值從複數 個不同的像樞中讀出資料。於此修正例1_2中有一種結構 係,從該等過去的像框中僅讀出具有預定2值範圍之像素的 資料。舉例來說,必須事先設定2:值的上限及下限中至少一 者,而且也要事先設定欲從中讀出其資料的一個以上的過 去像框。就Ζ值落在該上限之下及該下限之上所設定之範圍 中的像素來說,可從該等過去像框組中讀出資料。就ζ值未 洛在該範圍組中的像素來說,則可從目前像框12中讀出資 料此處,依照該來源像框的像素的座標,可將欲設定的 來源像框的數量固定為—個以上的像框或者該來源像框可 气係該等過去匈像框。 ·3·第三具體實施例中所提供的結構係從複數個過 2像框巾讀出具有預定像素值的像素的資料,並且利用 别,框12來合成。於此修正例μ中有一種結構係,就具; 預定像素值的目前像框12的像素來說,可從_預定的過: 隸中^資料;而就其他的像素來說,則可從該目心 中讀出資料。再者’依照其像素值,可以固定的方玉 為複數個㈣隸的料過去㈣或者該來利 才匚可肖b係一過去的像框。 第四具體實施例中所提供的結構係 =?圖案之近似等級的過去像框中讀出資料。於::修 影像圖結構係,僅從過去㈣財⑽與一預期 ^案之相#級落在敢範圍㈣像 他像素的資料則#怂兮曰a你L 貝了十,而其 係以目讀框12中讀出。就近似等級範
0\88\88542.DOC -45- 1238977 圍而言,必須事先設定其上限及下限中至少一者。依照近 似等、.及彳以固定的方式來設定作為複數個來源像框的該 等過去像框或者該來源像框可能係沿著時間軸返回而獲得 的一過去的像框。 1_5·第五具體實施例中所提供的結構係依照該像素值 的變化從該過去的像框中讀出資料。於此修正例卜5中有一 種結構係’僅從過去的像框中讀出該像素值的變化落在預 定範圍内的像素的資料;而其他像素的資料則係從該目前 像=12中讀出。依照該像素值的變化,可以固定的方式來 設定作為複數個來源像框的料料隸❹該來源像框 '能係沿著時間軸返回而獲得的一過去的像框。 1-6.於第-具體實施例中係以時間值t和像素座標丫來定 義-函數t=t〇-y。於此修正例卜6十,可將時間丈和像素座標》 之間的關係定義成t=sin提採用三角函數的類似函數。於 圖13所示的關係圖中,可週期性地混合其資料係從沿著時 3軸進-步返回的過去的複數個像框中讀出的像素線以及 ”資料係從較新的複數個像框中讀出的另—像素線。再 :二修正例…般,有一種結構係,可事先設定數個過 於,:其為该等來源像框)’並且針對每條像素線從對應 於該4間值t的該些設定像框中任—者中讀出資料。 線二::具體實施例中所提供的結構係針對每條像素 ::该過去的像框中讀出資料,並且將該些資料排列在垂 直方向中,以建構其中一個像框。於此修正例2_ 結構係,可利用目前像框12來合成每條像素線從過去像框
O:\88\88542.DOC -46- 1238977 中㈣出的資料,以構成其中一個像框。此時,阿爾法值 可處係-固定值或是每條像素線皆具有不同的阿爾法值。 舉例來說’可依照下面來設定該阿爾法值:座標、Z值、每 固像素的像素值、與一預期影像圖案的近似等級以及該像 素值中的變化等。 、卜 第/、體貝轭例中所提供的結構係依照該等z值從 、复數们不同的像框中讀出資料。於此修正例^中有一種結 構係’可利用目前像框12來合成依照z值從複數個不同像框 中所讀出的資料,以構成其中一個像框。或者,可從該過 去像框中僅項出該目前像框12中具有預定Z值範圍的像素 貝料,並且利用目前像框12來合成此資料,以構成其中 -個像框。此等情況中的阿爾法值可能係—固定值或是每 條像素線皆具有不同的阿爾法值。舉例來說,可依昭下面 來設定該阿爾法值··座標、2值、每個像素的像素值、與一 預期影像圖案的近似等級以及該像素值中的變化等。 2·3.第三具體實施例中所提供的結構係讀出複數個過 去的像框中具有預定像素值的像素的資料,以便利用目前 像框12來合成。於該修正例2_3中有—種結構係,就該目前 像框12中具有預定像素值的像素而言,可從過去的一預定 像框中讀出其資料,並且利用目前像框12來合成此資料。 此情況中的阿爾法值可能係一固定值或是每條像素線皆具 有不同的阿爾法值。舉例來說’可依照下面來設定該阿爾 去值:座標、Z值、每個像素的像素值、與—預期影像圖案 的近似等級以及該像素值中的變化等。
0:、_542.D〇C -47- 1238977 =帛四具體實施例中所提供的結構係從對應於與一 、像®案-之近似等級的過去像框中讀出資料。於此修 ^ 4t有-種結構係,利用目前像框_合成從 =預期影像圖案之近似等級的過去像框中所讀出的資 、、:、者’可從該過去像框中僅讀出與該預期影像圖案之 近似等級洛在預定範圍内的像素的資料,並且利用目前像 杧12來口成此貧料。此等情況中的阿爾法值可能係一固定 值或是每條像素線皆具有不同的阿爾法值。舉例來說,可 依照下面來較該阿爾法值:座標、Z值、每個像素的像素 值、與一預期影像圖案的近似等級以及該像素值令的變化 等。
V 2·5.第五具體實施例中所提供的結構係依照一像素值 的變化從沿著時間軸返回的過去像框中讀出資料。於此修 正例2_5中有—種結構係,㈣目前像框_合成依照一像 素值的變化從該過去像框中所讀出的資料。或者,可從該 過去像框中僅讀出該像素值變化落在預定範圍内的像素的 資料’並且利用目前像框12來合成此資料。此等情況中的 阿爾法值可能係-固定值,或是每條像素線皆具有不同的 阿爾法值。舉例來說,可依照下面來設定該阿爾法值:座 標、Ζ值、每個像素的像素值、與__預期影像圖㈣近似等 級以及該像素值中的變化等。 2-6.於該修正例w中,可將時間t和像素座標丫之間的關 係定義成t=sin y及採用三角函數的類似函數。以此進一牛 的修正例為例,可利用目前像框i 2來合成以三角函數(· O:\88\88542.DOC -48 - 1238977 t=slny)的函數為基礎而從目前像框製過去像框中所讀出的 資料。此情況中的阿爾法值可能係一固定值,或是每條像 素線皆具有不同的阿爾法值。舉例來說,可依照下面來設 定該阿爾法值:座標、z值、每個像素的像素值、與一預期 影像圖案的近似等級以及該像素值中的變化等。 2-7.第六具體實施例中所提供的結構係從對應於使用 者在設定螢幕82上所設定之貝齊爾曲線86的像框中讀出資 料。於此修正例2-7中有一種結構係、,可利用目前像框邮 合成以使用者在設定螢幕82上所設定之貝齊爾曲線^為基 礎而㈣像框中讀出的資料。此情況中的阿爾法值可能係 口 ·疋值或是每條像素線皆具有不同的阿爾法值。舉例來 說,可依照下面來設定該阿爾純:座#、z值、每個像素 的像素值、與-預期影像圖㈣近似等級以及該像素值中 的變化等。 3-1.於此修正例中有一種結構係,可合成該等第一至第 十五具體實施例、Η至1-6修正例及至2_7修正例中至少 兩個具體實施例或修正例中針對每個像素所讀出的兩個以 上資料。此情況中的阿爾法值可能係_固定值 像素線皆具有不同的阿爾法值。舉例來說,可依照下面來 設定該阿爾法值:座標、Ζ值、每個像素的像素值、與一預 期影像圖案的近似等級以及該像素值中的變化等。 雖然已經利用複數個示範具體實施例來說明本發明,不 ,應該瞭解的係’熟f本技術的人士可進—步地進行各種 欠更或a #纟不會脫離隨附中請專利範圍所定義的本發
O:\88\88542.DOC -49- 1238977 明範疇。 【圖式簡單說明] 圖1係根據本發明第一且辦每 一 弟 /、體只鈿例以虛擬方式來圖解及 表不一種狀態,其中与Γ楚;Μ Μ 4原耒的移動圖像的像框沿著時間 軸呈現連續狀態。 一圖2Α與2Β係用以比較顯示物體拍照結果的螢幕和顯示 貫際被顯示出來之情形的螢幕。 圖3係根據第—具體實施例之影像產生裝置的功能方塊 來的移動圖像 圖4係根據第一具體實施例用以將該等原 轉'換戒複數個新的移動圖像的步驟流程圖。 來的移 圖5係根據第二具體實施例以虛擬方式將該等原 動圖像表示成盒狀空間的示意圖。 圖6Α與6Β係根據第二具體實施例 η 4 π Μ比杈顯不物體拍 照結果的螢幕和顯示實際被顯示出來之情形的螢幕。 圖7係第二具體實施例中藉由依照Ζ值從一像框中讀出資 料來產生複數個新的移動圖像的步驟流程圖。 貝 圖8係根據第三具體實施例以虛擬 — 、对邊等原來的移 動圖像表示成盒狀空間的示意圖。 ”圖9Α與9Β係根據第三具體實施例用以比較顯示物體 照結果的螢幕和顯示實際被顯示出來之情形的螢幕。 圖10係根據第三具體實施例,用以從該等原來的移動 像中來產生該等移動影像的步驟流程圖, 夕 丹宁可抽出預 的顏色成份。 頂
O:\88\88542.DOC -50- 1238977 圖11係根據第四具體實施例以虛擬方式將該等原來的移 動圖像表示成盒狀空間的示意圖。 夕 圖12係一影像產生装置之結構的功能方塊圖。 圖13係一監視器的螢幕的範例,該監視器顯示出由—嗖 定輸入單元所決定之函數的關係圖。 ° 圖14係一用以產生-指向與竄改物體的步驟流程圖。 圖15係用以將一指向與竄改效果套用於目前像框中 驟流程圖。 / 【圖式代表符號說明】 10 盒狀空間 12 目前像框 14 切割表面 16 手 20 第一影像 22 第三影像 24 第二影像 26 第四影像 30 人 32 汽車 34 紅色材質物體影像 35 紅色材質物體影像 36 紅色材質物體影像 37 紅色材質物體影像 40 第一影像 O:\88\88542.DOC -51 - 1238977 42 第二影像 50 影像產生裝置 52 影像輸入單元 54 緩衝器控制單元 56 環狀緩衝器 60 影像轉換單元 62 決策處理單元 64 資料獲取單元 66 影像形成單元 70 函數儲存體 72 指令獲取單元 74 顯示緩衝器 76 影像資料輸出單元 78 監視器 80 設定值輸入單元 82 設定螢幕 84 直線 86 貝齊爾曲線 88 第一端點 90 第二端點 92 第一柄線 94 第^―柄線 96 第一控制點 98 第二控制點 O:\88\88542.DOC -52-

Claims (1)

1238977 拾、申請專利範圍: L 一種影像產生方法,其包括: 將複數個原來的移動圖像看作可沿著時間軸變化的複 數個一維影像,當以虛擬的方式將該等移動圖像表示成 由该等二維影像和該時間軸所構成之盒狀空間時,可利 用含有時間值各互不相同之複數個點的表面來切割該 盒狀空間; 將出現在該切割表面上的影像投影於時間軸方向中的 平面上;以及 &於時間十來改變該切割表面,輸出出現在該平面上的 '影像’當作複數個新的移動圖像。 2.如申請專利範圍第i項之影像產生方法,其中可藉由沿時 間軸來移動該表面來達成於時間中來改變該切割表面的 目的。 3·如申請專利範圍第1項之影像產生方法,其中可以該等二 維影像中内含的複數個點的座標所組成的函數來^義該 表面。 4· 一種影像產生裝置,其包括: —影像記憶體,其可沿著時fa1軸來連續_存複數個 原來的移動圖像; -影像轉換單元,其可將被儲存於該影像記憶體中之 該等原來的移動圖像看作可沿著時間軸變化的複數個二 維影像,當以虛擬的方式將該等移動圖像表示成由該等 二維影像和該時間軸所構成之盒狀空間時,可利用一含 O:\88\88542.DOC 1238977 有時間值各互不相πy 、, 不相同之禝數個點的表面來切割該盒狀空 可將出現在該切割表面上的影像投影於時間軸 方向中的平面上;以及 〜〜像貝料輸出單元’其可將於該影像轉換單元中隨 :時間來改變該切割表面所獲得之出現在該平面上的該 衫像設為一個新的移動圖像像框。 5·=申料利範圍第4項之影像產生裝置,其中該影像轉換 ‘ _可藉由/α日守間軸來移動該表面來達成於時間中來改 、憂該切割表面的目的。 6·如申請專利範圍第4項之影像產生裝置,其中以該表面於 5亥時間軸方向中具有連續的或離散的寬度的方式來定義 该表面’而該影像轉換單元會合成該寬度所涵蓋的複數 個影像。 7.如申請專利範圍第4項之影像產生裝置,其中該影像轉換 早二以構成該二維影像之影像區域的複數個座標之函 數所定義的表面來切割該盒狀空間。 8·如申請專利範圍第7項之影像產生裝置,其中可以一與該 二維影像的水平座標不相依的函數來定義該表面。 9. ^申請專利範圍第4項之影像產生褒置,其中該影像轉換 早70可以構成該二維影像之影像區域的複數個屬性值之 函數所定義的表面來切割該盒狀空間。 10. 如申請專利範圍第4項之影像產生裝置,其進一步包括一 設定值輸入單元,其會透過使用者操作來獲得用於定義 該表面的設定值輸入,其中該影像轉換單元可以該設定 O:\88\88542.DOC 1238977 值輸入單7G所獲得的設定值之函數所定義的表面來切割 該盒狀空間。 11. 如申請專利範圍第10項之影像產生裝置,其中當於榮幕 上.4不》亥„又定值之函數和該函數的一變數之間的關係 k可以-條表不内含於該等二維影像中之複數個點的 座標和其複數個時間值之間之關係的曲線來表示該設定 值輸入單元所獲得的設定值之函數。 12. 如申:專利範圍第1〇項之影像產生裝置,其中該設定值 、單元可獲得該等二維影像中的i數個特徵點的座標 作為該設定值,以及其中該影像轉換單元可以該等特徵 點的座標之函數所定義的曲線來切割該盒狀空間。 申請專利範圍第4項之影像產生以,其中該影像轉換 早^ Μ構成該等:維料的複數個影像區域的屬性 著每個4等影像區域不同的速度於時間中來改變該 十刀割表面66 士》 一 、式,用以部份地改變欲從該影像資料輸出 單元中輸出的新移動圖像像框的速率。 141°!請專利範圍第4項之影像產生裝置,其中定義該表面 、日寸間值包括過去或未來中至少—者,以此刻作為其中 心 〇 15.—種影像產生方法,其包括: 攸硬數個原來的移動圖像中内含的複數個像框中至少 —、十對内含於該等原來的移動圖像内之一目標像 j 2每個衫像的圖像中位置來讀出對應於該圖像中位 O:\88\88542.DOC 1238977 合成該讀出資料;以及 错:連續輪出以該合成處理所形成的複數個 成複數個新的移動圖像。 开> 16. 如申請專利範圍第15項之影像 I, ^ T垓讀屮t 式係依照每個圖像中介番& 誃hm 中彳置的座“來為該位置決定出欲從 4複數個像框中哪個至少—者中讀出該資料。 17. 如申請專利範圍第15項之影像產生方法,其中該 ==複數個像框中至少—者中内含的影像的屬 陸值依比例來合成該讀出資料。 18. 抑種影像產生裝置,其包括一影像記憶體、一影像轉換 早疋以及一影像資料輸出單元, 其中’該影像記憶體會連續地記錄每個像框的複數個 原來的移_像’以及該影像轉換單元可針對—目標像 框中内含的影像的每個圖像中位置從被記錄於該影像記 憶體中至少-像框中讀出對應於該圖像中位置的資料並 且合成該等資料以及該影像資料輸出單元則可連續地輸 出由該影像轉換單元所合成且重建的像框。 19.如申請專利範圍第18項之影像產生裝置,其中該影像轉 換早兀可依照每個圖像中位置的座標來為該位置決定出 該至少一像框。 2〇·如申請專利範圍第19項之影像產生裝置,其中該座標正 交於一掃描線。 21.如申請專利範圍第18項之影像產生裝置,其中該影像轉 換單元可依照每個圖像中位置的屬性值來為該位置決定 O:\88\88542.DOC 1238977 出該至少一像框。 22::睛:::範圍第18項之影像產生裝置,其中該影像轉 至小:像/數個預定時間間隔處的複數個像框判為該 位二! 其中該影像轉換單元可依照每個圖像中 ::置的屬性值來針對該位置依比例來合成該等複數個像 23·=申請專利範圍第18項之影像產生裝置,其中針對該目 中内杨像的每個圖像t位置,㈣ 換早7°可依照其位置的屬性值來應用-指向效果。 請專利範圍第21項之影像產生裝置,其中該影像轉 '換早疋可依料個圖像中位置的屬性值來針對該位置將 =等預定像框的複數個時„隔設在複數個離散的_ 間隔中。 氙如申請專利範圍第18項之影像產生裝置,其中該目標像 框或该至少-像框係相對於—基準像框於時間中為前一 個像框或於時間中為後—個像框中至少—者,本質上1 =像框應該已經由該影像資料輸出單元從該影像㈣ 體中輸出。 況如申請專利範圍第18項之影像產生裝置,其中針對該目 標像框巾内含㈣特㈣每個圖像巾位置,該影像轉 換單元可依照其屬性值來加上一預定的像素值。 27.如申請專利範圍第9項之影像產生褒置,其中該屬性值係 一深度值。 說如申請專利範圍第21項之影像產生裝置,其中該屬性值 O:\88\88542.DOC 1238977 係一深度值。 29· =申請專利範圍第9項之影像產生裝置,&中該屬性值係 —用以表示相對於一預期影像圖案之近似等級的數值。 〇·如I請專利範圍第21項之影像產生裝置,其中該屬性值 係—用以表示相對於-預期影像圖案之近似等級的數 值。 士申明專利範圍第9項之影像產生震置,其中該屬性值係 、表示衫像區域於時間中的變化程度的數值。 处如:請專利範圍第21項之影像產生裝置,其中該屬性值 係—用以表示一影像區於時間中的變化程度的數值。 33.如申請專利範圍第9項之影像產生裝置,其中該屬性值係 一像素值。 /申明專利範圍第2 1項之影像產生裝置,其中該屬性值 係一像素值。 35. =申請專利範圍第4項之影像產生裝置,其進-步包括一 影像輸入單元,其可獲得—照相機所拍攝之複數個影像 作為該等原來的移動圖像,並且將該等影像送至該影像 記憶體。 36. 如申請專利範圍第18項之影像產生裝置,其進—步包括 —影像輸入單元,其可獲得一照相機所拍攝之複數個影 像作為該等原來的移動圖像,並且將該等影像送至該影 像記憶體。 37·如申請專利範圍第18項之影像產生裝置,其進一步包括 一設定值輸入單元,其會透過使用者操作來獲得用於決 O:\88\88542.DOC 1238977 弋该至少一像框的設定值輸入,其中該影像轉換單元可 依照該設定值輸入單元所獲得的設定值來決定該至少一 像框。 38. 如申請專利範圍第28項之影像產生裝置,其中當被顯示 於一螢幕上時,可以一條表示内含於該等二維影像中之 複數個點的座標和其複數個時間值之間之關係的曲線來 表示該設定值輸入單元所獲得的設定值。 39. 如申請專職圍第28項之影像產生裝置,其巾該設定值 輪入單兀可獲侍該等二維影像中的複數個特徵點的座標 作為該㈣值^其巾㈣像轉換單元可依照該等特徵 :點的座標來決定該至少一像框。 種用以具現一程式的電腦可讀㈣記錄媒冑,該程式 包括下面的功能: 將複數個原來的移動圖像看作可沿著時間轴變化的複 數個二維影像,當以虛擬的方式將該等移動圖像表示成 由該等二維影像和該時間軸所構成之盒狀空間時,可利 :3有時間值各互不相同之複數個點的表面來切割該 將出現在該切割表面上的影像投影於時間軸方 平面上;以及 於時間中來改變兮士 ^ 夂4切軎彳表面,輸出出現在該平面上 影像,當作複數個新的移動圖像。 41 _ 種用以具現一程式的雷腺^p *而 々八妁包細可躓取的記錄媒體, 包括下面的功能: Λ王 O:\88\88542.DOC 1238977 針對每個像框將複數個原來的移動圖像上的資料連續 地記錄到一記憶體中; 從被記錄於該記憶體中的複數個像框中至少一者中, 針對内含於欲被輸出之一像框中的一影像的每個圖像中 位置來讀出對應於該圖像中位置的資料; J用該欲被輸出的像框來合成該讀出資料;以及 藉由連續輪出該等合成像框, 動圖像。 豕I用以構成稷數個新的移 O:\88\88542.DOC
TW092129646A 2002-10-25 2003-10-24 Method and apparatus for generating new images by using image data that vary along time axis TWI238977B (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002311631 2002-10-25
JP2003326771A JP4114720B2 (ja) 2002-10-25 2003-09-18 画像生成方法および画像生成装置

Publications (2)

Publication Number Publication Date
TW200419466A TW200419466A (en) 2004-10-01
TWI238977B true TWI238977B (en) 2005-09-01

Family

ID=32179106

Family Applications (1)

Application Number Title Priority Date Filing Date
TW092129646A TWI238977B (en) 2002-10-25 2003-10-24 Method and apparatus for generating new images by using image data that vary along time axis

Country Status (7)

Country Link
US (1) US7990385B2 (zh)
EP (2) EP2334051B1 (zh)
JP (1) JP4114720B2 (zh)
KR (1) KR100700262B1 (zh)
AT (1) ATE542367T1 (zh)
TW (1) TWI238977B (zh)
WO (1) WO2004039067A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232768B2 (en) 2005-04-12 2022-01-25 Douglas G. Richardson Embedding animation in electronic mail, text messages and websites
US7456904B2 (en) * 2005-09-22 2008-11-25 Pelco, Inc. Method and apparatus for superimposing characters on video
JP2007228019A (ja) * 2006-02-21 2007-09-06 Olympus Corp 撮像装置
JP4627052B2 (ja) 2006-07-06 2011-02-09 株式会社ソニー・コンピュータエンタテインメント 画像に連携した音声出力方法および装置
JP4227639B2 (ja) * 2006-10-26 2009-02-18 株式会社テンヨー 手品補助玩具
US8405661B2 (en) * 2007-02-23 2013-03-26 International Business Machines Corporation Method for modeling and animating object trajectories in three-dimensional space
EP2187326A4 (en) * 2007-09-04 2014-09-17 Fujitsu Ltd DATA RECORDING PROGRAM, DATA RECORDING DEVICE, DATA RECORDING METHOD, AND RECORDING MEDIUM
DE112009004615T5 (de) * 2009-03-31 2012-08-23 Mitsubishi Electric Corporation Animationsbearbeitungsvorrichtung und Animationswiedergabevorrichtung
JP2011139276A (ja) * 2009-12-28 2011-07-14 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
WO2011093013A1 (ja) * 2010-01-29 2011-08-04 パナソニック株式会社 情報処理装置及び情報処理方法
US8811801B2 (en) * 2010-03-25 2014-08-19 Disney Enterprises, Inc. Continuous freeze-frame video effect system and method
US8391604B2 (en) * 2010-07-22 2013-03-05 Sharp Laboratories Of America, Inc. Camera-vision systems, used in collaboration whiteboards, for pre-formatted, reusable, annotatable, movable menus and forms
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
US9609236B2 (en) 2013-09-16 2017-03-28 Kyle L. Baltz Camera and image processing method
JP2015186235A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 イメージセンサ、および電子装置
JP6341814B2 (ja) * 2014-09-08 2018-06-13 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP6415330B2 (ja) * 2015-01-15 2018-10-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
WO2018106608A1 (en) 2016-12-05 2018-06-14 Ring Inc. Passing vehicle filters for audio/video recording and communication devices
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4240113A (en) * 1976-10-14 1980-12-16 Micro Consultants, Limited Picture manipulation in video systems
GB9109999D0 (en) * 1991-05-09 1991-07-03 Quantel Ltd Improvements in or relating to keying systems and methods for television image processing
US5459830A (en) 1991-07-22 1995-10-17 Sony Corporation Animation data index creation drawn from image data sampling composites
JPH0778804B2 (ja) * 1992-05-28 1995-08-23 日本アイ・ビー・エム株式会社 シーン情報入力システムおよび方法
US5926186A (en) * 1992-09-10 1999-07-20 Fujitsu Limited Graphic editing apparatus and method
JP2591424B2 (ja) 1993-05-17 1997-03-19 日本電気株式会社 画像メモリ装置
US6064355A (en) 1994-05-24 2000-05-16 Texas Instruments Incorporated Method and apparatus for playback with a virtual reality system
JPH0935040A (ja) * 1995-07-19 1997-02-07 Atr Ningen Joho Tsushin Kenkyusho:Kk 物体移動軌跡抽出のための画像処理方法
JP3499729B2 (ja) 1996-10-04 2004-02-23 日本電信電話株式会社 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体
US5963203A (en) * 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
US6215505B1 (en) * 1997-06-20 2001-04-10 Nippon Telegraph And Telephone Corporation Scheme for interactive video manipulation and display of moving object on background image
JP4462654B2 (ja) * 1998-03-26 2010-05-12 ソニー株式会社 映像素材選択装置及び映像素材選択方法
US6351557B1 (en) * 1998-04-03 2002-02-26 Avid Technology, Inc. Method and apparatus for color manipulation
JPH11331795A (ja) 1998-05-14 1999-11-30 Nec Corp Tv会議画像データ制御システム
EP0961230A3 (en) * 1998-05-29 2001-03-28 Canon Kabushiki Kaisha Image processing method and apparatus therefor
JP4226730B2 (ja) * 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
US6665342B1 (en) * 1999-07-02 2003-12-16 International Business Machines Corporation System and method for producing a still image representation of a motion video

Also Published As

Publication number Publication date
EP1554871B1 (en) 2012-01-18
KR100700262B1 (ko) 2007-03-26
WO2004039067A1 (en) 2004-05-06
JP2004166246A (ja) 2004-06-10
US20040130637A1 (en) 2004-07-08
EP2334051B1 (en) 2013-03-13
US7990385B2 (en) 2011-08-02
KR20050062558A (ko) 2005-06-23
ATE542367T1 (de) 2012-02-15
EP1554871A1 (en) 2005-07-20
JP4114720B2 (ja) 2008-07-09
TW200419466A (en) 2004-10-01
EP2334051A1 (en) 2011-06-15

Similar Documents

Publication Publication Date Title
TWI238977B (en) Method and apparatus for generating new images by using image data that vary along time axis
JP6785282B2 (ja) アバタによる生放送方法及び装置
JP3725524B2 (ja) コンピュータディスプレイ画像を生成する方法ならびに画像データを生成するコンピュータ処理システムおよびグラフィックスプロセッサ
US7852370B2 (en) Method and system for spatio-temporal video warping
US8698796B2 (en) Image processing apparatus, image processing method, and program
US20210225080A1 (en) Information processing apparatus, information processing method, and storage medium
JP7353782B2 (ja) 情報処理装置、情報処理方法、及びプログラム
TW200844901A (en) Banana codec
JP2010154422A (ja) 画像処理装置
JP7459870B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US6816159B2 (en) Incorporating a personalized wireframe image in a computer software application
JP5741917B2 (ja) 画像表示装置及び画像処理方法並びに画像処理プログラム
JP4857601B2 (ja) シミュレーション画像生成装置、方法、演算プログラム、及びそのプログラムを記録した記録媒体
JP4987124B2 (ja) グラフィックデータ提供方法及びグラフィックデータ表示方法
JP2012120080A (ja) 立体写真撮影装置
JP2006072805A (ja) 3次元モデル表示装置及び3次元モデル表示プログラム
JPWO2014020801A1 (ja) 画像処理装置および画像処理方法
JP2021051537A (ja) 画像表示システム、方法、およびプログラム
Chen et al. The comparison and analysis of several common VR panoramic display methods
JP4662238B2 (ja) 立体視用印刷物の製造方法、立体視用印刷物、画像生成方法及びプログラム
奥屋武志 Real-Time Rendering Method for Reproducing the Features of Cel Animations
JP2009140237A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2020095465A (ja) 画像処理装置、画像処理方法、及び、プログラム
CN101123692A (zh) 使用沿时间轴改变的图像数据产生新图像的方法和装置
Onwodi et al. Image Design and Animation