TW200922324A - Image processing device, dynamic image reproduction device, and processing method and program in them - Google Patents

Description

200922324 九、發明說明： 【發明所屬之技術領域】 特別是關於可再生動 該等之處理方法及使 本發明係關於一種圖像處理裝置 畫之圖像處理裝置、動畫再生裝置 電服執行該方法之程式。 【先前技術】 近年來數位攝影機普及。因 的活動中，往往父…：子女就讀之幼稚園 # 荨係以數位攝影機攝影該活動的情 2此種活動中’自父母等進行攝影情況下，多是以自己 的子女為主來攝影，不過為了瞭解其活動的情形，適宜攝 影其活動之情景等也不少。 、就如此攝影之動畫，如在家庭内使用動畫再生裝置可 以其顯示器再生。#閱覽以自己子女為主而攝影之動晝情 況下’係再生主要包含自己子女之動晝。但是再生時間長 情況下’京尤同一對象的動畫持續閱覽時，隨著再生時間經 過，閱覽者對再生中之動畫的興趣減低。因此，為了提高 閱覽者之興趣，而考慮顯示與現在顯示中之圖像相關連的 其他圖像等。 如提出有與動晝影像一起，配合該動晝影像之進行而捲 動顯示視頻索引（靜止晝）的圖像顯示方法（如參照專利文獻 1)。 [專利文獻1]日本特開平n_289517號公報（圖7) 【發明内容】 [發明所欲解決之問題] 131699.doc 200922324 抓用上述之先前技術，因為係將動晝影像作為基準之過 去、現在、未來的靜止圖像作為視頻索引來顯示，所以可 與現在顯示之動晝一起閱覽過去、現在、未來之靜止圖 像。因而’如閱覽在子女就讀之幼雅園的活動中攝影之動 晝情況下，即使現在之動畫係顯示自己子女時，作為過去 或未來之靜止圖像，仍可顯示與現在之動晝相關連之其活 動的情景等。該情況下’因為可看到自己子女之情形，、並 !:看到其活動之情景等，所以掌握其活動情形容易，可 七尚閱覽者之興趣。 但是’上述先前技術於現在之動晝係顯示自己 下，作為過去或未來之靜 豕有日寻不顯不其活動之情 “ ’而係顯示與現在之動畫大致相同的内容 下，維持閱覽者對動畫之興趣很重 +月况 影對象之中心人物等，並適宜掌握”因此，…覽攝 叱, 並週且旱握該中心人物周圍的情 ^，即可輕易地掌握其動畫内 之興趣。 7』钕回對其動畫 因此，本發明之目的為閱覽藉由 時，輕易地掌握其動畫内容。 羯〜之動畫 [解決問題之技術手段] 本發明係為了解決上述問題而完成者， 種圖像處理裝置及其處理方法以及方面係一 式，盆特抒… 腦執行該方法的程 署 輸入機構，其係輸入藉由攝像梦 置所攝像之攝像動畫；變換資訊算 攝像裝 上述攝像動蚩夕笛摄 ，、係依據構成 攝像動“第一攝像圖像與在上述攝像動畫之時間轴 131699.doc 200922324 中，位於比上述第一攝像圖像後面之第二攝像圖像，算出 關於上述第-攝像圖像及上述第二攝像圖像之變換資訊； 圖像保持機構，其係保持包含上述第一攝像圖像，並在上 述攝像動畫之時間軸中’位於比上述第二攝像圖像前面之 各圖像作為履歷圖像；圖像變換機構，其係依據上述算出 之變換資訊，變換上述履歷圖像及上述第二攝像圖像中之 至少一方；操作受理機構，其係受理選擇成為上述圖像變 換機構之變換對象的圖像之選擇操作；圖像合成機構，其 係依上述又理之選擇操作，合成藉由上述圖像變換機構變 換至v彳之上述履歷圖像及上述第二攝像圖像而作為合 成圖像：輸出機構，其係輸出上述合成圖像；及控制機 構，其係使上述合成圖彳务分& μ , 風圆像依序輸出至上述輸出機構。藉 此&成以下作用.依據第一攝像圖像與第二攝像圖像算 出變換資訊，並依據該算出之變換資訊變換履歷圖像及第 一攝像圖像中之至少—大 方，依受理之選擇操作合成變換至 少一方之履歷圖像及第Μ 、 一攝像圖像，而使該合成圖像依序 輸出。 Τ 此外，該第一方面中 向甲亦可上述圖像合成機構將藉由上 述圖像變換機構變換至少— Β田上 方之上述第一攝像圖像重寫於 上述履歷圖像上而合成作，人丄 里馬於 战作為上述合成圖像，並使上述合成 圖像作為新的履歷圖俊 成 吸此園像而保持於上述圖像保持機構。藉 此’造成以下作用：將s 糟 电法 至^一方被變換之第二攝像圖像重 寫於履歷圖像上而合成竹i人1 固像重 作為新的履歷圖像。 寸X 口成圖像 131699.doc 200922324 此外’該第-方面中，亦可上述圖像合成機構藉由依上 述履歷圖像變換上述被變換之第二攝像圖像的畫f，將藉 由上述圖像變換機構所變換之第二攝像圖像重寫於上述履 歷圖像上而合成。拉！_!_ 、*t _!、 ^ 镥此，把成以下作用：藉由依履歷圖像 變換被變換之第二攝像圖像的畫質，而將第二攝像圖像重 寫於履歷圖像上而合成。 此外’該第一方面中，亦可上述圖像合成機構將上述晝 質被變換前之藉由上述圖像變換機構所變換之第二圖像重 寫於上述新的履歷圖像上而作為新的合成圖像，上述控制 機構使上述新的合成圖像依序輸出至上述輸出機構。藉 此，造成以下作用··將畫質變換前之第二圖像寫上新的履 歷圖像，作為新的合成圖像，並依序輸出該新的合成圖 像。 此外，該第一方面中，亦可進一步包含輸出圖像取出機 構，其係取出從保持於上述圖像保持機構之上述新的履歷 圖像輸出至上述輸出機構之輸出圖像，上述圖像合成機構 將上述畫質被變換前之藉由上述圖像變換機構所變換之第 圖像重寫於上述輸出圖像上而合成作為新的輸出圖像， 上述控制機構使上述新的輸出圖像依序輸出至上述輸出機 構’此’造成以下作用：從保持於圖像保持機構之新的 履歷圖像取出輸出圖像，並將畫質被變換前之第二圖像重 寫於輸出圖像上而合成作為新的輸出圖像，而依序輸出該 新的輸出圖像。 此外，該望_ ^ 弟方面中，亦可上述輸出圖像取出機構依據 131699.doc 200922324 上述變換後之第二攝像圖像在上述圖像保持機構之保持區 域的位置及大小與上述輸出圖像在上述保持區域之位置及 大小’算出將上述畫質被變換前之藉由上述圖像變換機構 所變換之第二圖像重寫於上述輸出圖像的上位置及大小， 上述圖像合成機構依據上述算出之位置及大小，將上述書 夤被變換前之藉由上述圖像變換機構所變換之第二圖像重 寫於上述輸出圖像上而合成。藉此，造成以下作用··依據 第二攝像圖像在保持區域之位置及大小，與輸出圖像在保 ^域之位置及大小’算出將變換畫質前之前述第二圖像 重寫於輸出圖像上之位置及大小，將畫質被變換前之第二 圖像重寫於輸出圖像上而合成。 一 含於上述新:屬：面中’亦可上述輸出圖像取出機構在包 :Λ 的歷圖像之上述變換後的第二攝像圖像之至 〉'一口p分超出取出上述輪屮 ^出上这輸出圖像用之區域即μ區域外之 障况下’使上述輪出區域移動於上述超出之 向’而從上述新的履歷圖像取出上 。为的方 成以下作用··在包含二=上34輸出圖像。藉此，造 牡匕3於新的履歷圖像之第二攝 -部分超出輸出區域之外情況下，使 超出之圖像部分βία ,出區域移動於該 豕丨刀的方向’而取出輸出圖像。 此外，該第—方面中，亦 中的至少一方。藉+ 1 这晝質為解像度及壓縮率 韁此’造成以下作用.並 變換被變換之第_ Ά ’糟由依履歷圖像而 換之弟—攝像圖像的解 方，而將第二攝像圖像寫上而合成於履二：中之… 此外，該第—方& 士 取&履歷圖像。 ，亦可包括輪出圖像取出機構，其 I31699.doc 200922324 係取出作為從保持於上述圖像保持機構之上述新的履歷圖 像，使依據上述算出之變換資訊而算出之區域中包含的圖 像輸出至上述輸出機構的輸出圖像，上述圖像合成機構將 藉由上述圖像變換機構所變換前的上述第二攝像圖像重寫 於上述輸出圖像上而合成作為新的輸出圖像，上述控制機 構使上述新的輸出圖像依序輸出至上述輸出機構。藉此， 造成以下作用：從新的履歷圖像取出依據變換資訊而算出 之區域中包含的圖像，作為輸出圖像，將變換前之第二攝 f像圖像重寫於輸出圖像上而合成作為新的輸出圖像，錢 該新的輸出圖像依序輸出至上述輸出機構。 此外，該第—方面中，亦可上述輸出圖像取出機構依據 上述算出之變換資訊，變換上述輸出圖像於與上述第二攝 像圖像藉由上述圖像變換機構之變換方向相反的方向上 述圖像合成機構將藉由上述圖像變換機構所變換前的上述 ^二攝像圖像重寫於上述變換後之輸出圖像上而合成作為 新的輸出圖像。藉此’造成以下作用：依據變換資訊，變 換輸出圖像於與第二攝像圖像之變換方向相反的方向並 將變換前之第二攝像圖像重寫於變換後之輸出圖像上而合 成作為新的輸出圖像。 μ此外’該第-方面中，亦可上述圖像變換機構依據上述 算出之變換資訊，變換上述履歷圖像於與上述第二攝像圖 像之變換方向相反的方向。藉此，造成以下作用：依據變 換資訊而變換履歷圖像於與第二攝像圖$之變換方向相反 的方向。 131699.doc -10- 200922324 此外，该第一方面中，亦可上述變換資訊包含關於放大 縮小、移動及旋轉的要素，上述圖像變換機構依據上述算 出之變換資訊中包含的關於移動及旋轉之要素，變換上述 第二攝像圖像，並且依據上述算出之變換資訊中包含的關 於放大縮小之要素，來變換上述履歷圖像。藉此，造成以 下作用：依據變換資訊中包含之關於移動及旋轉的要素， 來變換第二攝像圖像，並且依據變換資訊中包含之關於放 大縮小的要素’來變換履歷圖像。 此外，該第一方面中，亦可上述圖像變換機構變換上述 履歷圖像於與上述第二攝像圖像之變換方向相反的方向。 藉此，造成以下作用：變換履歷圖像於與第二攝像圖像之 變換方向相反的方向。 此外’該第一方面中’亦可上述變換資訊算出機構係構 成上述攝像動畫之每個幀依序算出上述變換資訊，上述圖 像變換機構係上述每個幀變換上述履歷圖像及上述第二攝 像圖像中的至少-方，上述圖像合成機構係上述每個幢依 序合成藉由上述圖像變換機構變換至少一方之上述履歷圖 像及上述第二攝像圖<象，上述控制機構係上述每個幅使上 述合成圖像依序輸出。藉此，造成以下作用：構成攝像動 i之每個Ί»貞依序算出變換資訊’每個巾貞變換履歷圖像及第 一攝像圖像中之至少一方’每個賴依序合成變換至少一方 之履歷圖像及第一攝像圖像’每個幢使合成圖像依序輸 出。 此外’該第—方面中’亦可上述第-攝像圖像及上述第 131699.doc 200922324 二攝像圖像分別係對應於構成上 的圓像。藉此H ㈣畫之連續2㈣ 而連續之侧圖像，進:算於構成攝像動晝 像、輸出合成圖像。料出相資訊、合成攝像圖 一二^該第一方面I亦可上述變換資訊係拍攝上ϋ第 一攝像圖像或上述第二攝 攝上述第 訊，且上述變換資訊算出機構藉：， 及上述第二攝像圖像， 这弟—攝像圖像 ./ 以下作用··藉由比較第一摄德圖你 耜此，造成 拍攝第-攝像㈣/ 第二攝像圖像，算出 訊。 攝像圖像時攝像裝置的移動資 此外，該第-方面t，亦 述第一攝像圖#七u , 交挟貝〇fl係關於拍攝上 述弟紹象圖像或上述第二攝僻上 攝物體之相對移動量的移動次…f上丈攝像裝置與被 藉由比較上述第一摄後_栘 變換貝矾异出機構 上述變換資訊夢Γ 述第二攝像圖像，而算出 貝0κ藉此，造成以下作用.拉± LL h 圖像及第二攝像圖像，而算出關於拍攝;：第-攝像 二攝像圖像時攝像裝置與被攝物體之相對移動量：或第 訊。 砂助量的移動資

此外，該第—古c I 方面中，亦可上述變換資曾 含：特徵點抽出機I # 11 π出機構包 上述第二攝像圖像之夂 攝像圖像及 m圃像之各像素，抽出上述第 述第二攝像圖像中之特徵點；移動量算出機構二:及上 上述所抽出之各特徵點，算出關於上述第-攝二^ 131699.doc •12- 200922324 述第二攝像圖像之移動量；及變換參數 由依據上述所算出之移動量算出特定之；㈣數，Π 上述變換資訊。藉此，造成以 > 而异出 圖像及第-摄用·依據構成第一攝像 攝像圖像中之特徵點，藉由依據該像圖像，第二 於第-攝像圖像及第二攝像圖 特徵點异出關 動里#出特疋之變換參數’而算出變換資訊。 二理方面中，亦可上述特徵點抽出機構係由多 核〜處理态所構忐，、+、夕4十 . 媒你U 成上述夕核心處理器係就構成上述第- 攝像圖像及上述第二攝像圖像 實―SIMD運算 而抽出上述第一攝像圖像及上述第二攝像 圖像中之特徵量。麩U、 矛攝傢 里ϋ此’造成以下作用：藉由多核心處理 器就構成第—攝像圖像及第二攝像圖像之各像素，藉由 S議運算實施平行處理，而抽出第一攝像圖像及第二攝 像圖像令之特徵量。 此外，該第一方面中，-Α--ρ , 亦可上述移動量算出機構係由多 核心處理器所構成，卜β夕从 成上述夕核心處理器係就上述抽出之各 特徵點’藉由SIMD!嘗香+α τ 運异實細平行處理，而算出關於上述 第一攝像圖像及上述第二攝像圖像之移動量。藉此，造成 、下乍^藉由夕核心處理器就抽出之各特徵點藉由 SIMD運算實知平订處理，而算出關於第一攝像圖像及第 二攝像圖像之移動量。 此外忒第—方面中’亦可包括壓縮上述攝像圖像之壓 縮機構，輸出上述人忐m+ 疋。成圖像時之上述履歷圖像作為壓縮圖 I3J699.doc 200922324 像，且上述第二攝像圖像作為非壓縮圖像或是比被壓縮之 上述履歷圖像兩解像度之攝像圖像。藉此，造成以下作 用：將輸出合成圖像時之履歷圖像作為壓縮圖像，且將第 -攝像圖像作為非壓縮圖I或是比被壓縮之履歷圖像高解 像度之攝像圖像。 此外，本發 ' 证興Ί豕处一 π且久六処狂 方法以及使電腦執行該方法的程式，其特徵為包括：動晝 取得機構，其係取得賦予變換構成藉由攝像裝置所攝像: 攝像動晝的第-攝像圖像及第二攝像圖I中之至少一方用 的變換資訊關連而記錄之上述攝像動晝；變換資訊抽出機 構，其係從上述取得之攝像動晝抽出上述變換資訊；圖像 保持機構，其係保持包含上述第—攝像圖像，並在上 時間袖中，位於比上述第二攝像圖像前面之各圖 像作為履請象；圖像變換機構，其係依據上述抽出之變 換資訊，變換上述履歷圖像及上述第二攝像圖像中 :方：操作受理機構，其係受理選擇成為上述圖像變換機 構之變換對㈣_像之料彳 、 上述受理之選擇操作，合成藉由上述圖 少-方之上述履歷圖像及上述第_攝=換機構變換至 像;輸出機構，其係輸出上述合圖=作為合成圖 係使上述合成圖像依序^ I制機構，其 以下作用：依據抽出之二=出機構。藉此，造成 圖像中至少-方，並仿^ 變換履歷圖像及第二攝像 之屈，受理之選擇操作合成變換至小七 之履歷圖像及第二攝像圖 父換至J一方 像❿使該合成圖像依序輪出。 131699.doc -14· 200922324 :外纟發明之第三方面係一種圖像 方法以及使電腦執行該方法 n、處理 資訊記憶機構，i係構成η 、、特徵為包括：變換 ... 成上述攝像動畫之每個幀相關連地 旧…… 像裝置所攝像之攝像動畫的第-攝像 =及:二_像中至少_方用的變換資訊;動畫= 攝像動畫；變換#訊 取得與上述取得之攝像動畫相關連地記憶於 = 第-攝像圖後Γ 保持機構，其係保持包含上述 攝像圖像，並在上述攝像動 述第二攝像圖像前面之各旦 ' ，位於比上 欉，盆你饮诚 圖像作為履歷圖像；圖像變換機 構，其係依據上述取得之變 豕ι換機 上述第二攝像圖像中之至^，變換上述履歷圖像及 理選擇成為上述圖像變換機槿操作受理機構，其係受 作；圖像合成機構，其係依：圖像之選擇操 由上述圖像變換機構變換至里之選擇操作，合成藉 第二攝像圖像而作為合成=二之上述履歷圖像及上述 合成圖像；及控制機構，1 ^出機構’其係輪出上述 上述輸出機構。藉此，造;以述合成圖像依序輸出至 訊變換履歷圖像及第二攝像圖像中：少之變換資 選擇操作合成變換至少一 並依文理之 而使該合錢像依序心。像及第-攝像圖像， 此外，本發明之第四 方法以及使電腦執行^ 種圖像處理裝置及其處理 1史％服執仃該方法的， 輸入機構，其係輪入藉 ，、寺徵為包括··動畫 由攝像裝置所攝像之攝像動書； 131699.doc 200922324 換資訊算出拖& ^ ^ ，/、係將構成上述攝像動畫之攝像圖像中 攝i圖#像圖像作為基準，每個攝像圖像算出變換其他 肖之變換資訊’·圖像變換機構，其係將構成上述 象動畫：攝像圖像中至少!個攝像圖像作為基準圖像， 據4算出之變換資訊變換關於該變換資訊之攝像圖 •，圖像保持機構，其係保持上述變換後之上述攝像圖 像；及控制機構，其係使最後保持於上述圖像保持機構之 上述攝像圖像依序輸出至上述輸出機構。藉此，造成以下 =用將構成攝像動畫之攝像圖像中至少ι個攝像圖像作 為基準，每個攝像圖像算出變換其他攝像圖像用之變換資 ★ 攝像圖像中至少!個攝像圖像作為基準圖像，依據 變換貝況變換攝像圖像，保持該變換後之攝像圖像，並使 最後保持之攝像圖像依序輸出。 此外，本發明之第五方面係一種動畫再生裝置及其處理 方法以及使電腦執行該方法的程式，其特徵為包括：動書 輸入機構，其係輸入藉由攝像裝置所攝像之攝像動畫；變 換資訊算出機構，其係依據構成上述攝像動畫之第一攝像 圖像與在上述攝像動畫之時間軸中，位於比上述第一攝像 圖像後面之第二攝像圖像’算出關於上述第一攝像圖像及 上述第二攝像圖像之變換資訊；圖像保持機構，其係保持 包含上述第-攝像圖像’並在上述攝像動畫之時間抽中 位於比上述第二攝像圖像前面之各圖像作為履歷圖像；圖 像變換機構’其係依據上述算出之變換資訊，變換上述履 歷圖像及上述第二攝像时中之至少操作受理機 131699.doc 200922324 構〃係又理選擇成為上述圖像變換機構之變換對象的圖 像之^擇操作；圖像合成機構，其係依上述受理之選擇操 作σ成藉由上述圖像變換機構變換至少一方之上述履歷 圖像及上述第二攝像圖像而作為合成圖像；顯示機構，ί ::示上述合成圖像；及控制機構，其係使上述合成圖像 依序顯示於上述顯示機構。藉此，造成以下作用：依據第 一攝像圖像與第二攝像圖傻苴 僻诼圖像异出變換貧訊，並依據該算出 之變換資訊變換履歷圖像及第二攝像圖像中之至少一方， 依受理之選擇操作人成、鐵& w呆作σ成變換至少-方之履歷圖像及第二攝 像圖像，而使該合成圖像依序顯示。 此外，本發明之第六方面係一種圖像處理裝置及其處理 方法以及使電腦執行該方法的程式，其特徵為包括：動* ^入機構’其係輸入藉由攝像裝置所攝像之動畫，作為攝 像動畫，攝像動書記情撼描^ ^ 己隐機構，其係記憶上述攝像動晝；變 換資訊算出機構，其係將構成上述攝像動畫之攝像圖像中 ΐ少1㈣像圖像作為基準，構成上述攝像動晝之每㈣ 算出k換其他攝像圖像用之變 # / ^ 雯換賣sfL，及s己錄控制機構， 其係上述母個幀相關連地將 旧地將上述算出之變換資訊 述攝像動晝記憶機構。藉此， 化成以下作用：將構成攝傻 動晝之攝像圖像中至少面 稱玖攝像 主乂 1個攝像圖像作為基準，每個 出變換其他攝像圖像用之變換 、 錄該算出之變換資訊。貝訊而母個刪連地記 此外’本發明之第七方 方面係一種圖像處理裝置及其處 方法以及使電腦執行該方法 、地理 忐的程式，其特徵為包括：動書 131699.doc 200922324 輸入機構，其係輪入囍 换紅夺 #由攝像裝置所攝像之動書，^ 像動畫；元資科記憶機 —作為攝 兀舅料，變換資訊算出媳 象動畫之 攝像圖像中至少i個攝 、係將構成上述攝像動晝之 晝之每m貞算出變換发他攝:作為基準’構成上述攝像動 控制機構，其係將:述:::=之變換資訊;及記錄 上述幀相關連，作為元眘 動畫及 f 構。藉此，造成以=用^記餘上述元資料記憶機 成下作用.將構成攝像動晝之攝像圖後心 至少1個攝像圓像作為美Μ 像令 像用之㈣“ 算出變換其他攝像圖 變換#訊，將該算出之變換資訊 關連，作為元資料而記錄。 -及鳩相

卜省第七方面中’亦可上述元資料至少包含以上 、生像裝置之座標系統記述之位置f訊及姿勢資訊。藉此，L 下作用：記錄至少包含以上述攝像褒置之座標系統 述之位置資訊及姿勢資訊的元資料。 [發明之效果] 藉由本發明’可取得閱覽藉由攝像裝置所攝影之 時，可輕易掌握其動畫之内容的優異效果。 【實施方式】 其次，就本發明之實施形態，參照圖式詳細地說明。 ▲圖1係顯示本發明之實施形態中的圖像處理裝置1〇〇之功 能結構例的區塊圖。圖像處理裝置100具備：動晝輸入部 110、攝像工作檢測部12〇、記錄控制部130、動畫記憶呷 0動晝取得部140、攝像工作參數抽出部1 50、圖像變 131699.doc -18- 200922324 190' Λ圖像記憶體Μ、圖像合成部180、顯示控制部 4不部191與操作受理部195。圖像處理裝置_如可 二可就數位攝影機等攝像裝置所攝影之動晝，藉由影像 刀而抽出特徵量，使用該抽出之特徵量實 理的個人電腦而實現。 像處 斤動旦輪入部11()係輸入藉由數位攝影機等攝像裝置（以下 間稱為「相機」）所攝像之動畫的動晝輸入 之動畫輸出至攝像工作檢測部12〇。 輸入 壹攝像卫作檢測部12G係分析從動畫輸人部11G輸出之動 旦來檢測攝影時相機之移動資訊（攝像卫作）者，且具 Γ : ^徵點抽出部121、光學流計算部122及攝像工作參數 2出邛123。亦即，攝像工作檢測部12〇從 =特徵點，並且抽出對該特徵點之光學㈣= 里刀析對該抽出之特徵點的光學流’選擇呈現支配性 法動之特徵點，依據對呈現該支配性移動之特徵點的光學 測相機之移動。在此，所謂支配性之移動，係指在 、：個特徵點之光學流中，比較多數之光學流顯示 則性之移動。 特ft占抽出部121係從對應於構成從動晝輸入部輸出 :動畫的巾貞之圖像抽出特徵點，並將抽出之特徵點輸出至 =流：算部122者。在此，特徵點抽出部l2i就構成從動 ::二部m輪出之動畫的幢中之最前.貞，從圖像全體抽 妒點’就最前以外之t貞，從與對應於之前㈣之圖像 父’為新攝影之區域部分抽出特徵點。另外，特徵點如 131699.doc -19- 200922324 I抽出在縱方向或橫方向邊緣之梯度強之 稱為「角落點」。以下稱Aμ 般而5 欣 」 稱為角洛點」）。該角落點係朵μ 机5十异時強的特徵點，可使用邊冰予 〆角落點之抽出，參照圖2及圖3詳細地說 係特徵點抽出部121就最前之幀圖 該例 點，紗导a、 L 仉圖像全體抽出特徵 ，、抽出:Γ ，從與之前圖像比較為新攝影之區域 :刀抽出特徵點，依處理能力等，即使就最前以外之各 幀，亦可從圖像全體抽出特徵點。 光學流計算部122係計算對於從特徵點抽出部⑵ 光學流者，並將計算而求出之光學流輸出至攝 :=數算出部123。具體而言，“比較對應於構成 么旦輸入部110輸出之動畫的連續2個幀（現在幀及其之 ⑴的幢）之各圖像，求出對應於在對應於之前巾貞的圖像中 之各特徵點的光學流，作為現㈣之光學流。此外，構成 動畫之每個财出光學流。另外，檢測料流之檢測方法 可使用梯度法及區塊匹配方法等檢測方法。另夕卜就該光 學流之計算’參照圖2及圖3詳細地說明。 攝像工作參數算出部1 23係使用對應於從光學流計算部 2輸出之各特徵點的光學流，進行算出攝像工作參數之 攝像工作參數算出處理者，並將算出之攝像卫作參數輪出 至己錄控制部130。在此，本發明之實施形態係配合相機 之移動變換構成再生對象之動晝的圖像而顯示。為了進行 該圖像之變換，使用藉由光學流計算部122計算之光學 流，抽出相機之移動，並依據該抽出之移動來計算攝像工 131699.doc -20- 200922324 作參數（變換參數） 射變換之例、七:0另夕卜，本發明之實施形態，就使用仿 像變換方法。此;卜^換構成再生對象之動晝的圖像之圖 流而算出之仿射變換2 =作參數係使用對應於依據光學 之例作說明。亦即、I 之反矩陣的仿射變換參數 之仿射變換炎數it發明之實施形態係將用作變換資訊 之移動的仿射疋義為.並非表示連續之圖像間的特徵點 <移動的仿射矩陣， 基準圖像時，對鹿於顧 圖像中的1個圖像作為 ? “仿射矩陣的:射變準=之其次圖像移動於何 之其他圖像變換月，不過亦可使用投影變換等 π:::求出。此外，投影變換參數可使用二 之攝;Sit出。在此，攝像工作參數係將構成攝像動畫 像圖德 至少1個攝像圖像作為基準，而變換其他攝 述：的變換資訊’且係至少包含以相機之座標系统記 :及姿勢資訊者。亦即，攝像工作參數係包含 者在攝料相機之位置及姿勢的資訊^此外， 2依據藉由攝像工作參數算出部123求出之仿射變換史 1測如推攝、拉攝、搖攝、傾斜、旋轉等藉由攝料 的相卿動。另外，就仿㈣換參數之計算，參昭 圖2及圖3詳細地說明。 ’ 記錄控制部丨珊、就從動畫輸人和q輸出之動晝 :像工作參數算出部123輸出之仿射變換參 :: 應之傾與仿射變換參數相闕連，作為動晝播案而記錄於Γ J31699.doc •21 - 200922324 畫記憶部200者。 動晝記憶部200係記憶將彼此對應之幀與仿射變換參數 相關連的動畫檔案者。料，動畫記憶部·依來自動晝 取得部14G之要求，而將動畫檔案供給至動畫取得部⑽了 動晝取得部140係依來自操作受理部195之動畫取得的操 作輸入，而取得記憶於動畫記憶部200之動畫檔案者，且 係將取得之動晝檔案輸出至攝像工作參數抽出部⑼、圖 像變換部160及圖像合成部ι8〇者。 攝像工作參數抽出部1 5 G係每個中貞抽出與從動畫取得部 140輸出之動晝檔案相關連而記錄之仿射變換參數者，並 將抽出之仿射變換參數輸出至圖像變換部16〇。 ” 圖像變換部160係就構成從動畫取得部14〇輸出之動畫檔 案的動畫之圖像，或是保持於圖像記憶體17〇之圖像，使 用從攝像工作參數抽出部15G輸出之仿射變換參數，每個 幀實施仿射變換，並將仿射變換後之圖像輸出至圖像合成 部180者。具體而固定藉由對應於比現在幀前面：各 幀的圖像所合成之合成圖像，而再生顯示動畫情況下圖 像變換部160將對應於從動畫取得部14〇輸出之現在幀的圖 像，使用從攝像工作參數抽出部15〇輸出之仿射變換參數 實施仿射變換。料’固定對應於現在㈣之圖像而再生顯 示動畫情況下，圖像變換部160將藉由對應於保持於圖像 記憶體170之前面各幀的圖像所合成之合成圖像，使用從 攝像工作參數抽出部15〇輸出之仿射變換參數，在與仿射 變換參數之方向相反方向實施仿射變換。此外，固定對應 131699.doc •22· 200922324 於現在續之圖像的顯示倍率而再生顯示動畫 變換部⑽就從攝像工作參數抽出部15〇輸出—之仿射變= f，分離成關於放大縮小之要素（變焦成分）與放大縮小以 二之要素（關於移動或旋轉之要素），在對應於保持於圖像 δ己憶體m之前面各㈣合成圖像中使用關於放大縮小之 要素’在與仿射變換參數之方向相反方向實施仿射變換， 並在對應於從動晝取得部14G輸出之現在㈣圖像中使用 關於移動或旋轉之要素實施仿射變換。此等之變換係依來 ▲自操作受理部195之再生指示的操作輸人而進行。另外， 就此等之圖像變換，參照圖5至圖16等詳細地說明。 圖像記憶體m係保持藉由圖像合成部18〇所合成之人成 圖像的工作緩衝器，且係將保持之合成圓像供給至圖像變 換部⑽或圖像合成部⑽者。亦即，圖像記憶體17〇係保 持履歷圖像之圖像記憶體。 圖像合成部18〇合成從圖像變換部16〇輸出之圖像、保持 於圖像記憶體m之合成圖像或從動晝取得部14〇輸出之圖 像’並將所合成之合成圖像輸出至圖像記憶體及顯示 部⑼者。具體而言’固定藉由對應於比現在巾貞前面之各 巾貞的圖像所合成之合成圖像，而再生顯示動晝情況下，圖 像合成部180在對應於保持於圖像記憶體17〇的之前為止之 各巾貞的合成圖像中，藉由寫上藉由圖像變換部16〇而仿射 變換後的圖像來合成圖像。另外，固定對應於現在帕之圖 像而再生顯示動畫情況下，圖像合成部18〇在將對應於保 持於圖像記憶體170的之前為止之各幢的合成圖像，藉由 131699.doc •23 - 200922324 圖像變換部160實施仿射變換後的圖像中，藉由寫上對應 於k動畫取得部140輸出之現在悄的圖像來合成圖像。此 外’固定對應於現在幢之圖像的顯示倍率，而再生顯示動 晝情況下，圖像合成部18G在對應於藉由圖像變換部⑽實 施仿射變換之前面各幀的合錢像中，藉由寫上對應於藉 由圖像變換部⑽實施仿射變換後之現在傾的圖像來合成 圖像。此等之合成係依來自操作受理部195之再生指示的 操作輸入而進行。另外，妹隹·回ι 乃卜就此等圖像合成，參照圖5至圖 1 6等詳細地說明。 顯示控制部觸使藉由圖像合成部18〇所合成之合成圖 像母個幀依序顯示於顯示部1 91者。 顯示部191係依據顯示控制部⑽之控制，而顯示藉由圖 ^合成部_所合成之合成圖像者。如可藉由個人電腦或 :視之顯示器來實現。另外，就合成圖像之顯示例，來昭 圖17至圖24、圖28至圖31等詳細地說明。 ’、、、 操作受理部195係具備各種操作鍵等，受 :乍輸入時，將受理之操作輸入的内容輸出至動畫取得部 、:像變換部16。或圖像合成部18。者。操作受理部Μ =有：定再生動畫時之顯示模式的設定鍵。該顯示模 對雍北應於現在㈣之圖像中實施仿射變換，製作與 式厂：I ft:之合成圖像的合成圖像而顯示之顯示模 :數==:一成圖像中，在與仿射變換 之圖Γ 仿射變換，製作與對應於現在賴 圖像的合成圖像而顯示的顯示模式。亦即，採用本發 131699.doc -24- 200922324 之實施形態’可任意切換：固定現在（CuiTent)之圖像顯示 桓，變換過去之履歷圖冑進行圖像合成顯示的方法；與以 現在之圖像顯示框依據攝像工作而移動之方式進行圖像合 成顯示的方法來顯示。 其人，就铋測用於圖像變換之仿射變換參數的檢測方 法’參照圖式詳細地說明。 圖2(a)至（c)係顯不對應於構成動晝之幀的圖像之一例 圖。圖3(約係顯示就對應於其係對應於圖2所示之圖像300 ㈣之前貞的圖像’省略背景等而簡化之圖像的圖。 此外’圖3(b)及（c)係顯示就圖2所示之圖像3〇〇省略背景等 而簡化的圖像之圖。 320、330中包含：人騎乘之 與設置於該馬之影像301、 圖2及圖3所示之圖像3 〇〇 馬的影像3 Ο 1、3 2 1、3 3 1， 32卜331前面的蛇之影像3〇2、322、332。此外，如圖2所 示，此等影像之背景中存在旗織及椅子等，該旗幟隨風飄 ，’〜"、六·对您π圖2(a)至 ⑷及圖3(b)及⑷所示之圖像3〇〇、33〇的巾貞之前i個_ 像之圖像。此外’對應於連續之2個巾貞的圖像32〇及33〇, 係顯示畫面内之被攝物體逐漸變大時之變遷的圖像。亦 I::係實施將畫㈣之被攝物體逐漸變大的操 本月之實施形態’係以從構成動畫之圖像檢測特徵 點，使用對應於該特徵點之光學流，來計算仿射變換參數 131699.doc -25- 200922324 之方法為例作說明。此外’該例係就特徵點使用角落點時 作說明。 在此，圖3(a)至（c)係以使用對應於從圖像32〇及33〇檢測 出之3個角落點的光學流’計算仿射變換參數之方法為例 作說明。 如圖3⑷所示之圖像320中，作為特徵點而檢測有：在馬 之影像321中口部附近之角落點323，在馬之影像321中人 的臀部附近之角落點324，與蛇之影像322的口部附近之角 落點325者。該情況下，在圖3⑻所示之圖像别中，藉由 梯度法或區塊匹配法等，檢測對圖像32〇中之角落點Μ]、 324及325的光學流337、338及339。而後，依據該檢測出 之光學流337、338及339’檢測對應於圖像32〇中之角落點 323、324 及 325 的角落點 333、334 及 335。 在此，因為如圖3(a)及（b)所示的圖像32〇及33〇中包含的 馬之影像321、331及蛇之影像322、说係設置於地面者， 所以並非係與相機之移動無關係地移動者。因而，可依據 對於就馬之影像321、331及蛇之影像322、332所檢測出之 角落點而求出之光學流，而正確地推測相機的移動。如圖 3(0所示，可依據在圖像330中檢測出之3個光學流μ?至 339，推測圖像係以點336為中心而放大圖像3㈣。藉 此圖像330於攝科之相機的移動可賴為係將點㈣作為 中心的推攝移動。如此’就並非與相機之移動無關係而移 動者的物體檢測角落點’可依據對該角落點求出之光學 流，正確地檢測具備規則性之相機的移動。因而，= 131699.doc -26- 200922324 使用對此等角落點求出之光學 出。 冲异仿射變換參數而求 但是,, 如考慮隨風飄揚的旗幟箅， 移動盔圖像内包含與相機之 ㈣…、關係地移動的物體之情 包含隨Μ! 日 女圖2所不之圖像300中 “隨風飄揚之旗幟。就 7 之物體檢測角玄爱… ”相機之移動無關係地移動 角洛點，使用對該角落點求 、古 相:之移動情況下，無法正確地推測相機二Z渴 流所示之圖像300中檢測出之光學 在則頭之頂端以空心圓表 之角落點。在此，角落_至… 該光學流檢測出 所一夕h 角洛點303至305 ’係、對應於圖3(b)及⑷ 所不之角落點333至335的角 後—士 幻月洛點。此外，角落點306至311 係就存在於馬之影像3〇1的背 厅'之旗幟而檢測出的角落 點鄉而後’因為此等旗幟隨風飄揚，所以將旗織受到風之 影響而移動作為光學流來檢測^即，對應於角落點施 至3U之各光學流，係就與相機之移動無關係地移動的旗 織所檢測者。因而，用於計算仿射變換參數時之〕個光學 流中，包含對應於角落點306'至311中至少i個角落點的光 學流情況下’無法檢測正確之相機移動。該情況下，無法 計算正確之仿射變換參數。 如以上所示，如有從攝影圖像檢測對於與相機之移動無 關係地移動的物體之光學流（對應於圖2(b)所示之角落點 306至311之各光學流）·’與基於與相機之移動的關係，而 具備-定規則性之光學流(對應於圖2(b)所示之角落點3〇6 至3 11的各光學流以外的光學流）。 131699.doc -27· 200922324 因此，本發明之實施形態，係進行數次依據3個光學 流計算仿射變換參數之仿射變換參數計算處理，求出數個 仿射變換參數，並從此等數個仿射變換參數中選擇最佳之 仿射變換參數為例作說明。另外，該例中構成動畫之各圖 像中包含的移動物體之大小，係對圖像之面積較小者。 在平面上，將移動開端 在此，就仿射變換簡單作說明 之位置設為（X，y)，將仿射變換後之移動終端的位置設為 (X，，y’）時，仿射變換之矩陣是可以公式1來表示。 [數式1]

V d 0 e Ο f 1 . · ·(公式 1) y 在此，a至f係仿射變換參數。此外，可以其次之公式表 示該仿射變換參數之仿射矩陣剔。&時，獻方向I變焦 成分XZ、Y方向之變焦成分γζ、χ方向之平移成分、γ 方向之平移成分YT、旋轉成分R，可分別以其次之公式求 出。另外，單位矩陣之情況下，為a=e=1、b=c=d==f=/。 [數式2] AM = a d be、 e f X Z = 2 a - V d2 YZ —hj XT = c YT = R = t ε i n 1 r d、 131699.doc •28- 200922324 其次’就仿射變換參數之計算方法作說明。 首先，在對應於構成動晝之幀中"固幀的現在幀之 中，從檢測出光學流之特徵點中選擇3個特徵點。如從 2(b)所示之圖像3〇0中檢測出的角落點（以空心圓表示） 隨機選擇3個角落點。另外，攝像工作參數於使用投影變 換參數情況下，係隨機選擇4個特徵點。 繼續，使用對應於選擇之3個特徵點的3個光學流， 仿射變換參數：如使用對應於從圖2(b)所示之圖像3〇〇中的 角落點(以空心圓顯示)之中選擇的3個角落點之光學流 連接於空心圓之酱頭矣一、^ 圓（引頭表不），计算仿射變換參數。該仿 變換參數可使用公式i求出。 繼續，依據求出之仿射變換參數計算仿射變換參數之數 值。具體而言，使用求出之仿射變換參數，求出對應於現 在.貞之則的鴨之圖像中全部特徵點的移動終端位置。而 後，比較使用該仿射變換參數求出之特徵點的位置，盘在 現在帕中檢測出之特徵點的位置，每個特徵點計算彼_ 應之2個特徵點的位置之差分值。 差刀值如係計算彼此對 應之2個特徵點的位置間之絕對距離。繼續，每㈣㈣ 比較計算出之差分值與預先設定的臨限值’求出其差分值 比臨限值小之特徵點的數量，作為仿射變換參數之數值。 如此’特定次數反覆實施從檢測出光學流之特徵點中隨機 選擇3個特徵點，依據對應於此等特徵點之光學流，算出 仿射變換參數之數值的處理，而數次算出仿射變換參數之 數值。該特定次數亦可依比較對象之圖像種類及圖像處理 131699.doc -29- 200922324 裝置100之處理能力等而適宜設定’'亦可使用固定值。該 特定次數如考慮®像處理裝置_之處理能力，而設定為 20次程度。 ’ 如考慮從圖2(b)所示之圖像则中檢測出的角落點中， 選擇了 3個角落點306至311以外之角落點的情況。使用對 應於如此選擇之3個H點之3個光學流，來計算仿射變換 參數時，如Μ，因為該3個光學流具備一定之規則性，、 所以求出使對應於之前㈣之圖像按照—錢則變換的仿 射變換參數。目而，就使用仿射變換參數而求出之角落點 的位置與在現在幀中檢測出之角落點的位置，關於角落點 6至3 11以外之角落點求出的差分值算出較小之值。因 而’仿射變換參數之數值形成大之值。 另外，考慮從圖2(b)所示之圖像3〇〇中檢測出的角落點 中，選擇包含角落點306至3 11中至少1個的3個角落點之情 況。使用對應於如此選擇之3個角落點之3個光學流，來計 异仿射變換參數時，如上述，因為該3個光學流中包含不 具一定規則性之光學流，所以求出並非使對應於之前的幀 之圖像按照一定之規則變換的仿射變換參數。因而就使用 仿射變換參數求出之角落點的位置，與在現在幀中檢測出 之角落點的位置求出之差分值，在任意之角落點算出較大 之值。因而，仿射變換參數之數值形成小的值。 繼續，在求出之數個仿射變換參數之數值中，選擇數值 之值為最大的仿射變換參數作為代表仿射變換參數。而 後’將選擇之代表仿射變換參數與現在幀相關連地記錄於 131699.doc •30- 200922324 動畫記憶部200中。藉此，仿射變換構成動晝之圖像時， 可使用表佳之仿射變換參數實施仿射變換。 如以上所示，即使構成動晝之各圖像中包含人物及車等 移動中之物體(移動物體)時’對圖像之面積，其移動物體 大小較小情況下’可不受移動物體之影響而抽出相機之移 動。 ㈣’精由抽出相機之移動，可推測認為是推攝、拉 攝、搖攝、傾斜、旋轉等攝影者刻意使其移動的移動。 其次，就本發明之實施形態中的圖像處理裝置⑽之動 作’參照圖式作說明。 圖4係顯示藉由本發明之實施形態中的圖像處理裝置⑽ 實施仿射變換參數檢測處理的處理程序流程圖。 貫先’在動晝輸入部110中輸入動晝樓案（步驟8嶋）。 繼續’將輸入動晝輸入部110之動晝樓案予以解碼，按昭 ^系列之順序取得㈤貞之圖像（步驟测繼續^

2所取得之1㈣是否為輸人動畫輸人部m之動書檔案的 最前幀（步驟S9〇2)。所取得個幀 ” 驟⑼ ， 預係蚨刖之幀情況下（步 驟S903 :從對應於該最前之鴨的圖像全體抽出特徵點(步 續如圖2(b)所不’在圖像中抽出數個角落點 '繼 (步射變換參數而選擇單位矩陣之仿射變換參數 (7驟8904)’進入步驟S914。 S9l外’所取得之1個巾貞並非最前之帽情況下(步驟 。，將對應於之前㈣之圖像作為基準，從 區域抽出特徵點（步驟S905)。亦即， 衫之 力即，因為就對應於之前的 131699.doc -31 - 200922324 中貞之圖像中已經抽出的特徵點，可藉由對應於該特徵點之 光學流求出，所以不在對應於現在幀之圖像中抽出。 繼續’計算對從對應於之前的ψ貞之圖像所抽出的各特徵 點之光學流(步驟S906)。亦即，如圖2⑻所示，計算對各 角落點之光學流。 繼續，將變數i初始化成Γ丨」（步驟S9〇7)。繼續，從光 學流被檢測出之特徵點中選擇"個特徵點（步驟S908)。如 攝像工作參數使用仿射變換參數情況下，係隨機選擇3個 特徵點。此外’攝像工作參數係使用投影變換參數情況 下，係隨機選擇4個特徵點。繼續，依據對應於所選擇之 Μ個特徵點而計算的難光學流，計算仿射變換參數（ S909) 〇 繼續，依據計算而求出之仿射變換參數，計算仿射變換 參數之數值（步驟S910)。具體而言，係使用計算而求出之 仿射變換參數，求出對歧之前_之圖像中全部特徵點 的移動開端的位置。而後，比較使用該仿射變換參數而求 出之特徵點的位置，與在步驟S906計算光學流時求出之對 應於現在幀的圖像中之特徵點的位置，每個特徵點計算彼 此對應之2個特徵點位置的差分值。差分值如係計算彼1匕 =應之2個位置間的絕對距離。繼續，每個特徵點比較計 算出之差分值與預先設定之臨限值’求出其差分值比臨限 值小之特徵點的數量，作為仿射變換參數之數值。 繼續，在變數i中加上「（步驟S911)，判斷變數丨是否 比常數N大（步驟S912)。變數i比常數情況下（步驟 13I699.doc -32- 200922324 S912) ’返回步驟S908，反覆實施仿射變換參數之數值算 出處理（步驟S908至S910)。如常數N可使用20。 另外，變數i比常數N大情況下（步驟S912)，選擇求出之 仿射變換參數的數值中’數值之值最大的仿射變換參數作 為代表仿射變換參數（步驟S913)。繼續，將對選出之代表 仿射變換參數的矩陣反矩陣的仿射變換參數，與現在巾貞相 關連而記錄於動畫記憶部200(步驟S914)。另外，現在卡貞 係最前之幀情況下，將選出之單位矩陣的仿射變換參數， 與最前之幀相關連而記錄於動畫記憶部2〇〇。繼續，寫上 對應於現在幀之圖像與該圖像中之特徵點而保存（步驟 S915) 〇 繼續，判定現在幀是否為輸入動畫輸入部11〇之動畫檔 案的最後之幀（步驟S916)。現在幀並非最後之幀情況下（步 驟S916)’返回步驟89〇1，反覆實施仿射變換參數檢測處 理（步驟S9GdS915)。另外，現在㈣最後之㈣況下（步 驟S196)，結束仿射變換參數檢測處理。 本發明之實施形態，攝像玉作參數之檢測，係依據在構 成動晝之圖像中m的光學流，檢測仿射變換參數之例 」月+過，亦可將加速度感測器及回轉感測器等感測 :以及變焦#作時使用之變焦按紐設於相機中，藉由該 =器及變焦按紐檢測攝影時之相機的移動量，並依據該 二移動量求出攝像工作參數。另和就此等攝影時檢 目機的移動量’可用於判斷藉由攝像工作參數算出 P123求出之攝像工你堯奴θ τ 參數疋否正確時。此外，亦可藉由 I31699.doc •33· 200922324 攝像工作參數算出部123預先柃測數個攝像工作參數，依 據攝〜時檢測出之相機的移動量，而從該數個攝像工作參 數中選擇1個攝像工作參數。 jj- 八人’就使用上述之仿射變換參數再生顯示動晝的情 况參照圖式詳細地說明。另外，圖5至圖16所示之各圖 像，為了說明而予以簡化，並且將連續之2個幀間的移動 量放大顯示。 首先就相機攝影時，不變更倍率，不過，以相機之位 置為中〜，而將相機之透鏡方向移動於上下左右之任何一 方的情況作說明。 圖5係顯示藉由相機攝影之動晝的變遷之一例圖。圖5中 係‘”、員示將山作為背景，而攝影人物4〇〇時，對應於動晝中 包3之連續的幀之圖像401至403之圖。該例顯示將相機之 透鏡方向移動於右方及上侧，並由攝影者進行攝影的情 况°亥情況下，藉由相機而攝影之動晝中包含的人物 400，在構成其動晝之圖像中，係從右側移動於左侧，並 且移動於下側。 圖6在圖5所示之各圖像中，以虛線表示對應於之前的幀 之圖像，並且顯示檢測之光學流的一例圖。圖6(a)所示之 圖像401係與圖5(a)所示之圖像4〇1相同者。此外，圖6(b) 所示之圖像402中的實線部分，係與圖5(b)所示之圖像4〇2 相同者，且圖6(b)所示之圖像402中的虛線部分，係與圖 6(a)所示之圖像401的實線部分相同者。此外，圖6(b)所示 之圖像402中的箭頭404至406，顯示從圖像402檢測出之光 131699.doc -34- 200922324 學肌的一例。同樣地，圖6(c)所示之圖像403中的實線部分 係與圖5(C)所示之圖像4〇3相同者，圖6(c)所示之圖像403 中的虛線部分係與圖6(b)所示之圖像4〇2的實線部分相同 者。此外，圖6(c)所示之圖像4〇3中的箭頭4〇7至4〇9顯示從 圖像403檢測出之光學流的一例。 如圖6(b)及（c)所示，圖像中包含之人物4〇〇及背景的山 配合相機之移動而移動。可依據藉由該移動而檢測之光學 流’每個幀求出仿射變換參數。 圖7係顯示再生包含圖5所示之圖像401至403的動畫時之 顯不例圖。另外，本發明之實施形態，為了合成構成動晝 之各圖像，隨著再生時間經過，顯示於顯示部191之圖像 比通常之圖像大。因而，最初顯示之圖像係顯示比顯示部 191之顯不區域的大小較小。另外，亦可由使用者指定最 初顯示之圖像的大小及位置等。 如圖7(a)所示，最初僅顯示對應於最前之幀的圖像4〇 1。 在此’將對應於圖像401之仿射變換參數的矩陣（3 x3之矩 陣）設為A1時，求出A1之值，將最前之幀的圖像4〇1之位置 及大小作為基準，藉由求出之A1的矩陣仿射變換圖像 401。 在此，因為A係單位矩陣，所以不變換圖像4〇丨之位 置及大小。繼續’顯示對應於其次之幀的圖像402情況 下’使用與該幀相關連之仿射變換參數而仿射變換圖像 402。 具體而言，將對應於圖像4〇2之仿射變換參數的矩陣 設為A2，將對應於圖像4〇1之仿射變換參數的矩陣設為Al 情況下’求出Α1χΑ2之值，將最前之幀的圖像4〇1之位置 131699.doc -35- 200922324 及大小作為基準，藉由求出之AlxA2的矩陣仿射變換圖像 402。在圖7(b)所示之圖像中，僅變換圖像4〇2之位置。而 後，藉由仿射變換參數而仿射變換後之圖像4〇2重疊於對 應於之前的賴之圖像4〇1而寫上。亦即，在圖像4〇1之區域 中，就與圖像402重複之區域41〇，寫上圖像4〇2之圖像。 此外，在圖像401之區域中，就不與圖像4〇2重複之區域 411 ,合成圖像401之圖像。亦即，顯示對應於第二個幀之 圖像402情況下，如圖7(b)所示，係顯示合成圖像4〇2之全 體部分與對應於圖像401中之區域411的部分之圖像。此 外，可使顯示之圖像中表示係最新之圖像的圖像框，顯示 於對應於現在幀之圖像的周圍。圖7(b)在圖像4〇2中顯示圖 像框。此外，將仿射變換圖像4〇2後之仿射變換參數保持 於圖像變換部16〇。 繼續，在顯示對應於其次幀之圖像403情況下，使用與 遠t貞相關連之仿射變換參數仿射變換圖像4〇3。亦即，係 藉由使用對應於圖像403之仿射變換參數的矩陣，與對應 於用於之前的仿射變換之圖像4〇2的仿射變換參數之矩 陣’而求出的仿射變換參數來仿射變換圖像403。具體而 言’將對應於圖像403之仿射變換參數的矩陣設為A3，將 對應於圖像402之仿射變換參數的矩陣設為A2，將對應於 圖像401之仿射變換參數的矩陣設為A1時，求出 AlxA2xA3之值，將最前之幀的圖像4〇1之位置及大小作為 基準’藉由求出之Α1χΑ2χΑ3的矩陣仿射變換圖像4〇3。在 圖7(c)所示之圖像中，僅變換圖像4〇3之位置。而後，藉由 131699.doc • 36- 200922324 仿射變換參數而仿射變換後之圖像4〇3重疊於對應於之前 的幀之圖像401及402之合成圖像而寫上。亦即，在圖像 401及402之合成圖像的區域中，就與圖像4〇3重複之區域 413及414，寫上圖像4〇3之圖像。此外，在圖像4〇ι及4〇2 之合成圖像的區域中，就不與圖像4〇3重複之區域4ιι及 412，合成圖像401及4〇2之合成圖像。亦即，顯示對應於 第三個幀之圖像403情況下，如圖7(c)所示，係顯示合成圖 像403之全體部分、對應於圖像401中之區域411的部分與 對應於圖像402中之區域412的部分之圖像。此外，可使顯 示之圖像中表示係最新之圖像的圖像框，顯示於對應於現 在幀之圖像的周圍。圖7(c)在圖像4〇3中顯示圖像框。此 外將仿射變換圖像403後之仿射變換參數保持於圖像變 換部160。亦即，將藉由對應於圖像4〇2及4〇3之各個的仿 射變換參數之矩陣的相乘而求出之仿射變換參數保持於圖 像變換部160 ^如此，仿射變換對應於現在幀之圖像情況 下藉由使用對應於現在巾貞之仿射變換參數的矩陣，與對 應於其之前為止的各幀之仿射變換參數的矩陣而求出之仿 射變換參數，來仿射變換對應於現在幀之圖像。將該仿射 變換時求出之仿射變換參數保持於圖像變換部1 60，在其 _人之仿射變換時使用。此外，就圖11及圖1 5之情況亦同。 圖8係顯示再生包含圖5所示之圖像401至403之動晝時的 顯不例之圖。圖7所示之顯示例係固定對應於現在幀之前 的各幀之合成圖像（最初為丨個圖像），將對應於仿射變換後 之現在幀的圖像寫上而合成於其合成圖像，並顯示該合成 131699.doc -37- 200922324 後之圖像者。另外，圖8所示之顯示例係固定對應於現在 幀之圖像的位置，將對應於現在幀之前的各幀之合成圖像 仿射變換於與仿射變換參數之方向相反方向，在該仿射變 換後之合成圖像上寫上而合成對應於現在幀之圖像，並顯 示該合成後之圖像者。亦即，圖7及圖8所示之顯示例，雖 然顯示於固定位置之圖像及成為仿射變換之對象的圖像不 同’不過其他部分共通。因而就共通於圖7之部分，註記 共通之符號作說明。 如圖8(a)所示，最初僅顯示對應於最前之幀的圖像4(H。 在此，因為圖像401係最前幀，所以不存在之前的幀❶繼 續，顯示對應於其次之幀的圖像4〇2情況下，使用與該幀 相關連之仿射變換參數’仿射變換之前圖像的圖像4(H。 具體而言，將對應於圖像4〇2之仿射變換參數的矩陣設為 A2，將對應於圖像401之仿射變換參數的矩陣設為A丨時， 长出Ιην(Α1χΑ2)之值，藉由求出之Ιην(Α1χΑ2)的矩陣仿射

InvA(A係矩陣）顯示a之反矩陣。在

成圖像。具體而言， 變換圖像401。在此，ir 圖8(b)所示之圖像中，僅 射變換後之圖像401上， 4〇2。另外，因為在圖福 八 < 則的幀之圖像4〇1及圖像4〇2的合 將對應於圖像403之仿射變換參數的 131699.doc •38- 200922324 矩陣設為A3，將對應於圖像402之仿射變換參數的矩陣設 為A2 ’將對應於圖像40丨之仿射變換參數的矩陣設為A j 時’求出 Ιην(Α1χΑ2χΑ3)之值，藉由 Ιην(Α1χΑ2χΑ3)之矩 陣仿射變換圖像401及圖像402之合成圖像。在圖8(c)所示 之圖像中’僅變換圖像4〇1及圖像4〇2之合成圖像的位置。 而後’對應於現在φ貞之圖像403重疊於仿射變換後之圖像 401及402的合成圖像而寫上。另外，因為在圖像4〇1及4〇2 上寫上圖像403之合成圖像，與圖7(c)所示之合成圖像相 同，因此省略在此之說明。 其次，就相機攝影時，雖相機之透鏡的方向不移動，但 是變更倍率的情況作說明。 圖9係顯示藉由相機所攝影之動畫的變遷之一例圖。圖9 中係』示對應於以山為背景’而攝影人物㈣時的動畫中 包含的連續之t貞的圖像421至423之圖。該例係顯示提高相 機之透鏡倍率，而攝影者進行攝影的情況。該情況下，藉 由相機而攝影之動晝中包含的人物42〇在構成其動書之圖 ^逐漸變大、。料’提高倍率時，雖有時相機之位置有 一移動’不過該例係不考慮相機位置之移動作說明。 圖10係在圖9所示之各圖後Λ 、 ΛΑ m 象中，以虛線表示對應於之前 的幀之圖像，並且顯示檢 4 示之圖像421係與圖9」 所、闻 之圖像421相同者。此外，圖 1〇(1>)所不之圖像422中 像422相同者，圖1〇(b)所線‘刀，係與圖9(b)所示之圖 9⑷所示之圖後4 之圖像422令的虛線部分係與圖 之圖物的實線部分相同者。 131699.doc -39. 200922324 不之圖像422中的前頭424至426，顯示從圖像似檢測出之 光學流的一例。同樣地，圖1〇(c)所示之圖像423中的實線 部分，係與圖9(c)所示之圖像423相同者，圖1〇⑷所示之 圖像423中的虛線部分係與圖9(b)所^圖像422的實線部 分相同者。此外’圖1〇(c)所示之圖像423中的箭頭至 429顯示從圖像423檢測出之光學流的一例。 如圖10(b)及⑷所示，配合倍率之變更，圖像中包含之 人物420及背景的山之大小變更。可依據藉由該變更而檢 測之光學流，每幀求出仿射變換參數。 圖11係顯不再生包含圖9所示之圖像421至423的動晝時 之顯示例圖。 如圖11 (a)所示，最初僅顯示對應於最前之幀的圖像 421。繼續顯示對應於其次之幀的圖像422情況下，使用與 該幀相關連之仿射變換參數，而仿射變換圖像422。在圖 11(b)所示之圖像中，僅變換圖像422之大小。而後，藉由 仿射變換參數而仿射變換後的圖像422重疊於對應於之前 的幀之圖像421而寫上。亦即，在圖像42丨之區域中，就與 圖像422重複之區域寫上圖像422之圖像。該情況下，因為 圖像42 1與圖像422之全部區域重複，所以在圖像丨上寫 上圖像422之全部圖像。此外，在圖像42丨之區域中，就不 與圖像422重複之區域431，合成圖像42丨之圖像。亦即， 顯示對應於第2個幀之圖像422情況下，如圖u(b)所示，係 顯示合成了圖像422之全體部分與對應於圖像421中之區域 43 1的部分之圖像。此外，可使顯示之圖像中表示係最新 131699.doc •40- 200922324 圖像的圖像框顯示於對應於現在幀之圖像周圍。圖11(b)在 圖像422中顯示圖像框。此外，將仿射變換圖像422後之仿 射變換參數保持於圖像變換部1 60。 繼續’顯示對應於其次之幀的圖像423情況下，使用與 δ亥t貞相關連之仿射變換參數而仿射變換圖像423。亦即， 係藉由使用對應於圖像423之仿射變換參數的矩陣，與對 應於用在之前的仿射變換之圖像422的仿射變換參數之矩 陣而求出之仿射變換參數來仿射變換圖像423。在圖1丨（幻 所不之圖像中，僅變換圖像423之大小。而後，仿射變換 後之圖像423重疊於對應於前面之幀的圖像421及422之合 成圖像而寫上。亦即，在圖像421及422之合成圖像的區域 中，就與圖像423重複之區域，寫上圖像423之圖像。該情 況下，因為圖像423與圖像421及422之全部區域重複，所 以在圖像421及422之合成圖像上寫上圖像423之全部圖 像此外，在圖像421及422之合成圖像的區域中，就不與 圖像423重複之區域432及433，合成圖像421及422之合成 圖像。亦即，顯示對應於第3個幀之圖像423情況下，如圖 n(C)所示，顯示合成了圖像423之全體部分、對應於圖像 421中之區域432的部分、及對應於圖像422中之區域μ]的 部分之圖|。此外’在顯示之圖像中，使表示係最新圖像 之圖像框顯示於對應於現在幀之圖像周圍情況下，係在圖 lUc)所示之圖像423中顯示圖像框。此外，將仿射變換圖 像423後之仿射變換參數保持於圖像變換部16〇。亦即，'係 將使用分別對應於圖像422及423之仿射變換參數而求出的 131699.doc •41 · 200922324 仿射變換參數保持於圖像變換部16〇。 圖12係顯示再生包含圓9所示之圖像42ί至423的動晝時 之顯不例圖。與圖及圖12所示之顯示例的差異，係與圖 7及圖8所示之顯示例的差異相同，顯示於固定位置之圖像 及成為仿射變換對象之圖像不同，但是其他部分共通。因 而就共通於圖11之部分註記共通之符號作說明。 如圖12(a)所示，最初僅顯示對應於最前之幀的圖像 421。繼續顯示對應於其次之幀的圖像422情況下，使用與 該幀相關連之仿射變換參數，在與仿射變換參數之方向相 反方向仿射變換之前圖像的圖像421。在圖12(1))所示之圖 像中，僅變換圖像421之大小。而後，在仿射變換後之圖 像421上重疊對應於現在幀之圖像422而寫上。另外，就圖 像421上寫上圖像422之合成圖像，因為大小雖不同，但是 其他部分與圖11(b)所示之合成圖像相同，所以省略在此之 說明。 繼續，顯示對應於其次之幀的圖像423情況下，使用與 該幀相關連之仿射變換參數，在與仿射變換參數之方向相 反方向仿射變換對應於前面之幀的圖像421及圖像422的合 成圖像。在圖12(c)所示之圖像中，僅變換圖像421及422之 合成圖像的大小。而後，將對應於現在巾貞之圖像423重疊 於仿射變換後之圖像421及422的合成圖像而寫上。另外， 在圖像421及422之合成圖像上寫上圖像423後的合成圖 像，因為雖大小不同，但是其他部分與圖u(c)所示之合成 圖像相同，所以省略在此之說明。 I31699.doc -42- 200922324 ^其-人，就相機攝影時，雖不變更相機之透鏡的方向及倍 率仁是以攝衫方向為旋轉中心而旋轉相機的情況作說 明。 / 圖π係顯示藉由相機所攝影之動晝的變遷之一例圖。圖 係,4示對應於以山為背景，而攝影人物時的動畫 旦？匕3的連續之幢的圖像44 i至相之圖。該例係顯示以攝 向為奴轉中心來旋轉相機，而攝影者進行攝影的情 k It况下，藉由相機而攝影之動晝中包含的人物料〇 在構成其動畫之圖像中旋轉。另外，藉由相機之旋轉，雖 有時相機之位置有一此銘私 n 二移動’不過該例係不考慮相機位置 之移動作說明。 圖14係在圖13所示之各圖德击 谷圖像中’以虛線表示對應於之前 的情之圖像’並且顯示檢測之氺風、ώ & _ 、之光予、仇的一例圖。圖14(a)所 示之圖像441係與圖13ra彳张-^向 )所不之圖像441相同者。此外，圖 14(b)所示之圖像442中的實镍立 ^ 貫線刀，係與圖13(b)所示之圖 像442相同者，圖i4(b)所示圍 ._ 、之圖像442中的虛線部分係與圖 l3(a)所示之圖像4W的實八 _ ”邛刀相同者。此外，圖14(b)所 示之圖像料2令的箭頭444 446顯不從圖像442檢測出之 光予流的一例。同樣地， 圖4(c)所示之圖像443中的實線 部分，係與圖13(c)所示之圖像 貫線 團1豕443相同者，圖14(c)所示夕 圖像443中的虛線部分係斑 。圖1 3(b)所示之圖像442的實線部 刀相同者。此外，圖l4(c) ”之圖像443中的箭頭447$ 449顯示從圖像443檢测出 至 印之光學凌的一例。 如圖14(b)及⑷所*，配合 錢之旋轉，圖像中包含之 131699.doc •43- 200922324 人物440及背景的山旋轉移動。可依據藉由該旋轉移動而 檢測之光學流，每幀求出仿射變換參數。 圖15係顯示再生包含圖13所示之圖像441至443的動畫時 之顯示例圖。 如圖1 5(a)所示’最初僅顯示對應於最前之幀的圖像 441。繼續顯示對應於其次之幀的圖像442情況下，使用與 該幀相關連之仿射變換參數，而仿射變換圖像442。在圖 15(b)所示之圖像中’僅變換圖像442之角度。而後，仿射 變換後的圖像442重疊於對應於之前的幀之圖像44 1而寫 上。亦即，在圖像441之區域中，就與圖像442重複之區域 450寫上圖像442之圖像。此外，在圖像441之區域中，就 不與圖像442重複之區域451及452，合成圖像441之圖像。 亦即，顯示對應於第2個幀之圖像442情況下，如圖15(b)所 示，係顯示合成了圖像442之全體部分與對應於圖像44 1中 之區域45 1及452的部分之圖像。此外，可使顯示之圖像中 表示係最新圖像的圖像框顯示於對應於現在幢之圖像周 圍。圖1 5(b)在圖像442中顯示圖像框。此外，將仿射變換 圖像442後之仿射變換參數保持於圖像變換部丨6〇。 繼續’顯示對應於其次之幀的圖像443情況下，使用與 該幀相關連之仿射變換參數而仿射變換圖像443。亦即， 係藉由使用對應於圖像443之仿射變換參數的矩陣，與對 應於用在之前的仿射變換之圖像442的仿射變換參數之矩 陣而求出之仿射變換參數來仿射變換圖像443。在圖1 5(c) 所示之圖像中，僅變換圖像443之角度。而後，仿射變換 131699.doc -44 - 200922324 後之圖像443重疊於對應於前面之幀的圖像441及442之合 成圖像而寫上。亦即，在圖像441及442之合成圖像的區域 中，就與圖像443重複之區域45 3至457，寫上圖像443之圖 像。此外’在圖像441及442之合成圖像的區域中，就不與 圖像443重複之區域458至461，進一步合成圖像441及442 的合成圖像。亦即，顯示對應於第3個幀之圖像443情況 下，如圖15(c)所示，顯示合成了圖像443之全體部分、對 應於圖像441中之區域459的部分、及對應於圖像442中之 區域45 8及460的部分之圖像。此外，在顯示之圖像中，使 表示係最新圖像之圖像框顯示於對應於現在幀之圖像周圍 情況下，係在圖15(c)所示之圖像443中顯示圖像框。此 外’將仿射變換圖像443後之仿射變換參數保持於圖像變 換部160。亦即’係將使用分別對應於圖像442及443之仿 射變換參數而求出的仿射變換參數保持於圖像變換部 160 ° 圖16係顯示再生包含圖13所示之圖像441至443的動晝時 之顯示例圖。與圖15及圖16所示之顯示例的差異，係與圖 7及圖8所示之顯示例的差異相同，顯示於固定位置之圖像 及成為仿射變換對象之圖像不同，但是其他部分共通。因 而就共通於圖15之部分註記共通之符號作說明。 如圖16(a)所示’最初僅顯示對應於最前之幀的圖像 441。繼續顯示對應於其次之幀的圊像442情況下，使用與 該幀相關連之仿射變換參數，在與仿射變換參數之方向相 反方向仿射變換之前圖像的圖像441。在圖l6(b)所示之圖 131699.doc -45- 200922324 像中，僅變換圖像44丨之角度。而後，在仿射變換後之圖 像441上重疊對應於現在幀之圖像442而寫上。另外，就圖 像441上寫上圖像442之合成圖像，因為角度雖不同，但是 其他部分與圖15(b)所示之合成圖像相同，所以省略在此之 說明。 繼續，顯示對應於其次之幀的圖像443情況下，使用與 該幀相關連之仿射變換參數，在與仿射變換參數之方向相 反方向仿射變換對應於前面之幀的圖像44丨及圖像的合 成圖像。在圖16(c)所示之圖像中，僅變換圖像441及料2之 合成圖像的角度。而後，將對應於現在幀之圖像443重疊 於仿射變換後之圖像441及442的合成圖像而寫上。另外， 在圖像441及442上寫上圖像443後的合成圖像，因為雖角 度不同，但是其他部分與圖15(c)所示之合成圖像相同，所 以省略在此之說明。 以上，係就依序變更構成動晝之各圖像的位置、倍率及 角度之情況分別作說明，不過，即使就組合此等之變更的 情況，可同樣地適用。 其次，顯示實際再生藉由相機所攝影之動晝時的顯示 例。以下所示之顯示例，顯示在顯示部191之顯示區域 中’僅在顯7F對應於現在幅及前面之幅的圖I的區域顯^ 合成圖像，而其他區域變黑之例。此外，在對應於現在巾貞 之圖像周圍顯示框。再者，以下所示之顯示例係顯示來自 再生動晝中途之顯示例。 圖17至圖24係顯示藉由相機所攝影之動晝的變遷之— 131699.doc -46· 200922324 圖。圖17及圖18係顯示構成移動相機而攝影在公寓廣場遊 玩之親子時之動晝的圖像50。至5〇5之圖。該例係顯示：: 變換對應於現在賴之圖像，將該仿射變換後之圖像寫上對 應於前面各幀之合成圖像的情況。 在圖π及圖18所示之圖像至5〇5,，對應於現在鴨之 圖像係圖像506至511。此外，對應於前面各幀所合成之圖 像的合成圖像係圖像512至517。如圖17及圖18所=,所攝 影之圖像中包含的攝影對象物（公寓之廣場等）固定於晝面 中，而對應於現在+ 貞之圖像5〇6至511配合相機之移動了而 在晝面上移動。藉由如此顯示，纟變黑顯示於顯示部⑼ 的顯示區域，可使閱覽者看成對應於現在鴨之圖像依相機 之移動而行進。 日圖19及圖20係顯示對應於構成推攝操作而攝影在公寓廣 場遊玩之親子時的動晝之幀的圖像520至525之圖。該例I 顯示仿射變換對應於現在幅之圖像，將該仿射變換後之圖 像寫上對應於前面各幀之合成圖像的情況。 在圖19及圖2G所示之圖像，至⑵中，對應於現在幢之 圖像係圖像526至53卜此外，對應於前面各_合成之圖 像的合成圖像係圖像532至537。如圖19及圖2〇所示，攝影 之圖像中包含的攝影對象物（公寓之廣場等）固定於晝面 中’對應於現在中貞之圖像526至531配合相機之移動而在畫 面上移動。藉由如此顯示’可使閱覽者在全體性之空間中 輕易地認識成為變焦對象的人物。 如此’圖17至圖20所示之顯示例，係對應於現在幀之圖 131699.doc -47· 200922324 像伴隨放大縮小而在顯示器上來回移動，製作廣大之圖 像。此外，在依序製作之合成圖像中，僅對應於現在鳩之 圖像内包含的物體移動’對應於現在幢之圖像外側的部 分’係在過去所顯示之物體靜止狀態下顯示。 圖21及圖22係顯示對應於構成移動相機而攝影在公寓廣 場遊玩之親子時的動畫之鴨的圖像54〇至545之圖。該例係 顯示在與仿射變換參數之方向相反方向仿射變換對應於前 面各悄之合成圖像，在該仿射變換後之合成圖像上寫上對 應於現在幀之圖像的情況。 圖及圖22所示之圖像54〇至545中，對應於現在賴之圖 像係圖像546至55卜此外對應於前面^貞而合成之圖像的 合成圖像係圖像552至557。如圖21及圖22所示，對應於現 在鴨之圖像546至551固定於畫面中，攝影之圖像中包含的 攝影對象物(公寓之廣場等)中對應於現在賴之圖像以外的 圖像配合相機之移動而在畫面上移動。藉由如此顯示，在 變黑顯示於顯示部191的顯示區域中，可使閲覽者看成對 應於前面之巾貞的合成圖像依相機之移動而行進。亦即，可 看成對應於前面之幀的合成圖像行進於與圖17及圖18所示 之方向的相反方向。 圖23及圖24係顯示對應於構成推攝操作而攝影在公寓廣 場遊玩之親子時的動畫之幀的圖像560至565之圖。該例係 ,’.1不在與仿射變換參數之方向相反方向仿射變換對應於前 面各幀之合成圖像，在該仿射變換後之合成圖像上寫上對 應於現在幀之圖像的情況。 131699.doc •48- 200922324 在圖23及圖24所示之圖像560至565中，對應於現在憤之 圖像係圖像566至571。此外，對應於前面各鴨而合成之圖 像的合成圖像係圖像572至577。如圖23及圖24所示，對應 於現在幢之圖像566至571固定於畫面中，攝影之圖像中包 含的攝影對象物（公寓之廣場等）中對應於現在鴨之圖像以 外的圖像配合相機之移動而在晝面上移動。藉由如此顯 不’可使閱覽者在全體性之空間令輕易地認 大成為變焦對象的人物》 、、、放 如此’圖21至圖24所示之顯示例，係對應於現在幀之圖 像固定m置，對聽現在ψ貞之圖像的周邊圖像伴隨 放大縮小而在顯示ϋ上移動，製作廣大之圖像4外，在 依序製作之合成圖像中，僅對應於現在傾之圖像内包含的 物體移動’對應於現在幀之圖像外側的部分，係在過去所 顯示之物體靜止狀態下，全體地移動而顯示。 其次，就本發明之實施形態中的圖像處理裝置之動 作’參照圖式作說明。 圖2S係顯示藉由本發明實施形態中之圖像處理裝置丨 實施之動畫再生處理的處理程序之流程圖。該處理程序係 顯示仿射變換對應於現在幀之圖像，並將該仿射變換後之 圖像寫上對應於前面各幀之合成圖像之例。 首先’將比構成動晝之圖像尺寸大的卫作緩衝器確保於 圖像記憶體m(步驟S921)。繼續，從動晝記憶部2〇〇取得 動畫檔案(步驟S922)。繼、續，將取得之動畫權案予以解 碼，而取得1個幀之現在幀（步驟S923)。 131699.doc -49- 200922324 :續，從動畫樓案抽出對應於取得之現在幢的 參數（步驟S924)。在此，現在傾传 况隹愣係最别之幀情況下，係抽 出早位矩陣之仿射變換參數。繼續，使用取得之仿射變換 參數仿射變換對應於現在賴之圖像（步⑽25)。在此，因 為現在㈣最前之傾的情況下，係使用單位矩陣之仿射變 換參數仿射變換，所以不變換實際之圖像。繼續，將對應 於仿射變換後之現在幢的圖像，寫上對應於比現在稍前面 之幢的各圖像之合成圖像而合成，合成了對應㈣現㈣ 之圖像的圖像保存於圖像記憶體17〇(步驟s926)。在此， 現在幢係最前之幢情況下，對應於最前之㈣圖像保存於 圖像記憶體170。繼續，將在步驟S926合成了對應於現在 幀之圖像的圖像顯示於顯示部丨9丨（步驟S927)。在此，現 在㈣最前之鴨情況下’係將對應於最前之情的圖像顯示 於顯示部1 9 1。 繼續，在構成所輸入之動畫檔案的幀中，判斷現在幀是 否為最後之幀（步驟S928)。現在幀並非最後之幀情況下（步 驟S928)，返回步驟S923，反覆實施合成圖像顯示處理（步 驟S923至S927)。 另外’現在幀係最後之幀情況下（步驟S928)，釋放所碑 保之工作緩衝器（步驟S929)，而結束動畫再生處理。 圖26係顯示藉由本發明實施形態中之圖像處理裝置1〇〇 實施之動畫再生處理的處理程序之流程圖。該處理程序係 顯示在與仿射變換參數之方向相反方向仿射變換對應於現 在幢之前面各幀的合成圖像，並將該仿射變換後之合成圖 131699.doc •50- 200922324 像寫上對應於現在幢之圖像之例。另外，在圖26所示之處 理程序中，就步驟S921至S924及步驟8927至8929，與圖25 所不之處理程序相同，所以省略在此之說明。 從動畫檔案抽出對應於在步驟S923所取得之現在幀的仿 射變換參數（步驟S924)。繼續，使用取得之仿射變換參 數在與仿射變換參數之方向相反方向仿射變換保存於圖 像-己隐體1 70之對應於現在幢之前面各幢的合成圖像（步驟 S941)。在此，現在幀係最前之幀情況下，因為不存在保 存於圖像„己憶體1 70之合成圖像，所以不變換圖像。繼 續，在仿射變換後之合成圖像上寫上對應於現在鴻之圖像 而。成’將合成了對應於該現在幢之圖像的圖像保存於圖 像記憶體m(步驟S942)e在此’現在.貞係最前之鴨情況 下，將對應於最前之賴的圖像保存於圖像記憶體17〇。繼 續’將在步驟942合成了對應於現在中貞之圖像的圖像顯示 於顯示部191(步驟S927)。 ，以上，係就在對應於現在幀之圖像上實施仿射變換，來 製作合成圖像之情況’或是在對應於前面各t貞之合成圖像 上’於與仿射變換參數之方向相反方向，實施仿射變換來 製作合成圖像之情況作說明。但是，亦可在對應於現在.貞 之圖像上實施仿射變換，並且在對應於前面各鳩之合成圖 像上’於與仿射變換參數之方向相反方向實施仿射變換， 來製作合成圖像。在此，就將仿射變換參數分離成關於放 大縮小之要素（變焦成分）’與放大縮小以外之要素（關於移 動或旋轉之要素），在對應於前面各幀之合成圖像上使用 131699.doc -51 - 200922324 關於放大縮小之要素，在與仿射變換參數之方向相反方向 實施仿射變換，在對應於現在幀之圖像上使用關於移動或 旋轉之要素，實施仿射變換而製作合成圖像之例，參照圖 式詳細地說明。 圖27係顯示藉由本發明實施形態中之圖像處理裝置1 〇〇 實施之動晝再生處理的處理程序之流程圖。該處理程序係 顯示使用關於移動或旋轉之要素仿射變換對應於現在幀之 圖像，並且使用關於放大縮小之要素，在與仿射變換參數 之方向相反方向仿射變換對應於前面各幀之合成圖像，並 將對應於仿射變換後之現在幀的圖像寫上仿射變換後之合 成圖像之例。另外，在圖27所示之處理程序中，就步驟 S921至S924及步驟S927至S929，與圖25所示之處理程序相 同’所以省略在此之說明。 從動畫檔案抽出對應於在步驟S923所取得之現在幀的仿 射變換參數（步驟S924)。繼續，從取得之仿射變換參數的 各要素分離關於放大縮小之要素（步驟S951)。繼續，使用 分離之關於放大縮小的要素，在與仿射變換參數之方向相 反方向，仿射變換保存於圖像記憶體〗7〇之對應於現在幀 之前面各幀的合成圖像（步驟S952)。在此，現在幀係最前 之幀情況下，因為不存在保存於圖像記憶體17〇之合成圖 像所以不變換圖像。繼續，使用分離之關於移動或旋轉 的要素，仿射變換對應於現在幀之圖像（步驟仍53卜在 此，現在幀係最前之幀情況下，因為係使用單位矩陣之仿 射變換參數實施仿射變換，所以不變換實際之圖像。 131699.doc •52- 200922324 繼續，在仿射變換後之合成圖像上，寫上仿射變換後之 對應於現在幢的圖像而合成，合成了對應於現在賴之圖像 的圖像保存於圖像記憶體170(步驟S954卜在此，現在幢 係最前之悄情況下，將對應於最前之幅的圖像保存於圖像 此憶體17〇。繼續，將在步驟奶4合成了對應於現在幢之 圖像的圖像顯示於顯示部191 (步驟S927)。 其次，顯示藉由圖27所示之動晝再生處理之處理程序， 實際再生藉由相機攝影之動畫時的顯示例。 圖28至圖31係顯示藉由相機所攝影之動畫的變遷之一例 圖。圖28及圖29係顯示構成移動相機而攝影在公寓之廣場 遊玩的親子時之動晝的圖像58〇至585之圖。另外，_及 圖29係顯示不進行變焦操作之情況。 \ 在圖28及圖29所示之圖像58〇至如中，對應於現在鴨之 圖像係圖像586至⑼。此外，對應於前面各幢而合成之圖 像的合成圖像係圖像592至597。如圖28及圖29所示，攝影 之圖像中包含的攝影對象物（公寓之廣場等）固定於畫面 中，對應於現在幢之圖像5〇6至511配合相機之移動而在畫 面上移動。在此，因為圖28及圖29所示之圖像·至如係 不進行變焦操作之攝影圖像，所以，仿射變換參數中幾乎 不含關於放大縮小之i丰 m _ , _ ^要素°因而’成為與圖17及圖18所示 之顯不例大致相同的顯示。 =0及圖31係顯示對應於構成實施推攝操作而攝影在公 遊玩之親子時的動畫之悄的圖像_至605之圖。 圖30及圖31所示之圖像_至6〇5中，對應於現在幢之圖 131699-doc -53- 200922324 像係圖像606至611。此外釾雇於& 卜對應於則面各幀而合成之圖像的 合成圖像係圖像612至617。如π 如圖30及圖31所示，依相機之 變焦移動，而放大攝影之圖像中 ISM冢中包含的攝影對象物（公寓 之廣場等）的圖像612至617，斟鹿认各丄土 對應於現在幀之圖像606至 6U以同一大小配合相機之移動而在畫面上移動。亦即， 周邊圖像逐漸放大，並且對應於現在賴之圖像_至川移 動。藉由如此顯示，可提供閱覽者多樣之顯示形態。 以上，係就將仿射變換參數記錄於動畫檔案之例作說 明：、不過，亦可作為與動畫檔案不同形式之附帶資訊(如 =貝枓）’構成動畫之每個巾貞記錄仿射變換參數。以下， =作為與動畫檔案不同形式之附帶資訊，而在元資料槽 案中記錄仿射變換參數之例，參照圖式詳細地說明。 圖::係顯示本發明之實施形態中之圖像處理裝置65〇的 構例之區塊圖。在此，圖像處理裝置㈣係改變圖】 \. 刀者，且係取代該圖像處 記錄控制部13°、動畫記憶部、動晝取 二、動參數抽出部150，而設了記錄控制部 的圖像處1Λ部660、元資料記憶部670及擋案取得部652 部66〇 _ / 。另外’因為記錄控制部651、動畫記憶 圖 記憶部67〇及檔案取得部⑹以外之結構與 構的^月之。圖像處理裝置1〇0相同，所以省略此等以外之結 動係::動畫輪入部11❶輸出之動畫，作為 备案而§己錄於動畫記憶部66〇，並且將從攝像工作參 131699.doc -54· 200922324 關速，二23輪出之仿射變換參數’與對應之動晝及幢相 ^為7°資料檔案，而記錄於元資料記憶部670者。 2晝記憶部_係記憶從動畫輸人部11G輸出之動畫作為 動畫檔案者。此外，動畫記憶部_依來自檔案取得部652 之要求，而將動晝檔案供給至檔案取得部652。另外，就 α己隐於動晝δ己憶部66〇之動畫檔案’參照圖B詳細地說 明0 元資料記憶部670係記憶從攝像工作參數算出部123輸出 之仿射變換參數作為元資料檔案者。此外，元資料記憶部 670依來自檔案取得部⑹之要求，而將元資料檔案供給至 檔案取得部652。另外，就記憶於元資料記憶部67〇之元資 料樓案，參照圖33詳細地說明。 擋案取得部652係依來自操作受理部195之動晝再生的操 作輸入，而取得記憶於動畫記憶部66〇之動晝檔案，及與 "亥動晝檔案相關連而記憶於元資料記憶部67〇的元資料檔 案者，且將取得之動晝檔案的動畫及元資料檔案之仿射變 換參數輸出至圖像變換部16〇，並將取得之動晝檔案的動 畫輸出至圖像合成部180。 圖33係模式顯示記錄於本發明之實施形態中的動畫記憶 部660及；^資料記憶部670的各檔案之圖。圖33(3)係顯示記 憶於動晝記憶部660之動晝檔案661至663，以及與動畫播 案661至663相關連而記憶於元資料記憶部67〇之元資料檔 案671至673。在此，識別記憶於動畫記憶部66〇之各動畫 檔案用的識別資訊之動晝ID為賦予各動晝檔案者。如在動 131699.doc -55- 200922324 畫檔案661中賦予「#1」，在動畫檔案662 _賦予「#2」，在 動晝檔案663中賦予r#n」。 圖33(b)係模式顯示記憶於動晝記憶部66〇之動晝標案 661，以及與動晝檔案661相關連而記憶於元資料記憶部 670之το資料檔案671之圖。在此，動畫檔案661係由η個幀 構成之動畫的檔案，且將此等η個巾貞顯示為巾貞1 (664)至 η(667)。

此外’在元資料檔案671中相關連地儲存有：動畫 ID674、幀編號675、及仿射變換參數676。 動晝ID674係賦予對應之動晝檔案的動晝m，如儲存賦 予動晝檔案661之「W」。 幀編號675係構成對應之動晝檔案的動畫之各幀的序 號，如儲存對應於構成動晝檔案661之動畫的幀（1)664至 (n)667 的「1」至「n ,。 仿射變換參數676係就對應於幀編號675之動畫的各幀計 算出之仿射變換參數。另外，對應於幀編號675「丨」之仿 射變換參數 676「al，bl，el，dl，el，fl」^^k_ 變換參數。此外，對應於幀編號675「m(m係2以上之整 數）」之仿射變換參數676「am，bm, em，dm，⑽，加」，係 對應於幀「m」之前幀「m_i」的仿射變換參數。 以上，係就依是否將對應於現在幀之現在圖像固定於顯 示部m正中部分等而再生動4，在對應於現在幢之圖像 中實施仿射變換’來製作合成圖像之情況；與在對應於前 面各Φ貞之&成圖像上，在與仿射變換參數之方向相反方向 131699.doc -56- 200922324 實施仿射變換來製作合成圖像之情況作說明。作g 對應於現在t貞之現在圖像中依序實施仿射變換來U在 圖像，依序保存於圖像記憶體，並且從該圖 。成 成圖像取出成為顯 μ體之合 勺顯不對象之區域的顯示區域來顯示。 此，可在再生動畫中切換顯示部之顯示態樣。以下藉 等動畫再生方法’參照圖式詳細地說明。 Γ此 圖34係顯示本發明之實施形態中的圖像處理裝置 功此結構例的區塊圖。在此，圖像處理裝置⑽係改 32所示之圖像處理裝置㈣的—部分者，且具備：動 入。卩110、攝像工作檢測部12〇、記錄控制部651、動晝圮 憶部660、元資料記憶部67〇、稽案取得部681、圖像變： 部682、圖像合成部⑻、圖像記憶體⑽、顯示區域取出 部685、顯示用記憶體686、顯示控制部687、操作受理部 688及顯示部689。另外，因為動晝輸入部110、攝像工作 檢測部120、記錄控制部651、動畫記憶部66〇及元資料記 憶部670之結構與圖32所示之圖像處理裝置㈣相同，所以 省略就此等以外結構之說明。另外，該例係就改變圖32所 不之圖像處理裝置65〇的一部分之例作說明，不過，就圖工 所示之圖像處理裝置1〇〇亦可適用。 檔案取得部681係依來自操作受理部688之動晝再生的操 作輸入’而取得記憶於動晝記憶部66〇之動晝檔案，以及 與該動畫檔案相關連，而記憶於元資料記憶部67〇之元資 料槽案者’且將取得之動晝檔案的動晝及元資料檔案之仿 射變換參數輸出至圖像變換部682，並將取得之動畫檔案 131699.doc -57- 200922324 的動晝輸出至圖像合成部683。 圖像變換部682係就構成從檔案取得部68丨輸出之動晝檔 案的動晝之圖像，使用對應於該動畫之仿射變換參數，每 幀實施仿射變換，並將仿射變換後之圖像輸出至圖像合成 部6 8 3者。 圖像合成部683係藉由在對應於保持於圖像記憶體684之 前為止的各巾貞之合成圖像上，寫上藉由圖像變換部682而 仿射變換後的圖像，而合成圖像，並將所合成之新的合成 圖像保存於圖像記憶體684者。此外，圖像合成部M3藉由 依據從顯示區域取出部685輸出之現在圖像在顯示區域之 位置將現在圖像寫上保持於顯示用記憶體686之合成圖 像上而合成。具體而言，指定有固定現在圖像之顯示模式 障況下圖像合成部683藉由將從檔案取得部681輸出之現 在圖像寫上保持於顯示用記憶體686之合成圖像正中部分 而口成3外，才曰疋有固定現在圖像之前的合成圖像之顯 不模式If況下，圖像合成部683藉由依據從顯示區域取出 部奶輸出之現在圖像在顯示區域之位置，將藉由圖㈣ 換部682而仿射變換後之現在圖像寫上保持於顯示用記憶 體_之合成圖像上而合成。此外，圖像合成部卿縮藉 由圖像變換部682而仿射變換後的圖像，寫上保持於圖像 記：體684之合成圖像，並將寫上保持於顯示用記憶體686 之合成圖像的現在圖像作為非塵、縮圖像，或是解像度比麼 2後之履歷圖像高的攝像圖像。藉此，可將輪出合成圖像 時之履歷圖像作為屢縮圖像，並將現在圖像作為非㈣圖 131699.doc -58- 200922324 像或是解像度比壓縮之履歷圖像高的攝像圖像。在此，就 合成於顯示用記憶體686之現在圖像的大小，係依顯示倍 率之值來決定。另外，就顯示用記憶體686中之現在圖像 的合成，參照圖4〇及圖41詳細地說明。 圖像記憶體684係保持藉由圖像合成部683所合成之合成 圖像的工作緩衝器，且係將保持之合成圖像供給至圖像合 成部683或顯示區域取出部685者。亦即，圖像記憶體684 係保持履歷圖像之圖像記憶體。 顯示區域取出部685係從保持於圖像記憶體684之合成圖 象取出存在於成為顯示對象之區域的顯示區域範圍内的 圖像者，並使取出之圖像保持於顯示用記憶體686。此 外顯示區域取出部685在保持於圖像記憶體684之合成圖 像中對應於現在㈣現在圖像之至少—部分從顯示區域之 範圍内超出情況下，以現在圖像之全部包含於顯示區域之 乾圍内的方式使顯示區域移動後，從保持於圖像記憶體 684之合成圖像取出存在於顯示區域之範圍内的圖像。再 者，顯示區域取出部685在指定有固定現在圖像之前的合 成圖像之顯*模式情況下，係算出現在圖像在顯示區域之 置並將現在圖像在該顯示區域之位置輸出至圖像合成 邛683。另外，就包含於該顯示區域之範圍内的圖像之取 出’參照圖35至圖41等詳細地說明，就顯示區域之移動， 參照圖36、圖37等詳細地說明。此外，就現在圖像在顯示 區域之位置的算出，參照圖40詳細地說明。 顯不用記憶體686係保持藉由顯示區域取出部685從圖像 131699.doc -59- 200922324 體684所取出之圖像的顯示用緩衝器，並將保持之圖 像顯示於顯示部⑽。另外，就保持於該顯示物之Ξ 像，參照圖3 5、圖3 6等詳細地說明。 顯：控制部687係將保持於顯示用記憶體⑽之合成圖 像，每幀依序顯示於顯示部689者。 顯示部_係依據顯示控制部687之控制，而顯示保持於 =示=體_之合成圖像者。如可藉由個人電腦或電 視之顯示器而實現。另外，人 42等詳細地說明。 ^成圖像之顯示例，參照圖 操作受理部688係具備各種操作鍵等，受理此等鍵之操 作輸入時，將受理之極你岭、 才呆作輸入内谷輸出至檔案取得部681 =顯示區域取出部685者。操作受理部_中如設有指示動 再生的再生指示鍵、指定動畫之顯示倍率的顯示倍率 疋鍵&於再生動畫時設定顯示模式之設定鍵。該顯示 T式如有：在固定對應於現在幢之前的各賴之合成圖像狀 m吏對應於現在幘之現在圖像仿射變換而顯示之顯示 模式’或疋在固疋對應於現在鴨之現在圖像的狀態下，使 對應於前面各幅之合成圖像在與仿射變換參數之方向相反 方向仿射變換而顯示的顯示模式。此等顯示模式即使在動 f再生中仍可切換。亦即，採用本發明之實施形態，可任 忍地切換：固定現在（Current)之圖像顯示框，變換過去之 履歷圖像而圖像合成顧千& 士 豕风不的方法；及依據攝像工作移動現 在之圖像顯示框而圖像合成顯示的方法來顯示。 圖3 5係模式顯不§己憶於本發明之實施形態中的動晝記憶 131699.doc 60· 200922324 部660之動畫檔案之各中貞與顯示區域的關係圖。在此，僅 圖示圖像記憶體684、元資料記憶部67()及操作受理^ ⑽’而省略此以外之結構。此外，就構成㈣⑻所示 之動畫檔案661的傾M」至「3」，係使用記憶於元資料槽

Sr1::射變換參數Μ ’在圖像記憶體684中製作合成 為例作說明。另外，圖35顯示在顯示部689中固定 對應於現在幀之前各幀的合成圖像之情況。 圖35⑷中顯示將構成圖33(b)所示之動畫檔案⑹的幢中 係最初之㈣巾貞i (664)保存於圖像記憶體_的情況。如固 定對應於現在鴨之前各中貞的合成圖$，藉由操作受㈣ _受理指示再生記憶於動畫記憶部66〇之動晝檔案661的 6再61生之指^之操作輸入時，如圖35(3)所示，對應於動畫播案 (664)的圖像351被保存於圖像記憶體㈣。在此， 係將對應於最初之㈣圖像351保存於圖像記憶體_的位 6置88,中亦Λ保存於預先指定之位置，亦可保存於操作受理部 ^中精由使用者所指定之位置。此外，如亦可使用關於 ，計算幢「】i「 案61的仿射變換參數 Α 」至η」之合成圖像的大小，並依據該 ::來：定保存圖像351之位置。另外，該例係 於 ==體Γ上之圖_左上方之位置作為原點，並 明。、⑷軸）設為X軸，將縱方向（縱軸）設為y轴作說 =圖3叫所示，將在圖像記憶體684上配置了圖像州時 ’…下£域作為顯示區域361。顯示區域361如依據保存有 131699.doc -61 - 200922324 圖像35 1之位置及大小，並依藉由操作受理部所受理之 顯示倍率的值來決定。如指定拉攝現在圖像之「0.5倍」 的顯示倍率情況下’顯示區域3 6 1將圖像3 5丄為中心，而成 為圖像351之2倍的大小。另外，對應於圖像351之顯示區 域361的位置可藉由仿射變換參數來決定。亦即，指定拉 攝現在圖像之「0.5倍」的顯示倍率情況下，係使用χ方向 及y方向之變焦成分成為2倍之仿射變換參數來設定顯示區 域。此外κ吏使顯#區域對現在圖像平行移動之情況或 旋轉之情況’藉由使用仿射變換參數仍可決定顯示區域之 位置及範圍。

圖3 5(b)中顯示將構成圖33(b)所示之動晝檔案66丨的幀中 之幢2(665)保存於圖像記憶體684的情況。該情況下，如上 述，=使用與幢編號675之「丨」及「2」相關連，而記憶 於兀•資料檔案671的仿射變換參數676 ,變換對應於幀 2(665)之圖像352，並寫上圖像351而合成。該情況下，如 對應於現在幀之圖像352不超出顯示區域361之範圍内情況 下’不變更顯示區域361之位置及大小。在此，就現在圖 像攸現在之顯示區域的範圍内超出之情況，參照圖36及圖 37詳細地說明。另外，亦可依圖像352對圖像35丨之移動， 而使顯示區域361平行移動等。 圖35(C)中顯示將構成圖33(b)所示之動畫檔案661的幀 之幀3保存於圖像記憶體6 8 4的情況。該情況下，如上述 係使用與幀編號675「1」至「3」相關連，而記憶於元 料檔案671的仿射變換參數676，變換對應於幀3之圖 131699.doc -62- 200922324 3 53，並寫上圖像351及352而合成。 其次，就配合現在圖像之移動而使顯示區域移動時之處 理’參照圖式詳細地說明。 圖36係概略顯示現在圖像從顯示區域超㈣顯示區域之 移動方法圖。圖36⑷係顯示包含保持於圖像記憶體咖之 現在圖像760的數個圖像與顯示區域759的關係圖。如圖 36⑷所示，因為在顯示區域759之範圍内含有現在圖像彻 之全部，所以在顯示部689中與其他圖像一起顯示現在圖 像760之全部。 圖36(b)係顯示包含保持於圖像記憶體6料之現在圖像 762的數個圖像與顯示區域769之關係圖。在此，現在圖像 762係對應於圖36⑷所示之現在圖像％。的其次幢之圖像。 士圖36(b)所不，現在圖像762之_部分從顯示區域μ之範 圍内超出情況下，現在圖像76〇之一部分不顯示於顯示部 ㈣。因此，在此種情況下，如圓歸)所示顯示區域取 出部685算出顯示區域765之-邊，與從顯示區域759之範 圍内超出的現在圖像762之差分值763，而使顯示區域Μ 移動在該算出之差分值763中加上附加值764之值程度。在 此附加值764如可為5畫素。此外，亦可不加上附加值而 移動差刀值程度。另外，圖36(b)係以現在圖像762從顯示 區域761之右側部分超出的情況為例作說明，不過即使現 在圖像從上側部分、下側部分或是左側部分超出時，仍可 藉由同樣之方法使顯示區域移動。此外’現在圖像從上下 左右之至少2處超出情況下，可分別算出一邊之差分值， 131699.doc -63 - 200922324 依據所算出之各差分值，而使顯示區域移動於各個邊的方 向。 圖36(c)顯示依據在圖36(b)所示之狀態下算出之差分值 763而移動的顯示區域765。 圖37係顯示以圖36所示之移動方法使顯示區域移動時之 變遷的-例圖。圖36⑷係顯示使顯示區域移動時圖像記憶 體684上之顯示區域的變遷之一例圖，圖％⑻係顯示使顯 t示區域移動時顯示於顯示部689之圖像變遷之一例圖。如 (該圖所示’即使現在圖像767以後之圖像從顯示區域766超 出時，仍可依現在圖像之位置’使顯示區域766依序移 動。如在圖像記憶體684上，從圖像767至現在圖像769行 進時，顯示區域766依該移動而移動至顯示區域768的位 置。該情況τ，顯示於顯示部689之圖像從圖像77〇變遷至 圖像771。藉此，即使放大縮小顯示於顯示部㈣之圖像， 仍可將現在圖像之全部始終顯示於顯示部689。 ( 其次，就顯示部689中固定對應於現在幢之現在圖像的 情況，參照圖式詳細地說明。 圖38係模式顯示記憶於本發明之實施形態中的動晝記憶 4 660之動畫檔案的各幀與顯示區域之關係圖。在此，與 圖35同樣地，僅圖示圖像記憶體684、元資料記憶部及 刼作受理部688，而省略此等以外之結構的圖示。此外， 就構成圖33(b)所示之動畫檔案661的幀「丨」至「3」，係以 使用記憶於元資料檔案671之仿射變換參數676，而在圖像 記憶體684中製作合成圖像之情況為例作說明。 131699.doc -64- 200922324 圖38(a)中，與圖35(a)同樣地，顯示將幀ι(664)保存於圖 像記憶體684之情;兄。另外，因為就圖38(a)所示之圖像351 及顯示區域361的位置及大小，與圖35(a)所示者相同，所 以省略在此之詳細說明。另外，該例雖與現在圖像之變換 起變換顯示區域’不過’因為對應於+貞1(664)之仿射變 換參數係單位料之參數，所以對應於巾貞1(664)之顯示區 域361僅考慮從操作受理部688指定之顯示倍率作決定。 圖38(b)中，與圖35(a)同樣地，顯示將幀2(665)保存於圖 像記憶體684之情況。該情況下，與圖35(a)同樣地，變換 對應於幀2(665)之圖像352，寫上而合成於圖像351，並且 就顯示區域亦實施仿射變換。亦即，將圖像351之位置及 大小為基準，使用與幀編號675之「i」及「2」相關連， 而S己憶於元資料檔案671的仿射變換參數670，變換對應於 巾貞2(665)之圖像352。而後，使用依藉由操作受理部688受 理之顯示倍率的值而決定之仿射變換參數，變換圖像352 之位置及大小，藉由該變換後之位置及大小而決定之區域 成為顯示區域362。具體而言，將對應於幀編號675之 「1」及「2」的仿射變換參數之矩陣分別設為Ai、A2， 將依藉由操作受理部68S所受理之顯示倍率之值而決定的 仿射變換參數之矩陣設為B(如將現在圖像作為基準之矩 陣）情況下，求出A1xA2xB之值，將圖像351之位置及大小 作為基準’並藉由求出之Al xA2xB的矩陣決定顯示區域 362。 圖3 8(c)中’與圖35(a)同樣地’顯示將幀3保存於圖像記 131699.doc -65- 200922324 憶體684之情況。該情況下亦如上述，變換對應於幀3之圖 像353，寫上而合成於圖像351及352，並且就顯示區域亦 實施仿射變換，來決定對圖像353之顯示區域363。具體而 言，將對應於幀蝙號675之Γι」至「3」的仿射變換參數 之矩陣刀別设為A1至A3，將依藉由操作受理部688所受理 之ί'、員示七率之值而決定的仿射變換參數之矩陣設為B情況 下，求出Α1χΑ2χΑ3χΒ之值，將圖像351之位置及大小作 為基準並藉由求出之Α1 χΑ2χΑ3χΒ的矩陣決定顯示區域 363 ° 圖39係顯示指定有在顯示部689中固定現在圖像之顯示 模式的隋況下，使顯示於顯示部689之動畫放大顯示時之 放大方法的概略圖。圖39⑷係概略顯示使顯示於顯示部 689之動畫放大顯示時之顯示區域的變遷圖，圖39(b)係顯 示將顯示於圖39⑷之顯示區域693及699内的圖像顯示於顯 示部689時的顯示例圖。 圖39(b)係顯示藉由圖39(3)所示之顯示區域的8從圖像記 憶體684取出，而顯示於顯示部689的圖像7〇〇。在此，在 顯示有圖39(b)所示之圖像7_狀態下，於操作受理部⑽ 中受理了放大顯示之指示操作情況下，顯示區域取出部 685依該放大顯不之指示操作而縮小顯示區域柳之大 小。另外，該縮小處理主要針對現在圖像697進行。亦 即如上述，係使用依藉由操作受理部所受理之顯示 心率的值而決夂之仿射變換參數，變換圖像679之位置及 大小’藉由該變換後之位置及大小來決定顯示區域剛。 131699.doc -66 - 200922324 該例因為實施放大顯示倍率之操作輸入，所以依該顯示倍 率之放大來決定仿射變換參數之變焦成分。 如圖39(a)所示，縮小顯示區域698之大小，而成為顯示 區域6"。圖39(b)係顯示藉由圖39(a)所示之顯示區域 699，從圖像記憶體684取出而顯示於顯示部689的圖像 01々此，僅變更顯示區域之大小，即可使包含現在圖 像之圖像放大或縮小而顯示。 如以上所示，藉由顯示配置於圖像記憶體684上之顯示 區域的範圍内存在之圖像’可使再生中之合成圖像依序顯 示在此，仿射變換現在圖像而合成於圖像記憶體684 時，係實施低解像度地變換之解像度變換處理及壓縮處理 等的畫質變換。因❿’提高顯示倍率而使現在圖像放大顯 不It况下，可能造成包含現在圖像之合成圖像模糊。因 此，該例係就現在再生中之$見在圖像，使肖合成於圖像記 憶體684之前的圖像來顯示合成圖像。以下就該顯示方 法’參照圖式詳細地說明。 圖40及圖41係模式顯示記憶於本發明之實施形態中的動 畫記憶部660之動畫檔案的各幀之流路圖。在此，僅圖示 動畫記憶部660、元資料記憶部67〇、圖像記憶體_及顯 示用記憶體686之關係，而省略此等以外之結構的圖示。 此外，圖40係顯示在顯示部689中固定對應於現在.貞之前 各幢的合成圖像之情況，圖41係顯示在顯示部_中固定 對應於現在貞之現在圖像的情況。 圖40(a)中簡化顯示圖33(b)所示之動畫標案661及元資料 131699.doc •67· 200922324 播案671。以下 __ 就颂不對應於構成動畫檔案661之 1(666)的圖像之例 ^ m ⑹之㈣應於構成動畫樓案 、 卜1」的圖像’製作合成圖像者。此外，係配 S現在圖像之移動，而使圖35所示之顯亍 右側者。 叮不之顯不&域361移動於 圖40(b)中棋式顯示保持有合成對應於構成動晝楷案66 1 之各巾貞的圖像之合成圖像的圖像記憶體_。如圖35 不’將對應於構成動晝檐案661之傾1(66ι)的圖像351最初 保持於圖像記憶體684。而後’將圖像351保持於圖像記憶 體_後’對應於構成動畫檔案661之幀2至「“」的各圖 像使用刀別與幢2至「卜1」相關連而記憶於元資料播案 67!的仿射變換參數676之值，依序仿射變換，並將仿射變 換後之圖像依序寫上圖像記憶體684而保持。而後，顯示 區域取出部685從保持於圖像記憶體6M之合成圖像，每幢 取出依操作受理部688減之顯示倍率的操作輸入所決定 之存在於顯示區域内的圖像。 在將對應於幢1至「…之各圖像而形成之合成圖像保 持於圖像記憶體684的狀態下，將對應於構成動畫槽案661 之鴨1(666)的圖像，使用與幀}至丨相關連，而記憶於元資 料檔案671的仿射變換參數676仿射變換，並將仿射變換後 之現在圖像692寫上圖像記憶體684而保持'而後，顯示區 域取出部685從保持於圖像記憶體684之合成圖像，取出存 在於依操作受理部688指定之顯示倍率的操作輸入所決定 之顯示區域690内的圖像，使取出之圖像如圖4〇(e)所示地 131699.doc •68- 200922324 保持於顯示用記憶體686。 圖4〇(e)中模式顯示保持有藉由顯示區域取出部⑻所取 、圖像的顯不用記憶體686。在此，對應於藉由顯示區 域，出部685所取出之圖像中的現在中貞之現在圖像⑷，並 非藉由顯不區域取出部685而從圖像記憶體684取出之現在 圖像692 ’而係使用從動畫記憶部66〇取得，並藉由圖像變 換口P 682仿射變換後之圖像。在此，現在圖像州在顯示用 >己隐體686中之保存位置’可依據現在圖像_在圖像記憶 體684中之位置及大小，與顯示區域69〇在圖像記憶體 中之位置及大小來決定。如將與幀編號6乃之「丨」至 1」相關連，而記憶於元資料檔案671之仿射變換參數的 矩陣，分別設為A1、…' Ai，將決定顯示區域69〇用之仿 射變換參數的矩陣（如將圖像記憶體684作為基準之矩陣）設 為C情況下，將圖像351之位置作為基準，藉由使用 Inv(C)xAlx...xAi，可決定現在圖像693在顯示用記憶體 686中之保存位置。 如圖40(c)所示，將藉由顯示區域取出部685所取出之圖 像保持於顯示用記憶體686，並且在藉由顯示區域取出部 685所取出之圖像上，寫上從動畫記憶部66〇取得而藉由圖 像變換部682仿射變換之圖像，並保持於顯示用記憶體 686。而後，將保持於顯示用記憶體686之圖像顯示於顯示 部689。如此’就現在圖像於仿射變換後實施縮小等之處 理，藉由使用保持於圖像記憶體684之前的狀態之圖像， 可顯示較美麗之現在圖像。此外，即使就藉由使用者之操 131699.doc -69- 200922324 作實施放大等的情況’亦可以美麗之狀態顯示現在圖像。 圖41(a)中簡化顯示圖33(1))所示之動晝檔案661及元資料 栺案671。另外，就圖4丨（a)所示之動晝記憶部“❹及元資料 記憶部670,與保持於圖41(b)所示之圖像記憶體684的合成 圖像，因為與圖40(a)及（b)相同，所以省略在此之說明。 圖41 (b)中模式顯示保持有從圖4〇(b)所示之圖像3$ 1至現 在圖像692之合成圖像的圖像記憶體，並且以虛線顯示 圖38(b)所示之顯示區域361。該例如圖38所示，因為在顯 示部689中固定對應於現在幢之現在圖像的位置，所以配 合現在圖像692藉由仿射變換而算出顯示區域。亦即，將 現在圖像之圖像35丨作為基準，使用與幀編號675之Γι」 至「1 j相關連，而記憶於元資料檔案671之仿射變換參數 676，將對應於幀i(666)之圖像變換成圖像692，並保存於 圖像記憶體684。而後，就對應於幀i(666)之顯示區域 695，使用依藉由操作受理部688所受理之顯示倍率之值， 而決定之仿射變換參數，變換圖像692之位置及大小，並 藉由變換後之位置及大小決定顯示區域695。該顯示區域 之決定’係藉由顯示區域取出部685來進行。 圖41 (c)中模式顯示保持有藉由顯示區域取出部685所取 出之圖像的顯示用記憶體686。在此，保持於顯示用記憶 體686之圖像（現在圖像696以外之圖像），係使用對用於變 換顯示區域695之仿射變換參數的矩陣之反矩陣，變換藉 由顯示區域取出部685所取出之圖像（存在於顯示區域695 之範圍内的圖像）的圖像。亦即，配置於圖像記憶體684上 131699.doc -70- 200922324 之顯示區域的形狀，有藉由仿射變換而成為平行四邊形之 情況等。因為使如此仿射變換之顯示區域内的合成圖像顯 不於顯示部689，所以使用用於仿射變換現在之現在圖像 時的仿射變換參數之矩陣的反矩陣，變換顯示區域内之合 成圖像。如將與幀編號675之「}」至「丨」相關連，而記 憶於το資料檔案671之仿射變換參數的矩陣，分別設為 A1、…、Ai，將決•定顯示區域695用之仿射變換參數的矩 陣（如將現在圖像作為基準之矩陣）設為B情況下，使用 Ιην(Α1χ，·，χΑίχΒ) ’作為變換顯示區域内之合成圖像用的 矩陣。藉此，如圖41(c)所示，可將變換成平行四邊形之圖 像變換成長方形，而顯示於顯示部689。此外，藉由顯示 區域取出部685而取出之圖像中對應於現在幀之圖像696， 使用從動旦δ己憶部6 6 〇取得而並未仿射變換之圖像，並非 藉由顯示區域取出部685從圖像記憶體684所取出之圖像。 在此，於顯示用記憶體686中，保存圖像696之位置及大 小，係依來自操作受理部688之顯示倍率而決定。 如圖41(c)所示，將藉由顯示區域取出部所取出之圖 像保持於顯示用記憶體686，並且在藉由顯示區域取出部 685所取出之圖像上，寫上從動晝記憶部660取得之圖像， 並保持於顯示用記憶體686。藉此’指定 示於固定位置之顯示模式情況下，可將-旦實施了= 換之合成圖像，返回並未藉由反矩陣而仿射變換的狀態來 顯示。此外，就現在圖像與圖4〇同樣地，可 ‘麗 圖像。 权夹鹿之 131699.doc •71 · 200922324 如以上所示，因為可藉由同一方法製作保持於圖像記憶 體684之合成圖像的製作方法，而實現2種顯示態樣之動畫 再生，所以可在動晝之再生中進行2種顯示態樣之切換。 藉此’於再生中收視動畫者，即使於再生中，仍可切換成 喜好之顯示態樣。如以圖4 〇所示之顯示態樣再生動畫情況 下，欲將喜好之人物出現於現在圖像之正中，將其人物配 置於顯示部689之正中部分而收視情況下，藉由來自操作 受理部688之顯示模式切換操作，可切換成圖41所示之顯 示態樣的動晝再生。此外，就現在圖像，因為可使用從動 晝記憶部660取得之圖像，而非保持於圖像記憶體684之合 成圖像，所以可收視較美麗之圖像。就該顯示例，參照圖 4 2及圖4 3詳細地說明。 圖42⑷係顯示再生藉由相機所攝影之動晝時的顯示例 圖。該例係主要使相冑左右方向移動而_在有大型 建築物之草坪的廣場遊玩之親子時的冑畫於再生中之圖像 750。在此’圖像75时’藉由對應於構成動畫之各幢的圖 像所合成之圖像751形成全景狀。此外，圖像對應於 現在幀之圖像係現在圖像752。 隹此，就放大顯示被框 明。就顯示於顯示部689之圖像實施放大縮小顯示情 下，藉由使用者在操作受理部688中操作顯示倍率^ 鍵’可指定希望之顯示倍率。如圖42⑷所示，在顯示 689中顯不有圖像75〇之情 圖儅F柃达 玟穴顯不被框753包圍. 圖像^情況下，使用者在操作受理部_巾操作顯心 131699.doc •72- 200922324 率指定鍵而指定顯示倍率，並且藉 _ 稽由晶定位置，可放大顯 不被框753包圍之圖像區域。 圖鄉）係顯示仿射變換圖像75〇中之現在圖像w前的 狀態之圖像754之圖。 圖43⑷係顯示放大顯示圖42(a)所示之被框753包圍之圖 像區域時之圖像755的圖。圖43(a)所示之圖像W係仿射變 換後之現在圖像在保存於圖像記憶體㈣前之狀態合成於 顯示用記憶體686的圖像。如此，在現在圖像756之區域顯 不保存於圖像記憶體684前之狀態的比較精細之圖像。因 而，比較現在圖像756與該區域以外之區域時，可看到比 其他區域較為美麗的現在圖像756。另外，圖叫)所示之 圓像757係仿射變換後之現在圖像在保存於圖像記憶體咖 之狀態保存於顯示用記憶體686的圖像。如此顯示情況 下，即使就現在圖像758之區域，仍顯示與其他區域之圖 像相同程度的圖像。亦即，採用本發明之實施形態，實施 圖像合成顯示時，雖然有時保持於顯示用記憶體686之履 歷圖像被壓縮，不過，就現在（Current)之圖像，因為可使 用非壓縮之圖像或是解像度比履歷圖像高之圖像，所以可 實現高晝質之圖像合成顯示。 圖44及圖45係顯示藉由本發明之實施形態中的圖像處理 裝置680實施動畫再生處理之處理程序的流程圖。另外， 在圖44及圖45所示之處理程序中，就步驟S921、s925、 S926、S928及S929，因為與圖25所示之處理程序相同，所 以註記同一符號，而省略在此之說明。 131699.doc -73- 200922324 j案取得㈣1依來自操作受理部688之操作輸人 ==畫記憶部_之動晝檔案，並且取得與該動晝： 案關連，而記憶於元資料記憶部67。之元資料標案(步驟 〜1)、。繼續，標案取得部681將動畫檔案予以解碼，而取 付構成動晝檔案之丨個幀之現在幅(步驟S962)'繼續，栌 案取得部681從元資料料取得對應於取得之現在鴨的^ 射變換參數（步驟S963)。 ί 繼續’將對應於仿射變換後之現在巾貞的現在圖像寫上合 成圖像中’而保存於圖像記憶體170(步驟S926)後，顯： 區域取出部6 8 5判斷是否指定有固定現在圖像之顯示模式 (步驟S964)。指定有固定現在圖像之顯示模式情況下（步驟 S964)，顯*區域取出部685使用從最初之巾貞至現在鴨的仿 射變換參數與對應於顯示倍率之仿射變換參數，決定顯示 區域之位置及大小（步驟S965)。繼續，顯示區域取出部 685從圖像記憶體684取出包含於顯示區域之合成圖像（步 驟S966)。繼續，顯示區域取出部685使用對用於決定顯示 區域之仿射變換參數的矩陣之反矩陣，仿射變換從圖像記 憶體684取出之合成圖像（步驟S967)。 繼續，顯示區域取出部685將從圖像記憶體684取出而仿 射變換之合成圖像保存於顯示用記憶體686(步驟S968)。 繼續，圖像合成部683在保存於顯示用記憶體686之合成圖 像上寫上而合成現在圖像（步驟S969)。繼續，將保存於顯 示用記憶體686之合成圖像顯示於顯示部689(步驟s97〇)。 此外，未指定固定現在圖像之顯示模式情況下（步驟 131699.doc •74- 200922324 S964) ’顯示區域取出部685使用對應於顯示倍率之仿射變 換參數來決定顯示區域之位置及大小（步驟S971)。另外， 顯示區域依現在圖像之變換而移動情況下，亦可使用之前 移動之顯示區域的位置。 繼續，顯示區域取出部685判斷保持於圖像記憶體684之 現在圖像是否從顯示區域超出（步驟S972)。保持於圖像記 憶體684之現在圖像未從顯示區域超出情況下（亦即，現在 圖像之全部包含於顯示區域之範圍内時）（步驟S972)，顯示 區域取出部685從圖像記憶體684取出包含於顯示區域之合 成圖像（步驟S973)。繼續，顯示區域取出部6肊將從圖像 記憶體684取出之合成圖像保存於顯示用記憶體686(步驟 S974)。 繼續，顯示區域取出部685使用用於變換現在圖像之仿 射變換參數的矩陣，與對用於決定顯示區域之仿射變換參 數的矩陣反矩陣，決定現在圖像在顯示用記憶體686中之 位置（步驟S975)。繼續，圖像合成部683在保存於顯示用 記憶體686之合成圖像上寫上仿射變換後的現在圖像而合 成（步驟S976)。繼續，進入步驟S97〇。 此外，保持於圖像記憶體684之現在圖像從顯示區域超 出情況下㈣’現在圖像之至少一部分不含於顯示區域 的範圍内的情況）（步驟S972)，顯示區域取出部685算出顯 不區域之一邊，與從顯示區域超出之現在圖像的差分值 (步驟S977)。繼續，顯示區域取出部685依據算出之差分 值使顯示區域移動（步驟S978)。繼續，進入步驟s973。 131699.doc 75- 200922324 其次，就藉由多核心處理器進行本發明之實施形態中的 特徵點抽出處理及光學流計算處理之情況，參照圖式詳細 地說明。 圖46係顯示本發明之實施形態中的多核心處理器8〇〇之 一個結構例圖。多核心處理器800係在1個(：？1;(中央處理單 元）封包上搭載有數個不同種類之處理器核心的處理器。 亦即，多核心處理器800中，為了維持各處理器核心單體 之處理性能，並且形成簡單之結構，而搭載有數個2種處 理器核心，其包含：對應於所有用途（應用）的丨種核心，及 在特定之用途上某種程度最佳化之其他種類的核心。 多核心處理器800具備：控制處理器核心8(H、運算處理 器核心（#1)811至（#8)8 18及匯流排802，且與主記憶體781 連接。此外，多核心處理器800如與圖形器件782或I/C)器 件783專其他器件連接。多核心處理器8〇〇如可採用藉由本 專利申請人等開發出之微處理器之「胞（Cel1: Cell Broadband Engine)」° 控制處理器核心801係主要進行作業系統之頻繁的穿線 (thread)切換等的控制處理器核心。另外，就控制處理器 核心801，參照圖47詳細地說明。 運算處理器核心（#1)811至（#8)81 8係善於處理多媒體系 統之簡單且小型的運算處理器核心。另外，就運算處理器 核心（#1)811至（#8)818，參照圖48詳細地說明。 匯流排802係稱為EIB(單位互連匯流排）的高速匯流排， 且分別連接控制處理器核心801及運算處理器核心（#1)811 I31699.doc • Ί6- 200922324 至各處理器核心之資料存取係經由匯流排叫 進行。 主記憶體781係連接於匯流排8〇2，_存須載入各處理器 核、之各種程式’及各處理器核心之處理時需要的資料， 並且儲存藉由各處理器核心處理之資料的主記憶體。 圖形器件782係連接於匯流排8〇2之圖形器件，ι/〇器件 783係連接於匯流排8〇2之外部輸入輪出器件。 圖47係顯示本發明之實施形態中的控制處理器核心謝 ，-個結構例圖。控制處理器核心8〇1具備：控制處理器 單元803及控制處理器儲存系統8〇6。 控制處理器單元803係成為進行控制處理器核心8〇1之運 算處理的核心之單元，且具備將微處理器之架構作為基礎 的命令組，一次快取記憶體搭載有··命令快取記憶體8〇4 及資料快取記憶體805。命令快取記憶體8〇4如係32 KB之 命令快取記憶體，資料快取記憶體8〇5如係32 KB之資料快 取記憶體。 控制處理器儲存系統806係控制從控制處理器單元8〇3至 主記憶體781之資料存取的單元，為了使來自控制處理器 單元803之記憶體存取高速化，而搭載有512 之二次快 取記憶體807。 圖48係顯示本發明之實施形態中的運算處理器核心 (#1)811之一個結構例圖。運算處理器核心（#1)811具備運 算處理器單元820及記憶體流程控制器822。另外，因為運 算處理器核心（#2)812至（#8)8!8係與運算處理器核心 131699.doc -77- 200922324 (# 1 )8 11同樣之結構’所以省略在此之說明。 運算處理器單元820係成為進行運算處理器核心（#1)811 之運算處理的核心之單元，具備與控制處理器核心8〇1之 控制處理器單元8〇3不同的獨自之命令組。此外，運算處 理器單元82〇中搭載有局部儲存器（LS : L〇cai St〇re)821。 局部儲存器821係運算處理器單元82〇之專用記憶體， 並且係可從運算處理器單元820直接參照之唯一的記憶 體。局部儲存821如可使用容量為256 κ位元組的記憶體。 另外，運算處理器單元820為了存取於主記憶體781及其他 運算處理器核心（運算處理器核心㈣812至（#8)818)上的局 部儲存器，需要利用記憶體流程控制器822。 記憶體流程控制器822係在主記憶體781及其他運算處理 器核心等之間實施資料交換用的單心且係稱為跳（記 憶體流程控制器）的單元。在此，運算處理器單元82〇經由 稱為通道之介面，對記憶體流程控制器822請求資料轉送 等。

以上所示之多核心處理器_的程式設計模型，提出有 各種模型。該程式設計模型中，最基本之㈣，熟知有在 控制處理器核心、謝上執行主程式，在運算處理器核心 (#1)811至（#8)818上執行子程式的模型。本發明之實施形 態係就使用該模型之多核心處理器m的運算方法，參照 圖式詳細地說明。 圖49係模式顯示本發明之眘 x a &貫轭形態中的多核心處理器 800之運算方法圖。該例俜批 係乂控制處理器核心801使用資料 131699.doc -78- 200922324 785執行任務784情況下，使用任務784之一部分的任務786 處理時需要之資料787(資料785之—部分），而使各運算處 理器核心執行任務7 8 6的情況為例作圖示。 如該圖所示，控制處理器核心8〇丨使用資料785執行任務 784情況下，使用任務784之一部分的任務786處理時需要 之i料787("貝料785之一部分），而使各運算處理器核心執 行任務786。本發明之實施形態係構成動畫之每個幀藉由 各運算處理器核心進行運算處理。 / : 如該圖所示，藉由多核心處理器8〇〇進行運算可平行 利用運算處理器核心（#1)811至（#8)818，而以較少之時間 進行多個運算，並且在運算處理器核心（#1)811至（#8)818 上利用 SIMD(Single Instruction/Multiple Data:單一命令/ 數個資料）運算，可藉由更少之命令數進行較多之運算處 理。另外’就SIMD運算，參照圖53至圖56詳細地說明。 圖50係模式顯示藉由本發明之實施形態中的多核心處理 器800進行運算時之程式及資料的流路圖。在此，係將運 V 算處理器核心（#1)81丨至（#8)818中之運算處理器核心 (#1)811為例作說明’不過，即使就運算處理器核心 (#2)812至（#8)818，仍可同樣地進行。 首先，控制處理器核心8〇丨將儲存於主記憶體78丨之運算 處理器核心程式823載入運算處理器核心（#1)811之局部儲 存器82 1的指示傳送至運算處理器核心1 )8 11。藉此，運 算處理器核心（#1)811將儲存於主記憶體781之運算處理器 核心程式823載入局部儲存器82 1。 131699.doc -79- 200922324 =#制處理器核心801指示運算處理器核心⑻）川 存於局部儲存器821之運算處理器核心程式825。 之運7運异處理器核心、（#1)811將儲存於局部儲存器821 …异處理器核心程式825的執行處理時需要的資料似， 攸主自己憶體781轉送至局部儲存器821。 續運算處理器核心（#1)811依據儲存於局部儲存器 Ϊ1之運算處理器核心程式825，將從主記憶體781轉送之 -貝料26加ji，執行依條件之處理，並將處理結果儲存於 局部儲存器821。 、 、鼷續運异處理器核心（# i )8 i i將依據儲存於局部儲存器 ⑵之運算處理器核心程式825所執行之處理結果，從局部 儲存器821轉送至主記憶體781。 繼續運算處理器核心、（# i )8! i通知控制處理器核心⑽1 運算處理結束。 其次，就使用多核心處理器8〇〇進行之SIMD運算，參照 圖式詳細地說明。在此，所謂SIMD運算，係以命令進 行對數個資料之處理的運算方式。 圖5 1⑷係模式顯示以各個命令進行對數個資料之處理的 運算方式之概要圖。圖51(a)所示之運算方式係通常之運算 方式’如稱為純量(Scalar)運算。如藉由將資#「Α1」及 資料「B1」相加之命令，而求出資料「^丨」之處理結 果。此外，就其他3個運算亦同樣地，就各個處理進行將 在同一行之資料「A2」、「A3j、「A4」，與資料「Β2」、 「B3」、「B4」相加之命令，藉由該命令各行之值進行相 131699.doc • 80 - 200922324 加處理，而求出該處理結果之資料「C2」、厂c3」、「c4 如此，純#運算就對數個資料之處理，需要對各個下達命 〇 圖51(b)係模式顯示以1個命令進行對數個資料之處理的 運算方式之SIMD運算的概要圖。在此，用於simd運算而 合併成1個的資料（被點線827及828包圍之各資料）稱為向量 資料。此外，使用此種向量資料進行之SIMD運算，稱為 向量運算。 # 如藉由將被點線827包圍之向量資料（「八1」、「八2、 A3」 Α4」）與被點線828包圍之向量資料（「β 1 、 「Β2」、「Β3」、「Β4」）相加的1個命令，而求出「C1」、 C2」、C3」、「C4」之處理結果（被點線829包圍之資 料）。如此，因為SIMD運算可以丨個命令進行對數個資料 之處理’所以可迅速地進行運算處理。此外，多核心處理 器800之控制處理器核心8()1進行關於此等讀〇運算之命 令，就對該命令之數個資料的運算處理，運算處理器核心 (#1)811至（#8)818進行平行處理。 另外SIMD運算無法進行如將資料「Ai」肖「則」相 加、將資料「A2」與「B2」相減、將資料「A3j與 B3」相乘、將資料「八4」肖「B4」相除之處理。亦 即，刀別對數個資料實施不同之處理情況下，無法藉由 SIMD運算進行處理。 出處理及光學流算出處理時之 ’參照圖式詳細地說明。 其次，就進行特徵點抽 SIMD運算的具體運算方法 131699.doc -81 - 200922324 圖52係顯示藉由本發明之實施形態中的控制處理器核心 801或運算處理器核心（#1)811執行之程式的結構例圖。在 此，僅圖示運算處理器核心（#1)811，不過，即使就運算處 理器核心（#2)812至（#8)818，仍可進行同樣之處理。 控制處理器核心8 01之解瑪8 5 1係執行解碼8 5 2、交錯8 5 3 及重設尺寸（Resize)854。解碼852係將動畫檔案實施解碼 之處理，交錯8 53係就解碼後之各幀實施交錯除去之處 理。重設尺寸854係就交錯除去後之各幀實施縮小之處 理。 此外’控制處理器核心801就運算處理器核心管理856係 執行命令傳送857及859，以及結束通知接收858及86(^命 令傳送857及859係對運算處理器核心（#1)811至（#8)818傳 送執行SIMD運舁之命令的處理，結束通知接收Mg及860 係接收來自運算處理器核心（# 1 )811至（#8)8 18之對上述命 令的SIMD運算之結束通知的處理。再者，控制處理器核 心801就攝像工作檢測861係執行攝像工作參數算出處理 862。攝像工作參數算出處理862係依據藉由運算處理器核 心（#1)S11至（㈡8)“8實施之SIMD運算所算出之光學流，每 個幀算出仿射變換參數之處理。 運算處理器核心（# 1 )8 11就特徵點抽出處理863，係執行 佐貝爾濾波器（Sobel Filter)處理864、二次力矩矩陣 (Second Moment Matrix)處理865、可分離濾波器 (Separable Fiiter)處理866、哈里斯角落點抽出（(：心 Hards)處理867、膨脹處理（；DUati〇n)868、排列更換處理 131699.doc -82 - 200922324 (Sort)869 ° 佐貝爾濾波器處理864係算出使用P2之濾波器（x方向）而 獲得之X方向之值dx，與使用Y方向之濾波器而獲得之y方 向之值dy的處理。另外，就X方向之值dx的算出，參照圖 53至圖56詳細地說明。 一次力矩矩陣處理865係使用藉由佐貝爾濾波器處理864 所算出之dx及dy，而算出dx2, dy2, dx · dy之各值的處理。 可分離濾波器處理866係對藉由二次力矩矩陣處理865所 算出之dx2，dy2，dx.dy的圖像附加高斯濾波器（模糊處理） 之處理。 哈里斯角落點抽出處理8 6 7係使用藉由可分離濾、波器處 理860實施了模糊處理之dx2，dy2，dx · dy的各值，算出哈 里斯角落之數值的處理。該哈里斯角落之數值3如藉由其 次之公式算出。 S=(dx2xdy2-dx · dyxdx · dy)/(dx2+dy2+e) 膨脹處理868係對以藉由哈里斯角落點抽出處理867所算 出之哈里斯角落數值構成的圖像進行模糊處理之處理。 排列更換處理869係按照藉由哈里斯角落點抽出處理867 所算出之哈里斯角落的數值高的順序排列像素，從該數值 高者以特定數量程度拾取，抽出該拾取之點作為特徵點的 處理。 運算處理器核心（#1)811就光學流（〇ptical F1〇w)運算處 理 87〇，執行··錐形圖像（Make Pyramid Image)處理 87i、 光學流算出（Calc Optical Flow)處理872。 131699.doc •83- 200922324 錐形圖像處理871係從相機攝像時之圖像尺寸依序 特疋數之階段性縮小的圖像之處理，所製作之圖像稱 重解像度圖像^ 光學流异出處理872係在藉由錐形圖像處理871所製作之 々多重解像度圊像中，就最小之圖像計算光學流，使用該計 算結果，就上】個解像度之圖像再度計算光學流的處理， 且該一連串之處理循序反覆進行至最大之圖像。 如此，如就藉由圖1等所示之特徵點抽出部121進行之特 徵點抽出處理，與藉由光學流計算部122進行之光學流算 出處理，可使用多核心處理器_，藉由SIMD運算實施平 行處理而求出處理結果。另外，圖S2等所示之特徵點抽出 處理及光學流算出處理係丨個例子，亦可使用藉由對構成 動畫之圖像的各種濾波器處理及臨限值處理等而構成的其 他處理，進行多核心處理器8〇〇之SIMD運算。 圖5 3係概略地顯示就儲存於本發明之實施形態中的主纪 憶體781之圖像資料（對應於構成藉由相機攝像之動書 \ 個幀之圖像資料），使用佐貝爾濾波器830進行濾波處理時 的資料構造與處理流路圖。另外，就該圖所示之儲存於主 記憶體78 1的圖像資料’簡化橫之像素數而顯示32個像 素。此外，佐貝爾濾波器830係3x3之邊緣抽出濾波器。如 該圊所示，就儲存於主記憶體78 1之圖像資料，進行使用 佐貝爾滤波裔8 3 0之渡波處理，並輸出該渡波處理之結 果。該例係就使用SIMD運算，而一次獲得4個部分之淚波 器結果之例作說明。 131699.doc • 84· 200922324 圖54係概略顯示就儲存於本發明之實施形態中的主記憶 體781之圖像資料’使用佐貝爾濾波器830進行SIMD運算 時之資料的流路圖。最初，係將儲存於主記憶體781之圖 像資料中包含最初之線的特定數量之線（如3條線輝八（直 接記憶體存取）轉送至設於運算處理器核心之局部儲存器 821的第、緩衝器831，並且將向下錯開丄個DMA轉送至第 緩衝盗831之各線的特定數量之線⑽八轉送至第二緩衝 器832。如此’藉由使用雙緩衝器，彳隱蔽ο·轉送之延 圖55係概略顯示❹本發明之實施形態中的佐貝爾減波 器請進行遽波處理時，從儲存於第一緩衝器831之圖像資 料製作9個向量之向量製作方法之圖。如圖54所示，進行 轉达後，從儲存於第_緩衝器831之圖像資料製作9個 向1。具體而言，在儲存於第—緩衝器831之圖像資料的i 線中’從左角落藉由4個資料製作向量資料841，藉由將盆 4個資料向右側錯開}個之4個資料製作肖量資料⑷，同樣 地’藉由將纟4個資料向右侧錯開1個之4個資料製作向量 資料843。此外’在2線及3線中亦同樣地，藉由物資料製 作向量資料844至849。

㈤圖5 6係概略顯示使用本發明之實施形態中的佐貝爾據波 器進行遽波處理時，就向量資料841至849使用Μ㈣命 令進行向量運算之向量運算方法圖。具體而言，就像量資 料841至843 ’依序進行SIMD運算，而求出向量a。該 S細運算係首先執行『「]」X「向量資料州」』之謝D J31699.doc •85- 200922324 運算。繼續，執行『「〇」X「向量資料料2」』之SIME^ 算’及執行『「：！」x「向量資料843」』之SIMD運算。在 此，就『「〇」x「向量資料842」』，因為確定運算結果係 〇」，所以可省略。此外，就『「丨」x「向量資料843」』， 因為確疋運算結果與「向量資料843」相同值，所以可省 略。 繼續，藉由SIMD運算執行『「·ι」X「向量資料841」』 之運算結果與『「〇」x r向量資料842」』之運算結果的相 加處理。繼續，藉由SIMD運算執行該相加處理之結果與 1」x「向量資料843」』之運算結果的相加處理。在 此，如就成為「向量資料i」X「向量資料2」+「向量資 料3」之資料構造的運算’可藉由simd運算執行。因此， 就向量A之運算，如亦可省略就『「〇」χ「向量資料842」』 及『「1」X「向量資料843」』之SIMD運算，而藉由一次之 SIMD運算執行『「―丨」χ「向量資料料丨」+「向量資料 843」』。 此外’同樣地，就向量資料844至846，進行SIMD運算 而求出向量B，就向量資料847至849，進行SIMD運算而求 出向量C。 繼續，就藉由SIMD運算求出之向量八至^，進行SIMD運 算而求出向量D。如此，藉由進行SIMD運算，可合併獲得 向量之要素數量部分（該例係4個資料）的結果。 算出向量D後，在儲存於圖54所示之第一緩衝器831的圖 像-貝料中，將取出資料之位置向右側錯開1個，而反覆執 131699.doc •86- 200922324 行同樣之處理’依序算出各個向量D。而後，至儲存於圖 54所示之第—緩衝器831的圖像資料之右端的處理結束情 况:將處理結果’八轉送至主記憶體78工。 一繼續’在儲存於主記憶體781之圖像資料巾，將.A轉 达至第一緩衝器832之各線向下錯開丄個之特定數量的線 DMA轉送至第—緩衝器831，並且就儲存於第二緩衝器832 之圖像資料反覆進行上述處理。錢，反覆進行同樣之處 理至達到儲存於主記憶體781之圖像資料的各線中之下端 的線。 同樣地’藉由SIMD運算進行特徵點抽出與光學流算出 之大部分的處理，可實現高速化。 圖57係叶間序列地概略顯示本發明之實施形態中的攝像 工作士數算出處理之流路圖。如上述，如藉由使用多核心 處理器800進行SIMD運算，可孚广外认、杜/左本 异 Γ干仃化地進行動畫之解碼及 勿析處理。因而，可^卜紐姐_ 日日 比解碼時間更縮短構成動畫之1幀的 分析時間。 如該圖中，tl表示控制處理器核心801實施構成動書之】 幅的解碼處理需要之時間，t2表示運算處理器核心㈣811 至(_實施構成動畫之㈣的特徵點抽出處理需要之時 = ’t3表示運算處理器核心⑷）8ΐι至师μ實施構成動 异出處理而要之時間，t4表示控制處理 :核心8G1實施構絲晝之1巾貞的攝像工作檢測處理需要之 時間。另外，t5表示控制虚踩哭 器核心8 01及運算處理器核 心㈣811至（#8)818就構㈣晝之1㈣施攝^作檢測處 131699.doc •87- 200922324 理需要的時間。此外，t6表示控制處理器核心8〇1管理運 算處理器核心（#1)811至（#8)818之處理需要的時間。如可 將tl設為「25.0 ms」，將t2 r 7 9 ms」，將t3設為「6 7 ms」’將 t4「1.2 ms」，將 t5設為「15.8 ms」。 其次’就再生使用本發明之實施形態中的元資料檔案之 動晝内容的情況，參照圖式詳細地說明。 圖58(a)係模式顯示記錄媒體之一例的藍光碟片（Biu_ray Disc(登錄商標））88〇的俯視圖，圖58(b)係模式顯示記錄於 藍光碟片880之各資料881至884的圖。藍光碟片88〇中如記 錄有·藉由相機等所攝像之動晝的動晝内容882，動畫内 容882之字幕883，及就動晝内容8S2實施分析而獲得之元 資料（如圖33(b)所示之元資料檔案）884，以及本發明之實 施形態中關於動晝再生之java(登錄商標）程式881。 圖58(c)係模式顯示可再生藍光碟片88〇之藍光再生機 (BlU-ray Disc Player)89〇之内部結構圖。在此，因為可再 生藍光碟片之藍光再生機890標準地搭载有cpu89i及 OS892，以及java VM(Java虛擬機器）及程式庫893，所以 可執行Java程式。因而，藉由將藍光碟片88〇安裝於藍光 再生機890，藍光再生機890可載入Java程式88ι而執行。 藉此’藍光再生機890再生動畫内容882時，可使用元資料 884進行本發明之實施形態中的動畫再生。亦即，不使用 專用之PC軟體等，可以全部之藍光再生機實現本發明之實 施形態中的動畫再生。 此外，亦可將本發明之實施形態中的圊像處理裝置與網 131699.doc -88· 200922324 際網路等網路連接，與經由該網路而接收之圖像或動畫組 σ來再生動畫。如圖像處理裝置經由網路接收特定之公園 的情景圖像’可將該接收之公園的情景圖像作為背景圖 圖像上合成攝像有子女之動晝而再生。藉 此，可提供子女在其公園活動之虛擬的再生圖像。 如以上所示，本發明之實施形態因為將對應於比現在顯 示中之圖像前面之幀的圖像合成於現在之圖像而顯示，所 以可與成為攝影中心之對象物一起輕易地閱覽至少在一部 刀時間帶攝影之背景等。因❿，如想再度觀看至少以一部 '刀時間帶攝影之背景等情沉下’即使不實施倒回操作或檢 索操作等’仍可與現在顯示中之圖像同時地觀看其背景 等此外，閱覽藉由相機攝影之動晝時，可輕易地掌握其 動畫之内容。 此外，圖7、11、15等所示之顯示例，因為固定對應於 則面之幀的圖像，所以閱覽者可輕易地認識空間性之擴 大。再者，圖8、12、16等所示之顯示例，因為係將對應 於現在幀之圖像顯示於固定之位置’所以閱覽者可輕易地 5忍識現在之顯示部分。 亦即’可活用過去之幀，空間性地展開而鑑賞動晝。藉 此，如因為可提供再生動畫並完成全景圖像之鏗賞方法， 所以閱覽者可觀賞趣味性豐富的動晝。 此外’藉由圖35至圖43等所示之動畫再生方法來再生動 晝’即使再生中仍可將動畫輕易地切換成其他顯示模式。 因而，如S為可享受再生動畫並完成全景圖像之鐘賞，並 131699.doc 89· 200922324 且輕易地切換數個顯示態樣，所以閱覽者可趣味性更豐富 地觀賞動晝。此外，就現在圖像，因為可使保存於圖像記 隐體684之前面狀態的圖像依序顯示，所以可顯示較美麗 之圖像。 此外，本發明之實施形態，係就使用預先檢測出之仿射 變換參數而再生顯示為例作說明，不過亦可於再生時算出 仿射變換參數，而使用該算出之仿射變換參數再生顯示。 如藉由使用多核心處理器之SIMD運算算出仿射變換參 數’可在1幀之解碼的處理時間内，算出丨幀之仿射變換參 數。藉此，即使再生未算出仿射變換參數之動晝時，仍可 算出仿射變換參數而進行動畫再生，所以可迅速地進行空 間性展開動畫之鑑賞。 此外，如在高晝質TV(電視）中，鑑賞以8〇(標準定義）晝 質所攝影之動畫的情況1是觀賞使用數位靜物相機或行 動電話之動畫保存功能等而攝影之動畫情況下，以原先圖 像尺寸之狀態顯示時，有時不產生高畫質τν之像素數。 此外，進仃放大顯示時’往往圖像之粗度明顯。因此 由實施本發明之實施形態中說明的顯示，可進行使圖像： 粗度不明顯，而產生高畫質TV之像素數的鑑賞。 牌在步驟S926 _ … 寻m合成之入士、 旧像s己錄於記錄媒體等，而用於其他之再生顯示。， t發明之實施形態，係就顯示對應於現在巾貞之前面之帷的 說明，不過就該合成圖像，亦可依時間- 、序靖失。該情況下’亦可實施保留殘影而消失的 131699.doc -90- 200922324 表演。此外’亦可就對應於現在鴨之圖像實施 並且就對應：現在賴之前面之幢的合成圖像，依時間之、經 過，而實施從彩色顯示變更成深褐色之表演。 此外，本發明之實施形態係就移動物体之大小對 f之圖像的面積較小時求出相機之移動，利用該相機之移 動再生動畫的情況作說gj。< 即使移動物体之大小對 構成動畫之圖像的面積較大情況下，仍可適用本發明之實 :=。如將從車站出發之火車作為被攝物體之中 大對其火車之圖傻面箱_ & 4 # ^像面積的比率而攝像之情況，算出上述之 仿射變換參數時，即算出火 ®上xt之 兮“ 卩异出火車之移動。該情況下，可利用 生動畫情況下，係以再生動晝。如此再 , 才景並且火車與現在圖像之行 進一起仃進的方式來顯示。 的變換資訊，可算出關於攝傻e! 構成動晝之圖像用 蒋動旦m 出關於攝像時之相機與被攝物體之相對 移動量的移動資訊來使用。 亦即’採用本發明$μ i 、也形I，顯示藉由數位攝影機等 =ΓΓ像之第一圖像及第二圖像情況下，使用顯 像盘第：：像像裝置的移動及被攝物體之移動等的第-圖 :像=對位置關係’可將第二圖像重疊於第- 視之JΑ藉此’可實現在顯示部中再生僅在使用者注 視之小自巾隨日㈣進行的動晝。 之圖像顯：發月之實施形態係以將藉由圖像合成部所合成 可適用本部的圖像處理裝置為例作說明，不過， 本發明之實施形態於設有輸出使藉由圖像合成部所 131699.doc -91- 200922324 合成之圖像在其他圖像顯示裝置中顯示用的圖像資訊之圖 像輸出機構的圖像處理裝置。再者，可適用本發明之實施 形態於可再生動畫之動晝再生裝置，及可再生攝影之動畫 的數位攝影機等之攝像裝置等。 t此外，本發明之實施形態係就藉由相機所攝像之動畫作 兒月不過’即使就如在編輯了藉由相機所攝像之動 將編輯後之動晝，及動畫片等一部分合成之動晝等^可 適I本發明之實施形態'。此外，本發明之實施形態係就顯 :履歷圖像之-部分或全部之例作說明，不過，亦可僅顯 不變換後之現在圖像。亦即，亦可僅使最後保持於圖像纪 憶體之現在圖像依序顯示。此外，算出仿射變換參數情^ 下’如藉由縮小計算攝像圖像中之特徵點的移動向量之區 域，如對移動之火車架起相機，製作一節火車部分 及巨大圖像。 — κ 另外，本發明之實施形態係顯示體現本發明用之—例 者如以下所不’具有申請專利範圍中之發明特定事項與 各個對應關係，不過並非限定於此者，在不脫離本發明2 要旨的範圍内可實施各種改良。 :即’請求項1或24中’動畫輸人機構如對應於動晝輸 此外，變換資訊算出機構如對應於攝像工作檢 測部120。此外’圖像保持機構如對應於圖像記憶體 圖像記憶體684。此外，圖像變換機構如對應於圖像變換 σ(Μ60或圖像變換部682。此外，操作受理機構如對應於操 作又理4 195。此外’圖像合成機構如對應於圖像合成部 131699.doc -92- 200922324 180或圖像合成部683。此外輪 191或顯示部689。此外，控制^出機構如對應於顯示部 190或顯示控制部687。 '構如對應於顯示控制部 另外’請求項24中’顯示機 示部689。 顯示部191或顯 此外’請求項5或9中，輪出圖 區域取出部685。 丨取出機構如對應於顯示 此外，請求項18中，特徵點抽 屮邱〗9 1 tl·冰^ θ 機構如對應於特徵點抽 出。[U21。此外，移動置算出機 對應於光學流計算邱 122。此外，變換參數算出機 字>· t鼻# 出部123。 &構如對應於攝像工作參數算 此外，請求項21中，壓缩機姓 … ％機構如對應於圖像合成部 〇〇3 ° 此外’明求項22中’動晝取得機構如對應於動晝取得部 MO。此外變換資訊抽出機構如對應於攝像工作來數抽出 ㈣。此外，圖像保持機構如對應於圖像記憶體η。或圖 像記憶體684。此外’圖像變換機構如對應於圖像 160或圖像變換部⑻。此外，操作受理機構如對應於操： 受理部195。此外，圖像合成機構如對應於圖像合成部;80 或圖像合成部⑻。此外，輪出機構如對應於顯示部i9i或 顯示部689。此外，控制機構如對應於顯示控制物或頌 示控制部687。 ’ 此外’請求項23中’變換資訊記憶機構如對應於元資料 記憶部670。此外，動畫取得機構如對應於檔案取得部μ? 131699.doc -93 · 200922324 或檔案取得部68 1。此外，變換資訊取得機構如對應於。 案取得部652或《取得部68卜此外，圖像保持機:如^ 應於圖像記憶體170或圖像記憶體684。此外，圖像變換、 構如對應於圖像變換部16〇或圖像變換部682。此外，操= 受理機構如對應於操作受理部195。此外，圖像合成機2 如對應於圖像合成部180或圖像合成部683。此外，輸出機 構如對應於顯示部191或顯示部689。此外，控制機構如對 應於顯示控制部1 9 0或顯示控制部6 8 7。 此外，請求項24中，動畫輸人機構如對應於動畫輸入部 110 °此外’變換資訊算出機構如對應於攝像工作檢測部 120。此外’圖像變換機構如對應於圖像變換部⑽或圖像 變換部682。此外，控制機構如對應於顯示控制部19〇或顯 示控制部687。 此外β求項26中，動晝輸人機構如對應於動畫輸入部 11〇。此外，攝像動畫記憶機構如對應於動晝記憶部2〇〇。 此外，變換資訊算出機構如對應於攝像工作檢測部12〇。 此外，記錄控制機構如對應於記錄控制部丨3〇。 此外β求項27中’動畫輸人機構如對應於動畫輸入部 此外元寊料记憶機構如對應於元資料記憶部670。 此外’變換資訊算出機構如對應於攝像卫作檢測部, 此外，記錄控制機構如對應於記錄控制部651。 此外’請求項29或30中，動畫輸入程序如對應於步驟 S900此外’變換身訊算出程序如對應於步驟s9〇3至 s9n。此外，圖像保持程序如對應於步驟奶6、州2、 I31699.doc .94- 200922324 S954。圖像變換程序如對應於步驟S925、S941、S952、 S953。操作受理程序如藉由操作受理部1 %進行。此外， 圖像合成程序如對應於步驟S926、S942、S954。此外控 制程序如對應於步驟S927或是S970。 另外，本發明之實施形態中說明的處理程序，亦可作為 -有此等連串程序之方法來掌握，此外，亦可作為使電 細執仃此等-連串程序用之程式乃至記憶其程式之記錄媒 體來掌握。 【圖式簡單說明】 圖係顯示本發明之實施形態中的圖像處理裝置⑽之功 能結構例之區塊圖。 圖2(aHc)係顯示對應於構成動晝之懷的圖像之一例 圖。 係顯示就對應於構成動畫之㈣圖像，省略 背景等而簡化的圖像之圖。 圖4係不藉由本發明之實施形態中之圖像處理裝置 、施仿射變換參數檢測處理之處理程序的流程圖。 圖5⑷⑷係顯示藉由相機所攝影之動畫的變遷之一例 應於之^係顯示在圖5所示之各圖像$，以虛線顯示 〜圖：、鳩之圖像，並且顯示檢測之光學流的一例圖 書日.的V(_C)係顯示再生包含圖5所示之圖像4〇1至403之 一宁的"、、頁示例圖。 圖8⑷七)係顯示再生包含圖5所示之圖像4〇ι至4〇3之 131699.doc -95- 200922324 晝時的顯示例圖。 圖9(a)-(c)係顯示藉由相機， 圖。 攝％之動晝的變遷之一例 圖1〇(aHc)係顯示在圖9所示之夂 對應於之前㈣之圖像，之各圖像中，以虛線顯示 圖。 4不檢測之光學流的一例 之圖像421至423之動 圖1 l(a)-(c)係顯示再生包含圖9所示 晝時的顯示例圖。 示之圖像421至423之 圖12(a)-(c)係顯示再生包含圖&所 動晝時的顯示例圖。 圖（）（c)係顯示藉由相機所攝影之動畫的變遷之一例 圖。 圖14⑷=)係顯示在圖13所示之各圖像中’以虛線顯示 對應於之則的傾之圖像，並且顯示檢測之光學流的一例 圖。 圖（）（C)係顯示再生包含圖13所示之圖像441至443之 動畫時的顯示例圖。 圖16(a) (c)係顯示再生包含圖13所示之圖像—至⑷之 動晝時的顯示例圖。 圖（）（C)係顯示藉由相機所攝影之動晝的變遷之一例 圖 圖 圖18(a)-(c)係顯示藉由相機所攝影 之動晝的變遷之一例 ()()係顯示藉由相機所攝影之動畫的變遷之一例 131699.doc -96- 200922324 圖 圖 圖2〇(aH，顯示藉由相機所攝影之動晝的變遷之一 例 圖 /MW)係顯示藉由相機所攝影之動晝的«之_例 圖:（）係顯不猎由相機所攝影之動畫的變遷之-例 圖圖22(aHe)係顯示藉由相機所攝影之動畫的變遷之一例 圖23(aMC)係顯示藉由相機所攝影之動畫的變遷之一例 圖2 5係顯示雜± 。 槽由本發明之實施形態中 100實施之動書再的圖像處理裝置 ^里再生處理的處理程序之流程圖。 圖2 6係顯示A Jr ϋ 藉由本發明之實施形態中 ⑽實施之動晝再生處理的處理程序之流程圖。像處理裝置 圖2 7係顯示藉ώ 1 糟由本發明之實施形態中 100實施之動書再峰严 圖像處理裝置 *再生處理的處理程序之流程圖 遷 28⑷⑷係顯示藉由相機所攝影 例 圖 圖29(a)-(c)係顯示藉由相機所攝影之動晝的 變遷之 例 圖3〇⑷-(C)係顯*藉由相 圖 機所攝影之 顯示藉由相機所攝影之動畫 J31699.doc 的變遷之一例 的變遷之一例 •97- 200922324 圖。 圖32係顯示本發明之實施形態中的圖像處理裝置65〇之 功能結構例的區塊圖。 圖33(a)、33(b)係模式顯示記錄於本發明之實施形態中 的動晝圮憶部660及元資料記憶部670之各檔案的圖。 圖34係顯示本發明之實施形態中的圖像處理裝置6肋之 功能結構例的區塊圖。 圖35(a)-(c)係模式顯示記憶於本發明之實施形態中的動 —己隐α卩660之動晝標案的各幀與顯示區域之關係圖。 圖36(a)-(c)係概略顯示現在圖像從顯示區域超出時顯示 區域之移動方法圖。 圖37(a)、37(b)係顯示以圖36所示之移動方法使顯示區 域移動時之變遷的一例圖。 圖3 8(a)-(c)係模式顯示記憶於本發明之實施形態中的動 晝記憶部660之動晝檔案的各幀與顯示區域之關係圖。 圖39(a)、39(b)係概略顯示指定固定顯示部689中之現在 圖像的顯不模< a寺’使顯示於顯示部689之動晝放大顯示 時之放大方法的概略圖。 圖40(a)-(c)係模式顯示記憶於本發明之實施形態中之動 晝記憶部660的動畫檔案之各幀的流路圖。 圖4 1 (a)-(c)係拉式顯示記憶於本發明之實施形態中之動 畫記憶部660的動畫檔案之各幀的流路圖。 圖42⑷、42⑻係顯示再生藉由相機所攝影之動晝時之 顯示例（圖像750)及仿射變換圖像75〇中之現在圖像752前之 131699.doc -98- 200922324 狀態的圖像754之圖。 圖43(a)、43(b)係顯示放大顯示圖42所示之被框753包圍 之圖像區域時的圖像755，與仿射變換後之現在圖像被保 存於圖像s己憶體684之狀態下保存於顯示用記憶體686的圖 像757之圖。 圖44係顯示藉由本發明之實施形態中之圖像處理裝置 680實施之動畫再生處理的處理程序之流程圖。 圖45係顯示藉由本發明之實施形態中之圖像處理裝置 680實施之動畫再生處理的處理程序之流程圖。 S 46係具示本發明之實施形態中之多核心處理器8〇〇的 一個結構例圖。 圖4 7係顯示本發明之實施形態中之控制處理器核心8 〇 1 的一個結構例圖。 圖48係顯示本發明之實施形態中之運算處理器核心 (# 1 )8 11的一個結構例圖。 圖4 9係模式顯示本發明之實施形態中之多核心處理器 800的運算方法圖。 圖50係模式顯示藉由本發明之實施形態中的 器800進行運算時之程式及資料的流路圖。 人 圖51(a)、51(b)係模式顯示以各個命令進行對數個資料 之處理的運算方式之概要，及以】個命令進行對數個資料 之處理的SIMD運算之概要圖。 圖52係顯示藉由本發明之實施形態中的控制處理器核心 8〇1或運算處理器核心㈣811執行之程式的結構例圖。 131699.doc -99- 200922324 圖53係概略顯示就儲存 仔於本發明之實施形態中的主記憶 體781之圖像資料，使用仕 ^ 1定用佐貝爾濾波器83〇進行濾波處理時 之資料構造及處理的流路圖。 圖54係概略顯示就儲在 傅存於本發明之實施形態中的主記憶 體7 8 1之圖像資料，使用 便用佐貝爾濾波器83〇進行SIMD運算 時之資料的流路圖。 。圖55係概略顯不使用本發明之實施形態中的佐貝爾遽波 器進饤;慮波處理時，從儲存於第一緩衝器83 ^之圖像資 料製作9個向量之向量製作方法的圖。 π圖56係概略顯讀用本發明之實施形態中的佐貝爾遽波 "進行;慮波處理時’就向量資料841至849使用SIMD命 令進行向量運算的向量運算方法圖。 圖57係以時間序列概略顯示本發明之實施形態中的攝像 工作參數算出處理之流路圖。

圖58(&)·(〇)係模式顯示記錄媒體之-例的藍光碟片 一 °己錄於藍光碟片880之各資料881至884 ,及可再生藍 光碟片880之藍光再生機89〇的内部結構圖。 【主要元件符號說明】 ⑽、650 、 680 110 120 121 122 123 圖像處理裝置 動畫輸入部 攝像工作檢測部 特徵點抽出部 光學流計算部 攝像工作參數算出部 I3I699.doc -100- 200922324 130 、 651 記錄控制部 140 動晝取得部 150 攝像工作參數抽出部 160 、 682 圖像變換部 170 、 684 圖像記憶體 180 、 683 圖像合成部 190 、 687 顯示控制部 191 、 689 顯示部 195 操作受理部 200 、 660 動畫記憶部 652 檔案取得部 670 元資料記憶部 681 檔案取得部 685 顯示區域取出部 686 顯示用記憶體 131699.doc - 101 -

Claims (1)

1. 200922324 卜、申請專利範圍： .一種圖像處理裝置，其特徵為包括. 動晝輸入機構，其係輸入藉 動晝； 冢裝置所攝像之攝像 變換資訊算出機構，其係依據構 -攝像圖像’與在前述攝像動畫之時門軸：像動畫之第 第-攝像圖像後面之第二攝像圖：於比前述 攝像圖像及前述第二攝像圖像之變換資訊;於前述第- :㈣持機構’其係保持包含前述第一攝 =述攝像動畫之時間袖中，位於 ：’並 月'J面之各圖像作為履歷圖像； 弟一攝像圖像 圖像變換機構，其係依據前述算出 前述履歷圖像及前述第二攝像圖像中之至少：訊，變換 之構，其係受理選擇成為前述圖像:換機構 复換對象的圖像之選擇操作； 、機構 成機構，其係依前述受理之選擇操作， 别述圖像變換機構變換至少—方 。成藉 述第二攝像圖像而作為合成圖像；“履歷圖像及前 輪出機構，其係輸出前述合成圖像；及 控制機構，其係使前述合成 機構。 俠序輸出至前述輸出 2. 如請求項 藉由前述 像重寫於 1之圖像處理裝置，其中 圖像變換機構變換至少— 前述履歷圖像而合成作為 別述圖像合成機構將 方之前述第二攝像圖 前述合成圖像，並使 131699.doc 200922324 前述合成圖像作a#& ^ 機構。 為新的履歷圖像而保持於前述圖像保持 3.如請求項2之圖像處理… 由依前述履歷圖像變換_l、f ./、w相像合成機構藉 1豕變換則相變換之第 ，將#由前述圖”換機構所變換的畫 寫於前述履歷圖像而合成。 一攝像圖像重 4·如請求項3之圖像處理 前述畫質被變換前之中前述圖像合成機構將 ί二圖像重寫於前述新❹：像變換機構所變換之第 此 履歷圖像而作為新的合成阓後 别述控制機構使前述新成圖像’ 出機構。 口成圖像依序輸出至前述輪 5.如請求項4之圖像處理裝置， 取出機構，其係取出：，匕含輪出圖像 新的履歷圖像輸出至Si讀圓像保持機構之前述 前…輸出機構之輸出圖像； 别述圖像合成機構將前述晝 像變換機構所變換之第 、則之藉由別述圖 ，《作為新的輸出圖像； 寫於則述輸出圖像而合 前述控制機構使前述新的輸 出機構^ 山固诼依序輸出至前述輸 6.如請求項5之圖像處理 構依據前述變換後之第二_胃^述輸出圖像取出機 之保持區域的位置及大小，豕什待機構 區域之位置及大小 像在前述保持 述圖倍作 出將則述畫質被變換前之藉由前 述圖像變換機構所變換之第 藉由則 圖像重寫於則述輸出圖像 131699.doc 200922324 的位置及大小； 則述圓像合成機構依據前述算 述晝質被變換前之 置及大小，將前 圓像重寫於前述輪丨變換機構所變換之第二 义你出圖像而合成。 .如請求項5之圏像處理裝置， 構在包含於前述新的履歷圖像;出圖像取出機 出區域外之情況;述輸出圖像用之區域即： 圖像部分的方向，而====移動於前述超出之 圖像。 新的履歷圖像取出前述輸出 8. 如請求項3之圖像處理裝置， 壓縮率中的至少—方。 别^晝質為解像度及 9. 如請求項2之圖像處理裝置， 構，其係取出作為從保 匕括輸出圖像取出機 的履歷圖像，使㈣=持機構之别述新 中包含的圖像輸出至H 交、貝訊而算出之區域 圃傢輸出至則述輸出機構的輸出圖像； 前述圖像合成機構將拉士 ^ W 機構將藉“述圖像變換機構所變換前 的别述第二攝像圖像重…吳則 的輸出圖像’· ^輸出圖像而合成作為新 月il述控制機構使前述新 出機I 的輸出圖像依序輸出至前述輸 10.Ι=Γ之圖像處理襄置，其中前述輸出圖像取出機 、+、&_ 、貝汛變換刖述輪出圖像於與前 述弟一攝像圖像藉由/A 冢藉由則迷圖像變換機構之變換方向相反 131699.doc 200922324 的方向； 前述圖像合成機構將辟由^、. 的前述第二攝像二則述圖像變換機構所變換前 成作為新的輪出圖像。前述變換後之輸出圖像而合 U.如請求項2之圖像處 據前述算出之變換h /中别述圖像變換機構依 二攝像圖像之變：二;變換前述履歷圖像於與前述第 ^•換方向相反的方向。 12·如請求項2之圖像處理裝置 於放大縮丨 其中則述變換資訊包含關 :大細小、移動及旋轉的要素； 別述圖像_換梢、.楼 文挟機構依據前述算出變 關於移動及旋轉之要*心 U奐身戒中包含的 依^ +〜 素，㈣前㈣項像_像，並且 去七出之變換資訊中包含的關於放大縮小之要 素，來變換前述履歷圖像。 2求項12之圖像處理裝置，其中前述圖像變換機構變 換則述履歷圖像於與前述第二攝像圖像之變換方向相反 的方向。 14.如請求項1之圖像處理裝置，其中前述變換資訊算出機 構係於構成前述攝像動晝之每個幀依序算出前述變換資 訊； 前述圖像變換機構係於前述每個幀變換前述履歷圖像 及前述第二攝像圖像中的至少一方； 前述圖像合成機構係於前述每個幀依序合成藉由前述 圖像變換機構變換至少一方之前述履歷圖像及前述第二 攝像圖像； 131699.doc 200922324 前述控制機構係於前诚 出 輪 。 ㈣〜“個㈣前述合成圖像依序 15·如請求们之圖像處理裝置 前述第二攝像圖像 ：、中以第-攝像圖像及 續2個鴨的圖像。轉應於構成前述攝像動畫之連 仏：請求項〗5之圖像處理裝置，其 前述第一攝像圖像或前^ 〖變換貪矾係拍攝 的移動資訊； 以—攝㈣像時前述攝像裝置 且前述變換資訊算出機構藉 及前述第二攝像圖像，而算出前„_\第—攝像圖像 17·如請求項15之圖像處 ^讯。 拍攝前述第一攝像圓像或前述第二 1讯係關於 裝置與被攝物體之相對移動量的移動資：像時前述攝像 二前述變換資訊算出機構藉由比較前述第二 “第二攝像圖像，而算出前述變 副象圖像及 18.如請求項1之圖像處理裝置，其中俞、十/ 構包含： 、換資訊算出機 特徵點抽出機構，其係依據構成前 前述第二攝像圖像之各像素，抽-攝像圖像及 前述第二攝像圖像中之特徵點； 卑一攝像圖像及 移動量算出機構，其係依據前述所抽出 算出關於前述第—攝像圖像及_:之各特徵點’ 量；及 一攝像圖像之移動 變換參數算出機構，其係藉由依據 义所真出之移動 131699.doc 200922324 量算出特定之變換參數，而算出前述變換資訊。 19.如請求項18之圖像處理裝置，其中前述特徵點抽出機構 係由多核心處理器所構成； a前述多核心處理器係就構成前述第一攝像圖像及前述 第二攝像圖像之各像素，藉由SIMD運算實施平行處理， 藉此抽出前述第一攝像圖像及前述第二攝像圖像中 徵量。 将 〜工私直六丁則地杪動量算出機構 係由多核心處理器所構成； 前述多核心處理器係就前述抽出之各特徵 :城算實施平行處理，藉此算出關於前述第—攝^ 像及别述第二攝像圖像之移動量。 21，如請求項1之圖像處理裝置，其中 像之壓縮機構； 縮别述攝像圖 =前述合成圖像時之前述履歷圖像係堡縮圖

   C第—攝像圖像係非壓縮圖像或是比被壓綠— 歷圖像高解像度之攝像圖像。 、、' 之爾述履 22. -種圖像處理裝置，其特徵為包括·· 動畫取得機構，其係取得賦予 所攝像之攝像動畫的第-攝像圖像及第=由攝像裳置 至少-方用的變換資訊關連而-攝：圖像中之 變換資訊抽出機構，其係從c象動畫； 前述變換資訊； 取件之攝像動畫抽出 圖像保持機構，其係保持包含前述第 I31699.doc ^攝像圈像，並 200922324 在前述攝像動畫之時間勒中 月’j面之各圖像作為履歷圓像； 圖像變換機構，其係依據前述抽出之變換資訊 别述履歷圖像及前述第二攝像圖像中之至少_方； 操作受理機構，苴係無揀，孩埋上、 ’ ，、係又理選擇成為前述圖像變換 之變換對象的圖像之選擇操作； 、 圖像合成機構，jMl孫你、+，i m ，、係依别述文理之選擇操作，合 前述圖像變換機構變換至少—方之前述履歷圖像2 述第一攝像圖像而作為合成圖像； 輸出機構，其係輸出前述合成圖像；及 機=制機構，其係使前述合成圖像依序輸出至前述輪出 23. —種圖像處理裝置，其特徵為包括： 相記憶機構，其係構成前述攝像動畫之每個幢 ==憶變換構成藉由攝像裝置所攝像之攝像動書 2第-攝像圖像及第二攝像圖像中至少一方用的變換； 動畫取得機構，其係取得前述攝像動晝； 變換資訊取得機構，其伟取猎金二、+. 1 取仔與則返取得之攝像動晝 相關連地記憶於前述變換資訊記憶機構的變換資t - :::持機構’其係保持包含前述第—攝像圖像’，並 述：像動晝之時間轴中’位於比前述第二攝像圖像 月'J面之各圖像作為履歷圖像； 圖像變換機構，其係依據前述取得之變換資訊，變換 131699.doc 200922324 前述履歷圖像及前述第二攝像圖像中之至少一方； 刼作受理機構，其係受理選擇成為前述圖像變換 之變換對象的圖像之選擇操作； 、 2像°成機構’其係、依前述受理之選擇操作，合成藉 由則述Η像變換機構變魅少―方之前述履歷圖像及前 述第二攝像圖像而作為合成圖像； 輸出機構，其係輪出前述合成圖像；及 # 機構’其係使前述合成圖像依序輸出至前述輸出 ( 機構。 ® 24. 一種圖像處理裝置，其特徵為包括： 動畫輸入機構，其係輸入藉由攝像裝置所攝像之攝像 動晝， 變換資訊算出機構，其係將構成前述攝像動晝之攝像 圖像中至少i個攝像圖像作為基準，於每個攝像圖像算 出變換其他攝像圖像用之變換資訊； (. 目像變換機構’其係將構成前述攝像動畫之攝像圖像 中f少1個攝像圖像作為基準圖像，依據前述算出之變 換 > 讯變換關於該變換資訊之攝像圖像； 圖像保持機構，其係保持前述變換後之前述攝像圖 像；及 .控制機構，其係使最後保持於前述圖像保持機構之前 述攝像圖像依序輸出至前述輸出機構。 25. —種動晝再生裝置，其特徵為包括： 動畫輸入機構，其係輸入藉由攝像裝置所攝像之攝像 131699.doc 200922324 動晝； 變換資讯算出機構，其係 -攝像圖像，與在像動晝之第 第-攝像圖像後面之第二攝像圖像，算出關：：比前述 攝像圖像及前述第二攝像圖像之變換資訊；第— 2像料機構，其係保持&含料帛 在-述攝像動畫之時間軸t，位於比前述=像，並 前面之各圖像作為履歷圖像； -攝像圖像 圖像變換機構，其係依據前述算出 前述履歷圖像及前述第二攝像圖像t之至少二訊，變換 操作文理機構’其係受理 之變換對象的圖像之選擇操作广这圖像變換機構 圖像合成機構’其係依前述受理 由前述圖像變換機構”擇刼作’合成藉 n “ 換至少一方之前述履歷圖像及前 4第一攝像圖像而作為合成圖像； 顯示機構’其係顯示前述合成圖像；及 控制機構，装jt± /-*; ^ 機構。 …、月’J ^合成圖像依序顯示於前述顯示 26. -種圖像處理裝置，其特徵為包括： 動晝輸入機構，甘α ^ 動查. ^係輸入藉由攝像裝置所攝像之攝像 攝像動晝記憶機構 變換資訊算出機構 像中至少1個攝像 ’其係記憶前述攝像動畫； 圖 ，其係將構成前述攝像動畫之攝像 圖像作為基準，於構成前述攝像動 131699.doc 200922324 晝之每個幀算出變換其他攝像圖像用之變換資訊；及 記錄控制機構，其係前述每個幀相關連地將前述算出 之變換資訊記錄於前述攝像動畫記憶機構。 27, 一種圖像處理裝置，其特徵為包括： 動畫輸入機構’其係輸入藉由攝像裝置所攝像之 動畫； ，.元資料記憶機構，其係記憶關於前述攝像動畫之元資 料， 、 變換資訊算出機構，其係將構成前述攝像動晝之 =像—中至少！個攝像圖像作為基準，於構成前述攝像動 畫之母m貞算出變換其他攝像圖像用之變換資訊及 像=!:構，其係將前述算出之變換資訊與前述攝 咖相關連’作為前述元資料， 述几資料記憶機構。 月'J 28.如明求項27之圖像處理裝置，盆 ί 以前述攝像裝置之座"物广'料至少包含 訊。 之m己迷之位置資訊及姿勢資 29· -種圖像處理方法’其特徵為包括： 動畫輸人程序’其係輸人藉 動晝； 辦1豕褒置所攝像之攝像 變換資訊算出程序，其係依 -攝像圖像’與在前述攝像動像動畫之第 第-攝像圖像後面之第二攝像圖像：=位於比前述 攝像圖像及前前述第— 131699.doc 200922324 圖像保持程序’其係使包含前述第—攝像圖像，並在 前述攝像動畫之時間軸中，位於比前述第二攝像圖像前 面之各圖像作為履歷圖像，而保持於圖像保持機構； 圖像變換程序，其係依據前述算出之變換資訊，變換 前述履歷圖像及前述第二攝像圖像中之至少一方； 操作受理程序，其係受理選擇成為前述圖像變換機構 之變換對象的圖像之選擇操作； f像合成程序，其係依前述受理之選擇操作，合成藉 由：述圖像變換程序變換至少—方之前述履歷圖像及前 述第二攝像圖像而作為合成圖像；及 控制程序，其係使前述合成圖像依序輪出。 3 0. —種程式，其特徵為使電腦執行： 晝輸入程序，其係輸入藉由攝像裝置所攝像之攝像 動書；

   變換貝5孔算出程序，其係依據構成前述攝像動畫之第 攝像圖像，與在前述攝像動畫之時間軸中位於比前述 攝像圖像後面之第二攝像圖像，算出關於前述第一 攝像圖像及前述第二攝像圖像之變換資訊； &像保持私序，其係使包含前述第一攝像圖像，並在 』述攝像動畫之時間軸中’位於比前述第二攝像圖像前 面之各圖像作為履歷圖像，而保持於圖像保持機構； I換程序，其係依據前述算出之變換資訊，變換 前述履歷圖像及前述第二攝像圖像中之至少一方； 操作受理程序 其係受理選擇成為前述圖像變換機構 131699.doc 200922324 之變換對象的圖像之選擇操作·， 圖像合成程序，其係依前述受理之選擇操作，合成藉 迷圖像變換程序變換至少一方之前述履歷圖像及前 述第二攝像圖像而作為合成圖像；及 控制程序 v ’其係使前述合成圖像依序輪出。 131699.doc -12-