TW200922325A - Image processing device, dynamic image reproduction device, and processing method and program in them - Google Patents

Description

200922325 九、發明說明： 【發明所屬之技術領域】 本發明係關於圖像處理裝置，特別關於可進行對於動畫 之圖像處理之圖像處理裝置、動畫再生裝置，及該等處理 方法以及使電腦執行該方法之程式。 【先前技術】 近年來，數位視訊攝影機普及。因此，例如於子女所就 學之幼稚園之活動中’廣泛進行由父母等以數位視訊攝影 機來將該活動之狀況攝影。於該類活動中，在由父母等進 行攝影之情況下’ A多以自己子女為中心來攝影，但為了 瞭解該活動之狀況，大多亦㈣攝影該活動之風景等。而 且，若於幼稚園之每一活動進行攝影 多。 則攝影之動晝數變 關於如此攝影之動晝’例如可於家庭内利用動晝再生裝 置’於其顯示器再生。如此，於利用動畫再生裝置再生之 情況下，例如從最初再生複數活動中所攝影之動畫全體， 則再生時間變長。因此’若視聽者可從該等動書全體搜尋 所需之部分，並依序再生所搜尋 -搜哥 率地欣賞動晝。 纟㈣之^ ’則據判可有效 圖Γ利用已提案一種再生裝置，其係產生動畫各部之縮圖 肖該產生之縮圖圖像，從所需之記錄位置再生動 畫之技術。例如從記錄於記 递势佃本菔之複數動晝場景，形成 複數個表不各場景之畫面之 像，從顯示之縮圖圖像選擇所需之:圖圖縮圖圖 吓冷之鈿圖圖像，藉此從對應 131700.doc 200922325 於選擇之縮圖圖像之場景之開頭開始再生動晝（參考例如 專利文獻1)。 [專利文獻1]日本特開平1 1-289517號公報（圖7) 【發明内容】 [發明所欲解決之問題] 若根據上述以往技術，於視聽幼稚園等之複數活動中所 攝影之動晝之情況時，可利用針對該等動畫所顯示之縮圖 圖像，從所需場景之開頭開始再生動晝。

於此，可考慮例如於閱覽幼稚園之複數活動中以自己子 女為中心所攝影之動晝之情況時，即使活動不同之情況 下，仍可再生許多主要包含自己子女之類似場景。於二 況下，所產生之縮圖圖像亦大多類似。而且，於攝影之動 晝數甚多之情況下，所產生之縮圖圖像數變多。如此，據 判於顯示互相類似之縮圖圖像之情況或顯示許多縮圖圖像 之情況下，無法迅速地進行適當的搜尋。 例如即使為作為攝影中心之人物相同之情況下，仍會有 藉由進行攝影之場所或周圍氣氛等，可容易地判斷 搜尋對象之動畫之情況。因此，據判例如於視聽幼__ : = 影之動畫之情況時，若可容易地參考該 等活動所進订之場所或周圍氣氛等，則可容易地掌 内容，故可迅速地搜尋所需動畫。 勒董 因此，本發明之目的在於可 攝影之動畫内容。 手《由攝像裝置所 [解決問題之技術手段] 131700.doc 200922325 本發明係為了解決上述問 種圖像處理裝晉男“ π見者其第-態樣為〆 程式;該圖像處法’以及使電腦執行該方法之 係記憶藉由攝像裝置為具備：動畫記憶機構，其 其係將構成上述攝像動“ “ -®像保持機構， 轉換資訊算出機構 固像保持， 像圖像為基準，算屮田、^ 豕圃诼甲之至JM個攝 圖像轉換機構，二㈣其他攝像圖像之轉換資訊； 攝像圖像.圖像ιΓ 出之轉換資訊來轉換上述 像&成機構’其係將上述經轉換之攝像圖像 合成於上述履歷圖德；，# 並作為新履歷圖像使上述圖像保持 機構保持；圖像位置取尸她 y、、 置取侍機構，其係取得上述經轉 像圖像之藉由上述人成m 传供义攝 . ㈢田上述°成所形成之上述履歷圖像上之座標位 置’圖像位置記憶機構’其係將上述取得之座標位置盥上 述攝像圖像賦予關連並記憶；顯示機構，其係顯示上料 歷圖像作為表示上述攝像動畫之代表圖像；操作受理機 i.. 構，其係受理選擇上述顯示之代表圖像之位置之選擇操 作；及顯示控制機構，其係根據上述選擇之上述代表圖像 之位置，使記憶於上述動畫記憶機構之攝像動晝從對應於 上述選擇之位置之攝像圖像再生。藉此，帶來如下作用： 以構成攝像動晝之攝像圖像中之至少1個攝像圖像為基 準’算出用以轉換其他攝像圖像之轉換資訊，根據該算出 之轉換ΐ訊來轉換攝像圖像’將該經轉換之攝像圖像合成 於履歷圖像’並作為新履歷圖像保持，取得經轉換之攝像 圖像之履歷圖像上之座標位置，與攝像圖像賦予關連並記 131700.doc 200922325 憶，顯示履歷圖像作為表 ㈣主 巧表不攝像動畫之代表圖像，受理選 ^ * 之選擇刼作，使攝像動畫從對 應於該選擇之代表圖像 分达、 1冢之位置之攝像圖像再生。而且，於 δ亥情況下’上述轉換眘郊督 、 S异出機構亦可包含：特徵點擷取 機構，其係根據構成上述攝 ^ ^ I. ^ 豕動畫之上述第—攝像囷像及 構成上述第一攝像圖像之久後本 儍及…谈來擷取上述第-攝像圖 Η 圖像之特徵點；運動量算出機構，立係 根據上述擷取到之各料微 ί j之各特徵點’算出關於上述第—攝像圖像 “—像圖像之運動量；及轉換參數算出機構，盆 係藉由根據上述算出之運動量算出特定之轉換參數算 出上述轉換資訊。而 升 於該情況下，上述特徵點擷取機 藉由多核心處理器構成；上述多核心處理 由針對構成上述第一攝像圖像及上述第二攝像圓像之各像 素’利用SIMD運算進行同時處理，來褐取上述第一攝像 圖像及上述第二攝像圖像之特徵量。而且，於該情況下， 上述運動里算出機構亦可藉由多核心處理器構成；上述多 核心處理器亦可藉由針對上述掘取到之各特徵點，利用 雜運算進行同時處理，來算出關於上述第一攝像圖像 及上述第二攝像圖像之運動量。 π而且’於該第—態樣中’上述圖像位置取得機構亦可取 得上述經轉換之攝像圖像之中心位置作為上述座標位置； 上述圖像位置記憶機構亦可將上述取得之中心位置與上述 攝像圖像賦予關連並記憶；亦可進一步具備選擇機構，其 係藉由從記憶於上述圖像位置記憶機構之中心位置中，選 131700.doc 200922325 擇距上述選擇之上述代表圖像之位置最近之中心位置，來 選擇對應於上述選擇之位置之攝像圖像。藉此，帶來如下 作用·取得經轉換之攝像圖像之中心位置作為座標位置， 與攝像圖像賦予關連並記憶，從該記憶之中心位置中，選 擇距選擇之代表圖像之位置最近之中心位置，來選擇對應 於選擇之位置之攝像圖像。 而且，於該第一態樣中，上述圖像位置取得機構亦可取 f

V

得上述經轉換之攝像圖像之中心位置及大小作為上述座標 位置；上述圖像位置記憶機構亦可將上述取得之中心位置 及大小與上述攝像圖像賦予關連並記憶；上述選擇機構亦 可於從記憶於上述圖像位置記憶機構之中心位置中，檢測 到複數個距上述選擇之上述代表圖像之位置最近之中心位 置之it况下’藉由比較對應於該檢測到之複數個中心位置 之大：’來選擇對應於上述選擇之位置之攝像圖像。藉 此f來如下作用.取得經轉換之攝丫象圖像之中心位置及 f小作為座標位置，與攝像圖像賦予關連並記憶’於從該 &己：之中心位置中，檢測到複數個距選擇之代表圖像之位 置取近之中〜位置之情況下，藉.由比較對應於該檢測到之 複數個中心位置之大小’來選擇對應於選擇之位置之攝像 圖像 丄处得換貧訊算出機構亦可於 構成上述攝像動晝之每頁框，依序算出上述轉換資訊；上 述圖像轉換機構亦可於每 傻m… *述頁框，依序轉換上述攝像圖 像’上述圖像δ成機構亦可於备卜，十百 少j於母上述頁框，將上述經轉換 I3I700.doc 200922325 之攝像圖像依序合成於上述履歷圖像而作為新履歷圖像； 上述圖像保持機構亦可於每上述頁框，依序保持上述新履 歷圖像；亦可進一步具備代表圖像記憶機構，其係將合成 有對應於構成上述攝像動畫之至少一定數量之頁框之圖像 之上述履歷圖像，作為上述代表圖像而記憶。藉此，帶來 如下作用：於每頁框依序算出轉換資訊，於每頁框依序轉 換攝像圖像，於每頁框將該經轉換之攝像圖像依序合成於 履歷圖像，作為新履歷圖像依序保持，將合成有對應於構 成攝像動畫之至少一定數量之頁框之圖像之履歷圖像，作 為表示攝像動晝之代表圖像而記憶。 而且，於該第一態樣中，上述圖像合成機構亦可製作上 述代表圖像之縮小圖像；亦可進一步具備代表圖像記憶機 構’其係將上述代表圖像及上述縮小圖像賦予關連並記 憶；亡述顯示控制機構亦可使記憶於上述代表圖像記憶機 構之縮小圖像’顯示為可選擇之一覽圖像。藉此，帶來如 下作用：製作代表圖像之縮小圖像，與代表圖像賦予關連 並記憶，使該記憶之縮小圖像顯示為可選擇之一覽圖像。 而且纟發明之第二態樣為__種圖像處理裝置及其處理 方法以及使電腦執行該方法之程式；該圖像處理裝置之 特徵為具備·動晝輸入機構’其係將藉由攝像裝置所拍攝 之動晝作為攝像動畫而輸入；轉換資訊算出機構，其係以 冓成^述攝像動晝之攝像圖像中之至少^個攝像圖像為基 準算出用以轉換其他攝像圖像之轉換資訊；圖像轉換機 -係根據上述算出之轉換資訊來轉換上述攝像圖像； 131700.doc •10- 200922325 索引圖像記憶機構，其係將上述攝像圖像或上述經轉換之 攝像圖像中之至少—者作為上述攝像動畫之索、 記憶藉由上述轉換資訊所決 之:而 像之座標位置及大小.月去心1上之上述索引圖 ，及索引圖像擷取機構，其係 述經轉換之攝像圖像及 、 °隐於上述索引圖像記憶機構之索 引圖像之座標位置及大 ’、 傻。鋅# 楗上述攝像動畫中擷取索引圖 ::此’帶來如τ作用：若輸入攝像動晝， 像動畫之攝像圖像中之至少】個攝像圖像為基準，算3 以轉換其他攝像圖像之轉換資訊，根據該算出 來轉換攝像圖像，栌媸兮姑& 得換貝成 園傢根據该經轉換之攝像圖像及記憶於索引 圖像圮憶機構之索引圖 ’、 擷取索引圖像。纟之座“位置及大小’從攝像動畫 而且’於該第二態樣中，上述索引圖像掘取機構亦可算 =述經轉換之攝像圖像與記憶於上述索引圖像記憶機構 、引圖像之重複率，根據該算出之重複率來擷取上述索 引圖像。藉此’帶來如下作用：算出經轉換之攝像圖像斑 S己憶於索引圖像記憶機構之索引圖像之重複率，根據該算 出之重複率來擷取索引圖像。 且於該第一癌'樣中，上述索引圖像擷取機構亦可將 上述掏取到之索引圖像之上述座標位置及大小依序記錄於 圖像記憶機構。藉此’帶來如下作用：將拍負取到 7W像之座標位置及大小依序記錄於索引圖像記憶機 構。 而且於该第二態樣中，上述索引圖像拍貝取機構亦可將 I31700.doc 200922325 上述擷取到之索弓丨圖像之上述座標位置及大小與上述擷取 到之索引圖像賦予關連，並依序記錄於上述索引圖像記憶 機構。藉此，帶來如下作用：將擷取到之索引圖像之座標 位置及大小與該索引圖像賦予關連，並依序記錄於索引圖 像記憶機構。 ί 而且，於該第二態樣中，亦可進一步具備顯示控制機 構’其係根據記憶於上述索引圖像記憶機構之索引圖像之 上述座標位置及大小，使該索引圖像配置於二維空間並顯 不。藉此，帶來如下作用：根據記憶於索引圖像記憶機構 之索引圖像之座標位置及大小，€索引圖像配置於二維空 間並顯示。 而且’於該第二態樣中，上述索引圖像操取機構亦可將 上述擷取到之索引圖像之上述座標位置及大小、上述擷取 到之索引圖像與上述攝像動晝之關於上述擷取到之索引圖 像之時間資訊料關連，並依序記錄於上述索引圖像記憶 機構，亦可進一步具備顯示控制機構，其係根據記憶於上 述索引圖像記憶機構之索引圖像之時間資訊、座標位置及 大小，將該索引圖像虛擬配置於三維空間，並使該索引圖 像投影於平面而顯示。藉此’帶來如下作用：將擷取到之 :引圖像：座標位置及大小、該索引圖像與關於該索引圖 構2貝Λ賦予關連，並依序記錄於索引圖像記憶機 構’根據記憶於該索引圖像記憶機構之索引圖像之時間資 訊、座標位置及大小，冑索引圖像虛擬配置於三維空間， 並使索引圖像投影於平面而顯示。 131700.doc 200922325 而且，於該第二態樣中，亦可 刀τ進一步具備：動畫記憶機 構’其係“己憶上述攝像動晝；操作受理機構，其係受理選 擇配置於上述三維空間之索 豕之選擇操作，及選擇機 構，其係根據上述選擇之上述索引圖像，來選擇記憶於上

述索引圖像記憶機構之上述時間資訊；上述顯示控制機構 亦可使記憶於上述動畫記憶機構之攝像動畫，從對應於上 述選擇之時間資訊之攝像圖像再生。藉此，帶來如下作 用右又理選擇配置於二維空間之索引圖像之選擇操作， 則根據該選擇之索引圖像來選擇時間資訊，使動畫從對應 於该選擇之時間資訊之攝像圖像再生。 而且：於該第二態樣中’亦可進一步具備：圖像保持機 構’其係保㈣歷圖像；圖像合成機構，其係於對應於上 ㈣取到之索引圖像之上述經轉換之攝像圖像加註特定標 記’將上述經轉換之攝像圖像合成為上述履歷圖像，並作 為新履歷圖像使上述圖像保持機構保持；及代表圖像記憶 機構’其係、記憶上述履歷圖像作為表示上述攝像動畫之代 表圖像。藉此，帶來如下作用：於對應於顯取到之索引圖 像之攝像圖像加註特定標記，將經轉換之攝像圖像合成於 履歷圖像’並作為新履M目絲持，記憶錢目像 表圖像。 而且：於該第二態樣中’亦可進一步具備：動晝記憶機 構，其係記憶上述攝像動晝；顯示機構，其係顯示記憶於 ,述代表圖像記憶機構之代表圖像；操作受理機構，其係 文理選擇上述顯示之代表圖像之位置之選擇操作；選擇機 131700.(J〇c -13· 200922325 構，其係根據上述選擇之上述 n表圖像之位置，來選擇上 述擷取到之索引圖像；及顯示於 搜f】機構，其係使記憶於上 述動晝記憶機構之攝像動晝 攸對應於上述選擇之索引 像之攝像圖像再生。藉此，帶 一 一 來如下作用.若受理選擇顯 示之代表圖像之位置之選揠柽你 t ^ &擇操作，則根據該選擇之代表圖 像之位置來選擇索引圖傻，你& + Ή圃像使動畫從對應於該選擇之索引 圖像之攝像圖像再生。 ' 而且’本發明之第三態樣為 〜、银马種動畫再生裝置及其處理 方法，以及使電腦執行該方法之程式；該動畫再生裝置之 特徵為具備：動畫記憶機構，其係記憶藉由攝像裝置所拍 攝之攝像動畫；圖像保持機構，其係將構成上述攝像動畫 之攝像圖像作為履歷圖像保持；轉換資訊算出機構，其係 以上述攝像圖像中之至少丨個攝像圖像為基準，算出用以 轉換其他攝像圖像之轉換資訊；圖像轉換機構，其係根據 上述算出之轉換資訊來轉換上述攝像圖像；圖像合成機 構’其係將上述經轉&之攝i圖像合成於上述履歷圖像， 並作為新履歷圖像使上述圖像保持機構保持；圖像位置取 得機構，其係取得上述經轉換之攝像圖像之藉由上述合成 所形成之上述履歷圖像上之座標位置；圖像位置記憶機 構，其係將上述取得之座標位置與上述攝像圖像賦予關連 並記憶；顯示機構，其係顯示上述履歷圖像作為表示上述 攝像動畫之代表圖像；操作受理機構，其係受理選擇上述 顯示之代表圖像之位置之選擇操作；及顯示控制機構其 係根據上述選擇之上述代表圖像之位置，使記憶於上述動 131700.doc 14 200922325 機構之攝像動晝從對應於上述選擇之位置之攝像圖 像再生。获此 ^ ^ 鞛此’帶來如下作用：以構成攝像動晝之攝像圖 個攝像圖像為基準，算出用以轉換其他攝像 轉換資訊，根據該算出之轉換資訊來轉換攝像圖 將4、，&轉換之攝像圖像合成於履歷圖像，並作為新履 :圖像保持’取得該經轉換之攝像圖像之履歷圖像上之座 一置與攝像圖像賦予關連並記憶，顯示履歷圖像作為 『=I攝像動畫之代表圖像，若受理選擇該顯示之代表圖像 4之位置之選擇操作，則使攝像動畫從對應於該選擇之代表 圖像之位置之攝像圖像再生。 [發明之效果] /若根據本發明’可發揮可容易地掌握藉由攝像裝置所攝 影之動畫内容之良好效果。 【實施方式】 接著’參考圖式來詳細說明關於本發明之實施形態。 f 圖1係表示本發明之實施形態之圖像處理裝置100之功能 結構例之區塊圖。圖像處理裝置100具備：動晝輸入部 11 〇、攝影機工作檢測部1 20、記錄控制部1 30、動晝取得 部140、攝影機工作參數擷取部15〇、圖像轉換部16〇、圖 像記憶體170、圖像合成部180、圖像位置取得部19〇、動 晝記憶部200、圖像位置記憶部210、代表圖像記憶部 22〇、操作受理部230、選擇部240、顯示控制部250及顯示 部260。圖像處理裝置1〇〇可藉由針對例如以數位視訊攝影 機等攝像裝置攝影之動畫，藉由影像解析來擷取特徵量， 131700.doc 200922325 利用該擷取到之特徵量，可施以各種圖像處理之個人電腦 來實現。 動晝輸入部110係輸入藉由數位視訊攝影機等攝像裝置 (以下僅稱為「攝影機」)所拍攝之動晝之動畫輸入部：直 將輸入之動畫輸出至攝影機工作檢測部12〇。 /、 攝影機工作檢測部120係解析從動畫輸入部U0輸出之動 畫，檢測攝像時之攝影機之運動資訊（攝影機工作），且 備：特徵賴取部121 '光流計算部122及攝影機工作參數 算出部123。亦即’攝影機工作檢測部12〇係從構成動畫之 各圖像擷取特徵點，並且掏取對於該特徵點之光流（運動 向量），解析對於該擷取到之特徵點之光流，選擇使支配 性運動顯現之特徵點，搞姑4 ㈣.點㈣該&支配性運動顯現之特徵點 1光流來推定攝影機之運動。於此，支配性運動係意味在 則性運動。 匕較夕數之光流所顯示之規 特徵點擷取部121係從對應於構成從動畫輸入部110輸出 =動晝之頁框之圖像，掘取特徵點，並將榻取到之特徵點 輸出至光流計算部122。於此，鸫料赴拖说 ’· 寺徵點擷取邛121係針對構 成攸動畫輸入部110輸出之動查 ㈣入胁 動旦之頁框中之開頭頁框，從 圖像王體擷取特徵點，針對開 卜一他u 只乂外之頁框，則與對應於 框之圖像比較，從新攝影之區域部分操取特徵 斜二外，作為特徵點可揭取例如於縱向或橫向，邊緣之 斜又強之點（一般稱為「角點 角fA伤斜认I 下％為角點」）。該 角點係對於光流計算有利之特徵點，可利用邊緣檢測來求 131700.doc 200922325 出。此外’關於該角點之神& 4 ' 您裯取，參考圖4及圖5來詳細地說 明。而且，於該例中，姓w〜 ^ 特徵點擷取部121係針對開頭頁 框，從圖像全體操取特徵點，針對開頭以外之頁框，則與 上-個圖像比較’從新攝影之區域部分擷取特徵點，但因 應處理能力等’針對開通Π冰 间頭以外之各頁框，亦可從圖像全體 擷取特徵點。 光机D十算4122係汁算冑於從特徵點操取部ΐ2ι輸出之各 特徵點之光流，並將計算所求出之光流輸出至攝影機工作 參數算出部123。具體而言，藉由比較對應於構成從動畫 輸入部1Η)輸出之動晝之連續2個頁框（目前頁框及該上一 個頁框）之各圖像，求出對應於上一個頁框之圖像之各特 2點：光流作為目前頁框之光流。而且，光流係於構成動 晝之每頁框求出。此外，作為檢測光流之檢測方法，可利 用斜度法或區塊匹配方法等檢測方法。此外，關於該光流 之D十算參考圖4及圖5來詳細地說明。 攝办機工作參數算出部123係利用從光流計算部⑵輸出 ^對應於各特徵點之総，進行操取攝影機工作參數之攝 〜機工作參數算出處理，並將算出之攝影機卫作參數輸出 至》己錄控制部130。於此，本發明之實施形態係配合攝影 機之運動，來轉換構成作為再生對象之動晝之圖像並顯 不。=了進行該圖像之轉換，利用由光流計算部122計算 之光机來擷取攝影機之運動，根據該擷取到之運動，計算 :々機工作參數（轉換參數）。此外，本發明之實施形態係 說月關於利用仿射轉換之例，來作為轉換構成作為再生 131700.doc 200922325 象之動畫之圖像之圖像轉換方法。而且，作為攝影機工作 參數，說明關於利用對應於根據光流所算出之仿射轉換參 數之矩陣之反矩陣之仿射轉換參數之例。亦即，於本發明 之實施形態’作為轉換資訊所制之仿射轉換參數並非以 表現連續圖像間之特徵點之運動之仿射矩陣來定義而是 在將連續圖像中之1個圖像作為基準圖像之情況下，定義 為對應於表示該基準圖像之下一圖像移動至何處之仿射矩 陣之仿射轉換參數1且，作為攝影機卫作參數係說明關 於利用仿射轉換參數之例。此外，亦可利用投射轉換等其 他圖像轉換方法。此外，仿射轉換參數可㈣3點向量來 十算而求出。而且，投射轉換參數可利用4點向量來計算 而求出。於此，攝影機工作參數係為了以構成攝像動畫之 攝像圖像中之至少1個攝像圖像為基準，來轉換其他攝像 圖像之轉換資訊，至少包含以攝影機之座標系統所描述之 位置資訊及姿勢資訊。亦即，攝影機工作參數包含關於由 攝影者所攝影之情況下之攝影機之位置或姿勢之資訊。而 且，可根據藉由攝影機工作參數算出部123所求出之仿射 轉換參數，來推定由例如拉近、推遠、平移、傾斜、旋轉 等攝〜者之操作所造成之攝影機之運動。此外，關於仿射 轉換參數之計算係參考圖4及圖5來詳細地說明。 °己錄控制部130係針對從動畫輸入部110輸出之動畫及從 機工作參數算出部123輸出之仿射轉換參數，將互相 …之頁框與仿射轉換參數賦予關連，並作為動晝檔記 於動畫記憶部2〇〇。 、 131700.doc 200922325 動畫記憶部200係記憶將互相 數賦予關連之動畫標。而【，包 頁框與仿射轉換參 動書 β 動晝記憶部2〇〇係因應來自 動之要求’將動晝檔供給至動畫取得部⑽。 並將取Γ:=°係取得記憶於動畫記憶部2〇°之動畫檔， 丈將取侍之動畫檔輸出至攝 像轉換部160。 冑作參數操取部15。及圖 ，影機工作參數擷取部150係、於每頁框，縣與從動書 取得部140輸出之動書栌 、 數 動^賦予關連而記錄之仿射轉換參 …取到之仿射轉換參數輸出至圖像轉換部⑽。 =:換部⑽係針對構成從動晝取得部14〇輸出之動晝 :仿射：：：像’利用從攝影機工作參數掏取部150輸出 射轉換參數，於每頁框施以仿射轉換，將經仿射轉換 之圖像輸出至圖像合成部18〇及圖像位置取得部19〇。且體 =言’圖像轉換部⑽係利賴攝影機工作參數擷取部15〇 輪出之仿射轉換參數，將從動晝取得部14〇輸出之對應於 k 2頁框之圖像予以仿射轉換。此外，關於該圖像轉換係 參考圖7至圖is等來詳細地說明。 、圖像記憶體17〇具備保持藉由圖像合成部18〇所合成之合 成圖像之工作緩衝區’並將保持之合成圖像供給至圖像合 成部⑽及圖像位置取得部19〇。亦即，圖像記憶體则 保持履歷圖像之圖像記憶體。 圖像合成部180係合成從圖像轉換部16〇輸出之轉換圖像 及保持於圖像記憶體170之合成圖像，並將合成後之合成 圖像輸出至圖像記憶體170。具體而言，圖像合成部18〇係 131700.doc •19- 200922325 藉由於保持於圖像記憶體170之對應於到先前之各頁框之 合成圖像，覆寫藉由圖像轉換部16〇予以仿射轉換後之圖 像，來合成圖像。而且，針對丨個動晝從開頭頁框至最後 頁框之圖像合成結束之情況時’圖像合成部丨8〇係製作保 持於圖像記憶體17〇之合成圖像之縮小圖像，使該製成之 縮小圖像及保持於圖像記憶體丨70之合成圖像作為全景圖 像輸出至代表圖像記憶部220並記錄。該全景圖像係表示 從動畫輸入部110輸入之動晝之代表圖像，其係以包含該 動晝所含之各攝影空間之大部分之方式製作之圖像。此 外，關於該等圖像合成係參考圖7至圖丨5等來詳細地說 明。

圖像位置取得部190係根據從圖像轉換部16〇輸出之轉換 圖像及保持於圖像記憶體170之合成圖像，來取得從圖像 s己憶體1 70之工作緩衝區上之圖像轉換部丨6〇輸出之轉換圖 像之中心位置及圖像之大小（面積），並將取得之轉換圖像 之中心位置及圖像之大小，與對應於轉換圖像之頁框號碼 一同輸出至圖像位置記憶部210。亦即，圖像位置取得部 190係針對從圖像轉換部160輸出之轉換圖像，取得藉由圖 像合成部180所製作之全景圖像（代表圖像）之座標位置。此 外，關於該圖像之中心位置及圖像之大小係參考圖2來詳 細說明。 圖像位置記憶部210係將從圖像位置取得部19〇輪出之圖 像之頁框號碼、圖像之中心位置及大小賦予關連並記憶， 並將所記憶之頁框號碼、圖像之中心位置及大小輸出:選 131700.doc -20- 200922325 擇部謂。此外，關於記憶於圖像位置記憶_ 係參考圖2來詳細說明。 分貝讯 代表圖像記憶部220係將從園你人丄、 將攸圖像合成部180輸出之合成圖 像’作為關於記憶於動書纪情 -。己隐4 200之動晝之全景 憶，並且將從圖像合成部丨8〇輸出 勒出之縮小圖像，作為關於 記憶於動晝記憶部200之動書夕入A〜| 助畺之全景縮小圖像記憶，並將 記憶之全景圖像供給至顯示控制部25〇。 操作受理部230具備各種操作鍵簟 r \ 裡禪作鍵等，若受理藉由該等鍵 之操作輸入’則將受理之捶作輪 铞作1^入之内谷輸出至選擇部 240或顯示控制部25〇。操作受理部23()具備例如滑鼠（指向 器件），因應來自該滑鼠之操作輸人而移動之游標（滑氣點） 顯示於顯示部260。游標係為了於顯示於顯示部26〇之晝面 上，出示指示或操作之對象所用之滑鼠點。 選擇部240若輸入藉由操作受理部23〇所受理之全景圖像 之位置選擇操作’則根據記憶於圖像位置記憶部21〇之圖 像之中心位置及大小，從記憶於圖像位置記憶部21〇之頁 框號碼中選擇1個頁框冑碼，將選擇之頁框號碼及對應於 其之動晝ID輸出至顯示控制部25〇。此外，關於該選擇係 參考圖22來詳細說明。 顯不控制部250係因應操作受理部230之操作輸入，進行 使記憶於代表圖像記憶部220之全景圖像或記憶於動畫記 憶部200之動晝顯示於顯示部260之控制。而且，顯示控制 部250若從選擇部240輸入有頁框號碼及動畫ID，則從動畫 §己憶部200搜尋對應於動畫id之動畫，並且針對該搜尋到 131700.doc •21 200922325 之動晝，從對應於頁框號碼之位置開始再生。 顯示部260係根據來自顯示控制部250之控制，顯示記憶 於代表圖像記憶部220之全景圖像或記憶於動晝記憶部2〇〇 之動晝。可藉由例如個人電腦或電視之顯示器來實現。此 外’關於合成圖像之顯示例係參考圖2〇等來詳細說明。 圖2係概略地表示記憶於本發明之實施形態之圖像位置 記憶部210之内容之圖。 於圖像位置記憶部21 〇，於每頁框依時間序列記憶有關 於藉由圖像轉換部160予以仿射轉換，並藉由圖像合成部 •’於圖像位置記憶部 中心位置2 1 3與圖像尺 180合成後之圖像之資訊。具體而 210’動畫ID 211、頁框號碼212、 寸214被賦予關連並記憶。 動晝ID 211係對應於記憶在動畫記憶部2〇〇之各動畫之 頁框號碼2 12係構成記憶於動畫記憶部2 〇 〇之動畫之頁框

工作緩衝區上藉由 131700.doc 圖像之中心位置。例如將 設為xy座標之情況時， •22. 200922325 錄有對應於藉由圖像轉換部16〇予以仿射轉換之圖像之中 心位置之座標值。 囷像尺寸214係表示圖像記憶體17〇之工作緩衝區上藉由 圖像轉換部16G予以仿射轉換之圖像之大小之圖像尺寸。 例如作為該时尺寸記錄有藉由圖像轉換部16G予以仿射 轉換之圖像面積。此外，於本發明之實施形態，說明利用 中心位置及圖像尺寸來作為藉由圖像轉換部16〇予以仿射 轉換之圖像之位置資訊之例’但作為該經仿射轉換之圖像 之位置資汛，亦可利用對應於該圖像之4頂角之座標等其 他位置資訊。 圖3係概略地表示記憶於本發明之實施形態之代表圖像 記憶部220之内容之圖。 於代表圖像記憶部220，針對記憶於動畫記憶部2〇〇之各 動畫，藉由圖像合成部180所製作之合成圖像及縮小圖像 係作為全景圖像及全景縮小圖像而記憶。具體而言，於代 表圖像記憶部220’動畫ID 221、全景圖像222與全景縮小 圖像223被賦予關連並記憶。例如針對1個動畫記憶有丄個 全景圖像及全景縮小圖像。 動晝ID 2 1 1係對應於記憶在動晝記憶部2〇〇之動畫之 ID。 全景圖像222係針對記憶於動晝記憶部2〇〇之各動畫，藉 由圖像合成部1 80合成後之合成圖像。此外，於圖3，記憶 於代表圖像記憶部220之各全景圖像係省略表示作為 「A1」、「B1」、「C1」。 131700.doc 23· 200922325 全景縮小圖像223係針對記憶於動畫記憶部2〇〇之各動 畫，藉由圖像合成部1 80製作後之合成圖像經縮小之縮小 圖像，其係記憶於全景圖像222之全景圖像經縮小者。此 外，於圖3，記憶於代表圖像記憶部22〇之各全景縮小圖像 係省略表示作為「All」、「Bll」、「C11」。 接著，參考圖式來詳細地說明關於檢測用於圖像轉換之 仿射轉換參數之檢測方法。 圖4(a)至（c)係表示對應於構成動晝之頁框之圖像之一例 之圖。圖5(a)係表示針對對應於圖4所示之動畫3〇〇所對應 之頁框之前1個頁框之圖像，省略背景等經簡化之圖像之 圖。而且，圊5(b)及（c)係表示針對圖4所示之圖像3〇〇，省 略背景等經簡化之圖像之圖。 圖4及圖5所示之圖像3〇〇、32〇、33〇包含人所跨坐之馬 像301、321、331及設置於該馬像3〇1、321、331前方之蛇 像302 ' 322、332。而且，如圖4所示，於該等像之背景存 在有旗幟或椅子等，該旗幟隨風飄動。 圖5(a)所示之圖像32〇係將對應於圖4(a)至（c)及圖5(b)及 (c)所不之圖像3〇〇、33〇所對應之頁框之前丨個頁框之圖像 予、簡化之圖像。而且，對應於2個連續頁框之圖像及 3 3 0係表示晝面内之被照體逐漸變大之情況下之轉變之圖 像亦即，於該攝像時，進行使晝面内之被照體逐漸增大 之操作即拉近操作。 於本發明之實施形態，舉例說明從構成動畫之圖像檢測 特徵點禾J用對應於該特徵點之光流來計算仿射轉換參數 131700.doc -24· 200922325 之方法。而且，於該例，作為特徵點係說明關於利用角點 之情況。 於此’圖5(a)至（c)係舉例說明利用對應於從圖像320及 3 3 0檢測到之3個角點之光流，來計算仿射轉換參數之方 法。 例如於圖5(a)所示之圖像320 ’作為特徵點係檢測到馬像 321之口部附近之角點323、馬像321之人臀部附近之角點 324及蛇像322之口部附近之角點325。於該情況下，於圖 5(b)所示之圖像330，藉由斜度法或區塊匹配法等來檢測對 於圖像320之角點323、324及325之光流337、338及 3 3 9。然後’根據該檢測到之光流3 3 7、3 3 8及3 3 9，來檢 測對應於圖像320之角點323、324及325之角點333、334及 335。 於此，由於例如圖5(a)及（b)所示之圖像32〇及33〇所含之 馬像321、33 1或蛇像322、332設置於地面，因此不會與攝 影機之運動無關地移動。因此，根據針對馬像321、331或 蛇像322、332所檢測到之角點所求出之光流，可正確地推 定攝影機之運動。例如如圖5(c)所示，根據於圖像33〇所檢 測到之3個光流337至339，可推定圖像33〇係以點336為中 心放大圖像320者。藉此，圖像330之攝影時之攝影機之運 動可判斷為以點3 3 6為中心之拉近動作。如此，針對不會 與攝影機之運動無關地移動之物體檢測角點，根據對於該 角點所求出之光流，可正確地檢測具備一定規則性之攝影 機之運動。因此，可利用對於該等角點所求出之光流來計 131700.doc -25- 200922325 算並求出仿射轉換參數。 -、而而考量關於如隨風飄揚之旗幟等 動無關地移動之物體包含於圖像 、攝影機之運 示之圖像300勺入陡rr 清’兄。例如於圖4所 :3〇〇包3隨風飄揚之旗幟。於針 之運動無關地移動之物體檢測角，點，利用對於該角= 之光流推定攝影機之運動 、μ *' 機之運動。 胃之&時，無法正確地推定攝影 :丨：以箭頭表示於圖4(b)所示之圖像3〇〇中檢測到之光 机，並且於箭頭前端，以空白 到之角點。於此，角謂至3G5^r流所檢測 肖點303至305係對應於圖5(b)及⑷所示 點333至335之角點。而且，角點邮至⑴係針對存在 ，馬像30!之背景之旗幟所檢測到之角點。然後，由於該 等旗幟隨風飄揚’因此由於風的影響所造成之旗織運動會 被檢測作為光流。亦即，對應於角點3()6至3ιι之各光汽係 針對與攝影機之運動無關地移動之旗幟所檢測到者。因 此，於計算仿射轉換參數之情況時所用之3個光流，包含 對應於角點306至3U中之至少丨個角點之光流之情況下， 無法檢測正確之攝影機運動。於該情況下，無法計算正確 之仿射轉換參數。 如以上所示，從攝影圖像可能檢測到例如對於與攝影機 之運動無關地移動之物體之光流（對應於圖4(b)所示之角點 306至3 11之各光流）、及與攝影機之運動之關係上具備一 疋規則性之光流（對應於圖4(b)所示之角點3〇6至311之各光 流以外之光流）。 131700.doc -26- 200922325 因此’於本發明之實施形態中，説明關於根據3個光 流’進行複數次計算仿射轉換參數之仿射轉換參數計算處 理’求出複數個仿射轉換參數，而從該等複數個仿射轉換 參數中選擇最佳之仿射轉換參數之例。此外，於該例中， 構成動畫之各圖像所含之動物體之大小係相對於圖像面積 為較小者。 於此’簡單說明關於仿射轉換。於二維上，移動起點之 位置设為（X、y) ’仿射轉換後之移動目標之位置設為（X，、 y )之情況時，仿射轉換之矩陣式能以式丨來表示。 [數1]

d 0 e Ο …（式1) f 1 於此，a至f為仿射轉換參數，而且，由該仿射轉換參數 所开/成仿射矩陣AM能以下式來表示。於該情況下，關於χ 方向之拉近成分ΧΖ、γ方向之拉近成分γζ、χ方向之平移 成分灯、Υ方向之平移成分ΥΤ、旋轉成分R，可分別以下 式求出。此外，於單位矩陣之情況下，a=e=i， b=c=d=f=〇 〇 [數2] 131700.doc -27- 200922325 AM =

c XZ

Yz

XT

YT

R d a \ 接著，說明關於仿射轉換參數之計算方法。

構成動畫之頁棍中之1個頁框之目前頁框 測到光流之特徵點中選擇3個特徵點。例如 :在:4(b)所以圖像3崎測狀角點（以空白圓圈 中，隨機地選擇3個角點。此外，作為攝影機工作參數利 轉換參數之情況時，隨機地選擇4個特徵點。 μ： 下來β用對應於選擇之3個特徵點之3個光流來計算 仿射轉換參數。例㈣精應於«4(b)料之圖像300之 角以空白圓圈表示)中所選擇之3個角點之光流(以連接 於工白圓圈之箭頭表示）計算仿射轉換參數。該仿射轉換 參數可利用式1來求出。 接下來，根據求出之仿射轉換參數來計算仿射轉換參數 之传分。具體而言’㈣求Α之仿射轉換參數，求出對應 於目刖頁框之上一個頁框之圖像之所有特徵點之移動目標 直° ^後’比較利用該仿射轉換參數所求出之特徵點 之位置、與在目前頁框檢測到之特徵點之位置，於每特徵 點什鼻互相對應之2個特徵點之位置之差分值。作為差分 131700.doc -28 - 200922325 f 值’計算例如互相對應之2個特徵點之位置間之絕對距 離。接下來，於每特徵點比較計算之差分值與預先設定之 臨限值，求出該差分值小於臨限值之特徵點之個數作為仿 射轉換參數之得分。如此，從檢測到光流之特徵點中，隨 機地選擇3個特徵點，根據對應於該等特徵點之光流，重 複特定次數之算出仿射轉換參數之得分之處理，算出複數 個仿射轉換參數之得分。該特定次數係因應作為比較對象 之圖像之種類或圖像處理裝置100之處理能力等來酌情設 定’或利用S]定值均可1為該特定次數可考慮例如圖^ 處理裝置100之處理能力而設定為20次程度。 思慮例如從在圖4(b)所示之圖像300所檢測到之角點 中，選擇角點306至311以外之3個角點之情況。若利用對 應於如此選擇之3個角點之3個光流來計算仿射轉換參數， 則如上述，由於該3個光流具備一定規則性，因此求出按 照-定規則使對應於上一個之頁框之圖像轉換之仿射轉換 參數。因A，關於利用仿射轉換參數所求出之角點之位置 與在目前頁框所檢測到之角點之位置，針對角點遍至3ιι 以外之角點所求出之差分值係算出較小值。因&，仿射轉 換參數之得分成為大值。 另-方面，思慮從在圖4(b)所示之圖像·所檢測到之 角點中，選擇包含角點306至311中之至少】個之3個角點之 情況。若利用對應於如此選擇之u %禪之3個角點之3個光流來計算 仿射轉換參數，則如上述，由， ^ 由於该3個光流包含不具備一 定規則性之光流，因此求出並非地职 ®亚非按照一定規則使對應於上 131700.doc •29· 200922325 ==圖像轉換之仿射轉換參數。因此針對 Γ數所求出之角點之位置與在目前頁框所檢測到之 角點之位置所求出夕μ八^ 出之差刀值，於任意角點算出較大值。 此，仿射轉換參數之得分成為小值。 八：：：’於求出之複數仿射轉換參數之得分中，選擇得 之仿射轉換參數作為代表仿射轉換參數。狹後， =選擇之代表仿射轉換參數之矩陣之反矩陣之：射轉 換』，與目前頁框賦予關連並記錄於動畫記憶部2〇〇。 藉此，將構成動晝之圖像予以仿射轉換之情況時，可利用 最佳之仿射轉換參數來進行仿射轉換。 如以上所不’即使為構成動晝之各圖像包含人物或車等 移動中之物體（動物體）之情況，於該動物體相對於圖像面 積之大j較】、之凊況時’仍可不受動物體之影響來掏取攝 影機之運動。 而且’藉由操取攝影機之運動，可推定拉近、推遠、平 i 移、傾斜、旋轉等據判為攝影者特意地使其移動之運動。 接著，參相式來說明關於本發明之實施 理裝置100之動作。 免 、圖6係表示本發明之實施形態之藉由圖像處理裝置⑽所 進行之仿射轉換參數檢測處理之處理程序之流程圖。 最初於動晝輸入部110輸入動畫檔（步驟S900)。接下 來’解碼輸入於動畫輸入部11〇之動晝檔，依時間序列之 順序取们個頁框之圖像（步驟S9()1)。接下來，判斷取得 之1個頁框是否為輸入於動晝輸入部11〇之動晝檔之開頭頁 i31700.doc -30- 200922325

驟 框（步驟S9G2)。取得之Hg] f框為開頭頁框之情況時（步 5902) ，從對應於該開頭頁框之圖像全體擷取特徵點（步 5903) 。例如圖4(b)所示，於圖像梅取複數角點。接下來 作為仿射轉換參數選擇單位矩陣之仿射轉換參數（步 5904) ，並前進至步驟S914。 另一方面，取得之i個頁框非開頭頁框之情況時（步驟 S902) ’以對應於上—個頁框之圖像作為基準，從新攝影 之區域擷取特徵點（步驟咖）。亦即，關於在對應於上— 個頁框之圖像既已掏取到 特徵點之光流來求出，因 掏取。 之特徵點，由於可藉由對應於該 此於對應於目前頁框之圖像不會 接下來，計算對於從對應於上-個之頁框之圖像擷取到 之各特徵點之光流（步驟S9〇6)。亦即，如圖4(b)所示，計 算對於各角點之光流。 k. 接下來，變數丨初始化為「1」（步驟S907)。接下來，從 檢測到光流之特徵點中選擇河個特徵點（步驟S9〇8卜例如 作為攝影機工作參數利用仿射轉換參數之情況時，隨機地 選擇3個特徵點。而且，作為攝影機卫作參數利用投射轉 換參數之情況時，隨機地選擇4個特徵點。接下來，根據 對應於選擇之Μ個特徵點所計算之M個光流，來計算仿射 轉換參數（步驟S909)。 接下來，根據計算所求出之仿射轉齡數，來計算仿射 轉換參數之得分（步驟S910)。具體而言，利用計算所求出 之仿射轉換參數，求出對應於上一個頁框之圖像之所有特 131700.doc -31 - 200922325 徵點之移動目標之位置。然後，比較利用該仿射轉換參數 所求出之特徵點之位置、與對應於在步驟S9〇6計算光流時 所求出之目前頁框之圖像之特徵點之位置，於每特徵點計 算互相對應之2個特徵點之位置之差分值。作為差分值係 計算例如互相對應之2個位置間之絕對距離。接下來，於 每特徵點比較計算之差分值與預先設定之臨限值，求出該 差分值小於臨限值之特徵點之個數作為仿射轉換參數之得 分。 接下來，於變數i加算「丨」（步驟S9U)，判斷變數丨是否 大於常數N(步驟S912卜變數i為常數N以下之情況時（步驟 S912)，回到步驟S908，重複仿射轉換參數之得分算出處 理（步驟S908至S91 0)。例如作為常數N可利用2〇。 另一方面，變數i大於常數N之情況時（步驟S912)，選擇 求出之仿射轉換參數之得分中得分值最大之仿射轉換參 數，來作為代表仿射轉換參數（步驟S913)。接下來，對於 選擇之代表仿射轉換參數之矩陣之反矩陣之仿射轉換參數 係與目前頁框賦予關連，並記錄於動畫記憶部2〇〇(步驟 S914卜此外，於目前頁框為開頭頁框之情況時，選擇之 單位矩陣之仿射轉換參數係與開頭頁框賦予關連，並記錄 於動畫記憶部200。接下來，覆寫保存對應於目前頁框之 圖像及該圖像之特徵點（步驟S91 5)。 接下來，判斷目冑頁框是否為輸入於動畫輸人部 動晝檔之最後頁框（步驟S916)。目前頁樞非最後頁框之情 況時（步驟S916)，回到步驟S901’重複仿射轉換參數檢= 131700.doc -32- 200922325 處理（步驟S901至S915)。另一方面，g a w上 ;乃万面目刖頁框為最後頁框 之情况時（步驟S916)，結束仿射轉換參數檢測處理。 於本發明之實施形態，說明關於料攝影機卫作參數之 =測’根據於構成動畫之圖像檢_之光流來檢測仿射轉 ”數之例’但於攝影機設置加速感測器或迴轉感測器等 ^器、或進行變焦操作時所用之變焦按紐，藉由該感測 “變焦按鈕來檢測攝影時之攝影機之移運動量，根據該 攝影機之移運動量來求出攝影機工作參數亦可。此外，關 於該等攝影時所檢測到之攝影機之移運動量，可用於判斷 f由攝影機卫作參數算出和3所求出之攝影機工作參數 疋否正確時。而且，藉由攝影機工作參數算出部123預先 檢測複=攝影機工作參數，根據攝影時檢測到之攝影機之 動置’從該複數攝影機工作參數中選擇丨個攝影機工 作參數亦可。 接者’參考圖式來詳細地說明關於利用上述仿射轉換表 T合成動畫之情況。此外，圖7至圖15所示之各圖像係為 了說明而簡化，並日姑_ θ 且放大表示連續2個頁框間之移運動 量。 最初說月關於攝影機之攝影時雖未變更倍率，但以攝影 機之位置為中心，摄旦^ 攝衫機之鏡頭方向往上下左右之任一方 向移動之情況。 圖7係表示藉由攝影機所攝影之動畫之轉變之一例之 圖。圖7係表示以山為皆 馬濛景攝影人400之情況下之對應於動 畫所含之連續頁框之圖像至彻之圖。於該例中，表示 131700.doc -33· 200922325 一面將攝影機之鏡頭方向往右及上側移動，一面由攝影者 進行攝影之情況。於該情況下，藉由攝影機所攝影之動畫 所含之人400係於構成該動畫之圖像中，從右側往左側移 動，並且往下側移動。 圖8係於圖7所示之各圖像中，以虛線表示對應於上一個 頁框之圖像，並且表示檢測之光流之一例之圖。圖8(a)所 示之圖像401係與圖7(a)所示之圖像4〇1相同。而且，圖 8(b)所示之圖像402中之實線部分係與圖7(b)所示之圖像 4〇2相同，圖8(b)所示之圖像4〇2中之虛線部分係與圖8(a) 所不之圖像401之實線部分相同。而且，圖8(b)所示之圖像 402之箭頭404至406係表示從圖像4〇2檢測到之光流之一 例。同樣地，圖8(c)所示之圖像4〇3中之實線部分係與圖 7(c)所不之圖像403相同，圖8(c)所示之圖像4〇3中之虛線 部分係與圖8(b)所示之圖像4〇2之實線部分相同。而且，圖 8(c)所示之圖像403之箭頭4〇7至4〇9係表示從圖像4〇3檢測 到之光流之一例。 如圖8(b)及（c)所示，g己合攝影機移動，圖像所含之人 4〇〇及旁不的山會移動。根據藉由該移動所檢測之光流， 可於每頁框求出仿射轉換參數。 圖9係表示合成包含圖7所示之圖像4〇1至4〇3之動晝之情 況下之圖像合成例之囷。 如圖9⑷所示，最初僅有對應於開頭頁框之圖像401 ’因 此未口成於此，於對應於圖像4〇1之仿射轉換參數之矩 陣（3X3之矩陣）設為A1之情況時，求出Ai之值，以開頭頁 131700.doc -34- 200922325 才[之圖像401之位置及大小為基準，藉由求出之之矩陣 來將圖像401予以仿射轉換。於此，由於A1為單位矩陣， 因此不轉換圖像4〇1之位置及大小。接下來，於合成對應 於下一頁框之圖像402之情況時，利用與該頁框賦予關連 之仿射轉換參數，來將圖像4〇2予以仿射轉換。具體而 吕，於對應於圖像402之仿射轉換參數之矩陣設為A2，對 應於圖像401之仿射轉換參數之矩陣設為A1之情況時，求 出A1XA2之值，以開頭頁框之圖像4〇1之位置及大小為基 準，藉由求出之Α1χΑ2之矩陣來將圖像402予以仿射轉 換。於圖9(b)所示之圖像中，僅轉換圖像4〇2之位置。然 後，由仿射轉換參數予以仿射轉換之圖像4〇2係以重疊在 對應於上一個頁框之圖像4〇1之方式覆寫。亦即，於圖像 401之區域中，關於與圖像4〇2重複之區域41〇係被覆寫圖 像402之圖像。而且，於圖像4〇1之區域中，關於與圖像 420不重複之區域411係合成有圖像4〇1之圖像。亦即，於 合成有對應於第二個頁框之圖像4〇2之情況下，如圖”…所 不，合成圖像402之全體部分與圖像4〇1中之對應於區域 411之部分。而且，將圖像402予以仿射轉換之仿射轉換參 數係保持於圖像轉換部1 6 〇 〇 接下來’於合成有對應於下一頁框之圖像4〇3之情況 時，利用與該頁框賦予關連之仿射轉換參數，來將圖像 403予以仿射轉換。亦即，藉由利用對應於圖像403之仿射 轉換參數之矩陣、及對應於上一次仿射轉換所用之圖像 402之仿射轉換參數之矩陣所求出之仿射轉換參數，來將 131700.doc -35- 200922325 圖像403予以仿射轉換。具體而言，於對應於圖像4〇3之仿 r 射轉換參數之矩陣設為A3，對應於圖像4〇2之仿射轉換參 數之矩陣設為A2，對應於圖像401之仿射轉換參數之矩陣 設為A1之情況時，求出AlxA2xA3之值，以開頭頁框之圖 像401之位置及大小為基準，藉由求出之Α1χΑ2χΑ3之矩陣 來將圖像403予以仿射轉換。於圖9(c)所示之圖像中，僅轉 換圖像403之位置。然後，由仿射轉換參數予以仿射轉換 之圖像403係以重疊在對應於前頁框之圖像4〇1及4〇2之合 成圖像之方式覆寫。亦即，於圖像4〇1及4〇2之合成圖像之 區域中，關於與圖像403重複之區域413及414係被覆寫圖 像403之圖像。而且，於圖像4〇1及4〇2之合成圖像之區域 中，關於與圖像403不重複之區域411及412係合成有圖像 術及402之合成圖像。亦即，於合成有對應於第三個頁框 之圖像403之情況下，如圖9(c)所示，合成圖像4〇3之全體 之部分與圖像420中之 像403予以仿射轉換之 部分、圖像401中之對應於區域411 對應於區域412之部分。而且，將圖 仿射轉換參數係保持於圖像轉換部16〇。亦即，藉由分別 對應於圖像402及403之仿射轉換參數之矩陣之乘算所求出 之仿射轉換參數，係保持於圖像轉換部〖6〇。如此，將對 應於目前頁框之圖像予以仿射轉換之情況時，#由利用對 應於目前頁框之仿射轉換參數之矩陣、及對應於到緊接於 其前之各頁框之仿射轉換參數之矩陣所求出之仿射轉換參 數’來將對應於目前頁框之圖像^以仿射轉換。於該仿射 轉換時所求出之仿射轉換參數保持於圖⑲換部⑽，並 131700.doc -36 200922325 用於下一仿射轉換。而且，圖像記憶體170之工作緩衝區 上之對應於經仿射轉換之圖像之中心位置之座標值、及表 不圖像大小之圖像尺寸係記錄於圖像位置記憶部。而 且’關於圖12及圖1 5之情況亦同。 接著，說明關於攝影機之攝影時，攝影機之鏡頭方向雖 未移動’但倍率變更之情況。 圖10係表示藉由攝影機所攝影之動畫之轉變之—例之 圖。圖10係表示以山為背景攝影人420之情況下之對應於 動晝所含之連續頁框之圖像42丨至423之圖。於該例表示一 面提高攝影機之鏡頭倍率，一面由攝影者進行攝影之情 況。於該情況下，由攝影機所攝影之動晝所含之人420係 於構成該動畫之圖像中逐漸變大。此外，提高倍率時，雖 有攝影機位置稍微移動之情況，但於本例中，未考慮關於 攝影機之位置移動而說明。 圖11係於圖10所示之各圖像中，以虛線表示對應於上一 個頁框之圖像，並且表示檢測之光流之一例之圖。圖11 (a) 所示之圖像421係與圖l〇(a)所示之圖像421相同。而且圖 11(b)所示之圖像422中之實線部分係與圖1〇(b)所示之圖像 422相同，圖11(b)所示之圖像422中之虛線部分係與圖 10(a)所示之圖像421之實線部分相同。而且，圖11(b/所示 之圖像422之箭頭424至426係表示從圖像422檢測到之光流 之一例。同樣地，圖11(c)所示之圖像423中之實線部分係 與圖10(c)所示之圖像423相同，圖11(c)所示之圖像423中' 之虛線部分係與圖10(b)所示之圖像422之實線部分相同。 13I700.doc -37· 200922325 而且，圖ii(c)所示之圖像423之箭頭427至429係表示從圖 像423檢測到之光流之一例。 如圖11(b)及（c)所示，配合倍率變更，圖像所含之人42〇 及背景的山的大小會變更。根據藉由該變更所檢測之光 流，可於每頁框求出仿射轉換參數。 圖12係表示合成包含圖1〇所示之圖像421至423之動畫之 情況下之合成例之圖。 如圖12(a)所不，最初僅有對應於開頭頁框之圖像42 i， 因此未合成。接下來，於合成對應於下一頁框之圖像422 之情況時，利用與該頁框賦予關連之仿射轉換參數，來將 圖像422予以仿射轉換。於圖12(b)所示之圖像中，僅轉換 圖像422之大小。然後，由仿射轉換參數予以仿射轉換之 圖像422係以重疊在對應於上一個頁框之圖像421之方式覆 寫。亦即，於圖像421之區域中，關於與圖像422重複之區 域係被覆寫圖像422之圖像。於該情況下，由於圖像421係 與圖像422之所有區域重複，因此於圖像42〗覆寫圖像422 之所有圖像。而且，於圖像421之區域中，關於與圖像422 不重複之區域431係合成有圖像421之圖像。亦即，於合成 有對應於第一個頁框之圖像422之情況下，如圖12(b)所 示’合成圖像422之全體部分與圖像421中之對應於區域 431之部分。而且，將圖像422予以仿射轉換之仿射轉換參 數係保持於圖像轉換部160。 接下來，於合成有對應於下一頁框之圖像423之情況 時’利用與該頁框賦予關連之仿射轉換參數，來將圖像 131700.doc -38· 200922325 423予以仿射轉換。亦即，藉由利用對應於圖像423之仿射 轉換參數之矩陣、及對應於上一次仿射轉換所用之圖像 422之仿射轉換參數之矩陣所求出之仿射轉換參數，來將 圖像423予以仿射轉換。於圖丨2(c)所示之圖像令，僅轉換 圖像423之大小。然後，由經仿射轉換之圖像423係以重疊 在對應於别頁框之圖像421及422之合成圖像之方式覆寫。 亦即，於圖像421及422之合成圖像之區域中，關於與圖像 423重複之區域係被覆寫圖像423之圖像。於該情況下，由 於圖像423係與圖像421及422之所有區域重複，因此於圖 像421及422之合成圖像覆寫圖像423之所有圖像。而且， 於圖像421及422之合成圖像之區域中，關於與圖像423不 重複之區域432及433係合成有圖像421及422之合成圖像。 亦即，於合成有對應於第三個頁框之圖像423之情況下， 如圖12(c)所示，合成圖像423之全體部分、圖像421中之對 應於區域432之部分與圖像422中之對應於區域433之部 刀而且，將圖像423予以仿射轉換之仿射轉換參數係保 持於圖像轉換部160。亦即，利用分別對應於圖像422及 423之仿射轉換參數所求出之仿射轉換參數係保持於圖像 轉換部160。 接著說明關於攝影機之攝影時，攝影機之鏡頭方向或 率雖未變更，但以攝影方向為旋轉中心旋轉攝影機之情 況。 圖13係表示藉由攝影機所攝影之動畫之轉變之一例之 圖。圖13係表示以山為背景攝影人44〇之情況下之對應於 131700.doc -39- 200922325 動晝所含之連續頁框之圖像441至443之圖。於該例表干 方向為旋針心旋轉攝影機，-面由攝影者進行 情況。於該情況下，由攝影機所攝影之動晝所含之 人“Ο係於構成該動畫之圖像中旋轉 旋轉’雖有攝影機位置稍微移動之情況，但於本例 考慮關於攝影機之位置移動而說明。 圖14係於圖13所示之各圖像中，以虛線表示對應於上一 個頁框之圖像，並且表示檢測之光流之一例之圖。圖刚 所示之圖像44i係與圖13⑷所示之圖像441相同。*且圖 所示之圖像442中之實線部分係與圖哪)所示之圖像 442相同，圖14(b)所示之圖像料2中之虛線部分係與圖 13⑷所示之圖像州之實線部分相同。*且，圖^州斤示 之圖像442之箭頭444至446係表示從圖2 之-例。同樣地，圖剛所示之圖像443中之實線= 與圖13⑷所示之圖像443相同，圖14⑷所示之圖像州中

之虛線部分係與目13⑻所示之圖像442之實線部分相同。 而且，圖14(c)所示之圖像443之箭頭447至449係表示從圖 像443檢測到之光流之一例。 如圖14(b)及（c)所示，配合攝影機旋轉，圖像所含之人 440及背景的山會旋轉移動。根據藉由該旋轉移動所檢測 之光流，可於每頁框求出仿射轉換參數。 圖15係表不合成包含圖13所示之圖像44〗至443之動畫之 情況下之合成例之圖。 如圖15(a)所示，最初僅有對應於開頭頁框之圖像441， 131700.doc -40- 200922325 因此未合成。接下來，於合成對應於下一頁框之圖像442 之情況時，利用與該頁框賦予關連之仿射轉換參數，來將 圖像442予以仿射轉換。於圖15(b)所示之圖像中，僅轉換 圖像442之角纟。然後’由仿射轉換參數予以仿射轉換之 圖像442係以重疊在對應於上—個頁框之圖像Mi之方式覆 寫。亦即’於圖像441之區域中，關於與圖像442重複之區 域450係被覆寫圖像442之圖像。而且，於圖像441之區域 中，關於與圖像442不重複之區域451及452係合成有圖像 441之圖像。亦即，於表示有對應於第二個頁框之圖像— 之情況下，如圖15(b)所示，合成圖像化之全體部分與圖 像441中之對應於區域451及452之部分。而且，將圖像々a 予以仿射轉換之仿射轉換參數係保持於圖像轉換部丨6 〇。

接下來，於合成有對應於下一頁框之圖像443之情況 時，利用與該頁框賦予關連之仿射轉換參數，來將圖像 443予以仿射轉換。亦即，藉由利用對應於圖像443之仿射 轉換參數之矩陣、及對應於上一次仿射轉換所用之圖像 442之仿射轉換參數之矩陣所求出之仿射轉換參數，來將 圖像443予以仿射轉換。於圖15(c)所示之圖像中，僅轉換 圖像443之角度。然後，由經仿射轉換之圖像443係以重疊 在對應於前頁框之圖像441及442之合成圖像之方式覆寫。 亦即，於圖像441及442之合成圖像之區域中，關於與圖像 443重複之區域453及457係被覆寫圖像443之圖像。而且 於圖像441及442之合成圖像之區域中，關於與圖像443不 重複之區域458及461係進一步合成有圖像441及442之合成 131700.doc •41 - 200922325 圖像亦即’於合成有對應於第三個頁框之圖像443之情 况下，如圖15(c)所示，合成圖像443之全體部分、圖像441 中之對應於區域459之部分與圖像442中之對應於區域458 及460之部分。而且’將圖像443予以仿射轉換之仿射轉換 參數係保持於圖像轉換部⑽。亦即，㈣分別對應於圖 像442及443之仿射轉換參數所求出之仿射轉換參數係保持 於圖像轉換部1 60。

、上刀別說明關於構成動晝之各圖像之位置、倍率及角 度依序變更之情況’但關於組合該等變更之情況亦可同樣 地適用。 接著’ 4不實㉟合成#由攝影機所攝影之動晝之情況下 之：示例。：以下所示之圖像合成例，僅於合成有對應於 目刖頁框及刖頁框之圖像之區域顯示合成囷像，其他區域 塗黑表示。而1 ’於對應於目前頁框之圖像周圍表示邊 框。進一步於以下所示之圖像合成例中，舉例表示製作中 途之合成圖像。 圖16至圖19係表示藉由攝影機所攝影之動畫之轉變之一 例之圖。圖及圖Π係表示一面移動攝影機， 公寓廣場遊玩的親子之情7田攝〜在 乞it况下之構成動畫之圖像5〇〇至5〇5 之圖。 於圖16及圖17所示之圖像5〇〇至5〇5，對應於目前頁框之 像為圖像506至51卜而且，對應於前各頁框所合 像即合成圖像為圖像512至517。如圖16及圖Η所示圖 之圖像所含之攝影對象物(公寓廣場等)係於畫面固定，董; 131700.doc -42- 200922325 應於目前頁框之圖像506至511係配合攝影機之運動而於畫 面上移動。 圖18及圖19係表示-面進行拉近操作，—面攝影在公寓 廣場遊玩的親子之情況下之對應於構成動畫之頁框之圖像 520至525之圖。 於圖18及圖19所示之圖像520至525，對應於目前頁框之 圖像為圖像526至531。而且，對應於前各頁框所合成之圖 像即合成圖像為圖像532至537。如圖18及圖19所示，攝影 之圖像所含之攝影對象物（公寓廣場等）係於畫面固定，對 應於目前頁框之圖像526至531係配合攝影機之運動而於晝 面上移動。 如此，於圖16至圖19所示之圖像合成例，對應於目前頁 框之圖像係伴隨有放大縮小，同時於顯示器上到處移動， 製成廣大之圖像。 圖20係表示藉由攝影機所攝影之動畫由圖像合成部18〇 合成之全景圖像之一例之圖。於圖2〇所示之全景圖像5扣 係針對以在公寓廣場遊玩之親子為中心攝影之動畫所製作 之全景圖像。如圖2〇所示，全景圖像包含作為被照體 之中心所攝影之親子、及酌情攝影之公寓廣場等背景。因 此，容易掌握該動晝之内容。而且，關於攝影之空間亦可 迅速地掌握。 接著，參考圖式詳細地說明關於利用全景圖像來再生動 畫之情況。 圖21係表示本發明之實施形態之顯示於顯示部26〇之全 131700.doc -43- 200922325 景圖像一覽畫面之顯示例之圖。該全景圖像一覽畫面係於 使記憶於動畫記憶部200之動畫再生之情況下，於選擇所 需再生之動晝之情況等顯示之畫面。此外，關於圖2丨所示 之各全景圖像，與記憶於圖3所示之代表圖像記憶部22〇之 全景縮小圖像223之全景縮小圖像相同，省略表示作為 「All」、「B11」及「cu」。此外，該全景圖像一覽畫 面係因應藉由使用者之來自操作受理部23〇之操作輸入， 顯示於顯示部260。 於全景圖像一覽畫面600，分別顯示記錄於代表圖像記 憶部220之全景縮小圖像223之全景縮小圖像6〇1至 6〇3(「All」、rB11」及「⑶」），並且顯示選擇操作用 之游標604。如此，於再生記憶於動晝記憶部200之動畫之 情況時，由於對應於各動畫之全景縮小圖像顯示於全景圖 像一覽晝面600,因此可容易掌握各動晝之内容動晝容 易選擇。因此，可有效率地進行應再生之動畫之選擇。 於此，說明關於選擇作為再生對象之動畫之選擇方法。 如圖21所示，於全景圖像-覽畫面_顯示有全景縮小圖 像6〇1至603之情況下，藉由來自操作受理部230之操作輸 入，使用者操作游標6〇4，從全景縮小圖像6〇ι至中選 擇所需之全景縮小圖像。例如藉由滑鼠，於所需之全景縮 小圖像上雙點擊。對應於藉由該選擇操作所選擇之全景縮 J圖像之王豕圖像係例如圖22(a)所示，於顯示部放大 顯示。 ()係表示本發明之實施形態之顯示於顯示部之 131700.doc -44 - 200922325 全-圖像顯示畫面之顯示例之圖。於全景圖像顯示畫面 610 ’對應於在全景圖像—覽畫面副所選擇之全景縮小圖 像之全景圖像620係顯示於畫面全體，並且顯示有游標 629。於此，於全景圖像62〇内以點線所示之邊框621至628 係說明用而附上者，實際上並未顯示。而X，邊框621至 628係表示構成對應於全景圖像620之動晝之各圖像之一部 分圖像。 圖22(b)係模式性地表示對應於全景圖像之動晝 630、及構成動晝63〇之頁框之一部分即頁框至6^之 圖。於此，動晝630所含之頁框係從箭頭639所示之「〇」 依時間序列排列。而且，頁框631至㈣分別對應於圖Μ⑷ 所示之邊框621至628内之圖像。 於此，說明關於利用全景圖像顯示晝面61〇所顯示之全 景圖像620，來再生動晝63〇之再生方法。於顯示於全景圖 像顯示畫面610之全景圖像62〇中，藉由來自操作受理部 之操作輸入，使用者操作游標629，選擇全景圖像 内之所需部分。例如藉由滑鼠雙點擊全景圖像62〇上之所 需部分。根據藉由該選擇操作所選擇之位置，從動晝63〇 之特定位置開始再生。具體而言’於對應於動畫㈣而記 錄於圖像位置記憶部21G之中心位置213之座標中，從藉由 全景圖像620上之選擇操作所選擇之位置，檢測存在於最 紐距離之座標點，選擇對應於該座標點之頁框號碼Μ〗及 動畫ID 211 〇然後’若該選擇之頁框號碼η 2及動畫mm 輸出至顯不控制部250，則顯示控制部25〇係從動畫記憶部 131700.doc -45- 200922325 200搜尋對應於動畫山211之動畫，並且針對該搜尋到之 動畫，從對應於頁樞號碼212之位置開始再生。然後，始 於該位置之動畫顯示於顯示部260。此外，於記錄於圖像 位置記憶部2H)之中讀置213之座標中，檢測到複數個從 藉由全景圖像620上之選擇操作所選擇之位置存在於最短 距離之座標點之情況時，選擇例如記錄於圖像尺寸214之 圖像面積大者。而’亦可選擇頁框號碼大者。此外，亦 可根據其他評估函數來選擇適當之頁框號碼及動畫山。 例如於圖22(a)所示之全景圖像62〇中，於邊框628之中心 附近存在游標之情況下，若藉由滑氣雙點擊，則從圖像位 置s己憶部2 1 0選擇對應於邊框628内之圖像之頁框之頁框號 碼，並且從圖像位置記憶部21〇選擇對應於全景圖像62〇之 動晝ID，根據該選擇之動畫ID及頁框號碼，從動畫63〇之 頁框63 8之位置開始再生。 接著，參考圖式來說明關於本發明之實施形態之圖像處 理裝置.100之動作。 圖23係表示本發明之實施形態之藉由圖像處理裝置1〇〇 所進行之全景圖像製作處理之處理程序之流程圖。 最初於圖像記憶體170確保圖像之尺寸大於構成動晝之 尺寸之工作緩衝區（步驟S921)。接下來，從動晝記憶部 200取得動畫檔（步驟S922)。接下來，解碼取得之動畫 檔’取得1個頁框之目前頁框（步驟S923)。 接下來’從動晝擋擷取對應於取得之目前頁框之仿射轉 換參數（步驟S924)。於此’目前頁框為開頭頁框之情況 131700.doc -46- 200922325 N·擷取單位矩陣之仿射轉換參數 仿射轉換泉數 下來，利用取得之 (步驟S925)。於此._ a 圖像予以仿射轉換 利用單位矩陣之頁框為開頭頁框之情況下， 實際圖像。桩π办 怀射轉換，因此未轉換 妾下來，經仿射轉換之對應乂 係覆寫合成於對_ ^則頁框之圖像 了應於比5亥目刖頁框先前之頁框 合成圖像，合成有對應於該目前頁框之圖傻 圖像呓情〜心 貝汇之圖像之圖像保存於 ==體17°(步驟_)。於此1前頁框為開頭頁框 之清況下，對應於開頭頁框之圖像 1 70。姥ΊΓ 豕保存於圖像記憶體 接下來，圖像記憶體170之工作緩衝區上之經 換之對應於目前頁框之圖像中 ^ 罝及圖像尺寸，係與 目前頁框之頁框號碼-同記錄於圖像位置記憶部叫步驟 =二’目前頁框為開頭頁框之情況下，圖像記憶' 體〇之工作緩衝區上之對應於開頭頁框之圖像之中心位 置及圖像尺寸，係與頁框號碼…—同記錄於圖像位置 記憶部21 0。 接下來’判斷構成輸人之動畫檔之頁框巾，目前頁框是 否為最後頁框（步驟S928)。目前頁框非最後頁框之情況下 (步驟S928)，回到步驟S923,重複合成圖像製作處理(步驟 S923至S927)〇 另一方面，目前頁框為最後頁框之情況下（步驟的28)， 將保持於圖像記憶體丨7 〇之合成圖像輸出至代表圖像記憶 部220並記錄（步驟S929)。於該情況下’製作保持於圖像 s己憶體170之合成圖像之縮小圖像，將該縮小圖像輸出至 131700.doc -47· 200922325 代表圖像記憶部220並記錄。接下來，釋放確保之工作緩 衝區（步驟S930)，結束全景圖像製作處理。 圖2 4係表示本發明之實施形態之藉由圖像處理裝置_ 所進订之動畫再生處理之處理程序之流程圖。該處理程序 係舉例說明利用記憶於代表圖像記億部22()之全景圖像， 從所需位置再生記憶於圖像記憶部2〇〇之動畫之情況。 最初判斷是否藉由操作受理部⑽受理到顯示全景圖像 -覽晝面之意旨之操作輸人（步驟S94i)。受理到顯示全景 圖像覽i面之思旨之操作輸入之情況時（步驟$州），於 顯示部260顯示全景圖像一覽晝面（步驟S942)。例如圖门 所示，顯示全景圖像一覽畫面 _ υ为方面，未受理顯 不王厅、圖像-覽晝面之意旨之操作輸入之情況時(步驟 S941) ’判斷於顯示部26〇是否顯示有全景圖像一覽畫面 (步驟S948)。顯示有全景圖像— m 覽畫面之情況時（步驟 S948) ’前進至步驟S943，来龜-士人θ 禾顯不有全景圖像一覽畫面之 情況時（步驟SW8)，前進至步驟的49。 接下來，判斷是否藉由操作受 又理邛230受理到從顯示於 顯示部260之全景圖像一覽畫 叫W 3之全景圖像中選擇1個 全景圖像之意旨之操作輸入（步 S943)。於受理到選擇全 不圖像之思曰之插作輸入之情、、兄τ ,止碰 呀，兄下（步驟S943)，選擇之全 景圖像顯示於晝面全體之全景圖 圓像顯不晝面係顯示於顯示 部260(步驟S944)。例如圖22ia、此_ ^ ^ 團2⑷心’顯示全景圖像顯示 晝面610。另一方面，於未受 又理選擇全景圖像之意旨之操 作輸入之情況下（步驟S943)，站太* a 、 、'、Q束動畫再生處理。 131700.doc 48· 200922325 、於未受理顯示全景圖像—覽畫面之意旨之操作輸入之情 =下（步驟S941) ’未顯示全景圖像—覽晝面之情況時（步驟 8)判斷全景圖像顯示畫面是否顯示於顯示部鳩(步 驟S949)。顯示有全寻圖後_ ^ 圖像”肩不畫面之情況時（步驟S949)， 進至Y驟S945，於未顯示全景圖像顯示畫面之情況 (步驟S949)’結束動畫再生處理。 、 接下來判斷疋否藉由操作受理部㈣受理到選擇顯示 t顯示部細之全景圖像顯示畫面所含之全景圖像内之音、 旨之操作輸入（步驟购）。例如圖22⑷所示，使用游標 I29選擇全景圖像620内之—部分。於受理到選擇之全景圖 顯不晝面所含之全景圖像内之意旨之操作輸入之情況下 (步物5) ’根據選擇之全景圖像内之位置，從圖像位置 記憶部21〇選擇頁框號碼及動晝出（步驟_)。接下來， 從動畫記憶部200搜尋對應於選擇之動晝⑴之動畫，並且 針對該搜尋到之動畫，從對應於選擇之頁框號碼之位置開 始再生（步驟购另—方面，於未受理選擇全景圖像顯 不畫面所含之全景圖像内之意旨之操作輸入之情況下（步 驟利45) ’結束動畫再生處理。 以上說明關於藉由選擇全景圖像上之任意位置，從所需 位置再生動晝之例。進一步可藉由從動畫榻取動畫所含之 代表性圖像即索引圖像，使該索引圖像顯示於全景圖像 上’於該全景圖像上選擇索引圖像，以從所需位置再生動 晝。以下’參考圖式來詳細說明關於該例。 圖25係表示本發明之實施形態之圖像處理裝置Μ〗之功 131700.doc -49· 200922325 能結構例之區塊圖。於此，圖像處理裝置1〇1係將圖1所示 之圖像處理裝置100之一部分予以變形纟，於言亥圖像處理 裝置100設置圖像合成部181、索引圖像擷取部27〇、代表 圖像記憶部225、索引圖像記憶部28〇、選擇部241及顯示 控制部251，以取代圖像合成部18〇、圖像位置取得部 190、代表圖像記憶部22〇、圖像位置記憶部21〇、選擇部 240及顯示控制部25〇。此外，圖像合成部i8i、索引圖像 擷取部27G、代表圖像記憶部奶、索引圖像記憶部彻、 選擇部241及顯示控制部251以外之結構係與圖^示之圖 像處理裝置1GG相同，因此省略關於該等以外結構之說 明。 索引圖像擷取部270係根據從圖像轉換部丨6〇輸出之轉換 圖像及記憶於索引圖像記憶部之索引圖像，來從動畫 取得部14G輸出之構成動晝檔之動晝之圖像中掏取索引圖 像並將擷取到之索引圖像與對應於其之頁框號碼及位置 >孔同輸it{至索引圖像記憶部28()。具體而言，素引圖 像揭取部270係根據記憶於索引圖像記憶部28〇之索引圖像 與經仿射轉換之對應於目前頁框之圖像之重複率，來掘取 索引圖像而且，索引圖像擷取部27G係、於操取到索引圖 像之情況下，將對應於目前頁框之圖像為索引圖像之意旨 輸出至圖像合成部181。此外，關於該索引圖像之擷取方 法係參考圖2 7來詳細說明。 索引圖像記憶部280係將從索引圖像擷取部27〇輸出之索 引圖像與該頁框號碼及位置資訊職予關連並記憶，並將記 131700.doc -50- 200922325 :=丨：像輸出至顯示控制部25i，並且將頁框號碼及 ^ ' 5 μ出至選擇部24G。而且，索引圖像記憶部彻係 將δ己憶之位署咨 夏育訊•輸出至索引圖像擷取部27〇。此 於記憶於索引！i k 、 圖像5己憶部280之各資訊係參考圖26來詳細 地說明。 圖像D成# 1 8 1若從索引圖像擷取部270輸入對應於目前 頁框之圖像為索引圖像之意旨，則於對應於目前頁框之圖 像周圍，加註表示索引圖像之意旨之索引圖像標記。例如 圖28(a)之索引圖像551至別所示加註有索引圖像標記。此 外’關於該等以外之圖像合成等，由於與圖像合成部180 相同，因此省略於此之說明。 代表圖像記憶部225係將從圖像合成部181輸出之合成圖 像，作為關於記憶於動畫記憶部200之動畫之全景圖像呓 憶’並將記憶之全景圖像供給至顯示控制部250。 選擇部241若輸入藉由操作受理部23〇所受理之全景圖像 之索引圖像之選擇操作，則根據記憶於索引圖像記憶部 280之索引圖像之位置資訊，從記憶於索引圖像記憶部“ο 之頁框號碼中選擇1個頁框號碼，並將選擇之頁框號碼及 對應於其之動畫ID輸出至顯示控制部25 1。此外 〜冲，關於該 選擇係參考圖28來詳細地說明。 顯示控制部25 1係因應操作受理部230之操作輸入，進行 使記憶於索引圖像記憶部280之索引圖像之一罾、—^ 見 圮憶於 代表圖像記憶部225之全景圖像或記憶於動晝記憶部2〇〇之 動晝顯示於顯示部260之控制。而且，顯示控制部25丨若頁 131700.doc -51 - 200922325 框號碼及動畫ID從選擇部241輸入，則從動晝記憶部2〇〇搜 尋對應於動畫ID之動晝，並且針對該搜尋到之動晝，從對 應於頁框號碼之位置開始再生。 圖2 6係概略地表示記憶於本發明之實施形態之索引圖像 記憶部280之内容之圖。 於索引圖像記憶部280，藉由索引圖像擷取部27〇所擷取 到之關於索引圖像之資訊係於每頁框依時間序列記憶。具 體而言，於索引圖像記憶部28〇，動晝m 281、頁框號碼 282、位置資訊283與索引圖像284係被賦予關連而記憶。 動畫ID 281係對應於記憶在動畫記憶部2〇〇之各動畫之 ID。 — 頁框號碼282係對應於藉由索引圖像擷取部27〇所擷取到 之索引圖像之頁框之識別號碼。

位置資訊283係表示圖像記憶體17〇之工作緩衝區上藉由 索引圖像榻取部27〇㈣取到之索引圖像之位置。例:將 圖像記憶體⑺之王作緩衝區上設為巧座標之情況時，記 錄有對應於藉由索引圖⑽取部㈣㈣取到之索引圖像 之4頂角之座標值。亦即，作為藉由索引圖像擷取部謂所 擷取到之索引圖像之位置，記錄㈣由攝㈣ 2影機之運動資訊所決定之攝像空間上之座標位置。該 ^象空間係利用根據例如從動畫輸人部m輸人之攝像動 二攝^夺之攝影機之運動量所算出之仿射轉換參數，對 :外精由圖像合成部⑻所製作之代表圖像之圖像空間。 卜，於本發明之實施形態，作為藉由索引圖像揭取部 131700.doc -52- 200922325 270所掏取狀索引圖像之位置資訊，錢”於利用對 應於其4頂角之座標值之例，但作為該索引圖像之位置資 訊、亦可制該圖像之中心、位置及大小等其他位置資訊。 索引圖像284係藉由索引圖像擷取部27〇所擷取到之 圖像。 ’ 圖27係概略地表示本發明之實施形態之擷取索引圖像之 情況下之擷取方法之一例之圖。圖27所示之合成圖像64〇 係簡化表示藉由圖像合成部18〇之製作中途之合成圖像。 於該例中，於合成圖像640擷取到圖像641至643作為索引 圖像。 ” 於擷取索引圖像之情況下，根據記憶於索引圖像記憶部 280之索引圖像（既已擷取作為索引圖像之圖像）與經仿射轉 換之對應於目前頁框之圖像之重複率來判斷。具體而言， 計算記憶於索引圖像記憶部280之索引圖像（既已擷取作為 索引圖像之圖像）與經仿射轉換之對應於目前頁框之圖像 之重複率。例如圖28所示之圖像644係對應於經仿射轉換 之目則頁框之圓像。於該情況下，計算圖像Μ#與索引圖 像之圖像641至643之重複率。關於圖像644，僅與圖像64】 之重複區域645、與圖像641及642之重複區域646、及僅與 圖像642之重複區域647係與圖像641至643重複之區域。於 圖27 ’以斜線表示重複區域645至647。然後，加算重複區 域645至647之面積，比較該加算之面積（重複區域645至 647之合計面積）之值與預先設定之臨限值，若重複區域 645至647之合計面積相對於圖像644全體之面積之比率即 131700.doc -53· 200922325 重複率之值為臨限值以下，則為與其他索引圖像之重複少 之圖像。如此，擷取與其他索引圖像之重複少之圖像作為 索引圖像。然後，將對應於擷取到之索引圖像之頁框號 碼、對應於索引圖像之4頂角之座標值及索引圖像，與動 畫ID賦予關連，並記憶於索引圖像記憶部28〇。 如此，於擷取到索引圖像 WO係將對應於目前頁框之圖像為索5丨圖像之意旨輸出至 圖像合成部181。然後，表㈣應於目前頁框之圖像為索 引圖像之意旨之索引圖像標記係加註於藉由圖像合成部 ⑻所合成之合成圖像之對應於目前頁框之圖像周圍。例 如圖27所示’於合成圖像64时之圖像⑷周圍加註有粗線 之邊框。此外，於複數索引圖像重疊之情況下，攝影時刻 最晚之索引圖像標記會覆寫於其他索引圖像標記。例如二 索引圖像641至643之索引圖像標記上，覆寫有圖像_之 索引圖像標記。而且’例如圖28⑷所示，索引圖像551至

5U之索引圖像標記係因應攝影時刻而覆寫。於本發明之 實施形態，75說明關於根據既已絲作為索引圖像之所有 圖像與經仿射轉換之對應於目前頁框之圖像之重複率，來 榻取新索引圖像之例’但亦可例如根據上—次·取到之 1或特定數之索引圖像與經仿射轉換之對應於目前頁框之 圖像之重複率’來擷取新索引圖像。如此，藉由利用上一 ;=取到之丨或特定數之索引圖像作為比較對象，可針 早之存在於較近位置像，擷取攝影時刻較 早之圖像及攝影時刻較晚之圖像作為索引圖像。 131700.doc •54· 200922325 圖28(a)係表示由圖像合成部ΐ8ι合成製作藉由攝影機所 ’、動'3•之全景圖像之一例之圖。針對對應於圖28(a)所 丁之全景圖像550之動晝，擷取索引圖像551至558。而 且王厅、圖像550係針對與圖20所示之全景圖像54〇相同之 動旦所製作之全景圖像，兩者之相異點為索引圖像55 1至 558之周圍加註有索引圖像標記之點。此外，關於該全景 圖像〇之顯示方法係與參考圖2 i及圖22所說明之全景圖 像之顯示方法相同，因此省略於此之說明。 圖28(b)係表示對應於圖28(a)所示之全景圖像55〇之動畫 57〇所含之頁框571至578與索引圖像561至568之關係: 圖此外，索引圖像561至568係對應於圖28(a)所示之索引 圖像55 Y至558，該等係記憶於索引圖像記憶部280。而 且，以箭頭表示頁框571至578與—覽圖像561至568之對應 關係。於此，動畫57〇所含之頁框係從箭頭579所示之 「0」依時間序列排列。 接著，參考圖式來詳細說明關於利用加註有索引圖像標 記之全景圖像來再生動畫之情況。 於此，說明關於圖28(a)所示之全景圖像55〇顯示於顯示 邛260之清況下，再生動晝57〇之情況。於顯示於顯示部 260之王景圖像550，藉由來自操作受理部23〇之操作輸 入，使用者操作游標（未圖示），選擇全景圖像55〇所含之索 引圖像551至558之任一部>。例如藉由滑鼠，冑點擊全景 圖像550所含之索引圖像551至⑸之任一部分。根據藉由 該選擇操作所選擇之位置，從動晝57〇之特定位置開始再 131700.doc •55- 200922325 生。具體而言’從藉由對應於動晝570而記錄於索引圖像 記憶部280之位置資訊283之4頂角之座標所特定之四角 中’檢測包含藉由索引圖像551至558之任一選擇操作所選 擇之全景圖像550上之位置之四角，選擇對應於該四角（4 頂角之座標）之頁框號碼282及動畫ID 281。然後，若該選 擇之頁框號碼282及動晝ID 281輸出至顯示控制部251，則 顯示控制部251係從動畫記憶部200搜尋對應於動畫m 28ι 之動畫，並且針對該搜尋到之動畫’從對應於頁框號碼 282之位置開始再生。此外，於全景圖像55〇所含之索引圖 像551至558中，選擇複數索引圖像重複之部分之情況時， 係選擇攝影時刻最晚之索引圖像。亦即，選擇頁框號碼最 大之索引圖像。如此，按照藉由顯示之索引圖像標記所包 圍之區域來選擇索引圖像。 而且，將記憶於索引圖像記憶部280之索引圖像作為一 覽圖像顯示，利用該一覽圖像來再生動畫亦可。例如圖 28(b)所示，可根據攝影時刻，依每個動畫排列索引圖像來 顯示。藉由選擇如此排列之索引圖像，可如上述再生動 畫。而且，例如藉由滑鼠所進行之點擊操作，依序切換加 註有索引圖像標記之全景圖像與根據攝影時刻依時間序列 排列之索引圖像而顯示亦可。於該情況下，例如藉由動鹚 圖像（animation)來顯示切換時之索引圖像之軌跡亦可。〜 接著，參考圖式來說明關於本發明之實施形態之圖像處 理裝置101之動作。 圖29係表示本發明之實施形態之藉由圖像處理裝置 131700.doc -56- 200922325 所進行之全牙、圖像製作處理之處理程序之流程圖。此外， 於圖29所不之處理程序中，步驟S921至S925、步驟S928至 S930係與圖23所示之處理程序相同，因此省略於此之說 明。 判斷於步驟S923所取得之目前頁框是否為構成動畫之頁 框中之開頭頁框（步驟S95〇)。目前頁框為開頭頁框之情況 下（步驟S950) ’取得圖像記憶體17〇之工作緩衝區上之對 / 應於目前頁框之圖像之位置資訊，將該位置資訊及頁框號 ' 碼「1」記錄於索引圖像記憶部280(步驟S955)。接下來， 將對應於目前頁框之圖像保存於圖像記憶體17〇(步驟 S956)。另一方面，目前頁框非開頭頁框之情況下（步驟 S950)，前進至步驟S924。 於步驟S925，計算利用仿射轉換參數予以仿射轉換之對 應於目前頁框之圖像、與記憶於索引圖像記憶部28〇之索 引圖像之重複率（步驟S951)。接下來，判斷計算所求出之 / 重複率之值是否為臨限值以下（步驟S952)。計算所求出之 重複率之值非臨限值以下之情況時（步驟S952)，前進至步 驟S954。另一方面，計算所求出之重複率之值為臨限值以 下之情況時（步驟S952) ’取得圖像記憶體ι7〇之工作緩衝 區上之對應於目前頁框之圖像之位置資訊，將該位置資訊 及頁框號碼記錄於索引圖像記憶部28〇(步驟S953)。接下 來，經仿射轉換之對應於目前頁框之圖像係覆寫並合成於 對應於比該目前頁框先前之頁框之各圖像之合成圖像，而 將合成有對應於該目前頁框之圖像之圖像保存於圖像記憶 13170〇,(j〇c 57· 200922325 體170(步驟S954)。於該情況下，於對應於目前頁框之圖 像周圍加註有索引圖像標記。 圖30係表示本發明之實施形態之藉由圖像處理裝置 所進行之動畫再生處理之處理程序之流程圊。於該處理程 序舉例說明利用包含於記憶在代表圖像記憶部225之全景 圖像之索引圖像，從所需位置再生記憶於動晝記憶部扇 之動晝之情況。此外，於圖3〇所示之處理程序中，關於步 / 驟8941至8944、步驟S947至_係與圖24所示之處理程^ 相同’因此省略於此之說明。 全景圖像顯示畫面顯示於顯示部26〇之情況下（步驟 S944、㈣S949)，騎是否藉由操作受理部23〇受理到選 擇全景圖像顯示畫面之全景圖像所含之索引圖像之意旨之 操作輸入（步驟S961)。於受理到選擇全景圖像所含之索引 圖像之意旨之操作輸人之情況下（步驟S962)，對應於選擇 之索引圖I，選擇記憶於索引圖像記憶部28〇之頁框號碼 及動畫⑴（步獅62)。另—方面，於未受理選擇全景圖像 :不晝面之全景圖像所含之索引圖像之意旨之操作輸入之 情况下（步驟S961) ’結束動畫再生處理。 以上舉例說明針對#1取到之帝引阁你 ^ ^ X京引圖像，於全景圖像上加 注索引圖像標記而顯示之情況， 4依時間序列排列顯示之 情況。於此，參考圖式來詳細說 明關於利用記憶於索弓丨圖 象圯憶邛2 8 0之頁框號碼及位置資 . , A 1置貝讯，於三維空間上虛擬 βρ ^ 节二間上之索引圖像之例。亦 即，於三維空間上虛擬配置 f 心系W圖像投影於平面，作為 I3l700.doc -58· 200922325 三維圖像顯示於顯示部260。於此，本發明之實施形態之 二維空間係由對應於攝像圖像之二維空間(平面)及對應於 時間軸之一維空間所構成之空間。 圖3 1及圖32係概略地表示本發明之實施形態之記憶於索 引圖像記憶部280之索弓丨圖像虛擬配置於三維空間上之情 况之圖。於圖31及圖32 ’表示於_、y轴、t軸所組成之 三維空間上配置索引圖像7〇1至7〇8之情況。於此，χ軸係 表示對於構成攝影之動畫之圖像表示左右方向之韩。而 且’ y軸係表示對於構成攝影之動晝之圖像表示上下方向 之軸。進-步(軸係表示對於構成攝影之動晝之圖像之時 間轴。 圖3 1(a)及圖32(a)係表示關於配置於三維空間上之索引 圖像7〇1至708，心軸方向之正面側觀看之情況之圖。、此 外，圖31⑷及圖32⑷為相同圖。圖31(_表示關於配置 於三維空間上之索引圖像7〇1至7〇8，& y軸方向之上面側 觀看之情況之圖。而且’圖32(b)係表示關於配置於三維空 間上之索引圖像701至7〇8 ’從χ軸方向之左面側觀看之情 況之圖。於此，於圖31至圖34 ’以四角模式性地表示索引 圖像701至708，並且於表示各圖像之四角内加註「出」至 「Η8」之文字來說明。 如圖31及圖32所示，索引圖像7〇1至708係根據與各索引 圖像賦予關連並記憶之頁框號碼，對於依時間序列配 置。而且，根據與各索引圖像賦予關連並記憶之位置資 訊，對於X軸及y軸配置於攝影之空間上之位置。 131700.doc •59- 200922325 、、，於—維空間上虛擬配置之索引圖像701至708係投影 於平面’作為三維圖像顯示於顯示部260。 圖3係表不於二維空間上虛擬配置之索引圖像川丨至 頁示例之圖。於圖33(a)表示顯示索引圖像701至708之上 側之索引圖像顯示畫面7〗Q。此外，索引圖像顯示畫面 71 〇所含之索弓，圖像7〇1至7〇8之配置結構 之配置結構相同。於圖33(b)表示顯示索引圖像二 /' 側面側之索引圖像顯示畫面72〇。此外，索引圖像顯示畫 面所含之索引圖像7〇1至之配置結構係與圖η⑼所 示之配置結構相同。此外’作為^引圖像之上面或側 =例如能以因應各索引圖像之大小之長方形等來模式性 地顯示。 於此，僅表示關於在三維空間虛 7〇1 5 7Πδ^ , 规做配置之索引圖像 =广側及側面側之顯示例，但除了該等顯示以 了 .項不為因應使用者之操作輸人，使於三維空間 擬配置之索引圖像可從各方向觀 虛 总“二 看例如可顯示為可從上 斜向正面方向觀看各索引圖像。 如此於顯示有各索引圖像之情況 示之索引圖像中選擇所需…圖像，==從顯 選擇之索引圖像之位置再生。例如可利用叫):二 払711或圖33(b)所示之游標721，來撰摆# '、之游 如此，藉由顯示於三維空間上虛擬配置之索引：像。 覺上可容易掌握動晝攝影之空間，並且視覺 視 掌握關於動晝攝影之時間。藉此， '、可各易地 視覺上可容易地掌握動 131700.doc -60- 200922325 晝攝影時之空間資訊及時間資訊。而且，可根據該等資 訊迅速地掌握動畫之攝影内容。進一步可容易地進行再 生動晝之情況下之搜尋。 以上說明關於從顯示之各索引圖像選擇丨個索引圖像， 伙動畫之所需部分開始再生之例。於此，參考圖式來詳細 說月關於顯不於三維空間上虛擬配置之索引圖像之情況 下藉由從顯示之索引圖像中選擇複數索引圖像以使動 旦從對應於選擇之各索引圖像之位置再生之例。 係表示於二維空間上虛擬配置之索引圖像至7⑽ 八例之圖。於圖34(a) ’表示顯示索引圖像7〇1至7〇8之 正面側之索引圖像顯示晝面73〇。此外’索引圖像顯示畫 面730所含之索引圖像7〇1至7〇8之酉己置結構係與圖^⑷及 圖32(a)所不之配置結構相同。於圖34(b)表示顯示索引圖 像7〇1至7G8之上面側之索引圖像顯示畫面74G。此外，索 引圖像顯示畫面74〇所含之索引圖像Μ至7〇8之配置結構 係與索引圖像顯示畫面720相同。 於該例中’於顯示有索引圖像顯示畫面73G或740之情況 下：選擇索引圖像顯示畫面730或740所含之各索引圖像中 之複數索引圖像。例如於索引圖像顯示晝面730，從索引 圖像701至7〇8中選擇索引圖像Μ、、斯、谓。作為 «心法’例如藉由利用游標731之拖$操作，能以圍 、擇之索引圖像之方式來指定選擇區域。於圖34(a)， 以點線表示利用游標731所指定之區域。於該情況下，例 如僅選擇圍起所有四角之索引圖I，或選擇圍起四角之中 131700.doc -6!- 200922325 心t置之索引圖像均可。而且，關於圖3叫亦同樣可利用 游秫741來選擇複數索引圖像。 :此，於選擇有複數索引圖像之情況下，從對應於選擇 之索引圖像之位置開於勤全 罝開始動畫。例如於選擇之各索引圖像 中’從對應於所對膺之百Μ缺zs ί 頁忙#u碼最小之索引圖像之位置開 2動晝m照對應之頁框號碼之順序，㈣應於各 序弓=之位置開始動畫。亦即從攝影時刻早之動畫依 ί ί。如此，從對應於選擇之各索引圖像之位置開 。-之再生之情況下，若經過特定時間，則可從下一位 ==生。而且’關於對應於其他索引圖像之頁框號碼 ㈣⑼索引圖像之頁框號碼—同輸出至顯示控 =從對應於選擇…圖像之位置，依序再生到 對應於下—頁框號碼之位置為止之動畫村。 圖11，關於該複數索引圖像選擇，針對圖28所示之全景 間上而、^同樣地適用。而且’索引圖像亦可配置於二維空 e, 將對應於各頁框之圖像或每特 疋間“之圖像配置於三維空間上而顯示亦可。 :此’於顯示有於三維空間上虛擬配置之索引圖 =接可選擇複數索引圖像並依序再生。因此，即使是空 間上接近之場面在時間 總該空影之情況’仍可匯 以k %來再生。而且’該選擇操作容易。 2說明關於將仿射轉換參數記錄於動畫槽之例，作 於構=ΐ檔t同形式之附屬f訊（例如元f料(met油⑷）， ' 晝之每頁框記錄仿射轉換參數亦可。以下參考圖 131700.doc -62- 200922325 式來詳細說明關於在元資料檔記錄仿射轉換參數作為與動 畫擋不同形式之附屬資訊之例。 圖35係表示本發明之實施形態之圖像處理裝置65〇之功 能結構例之區塊圖。於此，圖像處理裝置650係將圖}所示 之圖像處理裝置100之一部分予以變形者，於該圖像處理 裝置1 00設置記錄控制部65 1、動畫記憶部66〇、元資料記 憶部670及檔取得部652，以取代記錄控制部丨3〇、動畫記 憶部200、動畫取得部14〇及攝影機工作參數擷取部15〇。 此外，由於記錄控制部651、動畫記憶部66〇、元資料記憶 部670及檔取得部652以外之結構係與圖】所示之圖像處理 裝置100相同，因此省略關於該等以外結構之說明。 記錄控制部651係將從動畫輸入部11〇輸出之動畫，作為 ，畫槽記錄於動畫記憶部66G，並且將從攝影機卫作參數 算出部123輸出之仿射轉換參數，與對應之動晝及頁框賦 予關連，並作為元資料檔記錄於元資料記憶部67〇。

動畫記憶部660係將從動畫輸入部11〇輸出之動畫作為動 晝樓記憶。而且，動晝記憶部_係因應來自檔取得部㈣ 之要求’將動畫檔供給至檔取得物。此外，關於纪憶 於動畫記憶部_之動畫檔係參考圖料詳細地說明。， 元資料記憶部670係將從攝影機工作表 之仿射轉換參數，作為元資料檔 ㈣3輸出 部670係因應來自槽取得部652^ $而且’元資料記憶 媸跑俨邺以〇山从 來’將元資料標供給至 插取付4 652。此外，關於記憶 料檔係參考圖36來詳細地說明。資枓5己憶部670之元資 13I700,doc •63· 200922325 樓取得部652係取得記憶於動晝記憶部660之動畫檔、及 與該動晝播賦予關連而記憶於元資料記憶部67〇之元資料 檔，將取得之動晝檔之動晝及元資料檔之仿射轉換參數輸 出至圖像轉換部160。 圖36係模式性地表示記錄於本發明之實施形態之動畫記 憶部660及元資料記憶部67〇之各檔之圖。於圖36(a)，表示 與記憶於動晝記憶部660之動畫檔661至663及動畫檔66ι至 663賦予關連並記憶於元資料記憶部67〇之元資料檔π!至 673。於此，用以識別記憶於動晝記憶部66〇之各動畫檔之 識別資訊即動畫10係被賦予各動晝槽。例如於動晝播田661 賦予「#1」，於動畫檔662賦予「#2」，於動畫檔663賦予 「#n」。 圖36(b)係模式性地表示記憶於動畫記憶部_之動μ 661 二及綱構661賦予關連並記憶於元資料記憶部V〇 :疋資料檔671之圖。於此，動畫檔661係以η張頁框所構 成之動畫之檔，該等η張頁椏志_ 拫貝框表不作為頁框1(664)至 n(667)。 而且’於元資料檔671，動晝m * D 674、頁框號碼675輿 射轉換參數076係被賦予關連而儲存。 興仿 動畫…係被賦予對應之動畫檔之動畫 被賦予動晝檔661之「約」。 储存例如 頁框號碼675係構成對應 〜切ϊ檔之動畫之各百掭& 綴號碼，例如儲存對應於槿 貞杷之則 、冓成動畫槽661之動 (1)664至（n)667之切置之頁框 J Η」° 13l700.doc -64 - 200922325 仿射轉換參數676係針對對應於頁框號碼675之動晝之各 頁框所計算之仿射轉換參數。此外，對應於頁框號碼075 「1」之仿射轉換參數676「al、bl、el、dl、el、fl」係 單位矩陣之仿射轉換參數。而且，對應於頁框號碼675 「m(m為2以上之整數）」之仿射轉換參數676「am、匕爪、 、dm、em、fm」係對於緊接於頁框「m」前之頁框 「m-1」之仿射轉換參數。 以上說明關於將圖1所示之圖像處理裝置100之一部分予 以變形之圖像處理|置650，㈣為於元資料棺記錄仿射 轉換參數之例，但關於圖24所示之圖像處理裝置〗亦可 同樣地適用。 接著參考圖式來詳細說明關於藉由多核心處理器進行 本發明之實施形態之特徵點擷取處理及光流計算處理之情 況。 圖37係表示本發明之實施形態之多核心處理器8〇〇之一 .1 V. 結構例之圖。多核心處理器8〇〇係於！個cpu (C加Μ

Pr〇cessing Unit:中心處理單元）封裝體上，搭載有複數不 同種類之處理核心之處理器。亦即，於多核心處理器議 :為：維持各處理器核心單體之處理性能，並且使結構簡 早’搭載有對應於所有用途（應用軟體⑷種核心及某程度 為了特又用it而最佳化之其他種類核心之2種處理 複數個。 夕核〜處理器_具備··控制處理器核心801、運算處理 器核心(_U至卿職匯流排8〇2,連接於主丄 131700.doc -65- 200922325 781。而且，多核心處理器800係與例如圖形器件782或I/〇 器件783等其他器件連接。作為多核心處理器8〇〇可採用例 如藉由本案申請人等所開發之微處理器之r Cell(胞：Cell Broadband Engine (Cell 寬頻引擎））」。 控制處理器核心801係如作業系統之主要進行頻繁之執 行緒切換等之控制處理器核心。此外，關於控制處理器核 心8 0 1係參考圖3 8來詳細地說明。

運算處理器核心（#1)811至（#8)81 8係擅長多媒體類之處 理之簡單且小型之運算處理器核心。此外，關於運算處理 器核心（# 1 )8 11至（#8)81 8係參考圖39來詳細地說明。 匯流排 802係稱為 EIB (Element Interconneet Bus :元件 互連匯流排）之高速匯流排，連接有控制處理器核心8〇ι及 運算處理器核心（#1)811至（#8)818之各個，藉由各處理器 核心所進行之資料存取係經由匯流排8〇2來進行。 主記憶體781連接於匯流排802，儲存應載入各處理器核 心之各種程式或各處理器核心之處理所必要之資料，並且 儲存藉由各處理器核心所處理之資料之主記憶體。 圖形器件782係連接於匯流排802之圖形器件，ι/〇器件 783係連接於匯流排802之外部輸出入器件。 圖38係表示本發明之實施形態之控制處理器核心8〇丨之 一結構例之圖。控制處理器核心8〇1具備控制處理器單元 803及控制處理器儲存系統8〇6。 控制處理器單元803係作為進行控制處理器核心謝之運 算處理之中核之單元，具備以微處理器之架構為基礎之指 131700.doc -66· 200922325 令套件，作為-次高速緩衝記憶體搭載有指令高速緩衝記 憶體，及資料高速緩衝記憶體8〇5。指令高速緩衝記憶體 804為例如3 2 KB之指令高诖镑俺—& 7间迷緩衝圮憶體，資料高速緩衝記 憶體805為例如32 KB之資料高速緩衝記憶體。 控制處理器儲存系統806係控制從控制處理器單元謝對 於主記憶體78!之資料存取之單元，4 了使來自控制處理 器单痛3之記憶體存取高速化，搭載有5i2 kb之二次高 速緩衝記憶體807。 圖39係表示本發明之實施形態之運算處理器核心 W)8Ul結構例之圖。運算處理器核心㈣8ιι具備運 算處理器單元820及記憶體流控制器822。此外，運算處理 器核心（#2)812至（#8)818係與運算處玉里器核心㈢8ιι結構 相同，因此省略於此之說明。 運算處理器單元820係成為進行運算處理器核心（#i)8 j i 之運算處理之中核之單元’具備與控制處理器核心8〇丄之 控制處理器單元803不同之獨特之指令套件。而且，於運 算處理β單凡82〇搭載有區域儲存體（LS : L〇cal St〇re) 821 〇 區域儲存體821係運算處理器單元82〇之專用記憶體，並 且為可從運算處理器單元82〇直接參考之唯一之記憶體。 作為區域儲存體821可使用例如容量為256 κ位元組之記憶 體°此外’運算處理器單元82〇為了於主記憶體781或其他 運算處理器核心（運算處理器核心（#2)812至（#8)818)上之區 域儲存體進行存取，必須利用記憶體流控制器822。 131700.doc -67. 200922325 記憶體流控制器822係為了於士 4^ 】於主纪憶體781或其他運算處 理器核心等之間，進行資料之始為―„ 貝丁叶之杈夂之單元，其係稱為MFc (Memory F1〇w C〇ntroUer :記憶體流控制）之單元。於此， 運算處理器單元820係經由稱a捅，昔夕人二 [ 丹馬通道之介面，對於記憶體 流控制器822請求資料傳輸等。 作為以上所示之多核心處理請Q之程式化模式已提案 有各種。作為該程式化模式中最基本之模式據知為，於控 制處理器核心801上執行主程 (#1)811至（#8)818上執行子程式 態係參考圖式來詳細說明關於利 800之運算方法。 式’於運算處理器核心 之模式。本發明之實施形 用該模式之多核心處理器

圖40係模式性地表示本發明之實施形態之多核心處理器 800之運算方法之圖。於該例中，舉例圖示控制處理器核 心801利用資料785執行任務784之情況時，利用任務之 一。卩分之任務786之處理所必要之資料冗7(資料78s之一部 分），使各運算處理器核心執行任務786之情況。 如同圖所示，於控制處理器核心801利用資料785執行任 務784之情況時，利用任務784之一部分之任務786之處理 所必要之資料787(資料？85之一部分），使各運算處理器核 心執行任務786。於本發明之實施形態，於構成動畫之每 頁框藉由各運算處理器核心進行運算處理。 如同圖所示，藉由多核心處理器8〇〇進行運算同時地 利用運算處理器核心（#1)811至（#8)818，㊣以較少時間進 打許多運算，並且於運算處理器核心（#1)811至（#8)818 131700.doc -68- 200922325 上利用 SIMD (Single Instruction/Multiple Data :單一指 令/複數資料）運算，可藉由更少之指令數來進行較多之運 算處理。此外’關於SIMD運算係參考圖44至圖47等來詳 細地說明。 圖41係模式性地表示本發明之實施形態之藉由多核心處 理益800進行運算之情況下之程式及資料之流程之圖。於 此，舉例說明運算處理器核心（#1)811至（#8)818中之運算 處理器核心（#1)811，但關於運算處理器核心（#2)812至 (#8)818亦可同樣地進行。 最初’控制處理器核心8〇1係對於運算處理器核心 (#1)811 ’送出將儲存於主記憶體781之運算處理器核心程 式823載入運异處理器核心（#1)8n之區域儲存體821之指 示。藉此，運算處理器核心（#1)81丨係將儲存於主記憶體 781之運算處理器核心程式823載入區域儲存體821。 接下來’控制處理器核心8〇1係向運算處理器核心 (#1)811指示儲存於區域儲存體821之運算處理器核心程式 8 2 5之執行。 接下來，運算處理器核心（#1)811係將儲存於區域儲存 體821之運算處理器核心程式825之執行處理所必要之資料 824，從主記憶體781傳輸至區域儲存體821 ^ 接下來，運算處理器核心（#1)811係根據儲存於區域儲 存體821之運算處理器核心程式825，加工從主記憶體工 傳輸之資料826 ’並執行因應條件之處理，將處理結果儲 存於區域儲存體821。 131700.doc •69· 200922325 接下來，運算處理器核心（#1)811係將根據儲存於區域 儲存體821之運算處理器核心程式825所執行之處理結果， 從區域儲存體821傳輸至主記憶體781。 接下來，運算處理器核心（# 1 )811係向控制處理器核心 801通知運算處理結束。 接著’參考圖式來詳細說明關於利用多核心處理器8〇〇 所進行之SIMD運算。於此，SIMD運算係個指令來進 行對於複數資料之處理之運算方式。 圖42(a)係模式性地表示以個別之指令來進行對於複數資 料之處理之運算方式之概要之圖。圖42(a)所示之運算方式 為通常之運算方式，稱為例如純量運算。例如藉由加算資 料「A1」及資料「B1」之指令來求出資料「C1」之處理 結果。而且，關於其他3種運算，同樣地加算位於同一列 之資料「A2」、「A3」、「A4」與資料「B2」、 V, 「B3」、「B4」之指令係針對個別之處理進行，藉由該 指令加算處理各列之值，求出該處理結果作為資料 、「C2、」、「C3」、「C4」。如此，於純量運算中，關於 對於複數資料之處理必須對於個別進行發指令。 團42(b)係模式性地表示以!個指令進行對於複數資料之 處理之運算方式即SIMD運算之概要m匯 SIMD運算用之資料（以點線防及828圍起之 向量資料。而且，利用該_6 β、川树為 用这類向1資料所進行之SIMD運曾 可能稱為向量運算》 ^ I31700.doc •70· 200922325 A2」、 「A3」、 「A4 「B1」、 「B2」、 「B3 C1」、 「C2」、 「C3 」）與以點線828圍起之向量資料 J 、「B4」）之1個指令，來求出 」、「C4」之處理結果（以點線 於SIMD運算，能以丨個指令來進 因此可迅速地進行運算處理。而 829圍起之資料）。如此， 行對於複數資料之處理， 且’關於έ亥等SIMD運算之指人在士夕4 升<?日7係由多椋心處理器800之控 制處理器核C8G1來進行’針對對於該指令之複數資料之 運算處理係由運算處理器核心(#1)81】至㈣刚進行同時 處理。 另一方面，關於例如加算資料「A1」與「bi」、減算 資料「A2」與「B2」、乘算資料「A3」肖「B3」、除算 資料「A4」肖「B4」之處理，無法以^黯運算來進行。 亦即，對於複數資料之各個進行不同處理之情況時，無法 藉由SIMD運算進行處理。

V 接著’參考圖 <來詳細說明關於進行特徵點榻取處理及 光流算出處理之情況下之SIMD運算之具體運算方法。 圖43係表示藉由本發明之實施形態之控制處理器核心 8(H或運算處理器核心（#1)811所執行之程式之結構例之 圖。於此，僅圖示關於運算處理器核心（#1)8n，但關於速 算處理器核心（#2)812至（#8)818亦進行同樣處理。 控制處理器核心801係作為解碼851而執行解碼852、炙 錯853及重調大小854 ^解碼852係解碼動畫檔之處理。交 錯853係針對經解碼之各頁框去除交錯之處理。重調大小 854係針對經去除交錯之各頁框予以縮小之處理。 131700.doc •71 - 200922325 而且’控制處理器核心801係作為運算處理器核心管理 ㈣而執行指令傳送857及859、結束通知接收咖及86〇。 才"傳送857及859係傳送對於運算處理器核心、（师1}至 (華8之SIMD運算之執行指令之處理；結束通知接收㈣ 及860係接收對於上述指令之來自運算處理器核心(#1)8" 至（#8)818之SIMD運算之結束通知之處理。進—步而言， 控制處理器核心8 G1係、作為攝影機工作檢測8 61而執行攝影 機工作參數算出處理862。攝影機工作參數算出處理862係 根據藉由運算處理器核心（#1 )811至（#8)8丨8所進行simd運 算而算出之光流，於每頁框算出仿射轉換參數之處理。 運算處理器核心（# 1 )8 1 1係作為特徵點擷取處理863而執 行索貝爾濾波器（Sobel Filter)處理864、二階動差矩陣 (Second Moment Matrix)處理 865、可分離濾波器（SeparaMe

Fllter)處理866、哈理斯角點擷取（Calc Harris)處理867、膨 脹處理（Dilation)868、重排處理（s〇rt)869。 索貝爾濾波器處理864係算出使用P2之濾波器（X方向）所 獲得之X方向之值dx及使用Y方向之濾波器所獲得之y方向 之值dy之處理。此外’關於X方向之值dx之算出係參考圖 44至圖47來詳細地說明。 二階動差矩陣處理865係利用藉由索貝爾濾波器處理864 所真出之dx及dy ’來算出dx2、dy2、dx . dy之各值之處 理。 可分離濾波器處理866係對於藉由二階動差矩陣處理865 所算出之dx2、dy2、dx . dy之圖像加上高斯濾波器（模糊處 131700.doc •72· 200922325 理）之處理。 哈理斯角點擷取處理867係利用藉由可分離濾波器處理 866已施加模糊處理之dx2、dy2、dx ·扑之各值，算出哈理 斯角之得分之處理。該哈理斯角之得分s係例如下式來算 出。 S=(dx2xdy2-dx - dyxdx · dy)/(dx2+dy2+E) 膨脹處理868係對於以藉由哈理斯角點擷取處理867所算 出之哈理斯角之得分而構成之圖像，進行模糊處理之處 理。 重排處理869係依藉由哈理斯角點掘取處理867所算出之 哈理斯角之得分高低之順序，來排列像素，從該得分高者 僅拾取特定數，將該拾取之點擷取作為特徵點之處理。 運算處理器核心（#1)811係作為光流（〇ptical n〇w)運算 處理870而執行錐體圖像（Make pyramid Image)處理871、 光流算出（Calc Optical Flow)處理 872。 錐體圖像處理871係依序製作從藉由攝影機攝像時之圖 尺寸以特疋數之階段縮小後之圖像之處理，製作之圖像稱 為多重解像度圖像。 光流算出處理872係於藉由錐體圖像處理871所製作之多 重解像度圖像中，針對最小之圖像計算光流，利用該計算 結果，針對解像度高一級之圖像，再度計算光流之處理， 重複該一連串處理直到到達最大之圖像。 如此，例如關於圖1等所示之特徵點擷取部121所進行之 特徵點擷取處理、及藉由光流計算部1Z2所進行之光流算 13I700.doc -73- 200922325 出處理’利用多核心處判_，藉由smD運算來進行同 ,夺處理#此可求出處理結果。此外，以圖43等所示之特 徵點擷取處理及光流算出處理為一例，亦可利用對於構成 動畫之圖像之各種遽波器處理或藉由臨限值處理等所構成 之其他處理’來進行藉由多核心處理器_之§刪運算。 圖44係概略地表示本發明之實施形態之針對儲存於主記 憶體781之圖像資料（對應於構成藉由攝影機所拍攝之動晝 之1個頁框之圖像資料）’利用索貝爾遽波器830進行滤波 處理之情況下之資料構造及處理流程之圖。此外關：儲 存於同圖所示之主記憶體781之圖像資料，將橫向之像素 數簡化作為32像素而表示。而且，索貝«波器㈣係3x3 之邊緣擷取濾波器。如同圖所示，針對儲存於主記憶體 川之圖像資料，進行利用索貝爾據波器請之遽波處理， 輸f該遽波處理之結果。於該例中，⑨明關於利用s刪 運算一次獲得4個份之濾波器結果之例。 \ 圖45係概略地表示本發明之實施形態之針對儲存於主記 憶體781之圖像資料，利用索貝爾遽波器830進行SIMD運 算之情況下之資料之流程之圖。最初’包含館存於主記憶 體781之圖像資料中之最初之列（Hne)之特定數之列（例如3 列）’係被DMA (Direct Memory ACcess :直接記憶體存取） 傳輸至運算處理器核心之區域儲存體821所具備之第一緩 衝區8：31，並且將DMA傳輸至第一緩衝區831之各列往下偏 離1個之特定數之列係傳輸至第二緩衝區832。如此，藉由 使用雙緩衝區，可隱藏DMA傳輸所造成之延遲。 131700.doc -74- 200922325 圖46係概略地表示本發明之實施形態之制索貝爾滤波 器830進行濾波處理之情況下’從儲存於第一緩衝區⑶之 圖像資料製作9個向量之向量製作方法之圖。如圖价斤 不，於進行DMA傳輪後，從儲存於第一緩衝區831之圖像 資料製作9個向量。具體而言，於儲存於第-緩衝區831之 圖像資料之1列’藉由從左角4個資料來製作向量資料 841，藉由將該4個資料往右側各偏離！個之4個資料，來製 作向量資料842 ’同樣地藉由將該4個資料往右側各偏離】 個之4個資料’來製作向量資料⑷。而且，關於2列及3 列，同樣地藉由4個資料來製作向量資料“々至討卜 圖48係概略地表示本發明之實施形態之制索貝爾滤波 器請進行濾、波處理之情況下，針對向量資料841至849利 用SIMD指令進行向量運算之向量運算方法之圖。具體而 言’針對向量資料841至843依序進行讀〇運算，求出向 量A。於該SIMD運算，最初執行『「_丨」χ「向量資料 ⑷」』之S麵運算。接下來，執行『「〇」χ「向量資料 ⑷」』之遍運算，並執行『"」χ「向量資料 ⑷」』之8細運算。於此，關於『「〇」χ「向量資料 ⑷」』’由於確定運算結果為「〇」，因此可省略。而 且，關於『「1」X「向量資料843」』，由於確定運算結 果與「向量資料843」相同值，因此可省略。 接下來，藉由SIMD運算來執行『「七χ「向量資料 州」』之運算結果與『「G」x「向量資料⑷」』之運算 結果之加算處理。接下來，藉由s_運算來執行該加算 131700.doc •75· 200922325 處理之結果與『「 士筲老 向里育料843」』之運算結果之 加异處理。於，μ· , y ,, 、 列如關於「向量資料1」x「向量資料 2」+ 1向量資料3 生 … .^ y 貝抖構以之運具’可藉由SIMD運算 來執行。因此，關於 、勹1A之運异，例如省略關於『「〇」 x 向量資料842」„穷『「】 「 及 1」x 向量資料843」』之 SIMD運算，藉由— _ 人之SIMD運异來執行『「_丨「向量 資料841」+「向量資料843」』亦可。 味、同樣地針對向量資料844至846進行SIMD運 向針對向量資料847至849來進行SIMD運 算，求出向量C。 接下來，針對藉由SIMD運算所求出之向量A至C來進行 SIMD運算’求出向量D。如此，藉由進行運算可 人匯、《獲得向量之要素數份(於該例為4個資料)之結果。 算出向量D後，針對儲存於圖45所示之第一緩衝區831之 圖像資料’-面將取出f料之位置往右側偏離丨個，一面 重複執行同樣處理’依序進行各向量D之算出。然後，至 儲存於圖45所不之第—缓衝區831之圖像資料之右端為止 之處理結束之情況時，將處理結果予以dma傳輸至主記憶 體781 。 ° 接下來，於儲存於主記憶體78丨之圖像資料中，將被 DMA傳輸至第二緩衝區832之各列往下偏離丨個之特定數之 列係被DMA傳輸至第一緩衝區831，並且針對儲存於第二 緩衝區832之圖像資料重複進行上述處理。然後，重複進 行同樣處理，直到儲存於主記憶體78丨之圖像資料之各列 131700.doc -76- 200922325 中之下端之列。 同樣地，藉由利用SIMD運算來進行特徵點擷取及光流 算出之大部分處理，可實現高速化。 圖48係依時間序列概略地表示本發明之實施形態之攝影 機工作參數算出處理之流程之圖。如上述，例如藉由利用 多核心處理器800來進行SIMD運算，可將關於動晝之解碼 及解析處理予以同時化進行。因此，可較解碼時間更縮短 構成動畫之1頁框之解析時間。 例如於同圖，u係表示控制處理器核心8〇1對於構成動 畫之1頁框之解碼處理所要之時間，t2係表示運算處理器 ^ (#1)811至（#8)818對於構成動畫之1頁框之特徵點擷取 處理所要之時間，t3係表示運算處理器核心(#1)811至 (#8)818對於構成動晝之1頁框之光流算出處理所要之時 間’ 係表示控制處理器核心如對於構成動畫^頁框之 攝影機工作檢測處理所要之時間。此外，t5係表示控制處 理器核心8G1及運算處理器核心（#1)811至（师18針對構成 動晝之1一頁框之攝影機工作檢測處理所要之時間。而且， t6係表不控制處理器核心8〇ι對於管理運算處理器核心 ⑷）811至_)818之處理所要之❹卜例如u可設為「25〇 7」「，t2可設為「7.9邮」，t3可設為「6.7 ms」，t4可設 為h2ms」，（5可設為「15.8ms」。 =者’參考圖式來詳細說明關於本發明之實施形態之再 生利用元資料檔之動畫内容之情況。 圖也表*記錄媒體之—例之藍光碟片 131700.doc •77- 200922325 (Blu-ray Disc(註冊商標））880之上面圖，圖49(1?)係模式性 地表示記錄於藍光碟片880之各資料881至884之圖。藍光 碟片8 8 0記錄有例如藉由攝影機等所拍攝之動晝即動畫内 容882 1畫内容882之字幕883及針對動畫内容m解㈣ 獲得之元資料（例如圖2、圖3、圖26、圖36(b)所示之各資 訊）884,並且記錄有關於本發明之實施形態之動畫再生之 Java(註冊商標）程式881。 圖49(c)係模式性地表示可再生藍光碟片88〇之藍光再生 機（Blu-ray Disc Player)89〇之内部結構之圖。於此，可再 生藍光碟片之藍光再生機89〇標準上搭載有cpu 891及 OS892，以及java VM (Java假想機器）及公用程式893，因 此可執行Java程式。因Λ ’藉由將藍光碟片88〇裝載於藍 光再生機890，藍光再生機89〇可載入以”程式881而執 行。藉此，於藍光再生機890再生動晝内容882之情況下， 可利用元資料884來進行本發明之實施形態之對應於動晝 之全景圖像之顯示或從複數動晝中搜尋動畫等。亦即，不 使用專用之PC軟體等’即能以所有藍光再生機來實現本發 明之實施形態之動畫再生。 如以上所示，若根據本發明之實施形態，由於在閱覽藉 由攝像裝置所攝影之動晝之情況時，可顯示對㈣動晝之 全景圖像，因此可容易地掌握各動晝之内容。而且，從複 數動晝中搜尋所需動晝之情況時，由於可參考全景縮小圖 像來搜尋，因此可迅速地找尋所需動畫。進一步而言，由 於藉由選擇全景圖像上之任意位置，可從所需位置再生動 131700.doc -78· 200922325 畫’因此關於動畫内之搜尋亦可迅速地進行。 而且，從動晝操取索引圖像之情況時’由於可根據空間 位置來擷取，因此可擷取容易掌握動晝内容之索引圖像。 而且’藉由於全景圖像上依空間配置從動晝擷取到之索弓丨 圖像’可進一步容易地進行動畫再生位置之指定。如此， 由於可利用索引圖像進行搜尋，因此關於從1個動晝中之 所需頁框’可指定攝影空間之場所迅速地找尋。 而且，藉由顯示於三維空間上虛擬配置之索引圖像，可 於視覺上容易地掌握動畫攝影時之空間資訊及時間資訊， 了根據該等資訊迅速地掌握動晝之攝影内容。而且，可容 易地進行再生動畫之情況時之搜尋。 亦即’可利用活用過去頁框在空間上展開動畫之全景圖 像或索引圖像，愉快地鑑賞動畫。藉此，例如可一面觀看 全景圖像或配置於三維空間上之索引圖像一面再生動畫， 因此閱覽者可富於趣味地觀賞動晝。 而且，若根據本發明之實施形態，藉由利用多核心處理 器之SIMD運算來算出仿射轉換參數，可於丨頁框之解碼之 處理時間内算出1頁框之仿射轉換參數。藉此，可迅速地 進行全景圖像之製作或索引圖像之擷取等。 此外，於記錄媒體等記錄以步驟S926、S954等所合成之 合成圖像，以用於其他再生顯示亦可。而且，本發明之實 施形態係說明關於利用預先算出之仿射轉換參數來進行圖 像合成之例，但於圖像合成時算出仿射轉換參數，利用該 算出之仿射轉換參數來進行圖像合成亦可。 131700.doc -79- 200922325 而且，於本發明之實施形態，說明關於針對構成輸入之 動畫檔之所有頁框，重複合成圖像製作處理來製作合成圖 像之例，但針對構成輸入之動畫檔之頁框中之至少一定數 量之頁框，重複合成圖像製作處理以製作合成圖像，使該 合成圖像記錄於代表圖像記憶部220亦可。而且，於本發 明之實施形態，說明關於從構成動畫之開頭頁框重複合成 圖像製作處理來製作合成圖像之例，但例如從最後頁框朝 向開頭頁框重複合成圖像製作處理來製作合成圖像亦可。 而且，於本發明之實施形態，說明關於動物體之大小相 對於構成動畫之圖像之面積較小之情況下求出攝影機之 運動，利用該攝影機之運動來再生動畫之情況。然而，關 於動物體之大小相對於構成動畫之圖像之面積較大之情 =，亦可適用本發明之實施形態。例如以從車站出發^ 車作為被照體之中心，增大今雷串士虹 r 電車相對於圖像面積之比率 來拍攝之情況時，若算出 丰 之運動。於該情況下，利用該電車 」异出電車 成圖像製作方法來製作合成圖像由上述合 成動書之圄穑* 如此，作為用以轉換構 被昭：之相資訊，可算出關於攝像時之攝影機與 被照體之相對運動量之運動資訊來利用。 而且，於本發明之實施形態， 成圖像或f引圖待“士 +例說明於顯示部顯示合 成圖像^ 褒置’於設有輪出用以使合 成圖像或㈣圖像㈣於其_ m 圖傻輪Ψ地”肩不裝置之圖像資訊之 圖像輸出機構之圖像處理裝置 豕負之 態。進—步而丄 了適用本發明之實施形 步而吕，於可再生動畫之動畫再生裝置或可再生 13I700.doc 200922325 攝影之動畫之數位視訊攝影機等攝像褒置等，可適用本發 明之實施形態。 Λ 而且於本發明之實施形態，舉例說明圖像處理裝置， 但於可再生動畫之動畫再生裝置等可適用本發明之實施形 態。而且，於本發明之實施形態’說明關於藉由攝影機所 拍攝之動畫，但例如關於合成有編輯藉由攝影機所拍攝之 動晝之情況下之編輯後之動晝或動態圖像等之一部分之動 畫等，亦可適用本發明之實施形態。 此外，本發明之實施形態係表示用以將本發明予以具體 化之-例，如以下所示’與申請專利範圍之發明特定事項 :別：有對應關係，但不限定於此，於不脫離本發明之要 旨之範圍内可施以各種變形。 亦即’於請求項β15,動畫記憶機構係對應於例如動 畫記憶部200或66〇。而且，圖像保持機構係對應於例如圖 像記憶體m。而且，轉換資訊算出機構係對應於例如攝 影機工作檢測部120。而且’圖像轉換機構係對應於例如 圖像轉換部160。而且，圖像合成機構係對應於例如圖像 合成部180。而且，圖像位置取得機構係對應於例如圖像 位置取得部190。而且，圖像位置記憶機構係對應於例如 圖像位置記憶部21〇。而且，顯示機構係對應於例如顯示 部260。而且’操作受理機構係對應於.例如操作受理部 230。而且’▲顯示控制機構係對應於例如顯示控制部25〇。 而且’於明求項2 ’選擇機構係對應於例如選擇部240。 而且，於請求項4或5，代表圖像記憶機構係對應於例如 131700.doc -81 - 200922325 代表圖像記憶部220。 而且’於請求項6’動畫輸入機構係對應於例如動晝輸 入。P 11 0而且#換資訊算出機構係對應於例如攝影機 工作檢測部120。而且’圖像轉換機構係對應於例如圖像 轉換部160。而且’索引圖像記憶機構係對應於例如索引 圖像記憶部280。而且，会μ阁你批& u 常引圖像擷取機構係對應於例如 索引圖像擷取部270。 而且’於明求項㈣"，顯示控制機構係對應於例如顯 示控制部25 1。 而且於°月求項1 2 ’動晝記憶機構係對應於例如動晝記 It P 200而且，操作受理機構係對應於例如操作受理部 23 0。而且，選擇機構係對應於例如選擇部2^。 於清求項13，圖像保持機構係對應於例如圖像記 隐體0而且’圖像合成機構係對應於例如圖像合成部 而且代表圖像5己憶機構係對應於例如代表圖像記 憶部225。 而且於咕求項Μ，動晝記憶機構係對應於例如動畫記 隐口Ρ 200。巾且’顯示機構係對應於例#顯示部勘。而 操作又理機構係對應於例如操作受理部Μ 〇。而且， 選擇機構係對應於例如選擇部241。而且，顯示控制機構 係對應於例如顯示控制部25 1。 而且，於請求項丨6及17,轉換資訊算出程序係對應於例 如^9驟S9G3至S913。而且’圖像轉換程序係、對應於例如步 而且，圖像合成程序係對應於例如步驟S926至 131700.doc •82· 200922325 S954。而且，圖像位置取得程序係對應於例如步驟μ”。 而且’記憶於圖像位置記憶機構之程序係對應於例如步驟 ⑽。而且，顯示程序係對應於例如步驟S942。而且，操 作交理程序係對應於例如步驟洲。而且，顯示控制程序 係對應於例如步驟S947。 此外於本發明之實施形態所說明之處理程序亦可視為 具有該等-連串程序之方法，而且亦可視為用以使電腦執 行《亥等連串程序之程式或記憶該程式之記錄媒體。 【圖式簡單說明】 圖1係表不本發明之實施形態之圖像處理裝置1 之功能 結構例之區塊圖。 圖2係概略地表示記憶於本發明之實施形態之圖像位置 記憶部210之内容之圖。 圖3係概略地表示記憶於本發明之實施形態之代表圖像 記憶部220之内容之圖。

圖4(a)〜(c)係表示對應於構成動畫之頁框之圖像之一例 之圖。 圖5(a)〜(c)係表示針對對應於構成動畫之頁框之圖像省 略背景等以簡化之圖像之圖。 圖6係表示本發明之實施形態之藉由圖像處理裝置1〇〇所 進行之仿射轉換參數檢測處理之處理程序之流程圖。 圖7(a)〜(c)係表示藉由攝影機所攝影之動畫之轉變之一 例之圖。 圖8(a)〜（c)係於圖7所示之各圖像中以虛線表示對應於上 131700.doc -83· 200922325 一個頁框之圖像，並且表示檢測之光流之一例之圖。 圖9(a)〜(c)係表示合成包含圖7所示之圖像4〇1至403之動 畫之情況下之圖像合成例之圖。 圖10(a)〜(c)係表示藉由攝影機所攝影之動晝之轉變之一 例之圖。 圖11(a)〜(c)係於圖1〇所示之各圖像中以虛線表示對應於 上個頁框之圖像，並且表示檢測之光流之一例之圖。 圖12(a)〜（c)係表示合成包含圖1〇所示之圖像421至423之 動晝之情況下之合成例之圖。 圖13(a)〜(c)係表示藉由攝影機所攝影之動晝之轉變之— 例之圖。 圖14(a)〜（c)係於圖13所示之各圖像中以虛線表示對應於 上一個頁框之圖像，並且表示檢測之光流之一例之圖。 圖15(a)〜（C)係表示合成包含圖13所示之圖像441至443之 動晝之情況下之合成例之圖。

圖16⑷〜(c)係表示#由攝影機所攝影之動畫 例之圖。 圖17⑷〜(c)係表示藉由攝影機所攝影之動 之圖。 一 TT文 圖18⑷〜(c)係表示藉由攝影機所攝影之動畫之轉變 之轉 圖像合成部1 80 圖19(a)〜(C)係表示藉由攝影機所攝影 例之圖。 圖20係表示藉由攝影機所攝影之動畫由 131700.doc • 84 - 200922325 合成之全景圖像之一例之圖。 圖係表示本發明之實施形態之顯示於顯示部剔之全 景圖像一覽畫面之顯示例之圖。 圖22⑷、22(b)係模式性地表示本發明之實施形態之顯 示於顯示部260之全景圖像顯示畫面之顯示例、動晝及構 成動晝之頁框之一部分之圖。 圖23係表示本發明之實施形態之藉由圖$處理裝置⑽ 所進行之全景圖像製作處理之處理程序之流程圖。 圖24係表示本發明之實施形態之藉由圖像處理裝置⑽ 所進行之動晝再生處理之處理程序之流程圖。 圖25係表示本發明之實施形態之圖像處理裝置ι〇ι之功 能結構例之區塊圖。 圖26係概略地表示記憶於本發明之實施形態之索引圖像 記憶部280之内容之圖。 圖2 7係概略地表示本發明之實施形態之擷取索引圖像之 情況下之擷取方法之一例之圖。 圖28⑷、28(b)係表示全景圖像之一例，並且表示對應 於該全景圖像之動畫所含之頁框及索引圖像之關係之圖。 圖29係表示本發明之實施形態之藉由圖像處理裝置 所進行之全景圖像製作處理之處理程序之流程圖。 圖30係表示本發明之實施形態之藉由圖像處理裝置 所進行之動晝再生處理之處理程序之流程圖。 圖3 1 (a)、3 1 (b)係概略地表示本發明之實施形態之記憶 於索引圖像§己憶部280之索引圖像虛擬配置於三維空間上 13l7〇〇-doc •85· 200922325 之情況之圖。 圖32(a)、32(b)係概略地表示本發明之實施形雜之記憶 於索引圖像記憶部280之索引圖像虛擬配置於三維空間上 之情況之圖。 圖33(a)、33(b)係表示於三維空間上虛擬配置之索引圖 像701至708之顯示例之圖。 圖34(a)、34(b)係表示於三維空間上虛擬配置之索引圖 像7 01至7 0 8之顯示例之圖。 圖35係表示本發明之實施形態之圖像處理裝置65〇之功 能結構例之區塊圖。 圖36(a)、36(b)係模式性地表示記錄於本發明之實施形 態之動晝記憶部660及元資料記憶部67〇之各檔之圖。 圖37係表示本發明之實施形態之多核心處理器800之一 結構例之圖。 阈J Ο Ί尔衣不冬發 一結構例之圖。 圖3 9係表示本發明之宭 m、川…， 態之運算處理器核心 (# 1) 811之一結構例之圖。 圖40係模式性地表示本 _之運算方法之圖。 實㈣態之多核心處理器 圖4〗係模式性地表示本發明之實施 理器綱進行運算 ❹多核心處 圖-⑷、鄉则式性?:料之流程之圖。 於複數資科之處理之運別之指令來進行對 方式之概要及以1個指令來進行 131700.doc 86 - 200922325 對於複數資料之處理之SIMD運算之概要之圖。 圖43係表示本發明之實施形態之藉由控制處理器核心 8〇1或運算處理器核心（#”811所執行之程式之結構例之 圖。 圖4 4係概略地表示本發明之實施形態之針對儲存於主記 憶體781之圖像資料，利用索貝爾濾波器83〇進行濾波處理 之情況下之資料構造及處理流程之圖。 圖45係概略地表示本發明之實施形態之針對儲存於主記 ，體781之圖像資料，利用索貝爾遽波器請進行§細運 算之情況下之資料之流程之圖。 。圖46係概略地表示本發明之實施形態之利用索貝爾遽波 器830進行遽波處理之情況下，從館存於第—緩衝區如之 圖像資料製作9個向量之向量製作方法之圖。 圖47係概略地表示本發明之實施形態之利用索貝n皮 器請進行遽波處理之情況下’針對向量資料841至849利 用8獅指令進行向量運算之向量運算方法之圖。 圖48係依時間序列概略地表示本發明之實施形態之攝影 機工作參數算出處理之流程之圖。 圖49⑷〜⑷係模式性地表^記錄媒體之—例之藍光碟片 咖、記錄於藍光碟片88〇之各資料881至884及可再生藍光 碟片_之藍光再生機89〇之内部結構之圖。 【主要元件符號說明】 100、101、650 110 圖像處理裝置 動畫輸入部 J31700.doc -87- 200922325 120 攝影機工作檢測部 121 特徵點擷取部 122 光流計算部 123 攝影機工作參數算出部 130 、 651 記錄控制部 140 動晝取得部 150 攝影機工作參數擷取部 160 圖像轉換部 170 圖像記憶體 180 、 181 圖像合成部 190 圖像位置取得部 200 ' 660 動晝記憶部 210 圖像位置記憶部 220 、 225 代表圖像記憶部 230 操作受理部 240 、 241 選擇部 250 ' 251 顯示控制部 260 顯示部 270 索引圖像擷取部 280 索引圖像記憶部 670 元資料記憶部 652 檔取得部 131700.doc •88-

Claims (1)

1. 200922325 十、申請專利範圍·· 1 ·種圖像處理裝置，其特徵為包含： 動晝5己憶機構，其俜纪恃拉士植 動書； 糸己隱藉由攝像裝置所拍攝之攝像 圖像保持機構，直係將爐占^ 八係將構成則述攝像動畫之攝像圖像 作為履歷圖像保持； u m 轉換資訊算出機構，j：传以a、+、 加Ά你 八係以别述攝像圖像中之至少j 個攝像圖像為基準，算出用 資訊， 将換其他攝像圖像之轉換 圖像轉換機構，其係根攄前f 前述攝像圖像； 迷算出之轉換資訊來轉換 成機構，其係將前述經轉換之攝像圖像合成於 :持；正圖像，並作為新履歷圖像使前述圖像保持機構 ==得機構’其係取得前述經轉換之攝像圖像 藉由別述合成所形成之前述履歷圖像上之座標位置； 二:位置記憶機構’其係將前述取得之座 述攝像圖像賦予關連並記憶； 兴月J 顯示機構，其係顯示前述履歷圖 動晝之代表圖像； 象作為表-前述攝像 機構，其係受理選擇前述顯示 位置之選擇操作；及 _你心 =示=機構，其餘據前料擇之前述代表圖像之 置使δ己憶於前述動晝記憶機構之攝傻 m動晝從對應於 131700.doc 200922325 前述選擇之位置之攝像圖像再生 2. 中前述圖像位置取得機 之中心位置作為前述座 如請求項1之圖像處理裝置，其 構係取得前述經轉換之攝像圖像 標位置； 前述圖像位置記憶機構係將前述取得之中，讀置與前 述攝像圖像賦予關連並記憶；且 進一步包含選擇機構，其係藉由從記憶於前述圖像位 置。己隐機構之巾心位置中，選擇距前料擇 圖像之位置最折夕击 近之中心位置，來選擇對應於前述選擇之 位置之攝像圖像。 θ求項2之圖像處理裝置，其中前述圖像位置取得機 ^係取得前述轉換之攝像圖像之巾讀4及大小作為 前述座標位置； ⑴述圖像位置憶機構係將前述取得之中心位置及大 小：前述攝像圖像賦予關連並記憶； 月J述選擇機構係於從記憶於前述圖像位置記憶機構之 中、位置中檢測到複數個距前述選擇之前述代表圖像之 最近之中’u位置之情況下，藉由比較對應於該檢測 】之複數個中心位置之大小，來選擇對應於前述選擇之 位置之攝像圖像。 月长項1之圖像處理裝置，其中前述轉換資訊算出機 係於構成前述攝像動晝之每頁框，依序算出前述轉換 資訊； j述圖像轉換機構係於每前述頁框’依序轉換前述攝 131700.doc 200922325 像圖像； 月j述圖像合成機構係於每前述頁框，將前述經轉換之 攝2圖像依序合成於前料歷圖像而作為新履歷圖像丨 述圖像保持機構係於每前述頁框，依序保 履歷圖像；且 义何 #匕含代表圖像記憶機構，其係將合成有對應於 :前述攝像動畫之至少一定數量之頁框的圖像之前述 履歷圖像，作為前述代表圖像而記憶。 5. 項1之圓像處理裝置，其中前述圖像合成機構係 製作則述代表圖像之縮小圖像；且 ^一步包含代表圖像記憶機構，其係將前述代表圖像 及則述縮小圖像賦予關連並記憶； !述顯示控制機構係使記憶於前述代表圖像記憶機構 之縮小圖像’顯示為可選擇之一覽圖像。 6· 一種圖像處理裝置，其特徵為包含：

   動畫輸入機構，其係將藉由攝像裝 為攝像動畫而輸入； 置所拍攝之動晝作 别述攝像動晝之攝像 ’算出用以轉換其他 轉換資訊算出機構，其係以構成 圖像中之至少1個攝像圖像為基準 攝像圖像之轉換資訊； 圖像轉換機構， 前述攝像圖像； 其係根據前述算出之轉換資訊來轉換 索引圖像記憶機構， 換之攝像圖像中之至少 其係將前述攝像圖像或前述經轉 一者作為前述攝像動晝之索引圖 131700.doc 200922325 述索引圖像之座標位置及大小；及 索引圖像擷取機構，苴传麻姑、A. /、係根據㈣_換m时 及記憶於前述索引圖像記憶機構 丹〈家引圖像之座標位置 及大小，從前述攝像動畫中擷取索引圖像。 7. 如請求項6之圖像處理装置，其中 前述索引圖像類取機構係算出前述經轉換之攝像圖像 與記憶於前述索㈣像記憶機構之索引圖像之重複率， 根據該算出之重複率來擷取前述索引圖像。 8. 如請求項6之圖像處理裝置，其中 ,前述索引圖㈣取機構係將前_取到之索引圖像之 前述座標位置及大小依庠# 义 序°己錄於則述索引圖像記憶機 構0 9. 如請求項6之圖像處理裝置，其中 S’J述索引圖像操取機構孫脾今 很構係將别述擷取到之索引圖像之 i. 月1J述座標位置及大小盘前 过擷取到之索引圖像賦予關 、’依序記錄於前述索引圖像記憶機構。 10. 如請求項9之圖像處理裝置，其中進一步包含·· 顯示控制機構，其係根據纪,降於針，+、合a I面 爐> 己隐於則述索引圖像記憶機 稱之索弓I圖像之前述座椤 置於1 』述座私位置及大小，使該索引圖像配 置於—維空間並顯示。 如請求項6之圖像處理裝置，其中 前取機構係將前述擷取到之索引圓像之 置及大小、前述操取到之索引圖像與前述攝 131700.doc 200922325 像動晝之關於前述操取到的㈣圖像之時間資訊賦予關 連’並依序記錄於前述索引圖像記憶機構； 進一步包含顯示控制機構， 例傅具係根據記憶於前述索引 圖像s己憶機構之索引圖像之時間警％ 呷间育讯、座標位置及大 小’將該索引圖像虛擬配置於= 斗冰—土 、一难工間，並使該索引圖 像投影於平面而顯示。 12.如請求項11之圖像處理裝置，其中進—步包含： 動畫s己憶機構，其係記憶前述攝像動畫； 操作受理機構，其係受理選擇配置於前述三維空間之 索引圖像之選擇操作；及 選擇機構，其係根據前述選擇之前述索引圖像，來選 擇記憶於前述索引圖像記憶機構之前述時間資訊； 前述顯示控制機構係使記憶於前述動畫記憶機構之攝 像動畫，從對應於前述選擇之時間資訊之攝像圖像再 生。 13.如請求項6之圖像處理裝置，其中進一步包含： 圖像保持機構，其係保持履歷圖像； 圖像合成機構，其係於對應於前述擷取到之索引圖像 之月述經轉才奐之攝像圖像加註特定標言己，將冑述經轉換 之攝像圖像合成於前述履歷圖像，並作為新履歷圖像使 前述圖像保持機構保持；及 代表圖像記憶機構，其係記憶前述履歷圖像作為表示 前述攝像動晝之代表圖像。 14.如請求項13之圖像處理裝置，其中進一步包含： I31700.doc 200922325 動晝δ己憶機構，其係記憶前述攝像動晝； 憶機構之 .…貝示機構，其係顯示記憶於前述代表圖像記 代表圖像； ° 圖像之 操作受理機才冓，其係、受理選擇前述顯示之代表 位置之選擇操作； 選擇機構’其係根據前述選擇之前述代表圖像之位 置’來選擇前述擁取到之索引圖像；及 像=控：機構，，使記憶於前述動畫記憶機構之攝 生。—對應於則述選擇之索引圖像之攝像圖像再 15. 一種動晝再生裝置，其特徵為包含： =晝記憶機構，其係記憶藉由攝像裝置所拍攝之攝像 圖像 ^像保持機構，其係將構成前述攝 作為履歷圖像保持； —之攝像 1... 個==出機構:其係以前述攝像圖像中之至少1 資％ . ’’’、基準’算出用以轉換其他攝像圖像之轉換 前:::::構，其係、根據前述算出之轉換資訊來轉換 前將前述經轉換之攝像圖像合成於 f呆持； 麵為新履歷圖像使前述圖像保持機構 圖像位置取得機構，其係取得前述經轉換之攝像圖像 131700.doc 200922325 之藉由前述合成所形成之前述履歷圖像上之座標位置； 圖像位置圯憶機構，其係將前述取得之座標位置與前 述攝像圖像賦予闞連並記憶； 顯示機構，其係顯示前述履歷圖像作為表示前述攝像 動畫之代表圖像； 操作受理機構，其係受理選擇前述顯示之代表圖像之 位置之選擇操作；及 顯示控制機構，其係根據前述選擇之前述代表圖像之 位置，使把憶於前述動畫記憶機構之攝像動晝從對應於 前述選擇之位置之攝像圖像再生。 16· -種圖像處理方法，其特徵為：其係圖像處理裝置之圖 象處理方法’該圖像處理裝置包含：動畫記憶機構，其 係。己隱藉由攝像裝置所拍攝之攝像動畫；及圖像保持機 構’其係將構成前述攝像動晝之攝像圖像作為履歷圖像 保持；且包含： 轉換資訊算出程序，其係以前述攝像圖像中之至少r 個攝像圖像為基準，筲中用以舱抬廿：丄 千异出用以轉換其他攝像圖像之轉換 資訊； ' 圖像轉換程序，其係根據前述算出之轉換資訊來轉換 前述攝像圖像； 、 圖像。成程序，其係將前述經轉換之攝像圖像合成於 前述履歷圖像，並作A新屈蔴 ' . 下马新履歷圖像使前述圖像保持機構 圖像位置取得程序，其係取得前述經轉換之攝像圖像 131700.doc 200922325 之藉由如述合成所形成之前述履歷圖像上之座標位置. 將前述取得之座標位置與前述攝像圖像賦予關連並’纪 憶於圖像位置記憶機構之程序； D 顯不程序’其係顯示前述履歷圖像作為表示前述攝像 動畫之代表圖像； 操作受理程序，其係受理選擇前述顯示之代表圖像之 位置之選擇操作；及 貝示控制％序，其係根據前述選擇之前述代表圖像之 2置，使記憶於前述動畫記憶機構之攝像動畫從對應於 月’j述選擇之位置之攝像圖像再生。 17’種程式’其特徵係於包含記憶藉由攝像裝置所拍攝之 攝像動畫之動晝記憶機構、及將構成前述攝像動晝之攝 像圖像作為履歷W㈣狀®絲持機構之圖像處理震 置中，使電腦執行以下程序者： <

   轉換資或算出程序，其係以前述攝像圖像中之至少1 :攝像圖像為基準’算出用以轉換其他攝像圖像之轉換 前序，其係根據前述算出之轉換資訊來轉換 圖像合成程序 前述履歷圖像， 保持； ，其係將前述經轉換之攝像圖像合成於 並作為新履歷圖像使前述圖像保持機構 +像位置取仵程序，其係取得前述經轉換之攝像圖像 之藉由别述合成所形成之前述履歷圖像上之座標位置； 131700.doc 200922325 將前述取得之座標位置與前述攝像 憶於圖像位置記憶機構之程序； 圖像賦予關連並記 顯示程序，其係顯示前述履歷圖像作為 動畫之代表圖像； 表示前述攝像 操作受理程序 位置之選擇操作 ’其係受理選擇前述顯示之代表圖像之 :及 顯示控制程序 位置，使記憶於 前述選擇之位置 丄其係根據前述選擇之前述代表圖像 过·動畫δ己憶機構之攝像動畫從 之攝像圖像再生。 ％ 之 於 V 131700.doc