201207716 六、發明說明： 【發明所屬之技術領域】 本發明係有關於顯示控制裝置、顯示控制方法、程式 ，尤其是有關於，顯示表現被攝體動作推移之影像的技術 【先前技術】 例如在運動的隊形確認等用途上，會採用如圖34所示 的「動作推移影像」。 動作推移影像，係將進行動作的人或物（動態被攝體 )，在特徵性的時間（關鍵畫格）上作切出，將其作空間 性排列，以容易辨識動作的推移。這是因爲，即使動態被 攝體並沒有空間上的移動，但仍強制生成令其在空間上移 動之影像，具有如此特徵。一般而言是藉由描繪繪畫的方 式來實現，但也有藉由將照片以手工切出排列而加以實現 [先前技術文獻] [專利文獻] [專利文獻1]日本專利第3449993號公報 [專利文獻2]日本特開2004- 1 802 5 9號公報 [專利文獻3]日本特開2007-259477號公報 [專利文獻4]日本特開2002-359777號公報 201207716 【發明內容】 [發明所欲解決之課題] 先前，在自動生成此種動作推移影像時，是在以視訊 攝影機之映像或照相機連拍等所得的複數畫格之影像當中 ，將處理對象的關鍵畫格之影像予以選出。然後再於關鍵 2格中把對象被攝體的部分加以切出，將其排列等，會進 行如此手法》 可是，在先前的動作推移影像中，會有動作範圍之放 大與動作推移之充分表現性兩者難以同時成立之問題。 例如圖3 4，是使用以視訊攝影機拍攝進行高爾夫揮桿 的人而得的動畫資料中所選出的關鍵S格FK1〜FK20，來 生成動作推移影像的例子。 作爲1個合成影像，若如圖34所示把多數關鍵畫格影 像加以合成，則想當然爾，在排列各關鍵畫格影像之際的 1張之切出寬度wa就必須變窄。 如此一來，可能會無法顧及動態被攝體的動作範圍， 可能導致應該被當作目的之動態被攝體被切除一部分。例 如觀看圖34的各影像可知，隨著揮桿過程的時序，會變成 欠缺高爾夫球桿之先端部分等的影像。這在視覺上並不理 想，而且考慮在姿勢檢査等之用途上也不適切。 此處，爲了使動態被攝體（例如正在揮桿的人與高爾 夫球桿）的一部分不會缺損，必須要加寬切出寬度。 如圖3 5所示的切出寬度wb，從1個關鍵畫格影像的切 出寬度較廣，但此時，可排列成1個影像的關鍵畫格影像 201207716 之數目就變得較少。例如圖35係圖示了，從圖34的20個關 鍵畫格FK1〜FK20中抽出8個關鍵畫格FK1，FK4，FK7, FK10, FK1 1, FK14, FK17, FK20所生成的動作推移影像。 此情況下，若觀看各關鍵畫格影像，可使動態被攝體 (正在揮桿的人與高爾夫球桿）沒有部分缺損。然而，1 張影像上所能排列的關鍵畫格數會減少，難以成爲平滑地 表現動態的動作推移影像。亦即作爲姿勢檢査等的動作推 移，無法充分細緻地表現。 如此圖34、圖35的例子所示，若顧及動態被攝體的所 有動作範圍而加寬了切出寬度，則所生成之最終影像內所 存在的關鍵畫格數會變少，而欠缺動作推移的表現性。相 反地，若切出寬度縮窄，則雖然可以增加關鍵畫格數而在 時間上表現細緻的動態被攝體，但會無法顧及動態被攝體 的動作範圍，導致原本應爲目的的動態被攝體被切除一部 分之不良情形。 又，此種動作推移影像，先前係藉由單純將複數關鍵 畫格排列而進行影像合成，成爲表現動作推移的靜止影像 ，但也很希望能實現更高視覺效果的、動畫性的動作推移 影像。 然後，在生成、記錄此種動作推移影像時，關於動作 推移影像，在攝像後’能夠以對使用者而言能夠容易理解 且操作性佳的樣態來進行再生、確認，較爲理想。 於是，在本發明中，其目的爲，作爲動作推移影像是 使用多數畫格影像而記錄下可充分表現動作的合成影像資 201207716 料時，作爲動作推移影像之再生，係可實現簡易操作及多 樣性再生。 [用以解決課題之手段] 本發明的顯示控制裝置，係具備：再生處理部，係從 31格影像資料的每次輸入就依序進行影像合成處理所生成 之各合成影像資料，且爲可實行各畫格影像資料的動態被 攝體影像是被依序在所定方向上排列配置之動畫顯示的各 合成影像责料，被當成一連串記錄畫格影像資料而記錄的 記錄媒體中，進行上記記錄畫格影像資料的再生處理；和 顯示控制部，係隨應於使用者指示，在上記一連串記錄畫 格影像資料當中判定應再生之畫格位置，令上記再生處理 部執行所判定之畫格位置的記錄畫格影像資料之再生，進 行已被再生之記錄捃格影像資料的顯示控制。 此時，上記顯示控制部，係隨應於被測知成爲上記使 用者指示的拖曳操作（例如觸控面板上以手指劃寫的操作 )，而令上記再生處理部執行，從現在再生輸出中之記錄 畫格影像資料的畫格位置起往前方或後方之畫格位置的記 錄畫格影像資料之再生，進行已被再生之記錄畫格影像資 料的顯示控制》 例如，上記顯示控制部，係隨應於被測知成爲上記使 用者指示的每單位時間的拖曳操作量及拖曳操作方向，而 將現在再生輸出中之記錄道格影像資料的畫格位置當作開 始畫格位置時，判定從該開始畫格位置起往前方或後方之 -8- 201207716 畫格位置的結束畫格位置，令上記再生處理部依序再生從 上記開始畫格位置至上記結束畫格位置爲止的各記錄畫格 影像資料，進行已被再生之記錄畫格影像資料的顯示控制 〇 又，上記顯示控制部，係隨應於被測知成爲上記使用 者指示的輕拂操作（例如觸控面板上以手指撥彈之類的操 作），而令上記再生處理部執行，從現在再生輸出中之記 錄畫格影像資料的畫格位置起往前方或後方之畫格位置的 記錄畫格影像資料之再生，進行已被再生之記錄畫格影像 資料的顯示控制。 例如，上記顯示控制部，係隨應於被測知成爲上記使 用者指示的輕拂操作速度及輕拂操作方向，而將現在再生 輸出中之記錄畫格影像資料的畫格位置當作開始畫格位置 時，判定從該開始畫格位置起往前方或後方之畫格位置的 結束畫格位置，令上記再生處理部依序再生從上記開始畫 格位置至上記結束畫格位置爲止的各記錄畫格影像資料， 進行已被再生之記錄畫格影像資料的顯示控制。 又’上記顯示控制部，係隨應於被測知成爲上記使用 者指示的指點操作（例如碰觸觸控面板上某個位置的操作 )’而令上記再生處理部執行，從現在再生輸出中之記錄 畫格影像資料的畫格位置起往前方或後方之畫格位置的記 錄畫格影像資料之再生，進行已被再生之記錄畫格影像資 料的顯示控制。 例如’上記顯示控制部，係隨應於被測知成爲上記使 201207716 用者指示的指點操作之位置，而將現在再生輸出中之記錄 畫格影像资料的畫格位置當作開始畫格位置時，判定從該 開始畫格位置起往前方或後方之畫格位置的結束畫格位置 ’令上記再生處理部依序再生從上記開始畫格位置至上記 結束畫格位置爲止的各記錄這格影像資料，進行已被再生 之記錄畫格影像資料的顯示控制。 本發明的顯示控制方法，係具備：從畫格影像資料的 每次輸入就依序進行影像合成處理所生成之各合成影像資 料’且爲可實行各01格影像資料的動態被攝體影像是被依 序在所定方向上排列配置之動畫顯示的各合成影像資料， 被當成一連串記錄斑格影像資料而記錄的記錄媒體中，讀 出某錄畫格影像资料而進行再生顯示之際，測知對該再 生顯示的操作輸入之步驟；和隨應於已被測知之上記輸入 操作，在上記一連串記錄畫格影像資料當中判定應再生之 2格位置’進行所判定之畫格位置的記錄畫格影像資料之 再生控制之步驟。 本發明的程式，係令演算處理裝置執行上記各步驟的 程式。 在如此之本發明中’首先是以有作爲再生對象之記錄 媒體存在爲前提。在記錄媒體中係有，從畫格影像資料的 每次輸入就依序進行影像合成處理所生成之各合成影像資 料’且爲可寶行各這格影像資料的動態被攝體影像是被依 序在所定方向上排列配置之動畫顯示的各合成影像資料， 被當成一連串記錄道格影像資料而記錄。 -10- 201207716 所謂各合成影像資料，係例如以下所示。 首先’所謂原本的畫格影像資料，係爲構成動畫的各 畫格的1張，例如被連拍攝影的靜止影像的1張1張之影像 等。亦即泛指構成1張影像的影像資料。 在針對如此輸入的複數畫格影像資料進行影像合成處 理以生成動作推移影像之際，針對畫格影像資料，會進行 影像內之動態被攝體圖層與背景圖層的分離處理。然後， 在畫格影像資料被輸入之各時點，對該時點上既存的合成 影像資料’逐一合成所被輸入的最新畫格影像資料。此時 ，藉由縮短1個畫格的寬度，就可排列多數的動態被攝體 影像，但此情況下最新的畫格影像資料的動態被攝體、和 之前的畫格影像資料的動態被攝體，會發生重疊部分。於 是，會進行把所輸入之最新畫格影像資料的動態被攝體圖 層視爲第1優先，且把前次以前的影像合成處理所涉及之 畫格影像資料的動態被攝體圖層視爲第2優先的圖層影像 合成處理。藉此，會以動態被攝體的一部分是重疊在以前 之畫格的動態被攝體上之狀態，生成合成影像。 將如此所被生成的合成影像資料，當作一連串記錄畫 格影像資料而記錄至記錄媒體。 然後，在再生時，令各合成影像資料（記錄畫格影像 資料），以動畫的各畫格之方式而被再生、顯示，就可執 行了解合成過程的動畫顯示，或合成過程的某個階段之靜 止影像顯示等。甚至’此時，對應於拖曳操作、輕拂操作 、指點操作等，可容易向使用者提示，合成過程之各階段 -11 - 201207716 中所欲觀赏的場面。 又，本發明之另一側面所見之顯示控制裝置，係於控 制顯示畫面之顯示內容的顯示控制裝置中，具備：控制訊 號生成部，係生成控制訊號，用以控制上記顯示內容，以 使得在具有預先設定之領域數、且具有以所定順序而被配 置之分割顯示領域的顯示畫面的各分割顯示領域中，連續 拍攝同一動態被攝體所得之彼此不同時間上的表示同一動 態被攝體之影像是被同時顯示，同時，上記各分割顯示領 域中所被顯示之表示上記同一動態被攝體之影像，是以相 應於上記同一動態被攝體的時間序列之順序作配置，而且 還進行顯示控制，以使得在相應於使用者指示或動畫性再 生處理而作成含有與上記顯示畫面中所被顯示之顯示內容 不同時間上的表示同一動態被攝體之影像的顯示內容之際 ，含有上記不同時間上之同一動態被攝體的同一動態被攝 體的各影像，是以維持在相應於上記同一動態被攝體的時 間序列之順序的狀態下，被顯示在上記分割顯示領域的每 一者中；和控制訊號輸出部，係輸出上記控制訊號以控制 上記顯示畫面的顯示內容》 本發明之另一側面所見之顯示控制方法，係於控制顯 示畫面之顯示內容的顯示控制方法中，控制上記顯示內容 ，以使得在具有預先設定之領域數、且具有以所定順序而 被配置之分割顯示領域的顯示畫面的各分割顯示領域中， 連續拍攝同一動態被攝體所得之彼此不同時間上的表示同 一動態被攝體之影像是被同時顯示，同時，上記各分割顯 -12- 201207716 示領域中所被顯示之表示上記同一動態被攝體之影像，是 以相應於上記同一動態被攝體的時間序列之順序作配置； 進行顯示控制’以使得在相應於使用者指示或動畫性再生 處理而作成含有與上記顯示畫面中所被顯示之顯示內容不 同時間上的表示同一動態被攝體之影像的顯示內容之際， 含有上記不同時間上之同一動態被攝體的同一動態被攝體 的各影像，是以維持在相應於上記同一動態被攝體的時間 序列之順序的狀態下，被顯示在上記分割顯示領域的每一 者中的顯示控制方法。 又，本發明的另一側面之程式，係令演算處理裝置執 行上記各步驟的程式。 此情況下，在具有預先設定之領域數、且具有以所定 順序而被配置之分割顯示領域的顯示畫面的各分割顯示領 域中，連續拍攝同一動態被攝體所得之彼此不同時間上的 表示同一動態被攝體之影像是被同時顯示的此種顯示畫面 之顯示內容，係指多數動態被攝體被排列顯示。 然後，控制上記顯示內容，以使得上記各分割顯示領 域中所被顯示之表示上記同一動態被攝體之影像，是以相 應於同一動態被攝體的時間序列之順序作配置。例如同一 人物等的同一動態被攝體在各時點上的狀態（例如高爾夫 揮桿過程之各狀態）之影像，是在顯示上以時間訊列順序 排列而顯示。 然後，進行顯示控制，以使得在相應於使用者指示或 動畫性再生處理而作成含有與上記顯示畫面中所被顯不之 -13- 201207716 顯示內容不同時間上的表示同一動態被攝體之影像的顯示 內容之際，含有上記不同時間上之同一動態被攝體的同一 動態被攝體的各影像，是以維持在相應於上記同一動態被 攝體的時間序列之順序的狀態下，被顯示在上記分割顯示 領域的每一者中。亦即，當在與顯示中之狀態不同的時點 上要顯示出同一動態被攝體時，是以維持在該各動態被攝 體影像之時間序列所相應的狀態下，令其被顯示在上記分 割顯示領域的每一者中。 [發明效果] 若依據本發明，則藉由將作爲動作推移影像之各階段 的合成影像资料加以再生，除了可動態地顯示影像的合成 過程，同時，可將合成過程中使用者想要觀看之階段的再 生影像，以對使用者而言容易操作的方式進行提供。 尤其在再生時，藉由把動畫在時間軸上之位置，與觸 控面板等之空間軸上之位置建立關連，就可更爲直覺地操 作。 【實施方式】 以下，按照如下順序來說明本發明的實施形態。 π.影像處理裝置之構成] [2.動作推移影像的生成•記錄處理例] [3 .動作推移影像的再生顯示處理例] < 3 -1 :拖曳操作> -14- 201207716 < 3-2 :輕拂操作> < 3-3 :指點操作> < 3-4 :其他操作例> [4 ·顯示處理] [5.程式] [1.影像處理裝置之構成] 圖1係圖示實施形態的影像處理裝置1的構成例。 此影像處理裝置1，係爲進行作爲動作推移影像之影 像合成處理的裝置，又，作爲影像記錄再生部40係假設爲 還具有進行動作推移影像之記錄、再生、顯示的裝置部（ 顯示控制裝置部）。 圖1中，作爲本例的影像處理裝置1之構成，圖示了輸 入影像選擇部2、圖層處理部3、影像輸出部4、合成影像 更新保持部5、影像輸入部1 〇、動態被攝體資訊生成部1 1 、動態被攝體資訊輸入部1 2、影像記錄再生部4 0。 這些各部並非限於一定要是在同一框體內的構成部位 。尤其，影像輸入部1 0、動態被攝體資訊生成部1 1、動態 被攝體資訊輸入部1 2、輸出入裝置40，係可考慮設計成別 台的構成部位。又’動態被攝體資訊生成部1 1與動態被攝 體資訊輸入部12，係亦可僅設置其中一方。 甚至’影像記錄再生部40當然亦可想定爲是被構成爲 別台的記錄·再生·顯示機器。 又’關於輸入影像選擇部2、圖層處理部3、影像輸出 -15- 201207716 部4、合成影像更新保持部5,係亦可分別以硬體區塊的方 式來構成，但亦可於微電腦等之演算處理裝置中，藉由以 軟體程式所實現之機能區塊來實現之。 此影像處理裝置1，係例如亦可被設在攝像裝置（視 訊攝影機等）或映像再生裝置等之機器的內部，亦可被構 成爲1台影像處理專用機器。甚至，亦可構成爲，藉由執 行個人電腦等中的軟體及硬體的合作所實現的影像處理機 能。 在影像輸入部10中會進行，作爲所要生成之動作推移 影像（靜止影像）之基礎的畫格影像資料群的輸入。 所謂畫格影像資料，係爲構成動畫的各畫格的1張， 例如被連拍攝影的靜止影像的1張1張之影像等。亦即泛指 構成1張影像的影像資料，而會使用「畫格影像資料」此 —用語。 該影像輸入部10，若該當影像處理裝置1是被搭載於 攝像裝置中，則相當於透鏡系或受光元件、進行影像訊號 處理而獲得攝像影像訊號的一連串攝像系部位。 又，若擷取由外部的攝像裝置所獲得之攝像影像，則 影像輸入部1 0係亦爲接收從外部機器所傳輸·送訊·下載 等而送來之影像訊號的收訊處理系。例如可想定爲，對播 送波的選台器部、USB ( Universal Serial Bus)介面等的 外部機器介面部、甚至是有線或無線網路通訊部等。 又，若攝像影像資料等之影像訊號是被記錄在記憶卡 (固體記憶體）、光碟等之記錄媒體的情況下，影像輸入 -16- 201207716 部ι〇係爲針對這些記錄媒體進行再生的再生系部位或再生 程式而實現之。 藉由影像輸入部1 0 ’作爲動畫的各畫格影像資料，或 藉由靜止影像連拍攝像等所得到的複數畫格影像資料會被 輸入’影像輸入部1 〇係將這些畫格影像資料供給至輸入影 像選擇部2及動態被攝體資訊生成部1 1。 此外，影像輸入部1 〇係亦進行前處理。在收取到動態 影像之檔案時會展開成各畫格’在收取到交錯式影像時會 進行漸進化等處理，以適切轉換成必要之形式。又，還會 進行放大縮小。 動態被攝體資訊生成部11，係使用從影像輸入部1 0所 收取到的原始影像群（畫格影像資料群）或使用其他外部 資訊（深度資訊等），來生成動態被攝體資訊。 所謂動態被攝體資訊係爲，在所被輸入之畫格影像資 料當中，至少可以判別哪個部分是動態被攝體、哪個部分 是背景的資訊。 動態被攝體資訊生成部11，係生成已被輸入之各個畫 格影像資料所對應之動態被攝體資訊，供給至輸入影像選 擇部2。 動態被攝體資訊，係也有被表現成爲動態被攝體影像 ，此情況下，是以像素値來表示各像素是屬於動態被攝體 還是屬於背景。又，表示各同被攝體之場所的資訊，有時 會以式子或向量來表示。 動態被攝體資訊生成部U，係除了動態被攝體與背景 -17- 201207716 的分離以外，當有複數動態被攝體存在時，會將其——分 離，且也會依照深度別而分離。此情況下，以影像來表示 動態被攝體資訊時，就不是動態被攝體或背景的2値影像 ，而是表示各像素位於哪個深度的多値影像（或多色版影 像）。 又，動態被攝體資訊的生成係亦可不是在本例的影像 處理裝置1的裝置內，而是可將其他裝置或程式所生成的 動態被攝體資訊加以收取。動態被攝體資訊輸入部1 2，表 示將針對影像輸入部1 0所輸入之各畫格影像資料的動態被 攝體資訊，從外部加以收取的部位。動態被攝體資訊輸入 部12，係將已被輸入之各個盪格影像資料所對應之動態被 攝體資訊，從外部輸入，供給至輸入影像選擇部2。 又因此，動態被攝體資訊生成部1 1與動態被攝體資訊 輸入部12係只要至少設置其中一方即可。但是，亦可併用 動態被攝體資訊生成部1 1所生成之動態被攝體資訊、和動 態被攝體資訊輸入部1 2所輸入之動態被攝體資訊，這意味 著’動態被攝體資訊生成部1 1與動態被攝體資訊輸入部1 2 雙方均設置也是有用的。 輸入影像選擇部2，係針對從影像輸入部1 〇所依序供 給的畫格影像资料，進行動作推移影像生成所需之處理。 亦即，將圖層處理部3中之合成處理所必需使用的影像資 料’加以選擇，將適切的影像組合，輸出至圖層處理部3 。又’輸入影像選擇部2，係將輸出至圖層處理部3的道格 影像資料所對應之動態被攝體資訊，或合成所需的座標資 -18- 201207716 訊等之合成處理上所必要之資訊，輸出至圖層處理部3° 在圖1中，在輸入影像選擇部2內係圖示了關鍵畫格判 定部2 1與座標計算部22。關鍵畫格判定部2 1 ’係進行關鍵 畫格之判定處理 '或基於其的輸出至圖層處理部3之畫格 影像資料的選定。又，座標計算部22係進行合成處理所需 之座標計算。 所謂關鍵畫格，係於作爲動作推移影像的最終輸出影 像（動畫時則爲最終畫格影像）中，作爲動作推移之軌跡 而被殘留在同一靜止影像的時間軸不同之複數影像。例如 在時間上連續的畫格影像資料群當中，以每隔適切單位時 間之等間隔所拍攝到的畫格來當作關鍵畫格，是一般所被 想定的’但並不一定要是等間隔的時間，亦可將間隔變化 成適合於目視確認攝像對象之動作推移。 關鍵畫格判定部2 1係進行，在從影像輸入部丨〇所依序 供給的畫格影像資料當中’選定要作爲關鍵畫格之畫格影 像資料的處理。 在生成動作推移動畫時’雖然是將所輸入的全部畫格 影像資料供作圖層處理部3的處理，但隨著是否爲關鍵畫 格’圖層處理部3中的合成影像之方式會有所不同。 圖2中係圖示了關鍵畫格。圖2的（&)係模式性圖示 了被輸入至輸入影像選擇部2的影像資料。例如係爲動畫 資料，圖的F 1，F 2，F 3 ...係分別表示1個畫格影像資料 〇 輸入#像逐擇部2 ’係從此種作爲動畫的時間上連續 -19- 201207716 之畫格中，選擇出關鍵畫格。作爲一例，若將每隔5畫格 的畫格視爲關鍵畫格時，標示〇的畫格Fl，F6，F1 1，F16, F2 1 . · •就成爲關鍵蜜格。阏2的（b )中係將這些關鍵 畫格的影像內容，以圖形表示。 在生成動作推移動畫時，關鍵畫格以外的畫格影像資 料（例如F2、F3等）也會用於合成處理。 只不過，在合成過程中，對於殘留下關鍵畫格之目前 爲止的合成影像資料，會將新的畫格影像資料加以合成。 在圖2的（c)中，雖然圖示了動作推移動畫的最終畫 格的影像例，但對於僅殘留下關鍵畫格的合成影像資料， 會逐漸合成新的畫格影像資料，在最終畫格時，係成爲關 鍵畫格之影像是大致等間隔排列的影像內容。細節將於後 述。 圖層處理部3係具備圖層分離部31、圖層加工部32、 圖層合成部33，進行動作推移影像的生成處理。 圖層分離部31，係使用動態被攝體資訊，進行已被輸 入之畫格影像資料的圖層分離。所謂圖層，係指對每1筆 畫格影像資料，分離成動態被攝體部分與背景部分等的各 個結果。圖層分離部3 1係以進行圖層合成的該當範圍，例 如以動態被攝體資訊爲基礎，而將輸入影像與前次關鍵畫 格影像’分離成背景與動態被攝體，而生成各圖層之影像 。若有複數動態被攝體存在，且知道它們的深度時，則會 分離出動態被攝體數+背景數的圖層。 圖3的（a )係圖示輸入影像（某1筆畫格影像资料） -20- 201207716 、和針對該畫格影像資料的動態被攝體資訊。 如上述，輸入影像選擇部2，係將從影像輸入部1 0所 依序供給的畫格影像資料Fl，F2，F3 · ·.輸出至圖層處 理部3。 又，對輸入影像選擇部2，係從動態被攝體資訊生成 部1 1或動態被攝體資訊輸入部1 2，供給著對應於各畫格影 像資料的動態被攝體資訊。輸入影像選擇部2，係在將畫 格影像資料供給至圖層處理部3之際，也會將該畫格影像 資料鎖對應之動態被攝體資訊，供給至圖層處理部3。 圖3的（a)的上段及下段所示的，係爲如此而被給予 至圖層處理部3的畫格影像資料、和其動態被攝體資訊。 此處，動態被攝體資訊係被表現爲2値之値。亦即，被認 爲是動態被攝體的像素是設成「1」，被認爲是動態被攝 體以外之背景的像素是設成「〇」等的資訊。在圖3的（a )下段留白部分係爲「1」亦即表示動態被攝體，黑部分 係爲「〇 j亦即表示背景。 圖層分離部3 1，係使用此種動態被攝體資訊，將已被 輸入之畫格影像資料，進行圖層分離。 在圖3的（b)中係圖示了，分離後的動態被攝體圖層 與背景圖層。圖3的（b)之上段的動態被攝體圖層，係在 圖3的（a)的輸入影像當中，將動態被攝體部分（亦即只 有動態被攝體資訊=「1」的像素）予以選出的影像。 又，圖3的（b)的下段的背景圖層，係在圖3的（a) 的輸入影像當中，將背景部分（亦即只有動態被攝體資訊 -21 - 201207716 =^ 〇」的像素）予以選出的影像。 此外，亦可想定有複數動態被攝體存在之情形，而使 用3値以上的多値之動態被攝體資訊。此情況下，在動態 被攝體資訊生成部1 1或動態被攝體資訊輸入部1 2中，係會 隨著複數動態被攝體的深度（影像上的縱深方向之前後關 係）而設成不同的値以生成（或取得）動態被攝體資訊。 在此種情況下，圖層分離部31係可分離出動態被攝體 數+背景數的圖層。 圖層加工部32，係進行已被分離之各圖層的切取、放 大縮小、座標移動等加工。亦即，對已被圖層分離的各圖 層進行各種處理，加工成可以合成的形式。圖層加工部32 所進行之處理，通常是「放大縮小」「旋轉」「平行移動 」等幾何學上的演算，但有時也會進行動作部分之強調等 的影像處理。放大縮小係隨著關鍵畫格的張數、輸出影像 尺寸等而決定。 圖層加工部32係對已被圖層分離的各圖層進行各種處 理’加工成可以合成的形式’但動作推移影像通常不是以 所被輸入之报格影像資料的全領域爲對象，而是將一部分 予以切出的形態而進行之。 甚至’動態被攝體呈有效之範圃，和留在最終影像之 背景的領域也不同。 若令所被輸入之作爲這格影像資料的影像的寬度與高 度爲（Wimg，Himg)，推移動作有效領域的寬度與高度 爲（Wmov，Hmov )，殘存背景領域的寬度與高度爲（ -22- 201207716
Wback，Hback ),則可想定例如圖4的（a ) ( b ) ( c )的 領域樣態。此外，圖4的（a ) ( b ) ( c )係皆爲一例，並 非限定於此。 圖4的（a ) ( b ) ( c )所示的所謂推移動作有效領域 ，係爲主要動態被攝體的切出範圍。又，所謂殘存背景領 域，係爲合成處理中當作背景影像使用的領域。 這些推移動作有效領域之値（Wmov，Hmov)或殘存 背景領域之値（Wback，Hback)，係隨著被攝體的推移方 向、亦即作爲動作推移影像而表現之際影像在時間上的行 進方向，而使寬度相同或是高度相同等等。 如圖6〜圖1 5所後述的動作推移影像，在令各動態被 攝體影像朝橫方向作推移時，如圖4的（b )之例子，高度 (Hmov、Hback)係與原始的畫格影像資料之高度（Hi mg )爲相同値而較爲理想的情形較多。 又，在令各動態被攝體影像朝縱方向作推移時，如圖 4的（c )之例子，寬度（Wmov、Wback )係與原始的畫 格影像資料之寬度（Wimg )爲相同値而較爲理想的情形 較多。 運動的姿勢確認等，動作對象是人物，且爲站立時則 多爲橫推移，若以柔道的寢技爲對象時則縱推移的可能性 較高。若爲如此推移方向，則伴隨於此的各影像之大小係 強烈依存於攝像對象。 圖5係針對實際畫格影像資料的、圖4的（b )之例子 所示的推移動作有效領域與殘存背景領域之設定例。 -23- 201207716 圖5的（a )係爲原始被輸入之畫格影像資料’假設例 如畫格影像資料的尺寸係爲VGA ( 64〇X480)。假設推移 動作有效領域與殘存背景領域之中心係與輸入影像的畫格 影像資料之中心一致。 推移動作有效領域’係如圖5的（b )所示’是寬度
Wmov= 320、高度 Hmov= 480之領域。 殘存背景領域，係如圖5的（c)所示’是寬度Wback = 160、高度Hback= 480之領域。 當然這僅爲一例，0際上會隨著被攝體的大小或運動 而作適切的設定，只要能切出合成處理中所使用的影像即 可。 圖層合成部33，係使用已被加工之圖層或前次以前的 合成影像，進行合成處理。亦即，已被圖層加工部32所加 工過的影像，是根據前次以前的合成影像、動態被攝體資 訊等，而進行所輸出之影像的合成。此處所謂合成係指以 動態被攝體資訊爲基礎，進行要將哪個圖層之像素反映在 輸出影像上之判定，而生成輸出影像。雖然也有從單一圖 層之像素來選擇，但有時會將複數圖層之像素加以混合而 輸出。 作爲本例的圖曆合成部33所進行之處理，係隨應於畫 格影像資料之輸入，而進行影像合成處理以生成合成影像 資料。此時’對於在畫格影像資料被輸入之時點上的既存 之合成影像資料的部分領域，進行圖層影像合成處理。此 時’會把所輸入之最新畫格影像資料的動態被攝體圖層視 -24 - 201207716 爲第1優先，且把前次以前的影像合成處理所涉及之畫格 影像資料的動態被攝體圖層視爲第2優先。 具體的處理例將於後述。 影像輸出部4，係將已被圖層處理部3所合成之合成影 像，輸出至影像記錄再生部40。 此處係展示了，影像記錄再生部40係爲進行對記錄媒 體之記錄動作、再生動作、顯示動作之部位的例子。 影像輸出部4，係將每次畫格影像資料之輸入就被圖 層處理部3所生成的合成影像資料，當作要記錄至記錄媒 體的記錄用畫格影像資料，而依序輸出至影像記錄再生部 40 〇 又，影像輸出部4係更進一步將每次畫格影像資料之 輸入就被圖層處理部3所生成的合成影像資料，爲了使其 在顯示部45上被顯示成爲動作推移動畫，而依序輸出至影 像記錄再生部40。 此外，除了影像記錄再生部40以外，影像輸出部4所 作的合成影像資料的具體輸出目標，係還有往其他顯示裝 置之輸出、往其他記錄機器之輸出、網路輸出等，可隨著 系統形態而作多樣考量。 又，影像輸出部4，係當本次合成處理所涉及之畫格 影像資料是關鍵畫格時，爲了使本次的合成影像資料，在 下次處理時能當成既存的前次之合成影像資料而使用，而 將其輸出至合成影像更新保持部5以更新記憶。另一方面 ，當本次合成處理所涉及之畫格影像資料是非關鍵畫格時 -25- 201207716 ，由於本次的合成影像资料係在下次處理時不會當成既存 的前次之合成影像资料而使用，因此不會輸出至合成影像 更新保持部5。 合成影像更新保持部5，係於動作推移影像的生成過 程中，將各時點的合成影像資料加以保持。 例如，在動作推移影像生成時，會將從影像輸出部4 所輸出之各時點的合成影像，加以更新並逐一保持。例如 ，將前次 '前前次等，在合成處理過程中所必要的過去之 合成影像資料，加以更新並保持。又，各合成影像生成時 的關鍵畫格之資訊，或關鍵畫格的動態被攝體資訊等，也 會記憶保持。 影像記錄再生部40係具有：使用者介面控制部（UI控 制部）4 1、記錄再生處理部42、記錄媒體驅動部43、顯示 驅動器44、顯示部45、觸控面板46。 UI控制部4 1係由例如微電腦所形成。該UI控制部4 1係 控制影像記錄再生部4 0內的各部，令其執行從影像輸出部 4所供給之合成影像資料往記錄媒體的記錄動作或顯示動 作。又’令其執行來自記錄媒體的再生動作或已再生之合 成影像资料的顯示動作。 此外’從影像輸出部4對影像記錄再生部40所供給， 被記錄在記錄媒體的作爲合成影像資料之各畫格影像資料 ’係爲了與上記輸入影像選擇部2所輸入的原始之畫格影 像资料有所區別’而亦稱作「記錄這格影像資料」。 記錄再生處理部42，係基於UI控制部4 1之控制，進行 -26- 201207716 記錄畫格影像資料之記錄所需之處理，例如壓縮處理、錯 誤訂正碼附加'記錄資料形成所需之編碼等。又，記錄再 生處理部42，係控制記錄媒體驅動部43，令其執行對記錄 媒體的記錄驅動。 又，記錄再生處理部42係基於UI控制部41之控制，進 行來自記錄媒體的記錄畫格影像資料之再生處理。亦即， 控制記錄媒體驅動部43，令其執行來自記錄媒體的資料讀 出。然後，針對已被讀出之記錄畫格影像資料，進行所定 之解碼處理、錯誤訂正處理等，而將形成動畫之各畫格的 記錄畫格影像資料予以再生。然後，爲了將記錄畫格影像 資料作顯示再生，而供給至顯示驅動器44 » 記錄媒體驅動部43，係對記錄媒體進行記錄再生驅動 的部位。作爲記錄媒體係可想定有：光碟、磁碟、全像碟 片、內藏固體記憶體的記憶卡、硬碟、固體記憶體等各種 媒體。 例如，若使用光碟時，則記錄媒體驅動部43係被形成 爲具備光拾取器或轉軸機構、伺服機構的碟片驅動部。亦 即，只要是隨著所採用之記錄媒體而進行資訊之寫入/讀 出的部位即可。 顯示部45係爲液晶面板、有機EL面板等之顯示裝置 〇 顯示驅動器44係基於UI控制部41之控制，對顯示部45 執行映像顯示。 該顯示驅動器44，係在圖層處理部3中的合成處理執 -27- 201207716 行時’進行用以使從影像輸出部4所供給之合成影像資料 被顯示在顯示部45的處理。 又，當藉由上記記錄再生處理部42、記錄媒體驅動部 43之動作而進行再生時’則進行用以使該已被再生之記錄 畫格影像责料被顯示在顯示部4 5的處理。 觸控面板46係被形成在顯示部45的畫面上，供使用者 操作。使用者係可隨著顯示部45上的顯示內容，使用觸控 面板4 6而進行後述的操作（拖曳操作、輕拂操作、指點操 作等）。 觸控面板46的操作資訊（使用者所致之觸控位置等之 資訊），係被供給至UI控制部41。UI控制部41係隨著觸控 位置等之操作資訊、和此時的顯示內容，而令記錄再生處 理部42執行必要的再生動作。 [2.動作推移影像的生成·記錄處理例] 於如此的影像處理裝置1中，主要說明輸入影像選擇 部2、圖層處理部3、影像輸出部4、合成影像更新保持部5 所執行的動作推移影像之生成處理例。 此處，舉出生成如圖6〜圖15之動作推移動畫時爲例 ，以圖16〜圖22說明具體的處理例。 首先說明，本例的影像處理裝置1上所生成的動作推 移動畫。 從如上述所輸入之畫格影像資料中，會選定關鍵畫格 ，但合成處理係亦可使用關鍵畫格以外的氇格。只不過’ -28- 201207716 作爲新的畫格影像資料之合成對象的既存之合成影像資料 ’係爲僅反映著關鍵畫格的影像。 以下的圖6〜圖1 5之例子中’假設關鍵畫格係如圖2的 (a )所示般地被選定。 圖6係圖示了最初之畫格影像資料（例如關鍵畫格） F1被輸入之際的合成影像資料。此外，於圖6〜圖15中， 被當作關鍵畫格的畫格影像資料’係標示有（K)。 接著第2個、不是關鍵畫格的畫格影像資料F2(以下 將不是關鍵畫格的畫格影像資料’稱作「非關鍵畫格」） 被輸入之際的合成影像資料，示於圖7。此時，在對於關 鍵畫格F 1偏移了所定量之像素範圍內，將非關鍵畫格F 2予 以合成。此外，關於動態被攝體重疊的部分，係總是最新 之畫格的動態被攝體影像爲優先。 合成係採用，對既存之合成影像資料，合成所被輸入 之畫格影像資料的手法。該非關鍵畫格F2的合成時點上的 既存之合成影像資料，係爲如圖6的合成影像資料。 接著’第3個非關鍵畫格F3被輸入之際的合成影像資 料’示於圖8。此時’在對於圖7之非關鍵畫格^偏移了所 定量之像素範圍內’將非關鍵畫格F3予以合成。 此處，合成處理係採用如上述對既存之合成影像資料 ’合成所被輸入之畫格影像資料的手法，但非關鍵畫格被 輸入之際的合成影像資料’係不會被當成既存之合成影像 資料而使用。 因此’該非關鍵畫格F3被輸入之際，既存之合成影像 -29- 201207716 資料係還是圖6的合成影像資料。 亦即，前次的非關鍵畫格F2係不被使用於合成，對此 時點上的既存之合成影像資料而合成非關鍵畫格F3，因此 如圖所示’會成爲盡格影像資料FI、F3之動態被攝體被表 現的影像。 雖然未圖示，但第4個非關鍵畫格F4被輸入之際，係 同樣地生成關鍵畫格F1+非關鍵畫格F4的合成影像資料， 又第5個非關鍵畫格F 5被輸入之際，係同樣地生成關鍵畫 格F1 +非關鍵盪格F5的合成影像資料。亦即，無論何者， 在其時點上都是對既存之合成影像資料，合成所被輸入的 這格影像資料。 關鍵畫格F6被輸入之際也是同樣對既存之合成影像資 料，進行合成。 圖9係第2個關鍵畫格F6被輸入之際的合成影像資料， 但對既存之合成影像資料（此時係爲關鍵畫格F1)，合成 關鍵畫格F6。 只不過此時點上’該圖9的合成影像資料，也是被當 成既存之合成影像資料而保存。 作爲合成時所使用的既存之合成影像资料，係不只是 前一次關鍵遨格輸入之際的合成影像資料（前次合成影像 資料）’而是亦可使用其更前面的關鍵畫格輸入之際的合 成影像資料（前前次合成影像資料）。 例如在後述的具體之處理例中，由於使用前次合成影 像資料與前前次合成影像資料，因此這裡也是使用前次合 -30- 201207716 成影像資料與前前次合成影像資料來說明。 此外’使用既存之合成影像資料，係在圖層合成之際 ’對各像素賦予優先順位而進行合成的緣故，但這意味著 只要隨著動態被攝體的重疊部分是到哪種程度之範圍，來 設定朔及過去之合成影像資料的使用範圍即可。例如，亦 可考慮將前前前次合成影像資料、前前前前次合成影像資 料等，使用於合成處理。 該圖9的合成影像資料生成後，作爲既存之合成影像 資料，前次合成影像資料（圖9之合成影像）、和前前次 合成影像資料（圖6之合成影像）會被保持在合成影像更 新保持部5，會被用於其後的合成處理。 接著，非關鍵畫格F7被輸入之際的合成影像資料，示 於圖10。此時也是藉由對既存之合成影像資料而合成非關 鍵畫格F7之影像’生成如圖所示的非關鍵畫格FI、F6之影 像與合成影像F7之影像所構成的合成影像。 然後，非關鍵畫格F8被輸入之際的合成影像資料，示 於圖11。此時也是藉由對既存之合成影像資料而合成非關 鍵畫格F8之影像’生成如圖所示的非關鍵畫格FI、F6之影 像與合成影像F 8之影像所構成的合成影像。 其後，非關鍵畫格F 9、F 1 0被輸入之際也同樣如此。 圖12係第3個關鍵畫格F11被輸入之際的合成影像資料 ’但對既存之合成影像資料’合成關鍵畫格F6° 只不過此時點上，該圖12的合成影像資料，也是被當 成既存之合成影像資料而保存。而且在此時點上’作爲既 -31 - 201207716 存之合成影像資料，前次合成影像資料係被更新成圖1 2之 影ί象' 前前次合成影像資料係被更新成圖9之合成影 像而保持。 _圖6〜圖丨2，關於所被輸入之畫格影像資料（關 Μ $格及非關鍵畫格），會依序進行合成處理，在各時點 上’分別獲得如圖示的合成影像資料。例如這些合成影像 資料’係分別成爲構成動畫之丨畫格而被逐—輸出。然後 ’以下同樣地每次斑格影像資料輸入時就生成合成影像資 料，如圖13· . ·_14. . ♦圖15般地逐一進行動畫輸出 〇 亦即’ 一面留下各關鍵畫格的被攝體影像，一面含有 非關鍵畫格而將各道格之被攝體影像逐一合成，在各時點 將該合成影像資料予以輸出。 藉此，表現高爾夫揮桿等之動作推移的動畫，亦即動 作推移動畫，就會被輸出。 舉出生成如此動作推移動畫的處理爲例，將動作推移 影像的生成處理例，用圖16以降來逐一說明。 圖16係圖示了，動作推移動畫生成之際的輸入影像選 擇部2、圖層處理部3、影像輸出部4、合成影像更新保持 部5所執行之處理。 步驟F101〜F105係爲輸入影像選擇部2的處理。 如上述，對輸入影像選擇部2，係從影像輸入部1 0供 給著時間上連績之畫格影像資料。 輸入影像選擇部2 ’係每次1張畫格影像資料被供給時 -32- 201207716 就在步驟FI 02中’進行該畫格影像資料、和從動態被攝體 資訊生成部1 1 (或動態被攝體資訊輸入部1 2 )畫格影像資 料所對應之動態被攝體資訊的擷取處理。 此外’步驟F 1 0 1之判斷，係爲判斷動作推移動畫生成 的一連串畫格影像資料擷取，亦即來自影像輸入部1 〇之供 給是否已經結束的判斷。亦即，直到作爲動作推移動畫而 被反映之所定數的畫格影像資料之輸入完成爲止，才會從 步驟F101前進至F102。 輸入影像選擇部2，係若在步驟F 1 0 2中擷取到畫格影 像資料及動態被攝體資訊，則在步驟F 1 0 3中，會選定是否 將該當畫格影像資料當作關鍵畫格。例如若進行如圖2的 關鍵畫格選定，則將第1個 '第6個、第1 1個...如此間 隔5畫格的畫格，當作關鍵畫格。 此外，如上述，關鍵畫格係不必一定要等間隔設定。 例如圖6〜圖15所示的高爾夫揮桿之影像時，可採用在對 球撞擊的瞬間之前後，以較細緻之間隔來設定關鍵畫格等 手法。 若針對已被輸入之畫格影像資料進行關鍵畫格判定， 則輸入影像選擇部2係在步驟F1 04中，從合成影像更新保 持部5，擷取此時點上既存之前次合成影像資料及前前次 合成影像資料。 此外，直到針對被視爲最初關鍵畫格之畫格影像資料 的合成處理被進行以前，前次合成影像資料、前前次合成 影像資料係不存在。又，直到針對被視爲第2個關鍵畫格 -33- 201207716 之畫格影像資料的合成處理被進行以前，前前次合成影像 資料係不存在。在步驟Fl〇4中，若此時點上前次合成影像 資料、前前次合成影像資料是有被保持在合成影像更新保 持部5中，則成爲擷取其之處理。 在步驟F 1 05中，輸入影像選擇部2，係進行將本次的 畫格影像資料（關鍵畫格或非關鍵畫格）反映至合成影像 的像素位置之座標計算處理。亦即，是在最終的合成影像 之尺寸（動作推移影像之尺寸）之中，套用本次之畫格影 像資料的像素範圍的算出處理。 輸入影像選擇部2，係將該步驟F105中所算出之座標 、本次畫格影像資料及動態被攝體資訊、前次合成影像資 料、前前次合成影像資料，輸出至圖層處理部3。 圖層處理部3，係在步驟F 1 0 6中，進行處理程序判定 處理》 所謂處理程序判定，係爲了進行有效率的合成處理， 而對進行合成處理之範圍內的每一像素（或者每列、每行 )，判定要執行哪種合成處理程序的處理。 此外’如上記圖6〜圖I5所示，當生成被攝體影像是 朝橫方向推移的動作推移動畫時，處理程序判定處理係只 要對每一像索或每縱列進行即可。另一方面，雖然未圖示 ’但當生成被攝體影像是朝上下方向推移的此種動作推移 動畫時，處理程序判定處理係只要對每一像素或每橫行進 行即可。以下，配合圖6〜圖1 5之例子，基於每列進行處 理程序判定之例子來說明。 -34- 201207716 步驟F 1 0 6中所進行的處理程序判定處理，示於圖1 7。 在本例中，是在合成處理時，使用本次的畫格影像資 料、前次合成影像資料、前前次合成影像資料。當使用既 存的2個合成影像資料時，判定的處理程序數係爲6個（處 理程序Ρ1〜Ρ6)。若前前前次合成影像資料等、所使用的 合成影像資料有增加時，則處理程序數會增加。 又’在合成處理中係使用，前次合成影像資料中所含 之前次關鍵畫格範圍之資訊及動態被攝體資訊，或前前次 合成影像資料中所含之前前次關鍵畫格範圍之資訊及其動 態被攝體資訊。針對它們，只要附隨於前次合成影像資料 '前前次合成影像資料而保存在合成影像更新保持部5, 成爲上記步驟F102中被讀出之資訊即可。 圖1 7的處理程序判定處理，係對每一注目列（如上述 ’有時候會是每行）而進行。 進行處理程序判定的各列，例如以圖1 3的時點來說， 係爲Α1〜Α7之範圍的各列。 在該fe圍中，將像素一列（在圖1 3時係爲合成影像資 料之上段的像素一列），分別當作注目列而進行處理程序 判定。 圖層處理部3，係首先以步驟F20 1，將1列當作注目列 ’取得該像素位置（在合成影像資料內的座標位置）。 然後，在步驟F2 02中，判別注目列之位置是否在前次 合成影像資料的範圍內。所謂前次合成影像資料之範圍， 係爲圖13的A3領域〜A7領域之範圍。 -35- 201207716 若注目列是在前次合成影像資料的範圍內，則圖層處 理部3係前進至步驟F203，判別注目列是否在本次的推移 動作有效領域內。所謂本次的推移動作有效領域，係指本 次所被輸入之畫格影像資料（關鍵畫格或非關鍵畫格）的 推移動作有效領域（參照圖5的（b ))，係爲圖13的A2 領域〜A5領域之範園。 圖層處理部3，係在步驟F203中，判斷注目列並非在 本次的推移動作有效領域內時，則判定爲針對該當注目列 係適用處理程序P 1。此係爲注目列是落在圖1 3的A 1領域 內之情形。 又，圖層處理部3，係在步驟F203中，判斷注目列是 在本次的推移動作有效領域內時，則判定爲針對該當注目 列係適用處理程序P2。此係爲注目列是落在圖1 3的A2領 域內之情形。 又’在步驟F2 02中’當判定注目列是在前次合成影像 資料的範圍內時，則圖層處理部3係前進至步驟F204，判 別注目列是否在本次的推移動作有效領域內。然後，在該 步驟F 2 0 4中’當判別注目列並非在本次的推移動作有效領 域內時’則判定爲針對該當注目列係適用處理程序p 3。此 係爲注目列是落在圖13的A6及A 7領域內之情形。 又’在步驟F 2 0 4中’當判別注目列是在本次的推移動 作有效領域內時，則圖層處理部3係前進至步驟F205，判 別注目列是否在後領域之範圍內。所謂後領域，係在推移 動作有效領域內，如圖5的（b )所示，對於動作推移影像 -36- 201207716 的行進方向A (從左往右前進時），是位於 圖5之（c )的殘存背景領域所包含的領域。 推移是從右往左前進之影像時，則爲推移動 的右側之領域。又，當動作推移是從上往下 ，則爲推移動作有效領域內的上側之領域》 若以圖1 3的例子而言，A5領域內的列 落在後領域內。 在步驟F2 05中，當判別了注目列是該當 則圖層處理部3係針對該當注目列，判定爲 P4。此係爲注目列是落在圖13的A5領域內之 步驟F205中若判別爲不是後領域之範圍 理部3係前進至步驟F 2 0 6，判別注目列是否 影像資料之範圍內。所謂前前次合成影像資 係爲圖13的A4領域〜A7領域之範圍。 當判定注目列不是在前前次合成影像資 ，則圖層處理部3係針對該當注目列，判定 序P 5。此係爲注目列是落在圖1 3的A 3領域內 又在步驟F2 06中當判定注目列是在前前 料之範圍內時，則圖層處理部3係針對該當 爲適用處理程序P6。此係爲注目列是落在| 內之情形。 圖層處理部3係在圖16的步驟F106中，i 目列，進行以上的圖1 7之每一處理程序判定 F107的合成處理。步驟F107，係隨著處理程 後側而且不被 此外，當動作 作有效領域內 前進之影像時 ，係被判定爲 於後領域時， 適用處理程序 情形。 時，則圖層處 在前前次合成 料之範圍內， 料之範圍內時 爲適用處理程 之情形。 次合成影像資 注目列，判定 圖1 3的A 6領域 十對某1列的注 ，而進行步驟 序判定結果， -37- 201207716 而進行該當注目列之像素的合成處理，或因應需要而進行 圖層分離·加工·合成，以成爲合成結果的影像。 然後，關於步驟F108、F109係於後述，但在步驟F1 10 中直到針對本次所輸入之現在畫格影像資料判斷爲處理都 結束爲止，會一直重複步驟F106〜F1 09之處理。亦即，若 以列單位來進行處理程序判定處理時，會重複進行直到針 對全列都進行了處理程序判定及合成處理。 分別說明隨著處理程序判定結果而對注目列所進行的 合成處理。 首先’圖1 8中係圖示了合成處理時所使用的影像資料 〇 圖I8的（a)係圖示了，步驟F102中本次所被輸入之 輸入影像（迸格影像資料）的推移動作有效領域。 圖18的（b)係圖示了，本次的時點上，既存之前次 合成影像資料。 圖18的（c)係圖示了，本次的時點上，既存之前前 次合成影像資料。 此外’這些係爲圖13之時點上的輸入影像、前次合成 影像資料、前前次合成影像資料的例子。 處理程序Ρ1，係爲不進行描繪的處理。 因此若注目列被判定爲處理程序Ρ 1時，則在步驟F 1 07 中’不會特別進行使像素反映在合成結果的合成處理。 處理程序Ρ 1所被適用的列，係爲圖1 3的A 1領域之各· 列’因此A 1領域係不作任何描繪。 -38- 201207716 作 _1Ειι 移 >**·二 推 的 料 資 像 影 格 畫 的。 次理 本處 從的 爲料 係資 ’ 素 P2像 序製 程複 理域 處領 效 有 列 各 之 域 領 2 A 的 3 tl 圖 爲 係 列 的 2 P 序 程 m: 理 處 用 適 該A2 τ：頁域，係爲與前次合成影像資料（及前前次合成影 像資料）不重複之領域。因此，只要將本次的輸入影像之 像素直接反映出來即可。 所謂相當於Α2領域之像素，係指如圖1 9的（a )所示 ’在輸入影像的推移動作有效領域中以斜線部所表示的各 列像素。 針對該各列像素，係直接複製成圖1 3的A2領域之像 素。 處理程序P 3，係爲從前次合成影像資料複製像素資料 的處理。 適用處理程序P3的列，係爲圖13的A6領域及A7領域 之各列。該A6領域及A7領域，係爲與本次所被輸入之畫 格影像資料的推移動作有效領域不重複之領域。因此，只 要將前次合成影像資料之像素直接反映出來即可。 所謂相當於A6領域及A7領域之像素，係指如圖1 9的 (b )所示，在前次合成影像資料中以斜線部所表示的各 列像素。 針對該前次合成影像資料的各列像素，係直接複製成 圖1 3的A6領域及A7領域之像素。 處理程序P4，係爲在前次合成影像資料上將本次的畫 格影像資料的動態被攝體影像（動態被攝體圖層）的像素 -39- 201207716 資料進行複製的處理》 適用處理程序P4的列，係爲圖1 3的A5領域之各列。 該A 5領域，係爲與本次所被輸入之畫格影像資料的後領 域。該領域係爲，只有本次的畫格影像資料的動態被攝體 ，重疊於前次合成影像資料而被顯示。 圖20的上段係_示了輸入影像的動態被攝體影像。此 係針對已被輸入之沿格影像資料進行了圖3所說明的圖層 分離後的動態被攝體圖層。亦即，圖層處理部3係藉由圖 層分離部3 1的機能’針對本次所被輸入之畫格影像資料， 使用動態被攝體資訊而進行圖層分離，生成圖示的只有動 態被攝體的影像（沒有背景的影像）。 然後，在該圖20的動態被攝體影像當中，斜線部係相 當於後領域。該當於該後領域的各列像素中，僅將構成動 態被攝體影像的像素，轉印至圖20下段所示的前次合成影 像资料之A5領域相當部分（斜線部）。 如此，在前次合成影像資料上，被轉印有本次的畫格 影像資料的後領域的動態被攝體影像之狀態，就會成爲圖 13的A5領域之合成影像資料而反映出來。 處理程序P 5，係爲將本次所被輸入之畫格影像資料的 動態被攝體影像、和前次關鍵畫格的動態被攝體影像、和 本次所被輸入之畫格影像資料的背景影像之3個圖層加以 合成的處理。 適用處理程序P5的列，係爲圖〗3的A3領域之各列。 該A3領域，係爲本次所被輸入之畫格影像資料的推移動 -40- 201207716 作有效領域、與前次合成影像資料重疊的部分。因此，以 圖2 1所示的優先順位來合成3個圖層。 圖2 1的（a )係圖示了輸入影像的動態被攝體影像（ 動態被攝體圖層）。又，圖21的（c)係圖示了輸入影像 的背景影像（殘存背景圖層）。 圖層處理部3，係藉由圖層分離部31的機能，和上記 處理程序P4同樣地，針對已被輸入之畫格影像資料，進行 圖3所說明的圖層分離，獲得這些動態被攝體影像與背景 影像。 又，圖21的（b)係圖示了前次合成影像資料被生成 之際的關鍵畫格，亦即前次關鍵畫格的動態被攝體影像（ 動態被攝體圖層）。此外，雖然前次關鍵畫格影像係被含 在前次合成影像資料中，但前次關鍵畫格的動態被攝體影 像之抽出，係使用前次關鍵畫格所對應之動態被攝體資訊 就可抽出。 於該圖21的（a) (b) (c)中，圖13的合成後的影 像上的領域A3所相當之部分，係標示斜線。 在處理程序P5的合成處理中，針對圖21的（a) ( b ) (c )的斜線部的列的像素，如圖示，以輸入影像的動態 被攝體影像爲第1優先、前次關鍵畫格的動態被攝體影像 爲第2優先、輸入影像的背景影像爲第3優先，而進行圖層 合成。 亦即，在圖2 1的（a )的斜線部中構成動態被攝體的 像素，係被視爲最優先。圖2 1的（a )的斜線部中構成動 -41 - 201207716 態被攝體的像素以外的部分’係於圖2 1的（b )的斜線部 中’若是構成動態被攝體的像素，則該像素會被套用。這 些以外的像素部分’係被圖21的（c)的構成背景影像之 像素所套用。 然後如此3圖層之像素被合成的狀態，係被反映成爲 圖1 3的A3領域之合成影像資料。 處理程序P6，係爲將本次所被輸入之畫格影像資料的 動態被攝體影像、和前次關鍵畫格的動態被攝體影像、和 則即次合成影像資料的動態被攝體影像、和本次所被輸入 之镫格影像資料的背景影像之4個圖層加以合成的處理。 適用處理程序P 6的列，係爲圖1 3的A 4領域之各列。 該A4領域’係爲本次所被輸入之畫格影像資料的推移動 作有效領域、與前次合成影像資料及前前次合成影像資料 重铿的部分。因此，以圖22所示的優先順位來合成4個圖 層。 圖22的（a)係圖示了輸入影像的動態被攝體影像（ 動態被攝體圖層）。又’圖22的（d)係圖示了輸入影像 的背景影像（殘存背景圖層）》 又’圖22的（b)係圖示了前次合成影像資料被生成 之際的關鍵遣格，亦即前次關鍵畫格的動態被攝體影像（ 動態被攝體圖層）。 又，圖22的（c)係圖示了前前次合成影像資料被生 成之際的關鍵蛰格’亦即前前次關鍵畫格的動態被攝體影 像（動態被攝體圖層）。 -42- 201207716 圖層處理部3，係藉由圖層分離部31的機能，和上記 處理程序P 4同樣地，針對已被輸入之畫格影像資料’進行 圖3所說明的圖層分離’獲得這些動態被攝體影像與背景 影像。又，從前次合成影像資料、前前次合成影像資料中 ，分別使用動態被攝體資訊而將前次關鍵畫格的動態被攝 體影像、前前次關鍵畫格的動態被攝體影像，予以抽出。 於該圖22的（a) ( b) ( c) ( d)中，圖13的合成後 的影像上的領域A4所相當之部分，係標示斜線。 在處理程序P6的合成處理中，針對圖22的（a) (b) (c ) ( d )的斜線部的列的像素，如圖示，以輸入影像的 動態被攝體影像爲第1優先、前次關鍵畫格的動態被攝體 影像爲第2優先、前前次關鍵畫格的動態被攝體影像爲第3 優先、輸入影像的背景影像爲第4優先，而進行圖層合成 〇 亦即’在圖2 2的（a )的斜線部中構成動態被攝體的 像素’係被視爲最優先。圖2 2的（a )的斜線部中構成動 態被攝體的像素以外的部分，係於圖2 2的（b )的斜線部 中，若是構成動態被攝體的像素，則該像素會被套用。然 後，若在圖22的（a ) ( b )中並非構成動態被攝體之像素 的部分而是於圖22的（c )的斜線部中構成動態被攝體的 像素’則該像素會被嵌入。這些以外的像素部分，係被圖 2 2的（d )的構成背景影像之像素所套用。 然後如此4圖層之像素被合成的狀態，係被反映成爲 圖13的A4領域之合成影像資料。 -43- 201207716 處理程序P1〜P6的合成處理係進行如上。 在圖16的步驟F107中，隨應於步驟F106中的處理程序 判定結果，作爲注目列的處理會執行上記處理程序P 1〜P6 之任一者。 此外，亦可不是以列單位，而是以像素單位來重複步 驟F106〜F109之處理。 然後，在針對合成處理對象的所有列（所有像素）， 都進行過任一處理程序之處理的時點上，就完成了例如圖 1 3的合成影像資料。 在此時點上，H 16的處理係從步驟F1 10前進至FI 1 1。 在步驟F 1 1 1中，圖層處理部3係將合成影像資料供給 至影像輸出部4。影像輸出部4，係將所被供給之合成影像 資料，當作構成動作推移動畫的1個畫格而輸出至影像記 錄再生部4 0。 此外，影像輸出部4係亦可爲，隨著合成處理所要的 時間，或來自影像輸入部10的畫格影像資料之輸入間隔等 ，或爲了要表現緩慢推移之動畫等，而將1張合成影像資 料，當作構成動作推移動畫之複數畫格而連續輸出。 在步驟F112中，係隨著本次處理之畫格影像資料是否 爲關鍵迸格，而分歧處理。亦即，隨著步驟F 1 0 3中的判定 結果而分歧處理》 若本次所被輸入之畫格影像資料是關鍵畫格，則在步 驟F 1 1 3中’爲了將本次所生成之合成影像资料，在今後的 處理中當成前次合成影像資料而使用，進行保存在合成影 -44 - 201207716 像更新保持部5中的處理。 合成影像更新保持部5，係將此時點上所保持的前次 合成影像資料當作前前次合成影像資料，將本次新的從影 像輸出部4所供給之合成影像資料當作前次合成影像資料 ’而加以保持。此外，亦可還附隨有關鍵畫格的動態被攝 體資訊等而加以記憶。 然後，返回步驟F101’進入下個畫格影像資料的處理 〇 以上步驟F101〜F113之處理，是畫格影像資料每次輸 入就被重複的過程，而會輸出如圖6〜圖15所示的動作推 移動畫。 亦即，藉由步驟F 1 1 1中的影像輸出部4所作的合成影 像資料之輸出，影像記錄再生部40係進行記錄處理及顯示 處理。 首先，畫格影像資料係被輸入，每進行影像合成時在 步驟Fill中，合成影像資料會成爲構成動畫之1畫格而被 輸出至影像記錄再生部40的顯示驅動器44。 顯示驅動器44，係將該合成影像資料當作動畫的1畫 格，而顯示在顯示部4 5。其結果爲，顯示部4 5中會被顯示 輸出如圖6〜圖15所示的動作推移動畫。 亦即合成處理的過程，會被直接顯示出來。 又，藉由步驟Fill的輸出’各合成影像資料會被記錄 〇 亦即，來自影像輸出部4的合成影像資料，係對記錄 -45- 201207716 再生處理部4 2當作記錄畫格影像資料而供給。 記錄再生處理部42，係將該各記錄畫格影像資料，當 作構成動作推移動蜜的各畫格而進行處理，控制記錄媒體 驅動部4 3的動作，當作一連串的動畫資料而逐—記錄至記 錄媒體中。 以圖23說明藉由記錄再生處理部42之處理而被記錄在 記錄媒體中的記錄诳格影像資料。 圖23的（a)係模式性關示了被輸入至輸入影像選擇 部2的原始的道格影像资料！·.。 在上述的處理中’畫格F1、F2、F3 ...分別被輸入 之時點上’會分別進行合成處理’生成圖23的（b)所示 的各合成影像資料（rFl、rF2 · · ·)。 該關23的（b )的各合成影像資料，係爲例如圖6〜圖 1 5所示的1遨格之影像資料。 該合成影像資料係被當成記錄畫格影像資料rF 1、rF2 、rF3 ...而被逐一記錄至記錄媒體中。因此，作爲動 作推移動畫的形成一連串動畫之各畫格，就會被保存下來 〇 此外’從該圖23的（b)也可知，不只是關鍵畫格合 成時的合成影像資料’在非關鍵畫格合成時的合成影像資 料，也是被當成1個記錄畫格影像資料而被記錄。 在步，驟F 1 0 1中’若判斷爲全畫格擷取結束，則處理係 則進至步驟F 1 1 4 ’結束合成處理，並且影像輸出部4會結 束合成影像资料的輸出。或者’在顯示部4 5中，亦可將例 -46 - 201207716 如圖1 5所示的最終畫格的合成影像資料，持續輸出。亦即 ，在顯示部14上，圖6〜圖15之動作推移動畫係完成而成 爲最後圖1 5的影像被持續的狀態。 又，在此時點上係爲’目前爲止所有的合成影像資料 ，是被當成記錄畫格影像資料而記錄在記錄媒體中之狀態 〇 若依據以上之處理’則於動作推移動畫的自動生成時 ，動作可能範圍之擴大所致之動態被攝體的確實表現、和 藉由排列多數動態被攝體以在時間方向上精細之動作推移 的表現，兩者就能同時成立。 尤其是藉由圖層合成，各動態被攝體影像是例如高爾 夫球桿前端不會缺損地被確實表現，且可排列多數動態被 攝體影像，可以時間上較細緻之間隔來表現動作推移。 藉此就可簡單地、且非常容易地，確認自己的運動姿 勢、或野生動物的複雜運動、實驗室中的自然現象等。又 ，也不需要剪貼影像資料等之手工作業，因此對使用者負 擔非常輕，有用性很高。 又，可生成動作推移動畫，並加以顯示輸出。然後， 該動作推移動畫，係藉由將各時點的合成影像資料以動畫 方式輸出，因此視覺效果高，動作的推移可容易理解地被 觀看。 又，藉由將各時點的合成影像資料當作動作推移動畫 所需之記錄畫格影像資料而記錄在記錄媒體，在之後的時 點上藉由再生就可動態地顯示影像的合成過程，所被合成 -47- 201207716 之各個映像的關連性，可容易理解地傳達給使用者。 尤其是如後述的拖曳操作、輕拂操作、指點操作爲例 的說明，可用對使用者而言是直覺且容易理解的操作，就 能進行動作推移動®的再生、或各動作階段之影像再生。 又，在上記的生成處理例中，藉由基於處理程序判定 而進行合成處理，而實現高效率的處理。亦即伴隨3圖層 、4圖層之圖層合成的處理程序P5、P6中的合成處理是處 理負擔較大的處理，但這些是僅對必要的像素領域來執行 。然後，在不需要岡層合成的領域中係以處理程序P 1、P2 、P3等單純的複數處理就可對應。藉此可謀求處理的效率 化，減輕處理負擔。 此處說明圖16中的步驟F108、F109之處理。 步驟F1 09的所謂複製處理，係例如在圖14的時點上， 將上段的最後之動態被攝體複製成下段的最初之動態被攝 體的處理。 如圖14所示，先將合成影像資料的上段之右端（從左 往右前進時）的所定範圍，設定成下段複製範圍》 然後，圖層處理部3係進行處理程序判定，針對已對 合成影像資料合成的各列，在步驟F 1 08中，判別該列（或 像素）是否該當於下段複製範圍（亦即上段的最後之領域 )。若該當於下段複製範圍，則在步驟F1 09中，將該列的 像素，逐一複製至下段的對應位置。 藉由進行該處理，如圖1 4所示，上段中的下段複製範 圍之影像被合成之際，同時下段也會合成相同的影像。 -48- 201207716 在動作推移動畫的顯示上，圖Η之上段的最後之動態 被攝體，和下段的最初之動態被攝體，係會同時出現相同 的影像。 藉由進行如此處理，下段複製範圍的動態被攝體也能 不會中途切掉部分而能確實地表現。亦即，隨著被攝體之 狀態，雖然上段的最後之影像的位置會中途切掉，但如此 之被攝體也會被適切顯示在下段。又，藉此，上段之動作 推移、與下段之動作推移，就可容易觀看地移行。 此外，此種步驟F108、F 109之處理，係如圖6〜圖15 的例子所示，只有要將動作推移影像在畫面上作複數段顯 示時，才會需要的處理。 例如亦可以橫長之影像的方式，進行全部都排列在橫 方向上（不是2段以上）的合成處理，但此情況下，就不 需要步驟F108、F109之處理。 進行上記處理的本實施形態的影像處理裝置1，係只 要是能取得藉由可拍攝連續靜止影像或動態影像的攝像裝 置所拍攝下來的複數畫格影像資料者即可。例如，亦可內 藏於攝像裝置，或內藏於把已被拍攝之複數畫格影像資料 進行再生的再生裝置裡。甚至亦可內藏於，將已被拍攝之 複數畫格影像資料進行收訊/傳送輸入的機器裡。 因此可廣泛適用於，例如行動電話機、pda ( Personal Digital Assistant)、個人電腦、視訊再生裝置 、視訊編輯裝置等。 -49- 201207716 Π.動作推移影像的再生顯示處理例] < 3-1 :拖曳操作> 如上記，構成動作推移影像的合成影像資料（記錄畫 格影像資料）’係在合成處理時被記錄在記錄媒體中。 藉由將該記錄媒體中所記錄之記錄畫格影像資料予以 再生顯示’使用者就可在合成處理後的任意時點上將動作 推移影像以動畫方式進行觀看。 亦即，藉由未圓示的操作部、或相應於顯示內容的來 自觸控面板46的使用者之再生操作，而指示了動作推移動 畫之再生時，UI控制部41係對記錄再生處理部42指示進行 再生處理。 如此一來，在記錄再生處理部42中，係記錄媒體中所 記錄之如圖23的（b )所示的記錄畫格影像資料rFl、rF2 • ••就會被從記錄媒體驅動部43中讀出，進行再生處理 然後供給至顯示驅動器44。 顯示驅動器44，係將所被供給之各記錄畫格影像資料 rFl、rF2· · ·，依序顯示在顯示部45。 如此一來，如圖6〜圖15所示的動作推移動畫，就會 被顯示在顯示部45上。 藉此，使用者係不僅是單純關看到如圖1 5所示之作爲 動作推移影像的靜止影像，而是可在任意時點上，圖6〜 圖1 5是以動遺的方式，觀看揮桿姿勢等影像。 在本例中，不只是此種動作推移動畫的再生，而是也 可容易地觀看使用者想要觀看之階段的影像。 -50- 201207716 例如在使圖6〜圖15的動作推移動畫被再生時’叫控 制部4 1係將一連串記錄畫格影像資料rF 1、rF2 · ·.以動 畫方式進行再生，將圖1 5的最終畫格的記錄畫格影像資料 rF ( z)予以持續顯示輸出。
此處，如圖1 5所示的最終畫格的記錄畫格影像資料r F (z )，係只有關鍵畫格是以大致等間隔所排列成的影像 〇 對使用者而言，有時會想要再次觀看關鍵畫格與關鍵 畫格之間（亦即非關鍵畫格之影像）。 於是在本例中，使用者藉由使用觸控面板46之操作， 就可容易觀看想要觀看之階段的影像。 首先，說明拖曳操作之例子來作爲其操作手法。 圖2 4係圖示了最終畫格的記錄畫格影像資料rF93正被 顯示之狀態。 此外，該記錄畫格影像資料rF93，係如圖示，是作爲 原始畫格影像資料的關鍵畫格Fl，F6，FI 1 . · . . F93所 被合成的合成影像資料。若以上記合成處理來說，是當原 始的畫格影像資料F93被輸入時所進行的，該時點上的既 存之合成影像資料（關鍵畫格F1〜F88的合成影像）、和 畫格F93的合成處理。 該合成影像資料係被當成記錄畫格影像資料rF93而被 記錄至記錄媒體中。 然後，該圖24係例如使用者再生動作推移動畫，而動 畫再生結束後，屬於最終畫格的該記錄畫格影像資料rF9 3 -51 - 201207716 是被持續顯示輸出的狀態。 此處，虛線框所示的領域AN，係爲正在顯示中的最 新畫格影像資料F93的領域。 此外，此時所謂的「最新畫格影像資料」，係在顯示 上的合成前之原始格影像資料當中，在時間軸上位於最 後方的畫格影像資料。此處，最後所被顯示的再生影像， 係合成影像資料的記錄畫格影像資料rF93，但所謂「最新 蜜格影像資料」的領域AN，係指來自原始畫格影像資料 F93的動態被攝體或背景影像所被配置之領域。 作爲一例，所謂最新這格影像資料之領域AN，係亦 可爲例如在圖1 3的情況下，本次的畫格之推移動作有效領 域（A2〜A5)之範圍。或者亦可設定成爲動態被攝體所 主要位於的領域A3、A4之範圍等。 此時，作爲對觸控面板46之操作，假設是進行如圖所 示，使用者在顯示畫面上以手指從領域AN內往左方向畫 過的拖曳操作d r k。 如此一來，如圖2 5所示，隨著拖曳操作drk，再生影 像會有變化。亦即，拖曳操作之尾端位置所相應的再生影 像，會被輸出。 在此例中，若假設拖曳操作之尾端位置係爲對應於原 始畫格影像資料F58之位置，則會一直再生到該原始畫格 影像資料F58的合成時的合成影像資料（記錄畫格影像資 料rF58 )爲止。 亦即，從記錄畫格影像資料rF 9 3的持續輸出狀態，伴 -52- 201207716 隨著拖曳操作，而以記錄畫格影像資料 rF92—»rF91—rF90—.之方式，在時間軸上逆向地 再生各畫格。所謂的逆向再生畫面’是隨著手指按壓位置 的移動而被執行。然後，使用者結束拖曳操作之位置，例 如若是記錄畫格影像資料rF5 8的對應位置，則該當逆向再 生是以圖25的狀態作結束，持續輸出圖25的記錄畫格影像 資料rF5 8。亦即，顯示上係爲靜止影像狀態。 然後假設使用者接著對圖25的顯示，從該顯示狀態下 的最新畫格影像資料之領域起，進行拖曳操作。如圖26所 示，原始畫格影像資料F5 8之領域，就會成爲最新畫格影 像資料之領域AN。 假設在該領域AN內以手指按壓，稍微往右方進行拖 曳操作drk。 若假設該拖曳操作之尾端位置是對應於原始畫格影像 資料F59之位置，則如圖27，原始畫格影像資料F5 9輸入時 的合成影像資料亦即記錄畫格影像資料rF59，會被再生。 亦即，是朝通常方向前進動畫之1格的再生。 例如從該圖24至圖27的例子所示，使用者係藉由拖曳 操作，就能使動作推移影像之中想要觀看之階段的影像， 容易被再生。 亦即，拖曳操作中，係可隨著以手指劃過之速度而觀 看順方向或逆方向的動畫再生，若結束拖曳操作，則可觀 看該結束位置所對應之靜止影像。 此外，上記例子中的原始畫格影像資料F5 8、F5 9係爲 -53- 201207716 非關鍵畫格。如圖23所說明’不只是關鍵畫格輸入時的合 成影像資料，非關鍵畫格輸入時的合成影像資料，&胃司· 以不一一區分地當成一連串構成動畫之記錄畫格影像資料 而記錄。因此，再生時，原始畫格影像資料是否:爲__ _ 格，並沒有關係。 換自之’如此不區別關鍵畫格、非關鍵靈格而記錄下· 合成影像資料，藉此，使用者就可任意觀看原始的全：g)3a 格影像资料之各階段的影像。 隨應於拖曳操作的顯示變化，整理在圖28。 如圖28的（a)所示，使用者從顯示上的最新畫格影 像資料之領域AN內往右方向進行拖曳操作drk，作爲操作 結果，該拖曳操作之尾端位置所對應之畫格爲止，會被再 生顯示。在畫面上，可以目視確認到動態被攝體的影像被 逐一展開的印象。 如圖28的（b)所示，使用者從顯示上的最新畫格影 像資料之領域AN內往左方向進行拖曳操作drk，作爲操作 結果，該拖曳操作之尾端位置所對應之畫格爲止，會被逆 向再生顯示。在畫面上，可以目視確認到動態被攝體的影 像被逐一重®的印象。 另一方面，圖28的（c)係圖示了，使用者在顯示內 的最新這格影像資料之領域AN以外之部分，進行了拖曳 操作drk時的情形。此時，作爲一例可考慮，將拖曳操作 視爲無效，顯示上的再生影像係沒有變化。 只不過，當然，亦可考量在此種情況下，進行例如到 -54- 201207716 拖曳操作之尾端位置爲止的各記錄畫格影像資料的再生之 處理例。 說明以上的拖曳操作所相應之再生控制例的處理。 以下所述之處理，係爲UI控制部41隨應於觸控面板46 之輸入而控制記錄再生處理部42等的處理。 UI控制部4 1係隨應於觸控面板46所測知的拖曳操作， 而從現在再生輸出中的記錄畫格影像資料的畫格位置，執 行前方或後方之畫格位置的記錄畫格影像資料之再生》 此外，顯示上之位置（觸控面板上之位置）、和畫格 位置之對應關係，係可掌握如下。 此處係說明，不是如圖24的畫面上2段之顯示，而是 如圖28所示在畫面上以1段而全部在橫方向上排列的動作 推移動畫。 此時，顯示部45的畫面上（觸控面板46上）的橫方向 之座標，係考慮爲X座標。 關於一連串原始畫格影像資料，假設第η個畫格Fn的X 座標爲
又，其逆轉換函數爲
-55- 201207716 藉由使用該觸控面板46上的x座標、和螯格號碼n的函 數，就可隨著拖曳操作的移動量，來判定應再生之記錄畫 格影像資料。 此外，由圖23的說明也可知，對應於原始畫格影像資 料「F1」之位置而爲再生對象的記錄畫格影像資料，係爲 「rF 1」。同樣地，對應於原始畫格影像資料「F2」之位 置而爲再生對象的記錄畫格影像資料，係爲「rF2」。以 降的各I!格也是同樣如此。 然後，上記函數係可考慮如下。 例如，圖23的（c )的記錄畫格影像資料rF4係對應於 原始畫格影像資料F4，假設原始畫格影像資料F4的記錄畫 格影像资料rF4內的描繪位置之X座標値=w。 此情況下，由於X座標値=w，3|格號碼n=4，因此 w = fx ( 4 ) 4 = Fx ( w ) 如此所得的畫格號碼「4」，係爲原始畫格影像資料 F4的畫格號碼，但其係作爲再生對象之畫格號碼，表示記 錄畫格影像資料rF4。 又，在如圖24的上下二段之動作推移影像時，係也可 使用縱方向的y座標來進行函數處理，但若把下段直接拿 來當成上段的後續而使X座標行進，則可直接適用上記函 數。例如假設上段係X座標爲〇〜η，下段的X座標爲H+1〜 -56- 201207716 m，而設定了 〇〜m的x座標之情形。此情況下，觸控面板 46上的y座標，係只要單純判別其爲上段還是下段來使用 即可。 圖29中係圖示作爲拖曳操作對應處理的UI控制部41的 處理例。 當使某記錄畫格影像資料rFm被再生時，偵測到觸控 面板46之操作的情況下，UI控制部41係在步驟F401，首先 取得作爲最初拖曳開始位置的X座標値X 1。亦即，將使用 者最初對觸控面板46碰觸之位置，當作拖曳開始位置，偵 測出其X座標値。 在步驟F4 0 2中，UI控制部4 1係判定，該當拖曳開始位 置xl，是否位於此時點的顯示內容中的最新畫格影像資料 之領域A N內。 如圖28的（c )所示，若拖曳開始位置xl不是領域AN 之範圍，則本次的拖曳操作係爲無效，所以此時係從步驟 F402結束圖29的拖曳操作對應處理。 另一方面，若拖曳開始位置X 1是在領域AN內，則進 行步驟F403〜F405之處理。 UI控制部41係在步驟F403中，取得拖曳操作的經過位 置x2。亦即，是使用者從拖曳開始位置X 1起滑過手指而移 動的觸控面板押壓位置的，此時點的觸控位置之X座標値 〇 在步驟F4 04中，UI控制部41係進行描繪畫格位置之演 算。 -57- 201207716 此時假設拖曳移動量爲Δχ， Δ X = χ2-χ1 會進行以上演算。 此外，如圖2 8的（a )若是往右方向的拖曳操作時， 則拖曳移動量△ X係爲正値，如圖28的（b )若是往左方向 的拖曳操作時，則拖曳移動量△ X係爲負値。（假設動作 推移是從左往右行進，且X座標値係例如以畫面左端爲0而 往右是正値行進時） 亦即拖曳移動量Δχ的正負，係表示拖曳方向，此時 的拖曳移動ΜΔχ，係爲將拖曳移動量與拖曳方向一起顯 示的値。 然後，藉由n=Fx(xl+Ax)的函數演算，獲得畫格 號碼η » 直到畫格號碼η的記錄斑格影像資料rFn爲止，是隨應 於單位時間之拖曳操作而應再生的畫格。 於是，UI控制部4 1係在步驟F405中，控制記錄再生處 理部42及顯示驅動器44而執行畫格描繪。 亦即，在拖曳開始時點從顯示中的某記錄畫格影像資 料rFm，到蜜格號碼n的記錄畫格影像資料rFn爲止，會被 再生。 此情況下，若r F m < r F η，則記錄再生處理部4 2，係進 行以記錄畫格影像資料rFm —rF ( m + 1 ) —rF ( m + 2 ). -58- 201207716 • · rFN之順序而將各記錄畫格影像資料從記錄媒體讀出 之處理，並供給至顯示驅動器44。顯示驅動器44係令所被 供給之記錄畫格影像資料rFm〜rFN，依序顯示在顯示部 45 ° 藉此，就執行了如圖2 8的（a )之顯示。 又，若rFm > rFn，則記錄再生處理部42，係進行以記 錄畫格影像資料 rFm —rF ( m-1 ) ->rF ( m-2 ) · . . rFN 之 順序而將各記錄畫格影像資料從記錄媒體讀出之處理，並 供給至顯示驅動器44。顯示驅動器44係令所被供給之記錄 畫格影像資料rFm〜rFN，依序顯示在顯示部45。 藉此，就執行了如圖28的（b )之顯示。 UI控制部41係在步驟F406中，判別使用者的手指是否 離開，亦即拖曳操作是否結束。 若拖曳操作已被結束，則結束處理。此時，UI控制部 4 1係對記錄再生處理部42及顯示驅動器44指示，令其以後 就持續輸出著拖曳結束時點上的畫格影像資料rFn。 另一方面，若拖曳操作是持續，則在步驟F407中將χ2 的値代入X 1。亦即，將此時點上的經過位置x2，視爲下個 單位時間中的拖曳開始位置xl。然後，再次返回步驟F4 0 3 ，進行同樣的步驟F403〜F405之處理。因此，就會進行後 續持續之拖曳操作所相應的再生。 藉由如此在每單位時間進行步驟F403〜F405之處理， 就會隨應於使用者的拖曳操作之持續的手指之活動，如圖 2 8的（a )( b )所示，影像會被逐一展開、或是折疊。 -59- 201207716 亦即，UI控制部4 1係偵測出，每單位時間被觸控面板 4 6所測知的拖曳操作Μ及拖曳操作方向。然後，將現在再 生輸出中之記錄畫格影像資料的畫格位置當作開始畫格位 置時’判定從該開始畫格位置起往前方或後方之畫格位置 的結束I!格位置。然後’令從開始畫格位置至結束畫格位 置爲止的各記錄畫格影像資料，被依序再生。 藉由此種拖曳對應處理，則藉由將作爲動作推移影像 之各階段的合成影像資料加以再生，除了可動態地顯示影 像的合成過程，同時，可將合成過程中使用者想要觀看之 階段的再生影像，以對使用者而言容易操作的方式進行提 供。 尤其是，藉由把動畫在時間軸上之位置，與觸控面板 之空間軸上之位置建立關連，就可更爲直覺地操作。 此外，亦可沒有圖29的步驟F402之判斷，而是即使在 領域AN以外之拖曳操作，也不將其視爲無效，而隨著拖 曳操作量及方向而進行上記再生處理》此時，可考慮將拖 曳開始位置X 1，當作此時點的領域AN之位置。 < 3-2 :輕拂操作> 接著，作爲其他操作例，說明輕拂操作。 所謂輕拂操作，係使用者在觸控面板46上用手指撥彈 的這類操作。 圖3 0係圖示相應於輕拂操作的再生態樣。 如圖30的（a )所示，假設使用者從顯示上的最新畫 -60- 201207716 格影像資料之領域AN內，往右方向進行了輕拂操作。亦 即，如圖3 0的（b )，假設在領域AN內，以手指朝右方向 撥彈。 此情況下，作爲操作結果，會隨著該輕拂操作而會再 生顯示直到所定之畫格。在畫面上，可以目視確認到動態 被攝體的影像被逐一展開的印象。 又，如圖30的（c)所示，使用者從顯示上的最新衋 格影像資料之領域AN內往左方向進行輕拂操作時，係隨 應於輕拂操作而會逆向再生顯示直到所定之畫格。在畫面 上，可以目視確認到動態被攝體的影像被逐一重疊的印象 〇 此外，雖然未圖示，但使用者從顯示內的最新畫格影 像資料之領域AN以外之部分進行輕拂操作時，作爲一例 ，考慮將輕拂操作視爲無效，顯示上的再生影像係沒有變 化。 只不過，當然，亦可考量在此種情況下，隨應於輕拂 操作而進行各記錄畫格影像資料的再生之處理例。 UI控制部4 1係如此隨應於被觸控面板46所測知的輕拂 操作，而進行控制，從現在再生輸出中的記錄畫格影像資 料的畫格位置，執行前方或後方之畫格位置的記錄畫格影 像資料之再生。 UI控制部4 1所做的輕拂操作對應處理之例子，示於圖 31 〇 當使某記錄畫格影像資料rFm被再生時，偵測到觸控 -61 - 201207716 面板46之操作的情況下，UI控制部41係在步驟F501， 作爲輕拂操作位置的X座標値X 1。亦即，將使用者最 觸控面板46碰觸之位置，當作輕拂操作位置，偵測tt 座標値。 在步驟F5 02中，UI控制部4 1係判定，該當輕拂操 置xl，是否位於此時點的顯示內容中的最新畫格影像 之領域AN內。 若輕拂操作位置X 1並非領域AN之範圍，則本次 拂操作係視爲無效，從步驟F5 02起結束圖31的輕拂操 應處理。 另一方面，若輕拂操作位置是在領域AN內， 進至步驟F503。 UI控制部41係在步驟F503中，取得輕拂操作的速 。例如輕拂操作之際，根據某單位時間中的押壓位· 座標的微小變化量，算出輕拂速度Vd。 此外，輕拂方向若是往右方向（圖30的（a)之 )，則輕拂速度Vd係爲正値。又，輕拂方向若是往 向（圖30的（c )之例子），則輕拂速度Vd係爲負値。 接著，步驟F5 04中，UI控制部41係隨應於輕拂 Vd，算出位移距離Δχ»此處所謂的位移距離Δχ， 當於所被再生之畫格數。 例如對輕拂速度Vd的絕對値，事前關連對應有 數。例如，事先設定好輕拂速度越快則相當於越多數 格數的位移距離△ X的此種線性函數或是非線性函數。 取得 初對 ：!其X 作位 資料 的輕 作對 則前 度vd t之X 例子 左方 速度 係相 畫格 之畫 -62- 201207716 亦即當使用者快速撥彈手指時，會有多數畫格被再生 ’若緩慢撥彈手指時，則有少數畫格被再生。 當往右方向迅速撥彈時’位移距離△ x的値係爲正値 且較大的値。 當往右方向緩慢撥彈時，位移距離△ X的値係爲正値 且較小的値。 當往左方向迅速撥彈時，位移距離ΔΧ的値係爲負値 且絕對値較大的値。 當往左方向緩慢撥彈時，位移距離△ X的値係爲負値 且絕對値較小的値。 在步驟F505中，UI控制部41係藉由n=Fx(xl+Ax) 之函數演算，獲得畫格號碼η。 直到畫格號碼η的記錄畫格影像資料rFn爲止，是隨應 於本次輕拂操作而應再生的畫格。 於是，UI控制部4 1係在步驟F 5 0 6中，控制記錄再生處 理部42及顯示驅動器44而執行畫格描繪》 亦即，從現在顯示中的某記錄畫格影像資料rFm，到 畫格號碼η的記錄畫格影像資料rFn爲止，會被再生。 此情況下’若rFm < rFn ’則記錄再生處理部42 ’係進 行以記錄畫格影像資料rFm —rF ( m + 1 ) —rF ( m + 2 ). .· rFN之順序而將各記錄畫格影像資料從記錄媒體讀出 之處理，並供給至顯示驅動器44。顯示驅動器44係令所被 供給之記錄畫格影像資料rFm〜rFN，依序顯示在顯示部 -63- 45 ° 201207716 藉此’就執行了如圖30的（a)之顯示。 又’若rFm > rFn，則記錄再生處理部42，係進行以記 錄 2!格影像資料rFm—>rF(m-l)—rF(m-2) · . .rFN 之 順序而將各記錄畫格影像資料從記錄媒體讀出之處理，並 供給至顯示驅動器44。顯示驅動器44係令所被供給之記錄 2格影像資料rFm〜rFN，依序顯示在顯示部45。 藉此’就執行了如圖30的（c)之顯示。 UI控制部4 1，係在以上就完成了相應於1次輕拂操作 的處理。 又’此後，UI控制部41係對記錄再生處理部42及顯示 驅動器44指示，令其持續輸出著相應於輕拂操作的再生結 束時點上的I!格影像資料rFn。 藉由如此進行輕拂操作對應處理，就會相應於使用者 的輕拂操作，而如圖3 0的（a )( c )所示，影像會被逐一 展開、或是折疊。 亦即，UI控制部41係隨應於觸控面板46所測知的輕拂 操作速度及輕拂操作方向，而將現在再生輸出中之記錄畫 格影像资料的畫格位置當作開始畫格位置時，判定從該開 始畫格位置起往前方或後方之畫格位置的結束畫格位置》 然後，令從開始畫格位置至結束畫格位置爲止的各記錄畫 格影像資料，被依序再生。 藉由此種輕拂對應處理，則藉由將作爲動作推移影像 之各階段的合成影像資料加以再生，除了可動態地顯示影 像的合成過程，同時，可將合成過程中使用者想要觀看之 -64- 201207716 階段的再生影像，以對使用者而言容易且直觀的操作方式 進行提供。 此外，亦可沒有圖31的步驟F502之判斷，而是即使在 領域AN以外之輕拂操作，也不將其視爲無效，而隨著輕 拂操作速度及方向而進行上記再生處理。此時，可考慮將 拖曳開始位置X 1，當作此時點的領域AN之位置。 或者亦可考量，當輕拂操作的時候，無論輕拂速度爲 何，總是使用一定的位移距離△ X來作處理。 例如在1次的輕拂操作中，總是進行1 0畫格再生等之 例子。 < 3-3 :指點操作> 接著，作爲另一種其他操作例，說明指點操作》 所謂指點操作，係使用者在觸控面板46上接觸某個位 置而加以指定的操作。 圖3 2係圖示相應於指點操作的再生態樣。 如圖32的（a)所示，假設使用者在顯示上接觸了某 個位置。例如作爲此時點的顯示內容，是沒有顯示任何東 西的位置。此情況下，作爲操作結果，會隨著該指點操作 而會再生顯示直到所定之畫格。在畫面上，可以目視確認 到動態被攝體的影像被逐一展開的印象。 又，如圖32的（b)所示，使用者在顯示上的某個畫 格影像資料之位置進行指點操作時，隨著該指點操作而會 逆向再生顯示直到所定之畫格。在畫面上，可以目視確認 -65- 201207716 到動態被攝體的影像被逐一重疊的印象。 UI控制部4 1係如此隨應於被觸控面板46所測知的指點 操作’而進行控制，從現在再生輸出中的記錄畫格影像資 料的畫格位置’執行前方或後方之畫格位置的記錄畫格影 像資料之再生》 UI控制部4 1所做的指點操作對應處理之例子，示於圖 33 〇 當使某記錄畫格影像資料r Fm被再生時，偵測到觸控 面板46之操作的情況下，UI控制部41係在步驟F601，取得 作爲指點操作位置的X座標値xp »亦即，將使用者對觸控 面板46碰觸之位置的X座標値予以偵測出來。 在步驟F602中，UI控制部41係使用該當指點操作位置 xp進行函數演算： n = Fx ( xp) 求出指點操作位置xp所對應之畫格號碼。 直到畫格號碼η的記錄遣格影像資料rFn爲止，是隨應 於本次指點操作而應再生的畫格。 於是，UI控制部4 1係在步驟F603中，控制記錄再生處 理部42及顯示驅動器44而執行畫格描繪。 亦即，從現在顯示中的某記錄畫格影像資料rFm，到 畫格號碼η的記錄®格影像資料rFn爲止，會被再生。 此情況下，若r F m < r F η，則記錄再生處理部4 2，係進 -66- 201207716 行以記錄畫格影像資料rFm —rF ( m + 1 ) -rF ( m + 2 ). ..rFN之順序而將各記錄畫格影像資料從記錄媒體讀出 之處理，並供給至顯示驅動器44。顯示驅動器44係令所被 供給之記錄畫格影像資料rFm〜rFN，依序顯示在顯示部 45 ° 藉此，就執行了如圖3 2的（a )之顯示。 又’若rFm > rFn，則記錄再生處理部42，係進行以記 錄畫格影像資 WrFm — rF(m-l)—rF(m-2) · . .rFN 之 順序而將各記錄畫格影像資料從記錄媒體讀出之處理，並 供給至顯示驅動器44。顯示驅動器44係令所被供給之記錄 畫格影像資料rFm〜rFN，依序顯示在顯示部45。 藉此，就執行了如圖32的（b )之顯示。 UI控制部4 1，係在以上就完成了相應於1次指點操作 的處理。 又，UI控制部41之後係對記錄再生處理部42及顯示驅 動器44指示，令其持續輸出著相應於指點操作的再生結束 時點上的畫格影像資料rFn。 藉由如此進行指點操作對應處理，就會相應於使用者 的指點操作，而如圖32的（a ) ( b )所示，影像會被逐一 展開、或是折疊。 亦即，UI控制部4 1係隨應於觸控面板46所測知的指點 操作位置xp，而將現在再生輸出中之記錄畫格影像資料的 畫格位置當作開始畫格位置時，判定從該開始畫格位置起 往前方或後方之畫格位置的結束畫格位置。然後’令從開 -67- 201207716 始畫格位置至結束畫格位置爲止的各記錄畫格影像資料， 被依序再生。 藉由此種指點對應處理，則藉由將作爲動作推移影像 之各階段的合成影像資料加以再生，除了可動態地顯示影 像的合成過程，同時，可將合成過程中使用者想要觀看之 階段的再生影像，以對使用者而言容易且直觀的操作方式 進行提供。 此外，亦可考慮如下之處理。 若指點操作位置XP是比現在最新的畫格影像資料AN 之位置更爲後方的X座標値，亦即如圖32的（a )所示沒有 影像顯示之領域，則進行所定畫格數的順向再生。另一方 面，若指點操作位置xp是比現在最新的畫格影像資料AN 之位置更爲前方的X座標値，亦即如圖32的（b )所示是對 應於較新號碼的畫格影像資料之位置，則進行所定畫格數 的逆向再生。亦即，是僅指定前方/後方，而再生畫格數 爲一定的處理例。 < 3-4 :其他操作例> 以上雖然舉出了拖曳操作、輕拂操作、指點操作的例 子，但操作例還可有其他各種考量。 例如拖放操作，把手指離開的位置視爲放下位置。然 後’在放下時點上，將從拖曳開始位置到放下位置所對應 的記錄镫格影像資料，進行動畫再生，可作如此考慮。 又’上記的拖曳操作、輕拂操作、指點操作之例子中 -68- 201207716 ，雖然是將這些操作所指定的區間的複數畫格予以動畫再 生，但亦可在這些區間中’進行把畫格予以抽略的間歇性 動畫再生。 或著亦可考慮不作動畫再生，而直接就把拖曳結束位 置、指點操作位置所對應的記錄畫格影像資料，以靜止影 像的方式進行再生顯示。 又，亦可考量藉由2次指點操作而指定2個位置，將該 位置之間所對應之各畫格進行動畫再生。 又，由於動作推移影像是左右方向排列的例子，因此 在上記各處理例中是使用X座標値，但若動作推移影像是 上下排列的影像，則想當然爾，只要置換成y座標値即可 〇 又，在上記例子中是使用觸控面板46來進行操作，但 亦可藉由觸控面板以外的操作輸入裝置來進行操作。 例如可想定使用滑鼠來進行拖曳操作、輕拂操作、指 點操作。 甚至也可考慮用遙控器。例如若使用有點擊鈕或角速 度感測器、加速度感測器等的遙控器，來移動畫面上的指 標等’就可容易進行拖曳操作、輕拂操作、指點操作。又 ’亦可具備能夠在畫面上偵測光輸入位置之座標的偵測部 ’以對畫面上打光的雷射指標器等來進行操作。 [4.作爲顯示控制裝置的其他視點之構成] 於上記實施形態中，影像記錄再生部40、或UI控制部 -69- 201207716 41，係亦可設計成以下（A) ( B) (C)之構成的顯示控 制裝置。 (A )在具有預先設定之領域數、且具有以所定順序 而被配置之分割顯示領域的顯示畫面的各分割顯示領域中 ，將連續拍攝同一動態被攝體所得之彼此不同時間上的表 示同一動態被攝體之影像是被同時顯示的此種顯示畫面之 顯示內容加以控制的顯示控制裝置。 (B )使上記各分割顯示領域中所被顯示之表示上記 同一動態被攝體之影像，是以相應於上記同一動態被攝體 的時間序列之順序作配置，而控制上記顯示內容。 (C )具備顯示控制部，係進行顯示控制，以使得在 相應於使用者指示或動畫性再生處理而作成含有與上記顯 示畫面中所被顯示之顯示內容不同時間上的表示同一動態 被攝體之影像的顯示內容之際，含有上記不同時間上之同 一動態被攝體的同一動態被攝體的各影像，是以維持在相 應於上記同一動態被攝體的時間序列之順序的狀態下，被 顯示在上記分割顯示領域的每一者中。 此情況下，所謂具有預先設定之領域數、且具有以所 定順序而被配置之分割顯示領域的顯示畫面的各分割顯示 領域，係指例如相當於圖24所示的各畫格影像資料之顯示 領域的領域。 在該各分割顯示領域中，連續拍攝同一動態被攝體所 得之彼此不同時間上的表示同—動態被攝體之影像是被同 時顯示的此種顯示遵面之顯示內容’係指例如圖24〜圖27 -70- 201207716 各圖所示，多數動態被攝體被排列顯示。 然後，控制上記顯示內容，以使得上記各分割顯示領 域中所被顯示之表示上記同一動態被攝體之影像，是以相 應於同一動態被攝體的時間序列之順序作配置。例如圖24 〜圖27各圖所示，同一人物等的同一動態被攝體在各時點 上的狀態（例如高爾夫揮桿過程之各狀態）之影像，是在 顯示上以時間訊列順序排列而顯示。 然後，所謂在相應於使用者指示或動畫性再生處理而 作成含有與上記顯示畫面中所被顯示之顯示內容不同時間 上的表示同一動態被攝體之影像的顯示內容之際，係相當 於上記的拖曳操作、輕拂操作、指點操作等之際。又，所 謂動畫性再生處理，係指不限於使用者指示，而再生出動 畫或擬似性動畫的各種場合。 在此種時候，進行顯示控制，使得含有上記不同時間 上之同一動態被攝體的同一動態被攝體的各影像，是以維 持在相應於上記同一動態被攝體的時間序列之順序的狀態 下，令其被顯示在上記分割顯示領域的每一者中。亦即， 當在與顯示中之狀態不同的時點上要顯示出同一動態被攝 體時，是以維持在該各動態被攝體影像之時間序列所相應 的狀態下，令其被顯示在上記分割顯示領域的每一者中。 例如使顯示內容從圖24變化成圖25這類的情形。 以上雖然將上記（A) ( B ) (C)之構成以上述的實 施形態之例子來說明，但此種構成的情況下，所顯示的對 象，並不限於上述作爲合成影像資料的記錄畫格影像資料 -71 - 201207716 亦即，無論是哪種來源的影像，將其排列成時間序列 順序的同一動態被攝體的各時點之影像，分割在畫面上’ 按照時間序列順序排列顯示時，都可適用。 [5.程式] 以上的實施形態，係以影像處理裝置1來說明，但本 發明的顯示控制裝置係除了設計成進行動作推移影像之再 生顯示的專用裝置外，還可適用於進行影像顯示處理的各 種機器。例如可想定有：攝像裝置、家庭用或營業用的影 像記錄再生裝置、遊戲機器、視訊剪接機等》 甚至當然也可想定，於通用的個人電腦或其他資訊處 理裝置中，實現顯示控制裝置。 例如將用來使演算處理裝置執行如圖2 9、圖3 1、圖3 3 所示之各種操作所對應之處理用的程式，以影像顯示處理 應用程式軟體的方式來提供，就可於個人電腦等中，實現 適切的影像顯示處理。 亦即所謂苡現影像處理裝置1之顯示處理的程式，係 爲令演算處理裝置執行以下之各步驟的程式。 亦即’從畫格影像資料的每次輸入就依序進行影像合 成處理所生成之各合成影像資料，且爲可實行各畫格影像 資料的動態被攝體影像是被依序在所定方向上排列配置之 動谨顯示的各合成影像資料，被當成一連串記錄畫格影像 資料而記錄，以此種記錄媒體爲對象。 -72- 201207716 然後，讀出某記錄畫格影像資料而進行再生顯示之噤 ’執行：測知對該再生顯示的使用者指示之步驟；和隨應 於已被測知之上記使用者指示’在上記一連串記錄畫格影 像資料當中判定應再生之畫格位置，進行所判定之畫格位 置的記錄畫格影像資料之再生，進行已被再生之記錄畫格 影像資料的顯示控制之步驟。 又，例如作爲用來實現UI控制部4 1之顯示控制處理的 程式，係令演算處理裝置執行以下處理的程式。 亦即，首先，在具有預先設定之領域數、且具有以所 定順序而被配置之分割顯示領域的顯示畫面的各分割顯示 領域中，將連續拍攝同一動態被攝體所得之彼此不同時間 上的表示同一動態被攝體之影像是被同時顯示的此種顯示 畫面之顯示內容加以控制的程式。然後，使上記各分割顯 示領域中所被顯示之表示上記同一動態被攝體之影像，是 以相應於上記同一動態被攝體的時間序列之順序作配置， 而控制上記顯示內容。又，執行顯示控制，以使得在相應 於使用者指示或動畫性再生處理而作成含有與上記顯示畫 面中所被顯示之顯示內容不同時間上的表示同一動態被攝 體之影像的顯示內容之際，含有上記不同時間上之同一動 態被攝體的同一動態被攝體的各影像，是以維持在相應於 上記同一動態被攝體的時間序列之順序的狀態下，被顯示 在上記分割顯示領域的每一者中。 藉由此種程式，就可容易將本發明實現於個人電腦、 行動電話機、PDA ( Personal Digital Assistant)、其他使 -73- 201207716 用影像資料的各種資訊處理裝置。 此外，這些程式，係可預先被記錄在內建於個人電腦 等之機器中的作爲記錄媒體之HDD，或具有CPU的微電腦 內的ROM或快閃記憶體等中。 又或者，程式係可暫時性或永久性地被儲存（記錄） 在軟碟片、CD-ROM ( Compact Disc Read Only Memory) 、MO ( Magnet optical)碟、DVD、藍光碟片、磁碟、半 導體記憶體、記憶卡等之可移除式記錄媒體中待用。此種 可移除式記錄媒體，係可以所謂套裝軟體的方式來提供。 又，程式係可從可移除式記錄媒體安裝至個人電腦等 以外，還可從下載網站，透過LAN ( Local Area Network )、網際網路等網路而下載。 【圖式簡單說明】 [圖1 ]含有本發明之顯示控制裝置的實施形態之影像 處理裝置的區塊圖。 [圖2]實施形態的動作推移影像之生成處理的說明圖 〇 [圖3]實施形態的圖層分離處理的說明圖。 [圖4]實施形態的輸入影像之領域設定例的說明圖。 [圖5]實施形態的推移動作有效領域及殘存背景領域 的說明闘。 [圖6]實施形態的動作推移動畫的說明圖。 [圖7]實施形態的動作推移動畫的說明圖。 •74- 201207716 [圖8 ]實施形態的動作推移動畫的說明圖。 [圖9]實施形態的動作推移動畫的說明圖。 [圖1 〇]實施形態的動作推移動畫的說明圖。 [圖Π ]實施形態的動作推移動畫的說明圖。 [圖12]實施形態的動作推移動畫的說明圖。 [圖1 3 ]實施形態的動作推移動畫的說明圖。 [圖1 4]實施形態的動作推移動畫的說明圖。 [圖15]實施形態的動作推移動畫的最終畫格的說明圖 〇 [圖16]實施形態的合成影像生成及記錄處理例的流程 圖。 [圖1 7]實施形態的處理程序判定處理的流程圖。 [圖18]實施形態的合成處理中所使用的影像資料的說 明圖。 [圖1 9 ]實施形態的處理程序p 2、p 3的說明圖。 [圖2 0 ]實施形態的處理程序p 4的說明圖。 [圖2 1 ]實施形態的處理程序p 5的說明圖。 [圖2 2 ]實施形態的處理程序p 6的說明圖。 [圖2 3 ]實施形態的所被記錄•顯示之影像畫格的說明 圖。 [圖2 4 ]實施形態的拖曳操作的說明圖。 [圖2 5 ]實施形態的拖曳操作的說明圖。 [圖2 6 ]實施形態的拖曳操作的說明圖。 [圖2 7 ]實施形態的拖曳操作的說明圖。 -75- 201207716 [圖28]过施形態的拖曳操作之各場合的說明圖。 [圖29] β施形態的拖曳操作對應處理的流程圖。 [圖3 0]苡施形態的輕拂操作的說明圖。 [圖3 1 ]货施形態的輕拂操作對應處理的流程圖。 [圖32]贲施形態的指點操作的說明圖。 [圖33]實施形態的指點操作對應處理的流程圖。 [圖34]先前之合成影像的說明圖。 [圖3 5]先前之合成影像的說明圖。 【主要元件符號說明】 1 :影像處理裝置 2 :輸入影像選擇部 3 :圖層處理部 4 :影像輸出部 5 =合成影像更新保持部 1 〇 :影像輸入部 1 1 :動態被攝體資訊生成部 1 2 :動態被攝體资訊輸入部 2 1 :關鍵畫格判定部 22 :座標計算部 3 1 :圖層分離部 3 2 :圖層加工部 33 :圖層合成部 40 :影像記錄再生部 -76- 201207716 4 1 : U I控制部 42 :記錄再生處理部 43 :記錄媒體驅動部 4 4 :顯示驅動器 4 5 :顯示部 46 :觸控面板