TWI420905B - 記錄動態影像之記錄裝置、記錄方法及程式 - Google Patents

Description

記錄動態影像之記錄裝置、記錄方法及程式

本案依據2009年2月17日提出申請之日本專利申請案第2009-033981號主張優先權之權益，並透過引用將該案內容併入於此。

本發明係有關於產生例如以雙畫面顯示播放速度相異之2個動態影像之動態影像資料並予以記錄的記錄裝置、記錄方法及程式。

近幾年，關於數位相機等，提供高速拍攝被拍攝物並產生高圖框速率之動態影像資料者。若以一般的圖框速率處理藉這種數位相機以高圖框速率所產生的動態影像資料時，則此動態影像資料會被以動作模糊少的慢動作動態影像的方式來播放。例如，若以一般的圖框速率30[fps]處理以高圖框速率300[fps：frame per second]拍攝之動態影像資料時，則作為1/10倍速之慢動作的動態影像資料來播放。

又，在日本專利第2006-324850號公開公報，提議一種所謂的雙畫面(picture in picture)之影像播放方法，其在快轉播放動態影像資料時，分成對應於快轉速度之第1系列的時間軸與比第1系列提前固定時間之第2系列的時間軸，讀出動態影像資料，並將這2系列的動態影像資料分別播放於一般尺寸畫面的母畫面與以小畫面在母畫面中被以小畫面的方式來顯示的子畫面。

若以一般的圖框速率播放以上述之數位相機高速拍攝之高圖框速率的動態影像資料時，雖然動作模糊少，但是會被以慢動作的動態影像的方式來播放。因此，若想掌握整體的動作或從特定的場面播放時，則需要快轉播放，找起點提示(cue)等之操作變繁雜。如此，高圖框速率的動態影像資料尚在便利性上具有課題。

本發明係考慮上述之以往的課題而開發者，其目的在於提供記錄提高高圖框速率之動態影像資料的便利性之動態影像資料的記錄動態影像之記錄裝置、記錄方法及程式。

為了解決該課題，本發明之第1觀點的記錄裝置，其特徵為具備：輸入動態影像資料的動態影像輸入部；對該動態影像資料進行圖框間拔來產生使圖框速率降低的低圖框速率動態影像資料的影像間拔部；使資料延遲的資料延遲部；產生將由該影像間拔部所產生之該低圖框速率動態影像資料與由該資料延遲部所延遲的該動態影像資料合成為雙畫面的合成動態影像資料的動態影像合成部；以及將由該動態影像合成部所合成之合成動態影像資料記錄於記錄媒體的記錄部。

為了解決該課題，本發明之第2觀點的記錄方法係在記錄動態影像資料之記錄裝置的記錄方法，其特徵為包含：輸入動態影像資料的動態影像輸入步驟；對該動態影像資料進行圖框間拔來產生使圖框速率降低的低圖框速率動態影像資料的影像間拔步驟；使資料延遲的資料延遲步驟；產生將由該影像間拔步驟所產生之該低圖框速率動態影像資料與由該資料延遲步驟所延遲的該動態影像資料合成為雙畫面的合成動態影像資料的動態影像合成步驟；以及將由該動態影像合成步驟所合成之合成動態影像資料記錄於記錄媒體的記錄步驟。

為了解決該課題，本發明之第3觀點的程式之特徵為用以使控制記錄動態影像資料之記錄裝置的電腦實現如下之功能，輸入動態影像資料的動態影像輸入功能；對該動態影像資料進行圖框間拔來產生使圖框速率降低的低圖框速率動態影像資料的影像間拔功能；使資料延遲的資料延遲功能；產生將利用該影像間拔功能所產生之該低圖框速率動態影像資料與利用該資料延遲功能所延遲的該動態影像資料合成為雙畫面的合成動態影像資料的動態影像合成功能；以及將利用該動態影像合成功能所合成之合成動態影像資料記錄於記錄媒體的記錄功能。

以下，參照適當圖式詳述本發明之實施形態。

(1)第1實施形態 (1-1)第1實施形態之構成 (1-1-1)整體構成

第1圖係本發明之第1實施形態之數位相機的方塊圖。此數位相機1具有攝像系統2、記憶卡3、匯流排4、CPU(Central Processing Unit：中央處理單元)5、圖框緩衝器6、影像顯示部7、記憶體8及按鍵輸入部9等，並將以攝像系統2取得之動態影像資料D1記錄於記憶卡3。

攝像系統2在本實施形態的數位相機1係作用為動態影像輸入部，並具有透鏡驅動組件10、透鏡11、光圈12、固態攝像元件13、驅動器14、時序產生器(TG：Timing Generator)15及信號處理部16等。

透鏡驅動組件10藉經由匯流排4之CPU5的控制，改變透鏡11的焦點、倍率、光圈12。透鏡11經由光圈12將入射光聚光於固態攝像元件13的攝像面，並將被拍攝物的光學影像形成於固態攝像元件13的攝像面。

固態攝像元件13亦可係例如CCD(Charged Coupled Device：電荷耦合元件)或CMOS(Complementary Metal-Oxide Semiconductor：互補金屬氧化半導體)等攝像元件。固態攝像元件13依從驅動器14輸出之各種驅動信號動作，並將形成於攝像面之光學影像的攝像以攝像信號的方式輸出。固態攝像元件13進行拍攝時之圖框速率、電荷儲存時間等係由CPU5控制。在攝像系統2，驅動器14依從時序產生器15輸出之各種時序信號產生固態攝像元件13的驅動信號。CPU5係經由匯流排4控制時序產生器15。因此，向驅動器14輸出的時序信號亦藉CPU5來控制。

信號處理部16對從固態攝像元件13輸出之攝像信號進行相關雙重取樣處理(CDS：Correlated Double Sampling)後，進行自動增益調整(AGC：Automatic Gain Control)、類比數位變換處理(AD：Analog to Digital convertion)，並向匯流排4輸出所拍攝之動態影像的動態影像資料D1。

圖框緩衝器6暫時儲存從信號處理部16即攝像系統2所輸出之動態影像資料D1的作業用記憶體。在拍攝時，圖框緩衝器6暫時儲存從攝像系統2經由匯流排4所輸入之動態影像資料D1。CPU5係在與此圖框緩衝器6之間輸出入動態影像資料D1並進行處理後，向影像顯示部7輸出該動態影像資料D1並予以顯示。又，若從使用者收到開始記錄的指示，則CPU5對動態影像資料D1進行壓縮等的處理。在播放時，CPU5從記憶卡3讀出動態影像資料D3並予以解壓縮，在將已解壓縮的動態影像資料D3暫時保存於圖框緩衝器6之後，向影像顯示部7輸出並予以顯示。對於壓縮及解壓縮處理，雖然可應用各種手法，但是在本實施形態，作為一例，採用按照MPEG2之手法。

影像顯示部7係由液晶顯示面板等構成之顯示部，在拍攝時，藉CPU5的控制，從圖框緩衝器6經由匯流排4取得動態影像資料D1並予以顯示。在播放時，影像顯示部7也同樣地藉CPU5的控制，從圖框緩衝器6經由匯流排4取得動態影像資料並予以顯示。

CPU5係控制本實施形態之數位相機1的動作之控制器。例如，CPU5執行記憶體8已儲存的程式，並響應在按鍵輸入部9所檢測出之使用者的操作而動作來控制本實施形態之數位相機1的各部之動作。又，CPU5對圖框緩衝器6所儲存之動態影像資料進行處理。此外，在本實施形態，雖然說明以預先儲存於記憶體8的方式來提供此程式，但是本發明未限定如此。例如，亦可以記錄於記憶卡等的記錄媒體的方式來提供此程式，亦可以經由網路下載的方式來提供此程式。按鍵輸入部9在本實施形態的數位相機1係作用為從使用者收到各種指示的指示輸入部。以下，來自使用者的指示，只要無特別記載，就當作經由按鍵輸入部9輸入之指示。

從使用者收到播放記憶卡3所記錄之動態影像的指示時，CPU5從記憶卡3依序取得對應的動態影像資料，將在此動態影像資料解壓縮並儲存於圖框緩衝器6。並且，CPU5從該圖框緩衝器6向影像顯示部7依序轉送動態影像資料並顯示於影像顯示部7。如此，CPU5播放記憶卡3所記錄之動態影像資料並以影像顯示部7顯示。

又，若從使用者收到拍攝的指示，則CPU5將控制攝像系統2所取得之動態影像資料D1依序儲存於圖框緩衝器6。又，CPU5對此動態影像資料D1執行γ修正處理、解鑲嵌(demosaic)處理、白平衡處理等並重新儲存於圖框緩衝器6，再向影像顯示部7傳送此重新儲存的動態影像資料並予以顯示。藉此，CPU5以影像顯示部7顯示所拍攝之監視影像。

若在將已拍攝之動態影像顯示於監視器之狀態下從使用者收到記錄已拍攝之動態影像的指示，則CPU5依序讀出儲存於圖框緩衝器6的動態影像資料D1並進行壓縮處理，再記錄於記憶卡3。藉此，CPU5將已拍攝之動態影像記錄於記憶卡3。

在此等拍攝時從使用者收到以正常模式拍攝的指示之情況，CPU5控制時序產生器15等，取得以例如圖框速率30[fps]之一般的圖框模式所拍攝之動態影像，並將如此拍攝之動態影像資料D1儲存於圖框緩衝器6。CPU5依序播放構成此圖框緩衝器6所儲存之動態影像資料D1之連續圖框，並顯示於影像顯示部7。若從使用者收到記錄動態影像的指示，則CPU5依序壓縮構成此動態影像資料D1之連續的圖框並記錄於記憶卡3。

與此對應，在從使用者收到以高速模式拍攝的指示之情況，CPU5指示攝像系統2以既定之高圖框速率或使用者所指示之圖框速率進行拍攝。攝像系統2以既定之高圖框速率或使用者所指示之圖框速率進行拍攝。在本實施形態，將高圖框速率設為300[fps]。CPU5將如此拍攝之高圖框速率的動態影像資料D1儲存於圖框緩衝器6。亦可作成CPU5控制圖框緩衝器6，讀出動態影像資料D1，並對圖框緩衝器6所儲存之高圖框速率的動態影像資料D1進行圖框間拔(thinning out)，再以圖框速率30[fps]依序以影像顯示部7顯示。

又，若在高速模式拍攝之狀態下收到來自使用者之記錄的指示時，CPU5從圖框緩衝器6以連續的圖框的方式依序讀出動態影像資料D1並予以壓縮，再記錄於記憶卡3。

(1-1-2)與實速模式之動態影像資料的合成記錄

CPU5在記錄以此高速模式拍攝之動態影像資料D1時，若從使用者收到與實速模式之動態影像合成並予以記錄的指示，則對暫時儲存於圖框緩衝器6的動態影像資料D1進行圖框間拔來產生實速模式之動態影像資料D2。又，CPU5藉子母畫面手法對此實速模式的動態影像資料D2與高速模式的動態影像資料D1分別進行影像合成為高速模式的動態影像資料D1為母畫面用、實速模式的動態影像資料D2則為子畫面用，再記錄於記憶卡3。即，動態影像資料D1與D2係以被合成之狀態同時記錄於記憶卡3。藉此，例如在以一般的圖框速率進行播放時，CPU5可在母畫面使用以高速模式拍攝之動態影像資料D1來顯示慢動作的動態影像，而在子畫面則使用以實速模式拍攝之動態影像資料D2來顯示快動作的動態影像。

CPU5例如將構成動態影像資料D1之複數個圖框按既定之處理單位分割成複數個區間，例如按既定之圖框數分割成複數個區間，並將各個已分割的動態影像資料從前頭依序與低圖框速率的動態影像資料合成。在此，CPU5將各個已分割成複數個區間之動態影像資料D1的前頭各依序延遲既定的間隔並進行圖框間拔來產生與各個已分割成複數的區間的動態影像資料D1從前頭依序合成的各個低圖框速率的動態影像資料。

即，如第2圖所示，在本實施形態中，CPU5係例如將以300[fps]拍攝之高圖框速率的動態影像資料D1與圖框間拔至圖框速率30[fps]的動態影像資料D2合成來產生合成動態影像資料D3。分割動態影像資料D1的間隔係相同較佳。在第2圖中，分割動態影像資料D1之間隔分別為動態影像資料D1的30個圖框份量。此時，將CPU5對圖框編號0的動態影像資料D1與圖框編號0的動態影像資料D1合成，產生合成動態影像資料D3的前頭圖框F0。又，在接下來的圖框F1，將圖框編號1的動態影像資料D1與待合成之作為構成低圖框速率即實速模式之動態影像資料D2的動態影像圖框的圖框編號10的動態影像資料D1合成。並且，在接下來的圖框F2，將圖框編號2的動態影像資料D1與待合成之作為構成實速模式之動態影像資料D2的動態影像圖框的圖框編號20的動態影像資料D1合成來產生合成動態影像資料D3。如此，在本實施形態，依序將圖框編號3、4、5、6、7、8、…的動態影像資料D1，分別與待合成之作為構成實速模式之動態影像資料D2的動態影像圖框的圖框編號30、40、50、60、70、80、…的動態影像資料D1合成來產生合成動態影像資料D3。

重複進行此影像合成，CPU5若將圖框編號29的動態影像資料D1與圖框編號29的動態影像資料D1合成，則在接下來的拍攝圖框F30，將待合成之作為構成實速模式之動態影像資料D2的動態影像圖框並從動態影像資料D1的前頭延遲30個圖框份量之圖框編號30的動態影像資料D1與圖框編號30的動態影像資料D1合成。又，在接下來的拍攝圖框F31，CPU5將圖框編號31的動態影像資料D1與待合成之作為構成實速模式之動態影像資料D2的動態影像圖框的圖框編號40的動態影像資料D1合成。將圖框編號59的動態影像資料D1與待合成之作為構成實速模式之動態影像資料D2的動態影像圖框的圖框編號320的動態影像資料D1合成。CPU5在接下來的拍攝圖框F60，將圖框編號60的動態影像資料D1與待合成之作為構成實速模式之動態影像資料D2的動態影像圖框並從動態影像資料D1的前頭延遲60個圖框份量的圖框編號60的動態影像資料D1合成。如此，CPU5將動態影像資料分割成複數個區間F0~F29、F30~F59、F60~F89、…，並將各個分割成複數個區間之動態影像資料D1從前頭依序與實速模式之動態影像資料D2合成。即，CPU5依從動態影像資料D1之前頭圖框F0開始之各個圖框的各種順序各延遲既定間隔即30個圖框來進行圖框間拔而產生與各個被分割成複數個區間F0~F29、F30~F59、F60~F89、…之動態影像資料依序從前頭合成的各個實速模式之動態影像資料D2。

CPU5重複此一連串的處理來將被依序輸入之動態影像資料D1與實速模式的動態影像資料D2進行影像合成，並記錄於記憶卡3。在第4圖顯示播放依此方式合成並記錄於記憶卡3之合成動態影像資料D3的影像之一例。在母畫面顯示播放高圖框速率之動態影像資料D1的影像，而在子畫面則顯示播放低圖框速率之動態影像資料D2的影像。此外，雖然將與動態影像資料D1合成之動態影像資料的圖框速率設為實速，但是本發明未限定如此，只要係比動態影像資料D1之圖框速率更低的圖框速率即可，可依實裝來定之。動態影像資料D1的圖框速率、間拔之動態影像的圖框速率、分割動態影像資料D1的間隔、與高圖框速率之動態影像資料合成之低圖框速率的動態影像資料延遲的間隔等之中的至少一個亦可依使用者的指示來定之。

第3圖係本實施形態之數位相機1之主要部分的功能構成圖。如第3圖所示，本實施形態之數位相機1的主要部分由圖框緩衝器6、用於控制圖框緩衝器6之位址的選擇電路6a、子畫面合成部5A、編碼部5B、檔案化部5C及記憶卡3所構成。選擇電路6a、子畫面合成部5A、編碼部5B及檔案化部5C之功能係由CPU5實現。

參照第3圖說明CPU5產生合成動態影像資料D3的原理。如第3圖所示，CPU5藉圖框緩衝器6的位址控制，將圖框緩衝器6構成為環緩衝器。又，同時，圖框緩衝器6作用為與上述之分割動態影像資料D1之圖框數對應之段數的FIFO(First In First Out)。

如此，CPU5使依序從攝像系統2輸入之動態影像資料D1延遲既定的圖框數。在第3圖，以n、n+1、n+2、…表示構成動態影像資料D1之連續的圖框。在圖框緩衝器6，動態影像資料D1被依序向箭號A所示之方向輸入，構成動態影像資料D1的圖框依序被更新。

如第3圖所示，圖框緩衝器6具有選擇電路6a。CPU5控制此選擇電路6a而於圖框緩衝器6進行控制位址，並從此圖框緩衝器6的既定段選擇性取得動態影像資料D1。在此，將所取得之動態影像資料作為低速率的動態影像資料D2以雙畫面手法分配給母畫面用之高速模式的動態影像資料。具體而言，CPU5以圖框緩衝器6之既定的段為基準而按既定的段數，在本實施形態，如符號B所示，按既定的圖框數設定實速模式之動態影像用的抽頭輸出(tap output)。並且，CPU5依序選擇此抽頭輸出為例如t=10來產生實速模式的動態影像資料D2。CPU5在動態影像資料D1的每個圖框執行此抽頭輸出的切換，並產生對動態影像資料D1進行圖框間拔所得之實速模式的動態影像資料D2。

CPU5控制選擇電路6a來進行選擇性的抽頭輸出，在第1秒，輸出至圖框編號0~29的動態影像資料D1，同時輸出將圖框間拔成1/10之圖框編號0~290的動態影像資料D2。又，CPU5在第2秒，輸出圖框編號30~59的動態影像資料D1，同時輸出將圖框間拔成1/10之圖框編號30~320的動態影像資料D2。CPU5依序重複進行如此動作。在動態影像資料D1之圖框編號從29移至30的動態影像資料D1之分割區間的切換時，實速模式之動態影像資料D2的圖框從是動態影像資料D1之前頭圖框的圖框編號0移至延遲30個圖框份量的圖框編號30。又，在動態影像資料D1之圖框編號從59移至60之動態影像資料D1之分割區間的切換時，實速模式之動態影像資料D2的圖框進一步從圖框編號30移至延遲30個圖框份量的圖框編號60。CPU5依序重複進行如此動作。

第5圖係顯示圖框緩衝器6的構成的圖。在後述的初期設定時，CPU5在圖框緩衝器6確保既定資料量之儲存動態影像資料D1的資料區域AR1。並且，CPU5在圖框緩衝器6亦確保記錄於此資料區域AR1之管理資訊的管理資訊區域AR2。圖框緩衝器6的大小，設為可暫時儲存至少重複進行實速播放之時間的圖框份量。在本實施形態，將動態影像資料D1、D2的圖框速率S、R各自設為300[fps]及30[fps]，並將一致週期C[秒]設為1秒。因此，CPU5在設想母畫面用之圖框與子畫面用之圖框相距最遠的情況下，在圖框緩衝器6的資料區域AR1確保至少262個圖框(290-29+1個圖框)份量。在第5圖，圖框資料表示動態影像資料D1的圖框資料。又，括弧內的數字表示圖框編號。在管理資訊區域AR2，記錄資料區域AR1的大小(緩衝器的大小)X、指示資料區域AR1所儲存之前頭圖框的位置之指標的位置資訊(緩衝器前頭位置)Y、在資料區域AR1所記錄之動態影像資料D1的圖框數(緩衝器圖框數)m、在資料區域AR1所記錄之前頭圖框編號(緩衝器前頭圖框編號)n等之參數。

CPU5一面逐次更新此管理資訊區域AR2的記錄，一面依序循環地將動態影像資料D1儲存於資料區域AR1。又，CPU5根據管理資訊區域AR2的記錄，依序讀出母畫面用的動態影像資料D1、子畫面用的動態影像資料D2來執行一連串的處理。藉此，圖框緩衝器6作用為環緩衝器。

在本實施形態，係在初期設定時設定此FIFO的段數(是處理單位之既定的圖框數)，並且，為了母畫面輸出用則設定FIFO的最後段。在此預先的設定，設定子畫面用的抽頭輸出段、作為子畫面所擷取的區域等。以下，說明此設定處理。

<初期設定處理>

第6圖係表示在此初期設定處理之CPU5的處理步驟的流程圖。CPU5係若設置於按鍵輸入部9之既定的操作鍵被操作則開始此處理步驟(步驟S1)。首先，CPU5將既定的選單畫面顯示於影像顯示部7(步驟S2)。使用者藉既定之操作從該選單畫面選擇拍攝速度(步驟S3)。並且，CPU5設定看是要將在拍攝時依在此選擇之拍攝速度的圖框速率使攝像系統2拍攝的動態影像與具有子畫面的動態影像資料合成並予以記錄，還是要以無子畫面的動態影像資料的方式予以記錄(步驟S4)。

接著，CPU5判定是否有合成子畫面的指示(步驟S5)。若判定無子畫面合成的指示，則CPU5將處理移至步驟S6。另一方面，若判定有子畫面合成的指示，則CPU5將處理移至步驟S8，並設定為了子畫面用所擷取的區域。此外，此區域的設定，亦可為例如將大小相異之複數個框顯示於影像顯示部7而藉受理來自使用者的選擇來予以執行。

接著，CPU5設定子畫面位置(步驟S9)。此子畫面位置的設定，亦可為例如將子畫面顯示於影像顯示部7而藉受理來自使用者的選擇來予以執行。使用者亦可進行各種選擇將顯示子畫面的位置顯示於例如母畫面的右上、左上、右下、左下等。接著，CPU5設定子畫面速度(步驟S10)。此子畫面速度的設定亦可將可選擇之複數個速度顯示於影像顯示部7而藉受理來自使用者的選擇來予以執行。

接著，CPU5將母畫面用的動態影像資料D1與子畫面用之動態影像資料D2之圖框編號一致的週期，具體而言，在第2圖所說明之子畫面與母畫面用之圖框之圖框編號一致的週期設定為例如1秒、2秒等。接著，CPU5將處理移至步驟S6，將使用者的設定作為設定資訊而進行記錄後，結束此處理步驟(步驟S7)。

<錄影處理>

第7圖係表示將高速模式的動態影像資料D1與實速模式的動態影像資料D2合成並予以記錄之錄影之CPU5的處理步驟的流程圖。首先，CPU5於影像顯示部7顯示即時預覽(步驟S21)。接著，CPU5判定是否開始拍攝(步驟S22)。具體而言，CPU5判定是否收到來自使用者之開始拍攝的指示。若判定收到開始拍攝的指示，則CPU5根據設定資訊進行圖框緩衝器6的起始化(步驟S23)。在本實施形態，以環緩衝器構成圖框緩衝器6，並執行用於如上述地作用為FIFO之區域的確保等。

接著，進行拍攝。具體而言，CPU5將足以產生動態影像資料D2之圖框數的動態影像資料D1儲存於圖框緩衝器6(步驟S24)。然後，更新緩衝器(步驟S25)。具體而言，CPU5一面將新拍攝的影像儲存於緩衝器，一面輸出緩衝器所儲存之最早的圖框。CPU5執行子畫面合成處理(步驟S26)，並產生動態影像資料D3。

接著，CPU5對所產生之動態影像資料D3進行壓縮處理(步驟S27)。CPU5判斷是否從使用者收到結束記錄的指示(步驟S28)。若判定未收到結束記錄的指示，則CPU5使處理回到步驟S25。

另一方面，若在步驟S28判定收到結束記錄的指示，則進行子畫面合成處理。具體而言，CPU5使用圖框緩衝器6已儲存的動態影像資料D1，對於該時刻在影像顯示部7所顯示之圖框之前的圖框執行子畫面合成處理。若此時在圖框緩衝器6已儲存的動態影像資料D1不存在分配給子畫面之動態影像資料D1的情況，則CPU5將到當時為止以前分配給子畫面之最後的圖框重複分配給子畫面。

接著，CPU5壓縮所產生之動態影像資料D3(步驟S30)，並執行檔案化(步驟S31)。CPU5將已檔案化的動態影像資料D3記錄於記憶卡3，並結束錄影處理(步驟S32)。

第8圖係說明CPU5所執行之第7圖之「子畫面合成處理」之細節的流程圖。CPU5係一旦開始此子畫面合成處理(步驟S41)，則從圖框緩衝器6取得母畫面用的動態影像資料D1(步驟S42)。接著，CPU5判斷母畫面用的動態影像資料D1與子畫面用的動態影像資料D2是否一致(步驟S43)。

如已參照第2圖說明者，對前頭圖框的母畫面與子畫面各自分配動態影像資料D1之同一圖框。子畫面與母畫面用的圖框一致的情況能以MOD{N/(R‧C)}=0表示。在此，R係在拍攝時所換算之動態影像資料D2的圖框速率[fps]。又，N是提供影像合成之母畫面用之圖框的圖框編號。C是在步驟S11所取得之一致週期[秒]。MOD是餘數運算元。例如在第2圖的情況，R是30[fps]，C是1[秒]，母畫面用之圖框的圖框編號N是0、30、60等，因而MOD{N/(R‧C)}=0。換言之，在MOD{N/(R‧C)}=0的情況，子畫面用之圖框的圖框編號與母用之圖框的圖框編號一致。另一方面，在MOD{N/(R‧C)}>0的情況，子畫面用之圖框的圖框編號能以N+MOD{N/(R‧C)}*(S/R)*K表示。在此，S是所拍攝之動態影像的圖框速率[fps]。又，K是在步驟S10所設定之子畫面的速度。例如在第2圖的情況，R是30[fps]，C是1[秒]，S是300[fps]，K是1[倍](實際速度)，母畫面用之圖框的圖框編號N是0、1、2時，子畫面用之圖框的圖框編號各自是0、10、20。

若在步驟S43判定母畫面與子畫面用的動態影像資料不一致，則CPU5從圖框緩衝器6取得子畫面用的動態影像資料D2(步驟S44)。具體而言，CPU5在母畫面與子畫面用的圖框不一致的情況即判定MOD{N/(R‧C)}>0的情況，從動態影像資料D1取得以N+MOD{N/(R‧C)}*(S/R)*K所表示之圖框編號的圖框。另一方面，若在步驟S43判定母畫面與子畫面用的圖框一致，則CPU5將在步驟S42所取得之母畫面用的動態影像資料D1分配給子畫面用的動態影像資料(步驟S45)。

此外，在參照第3圖的說明，說明由選擇電路6a選擇性輸出與以符號n+(x-1)t所表示之母畫面相同的抽頭輸出。可是，在實際之CPU5的處理，此抽頭輸出沿用母畫面用的動態影像資料。CPU5接著從設定資訊特定並擷取在步驟S8所設定之區域(步驟S46)。並且，CPU5產生所擷取之大小的動態影像資料D2作為子畫面用的動態影像資料(步驟S47)。CPU5將如此產生之子畫面用的動態影像資料貼黏於母畫面用的動態影像資料之在第6圖的步驟S9所設定之母畫面之動態影像資料的位置(步驟S48)。藉此，CPU5產生雙畫面的合成動態影像資料D3，並結束此處理步驟(步驟S49)。又，在貼黏子畫面時，CPU5一併執行動態影像資料D2的解析度變換處理。

第9圖係對於上面在第7圖所敘述之CPU5之處理步驟的步驟S24至步驟S32的處理，詳細說明和CPU5所執行之圖框緩衝器6的位址控制相關之處理的流程圖。第10圖與第11圖係詳細說明圖框緩衝器6所儲存之動態影像資料之圖框的圖。參照第9圖~第11圖及第3圖，詳細說明和CPU5所執行之圖框緩衝器6之控制相關的處理。

CPU5係一旦開始此錄影處理(步驟S50)，即將管理資訊區域AR2之緩衝器圖框數m起始化成值0(步驟S51)。接著，CPU5分別將母畫面及子畫面用之圖框的圖框編號進行起始化(步驟S52)。CPU5將1個圖框的動態影像資料D1儲存於圖框緩衝器6，對應地將緩衝器圖框數m增加1，並更新管理資訊區域AR2的記錄(步驟S53)。接著，CPU5判定是否已將足以產生子畫面用的動態影像資料D2之圖框數的動態影像資料D1儲存於圖框緩衝器6(步驟S54)。若判定未儲存充分之圖框數，則CPU5使處理回到步驟S53。CPU5重複進行步驟S53與步驟S54直到已將足以產生子畫面用的動態影像資料D2之圖框數的動態影像資料D1儲存於圖框緩衝器6為止。如此將既定圖框數的動態影像資料D1儲存於圖框緩衝器6。

在第10圖顯示動態影像資料D1、D2的圖框速率S、R[fps]各自係300[fps]及30[fps]，一致週期C[秒]係1秒，在圖框緩衝器6確保262個圖框份量之區域之情況的例子。在第10圖，所謂「拍攝圖框」係指從指示開始拍攝的時刻開始算起之圖框緩衝器6所儲存之動態影像資料D1之圖框的圖框編號。「合成圖框(子)」及「合成圖框(母)」係各自分配給子畫面及母畫面之圖框的圖框編號。「緩衝器」是圖框緩衝器6所儲存之動態影像資料D1之圖框的圖框編號。在第10圖的例子，從開始拍攝至儲存動態影像資料D1之圖框編號260的圖框之期間，CPU5重複進行步驟S53與步驟S54的處理。若儲存圖框編號261的動態影像資料D1，則在步驟S54，判定已將足以產生子畫面用的動態影像資料D2之圖框數的動態影像資料D1儲存於圖框緩衝器6，CPU5將處理移至步驟S55。

在步驟S55，CPU5從圖框緩衝器6讀出母圖框編號及子圖框編號的動態影像資料並進行影像合成，再執行編碼(壓縮)、檔案化的處理。即，動態影像D1與D2係在被合成之狀態下同時被編碼並檔案化。接著，CPU5判定是否從使用者收到記錄結束的指示(步驟S56)，若判定從使用者收到記錄結束的指示，則結束此處理步驟(步驟S57)。

另一方面，在步驟S56，若判定未從使用者收到記錄結束的指示，則CPU5將母圖框編號增加1，並依間拔的圖框數更新子圖框編號(步驟S58)。然後，CPU5判定母圖框編號是否達到切換所分割之區間的切換值(步驟S59)。在判定已達到切換值的情況，CPU5將子圖框編號設定成母圖框編號(步驟S60)，並移至步驟S61。在步驟S59，在判定未達到切換值的情況，CPU5亦使處理移至步驟S61。在此步驟S61中，CPU5將1個圖框份量的動態影像資料D1儲存於圖框緩衝器6，並更新管理資訊區域AR2的記錄。然後，CPU5使處理回到步驟S55。

此外，在此第9圖的流程圖，記載一旦收到來自使用者之結束記錄的指示，則馬上結束影像合成之一連串的處理。可是，實際上，如參照第7圖之步驟S29說明者，在從使用者收到結束記錄的指示後，使用圖框緩衝器6已儲存的動態影像資料D1，執行子畫面合成處理直到在該時刻在影像顯示部7所顯示之圖框成為母畫面為止。第11圖係表示此記錄結束時之圖框緩衝器6的動作圖。在第11圖，例如對於圖框編號327、328、329的母畫面，在圖框緩衝器6不存在應分配給子畫面的影像資料。藉此，重複分配剛才之子畫面用的影像資料(圖框編號560)。

(1-2)本實施形態的動作

如以上之說明所示，本實施形態的數位相機1(第1圖)係藉固態攝像元件13對藉透鏡11成像的光學影像進行光電變換處理來產生係所拍攝之動態影像的攝像信號，並藉信號處理部16處理此動態影像資料來產生動態影像資料。CPU5係經由圖框緩衝器6輸入此動態影像資料，進行壓縮等處理，並記錄於記憶卡3。又，CPU5一旦從使用者收到播放的指示時，則在將記錄於記憶卡3之動態影像資料依序解壓縮並播放後，顯示於影像顯示部7。

在這些處理中，從使用者收到以高速模式拍攝之指示時，以既定之高圖框速率或使用者所指示之圖框速率例如以圖框速率300[fps]進行拍攝，並從信號處理部16輸出高圖框速率的動態影像資料。CPU5壓縮此動態影像資料並記錄於記憶卡3。在播放以高速模式拍攝之動態影像資料時，若從使用者收到依係一般之播放速度的圖框速率30[fps]之播放的指示時，例如以圖框速率30[fps]播放圖框速率300[fps]的動態影像資料並顯示於影像顯示部7。結果，在此數位相機1，與以一般之拍攝速度(圖框速率30[fps])所拍攝的情況相比，可提供使用者動作模糊極少之慢動作影像，並可提高使用者的便利性。

可是，在這種以高速模式拍攝之動態影像資料，因為若以一般的圖框速率播放，則會被以慢動作的動態影像來播放，所以具有難掌握大致之動作或整體之動作的課題。藉此，例如在找起點提示時，結果必需在高速播放切換動作，處理因而變得複雜。

因此，本實施形態的數位相機1如第2圖~第4圖所示，在以高速模式拍攝時從使用者收到與比高速模式更低速之例如實速模式的動態影像之合成記錄的指示時，對係所拍攝之動態影像的動態影像資料D1進行圖框間拔來產生圖框速率比動態影像資料D1低之例如實速模式的動態影像資料D2。並且，數位相機1將此實速模式的動態影像資料D2分配給子畫面，並與原來的動態影像資料D1進行影像合成，再將所得之合成動態影像資料D3記錄於記憶卡3。

藉此，在數位相機1，能以一般的播放速度播放以高速模式所拍攝之動態影像資料，即使一面將動作模糊少的慢動作動態影像顯示於母畫面，亦一面將例如以一般的速度所拍攝之動態影像顯示於子畫面。例如，在第2圖的例子，以圖框速率30[fps]在數位相機1播放時，可將1/10倍速的慢動作動態影像顯示於母畫面，而將以圖框速率30[fps]之一般的速度拍攝之動態影像顯示於子畫面。藉此，因為即使在數位相機1顯示慢動作動態影像時，使用者亦可從子畫面的顯示掌握整體的動作，所以可提高使用者的便利性。

可是，在單純地進行圖框間拔來產生實速模式的動態影像資料D2並與原來的動態影像資料D1進行影像合成時，在影像合成時所使用之子畫面用之圖框的圖框數可能會少了進行圖框間拔之圖框數份量。又，因為子畫面的速度比母畫面的快，所以母畫面與子畫面的差異逐漸變大，而具有難掌握母畫面與子畫面之關係的可能性。

因此，在本實施形態的數位相機1，將動態影像資料D1分割成複數個區間，並將分割成複數個區間的動態影像資料D1各自從前頭依序與實速模式的動態影像資料D2合成。由各個分割成複數個區間之動態影像資料D1的前頭開始進行圖框間拔而產生與各個分割成複數個區間的動態影像資料D1從前頭依序合成的各個實速模式的動態影像資料D2。

結果，因為相對於母畫面的圖框，子畫面用的圖框的差異不會超過既定的圖框數，所以易掌握母畫面與子畫面的關係。

並且，在本實施形態的數位相機1，可藉使用者的操作進行動態影像資料D1之圖框速率(第6圖的步驟S3)、低圖框模式、及在本實施形態為實速模式之動態影像資料D2的速度(第6圖的步驟S10)之設定。又，可設定母畫面用的圖框與子畫面用之圖框一致的週期(第6圖的步驟S11)。藉此，可詳細地設定高圖框模式、低圖框模式之動態影像資料的播放速度、圖框間拔處理、及分割動態影像資料D1的區間等。如此，可配合使用者之使用方便性來設定母畫面與子畫面的各種參數。

又，在本實施形態的數位相機1，係藉環緩衝器構成圖框緩衝器6來執行產生子畫面用之影像資料的處理、產生母畫面用之影像資料的處理。藉此，在數位相機1，因為可藉圖框緩衝器6的位址控制來產生子畫面用的影像資料及母畫面用的影像資料，所以可簡化構成。

(1-3)實施形態之效果

以上，若依據本實施形態的數位相機，因為對動態影像資料進行圖框間拔來產生子畫面用的動態影像資料，再利用雙畫面將此子畫面用的動態影像資料與原來的動態影像資料進行影像合成並予以記錄，所以可提高圖框速率之動態影像資料的便利性。

又，將動態影像資料D1分割成複數個區間，並將各個分割成複數個區間之動態影像資料D1從前頭依序與實速模式的動態影像資料D2合成。因為對各個分割成複數個區間之動態影像資料D1的前頭依序進行圖框間拔而產生與各個分割成複數個區間之動態影像資料D1從前頭所依序合成的各個實速模式之動態影像資料D2，所以每次播放之動態影像資料D1的區間切換，亦依序更新播放之實速模式的動態影像資料D2。因此，因為作成根據動態影像資料D1所顯示之母畫面的內容與根據實速模式的動態影像資料D2所顯示之子畫面的內容無差異，所以易掌握母畫面與子畫面的關係。

又，因為構成為可依使用者的操作來設定動態影像輸入部的圖框速率、子畫面用之動態影像資料的速度、及處理單位的大小，所以使用者的操作性提高。

並且，因為利用環緩衝器構成圖框緩衝器來執行產生子畫面用之影像資料的處理、產生母畫面用之影像資料的處理，所以可實現簡單之構成。

(2)第2實施形態

第12圖係本發明之第2實施形態之數位相機之主要部分的功能構成圖。本實施形態的數位相機21係依使用者的操作來變更從動態影像資料D1儲存於圖框緩衝器6後至輸出為止的延遲時間。在第12圖，從圖框編號n+2t的輸出段輸出母畫面用的動態影像資料。此數位相機21係除了此輸出段的設定不同以外，其他與第1實施形態的數位相機1相同。對於與第1實施形態的數位相機1相同之構成附加相同的符號，並省略說明。此外，此母畫面用的動態影像資料的輸出段亦可設定於子畫面用之動態影像資料之抽頭輸出段的一個，或者亦可設定於子畫面用之動態影像資料的抽頭輸出段之間。若依據該構成，本實施形態的數位相機21可從任意的圖框編號播放母畫面。

在本實施形態的數位相機21，藉由變更此輸出段，可各式各樣地變更相對於子畫面之母畫面的顯示。因此，除了上述之實施形態的特徵以外，可更為提高便利性。

(3)第3實施形態

第13圖係本發明之第3實施形態之數位相機之主要部分的功能構成圖。本實施形態的數位相機31係依使用者的操作來切換圖框緩衝器6之位址控制，如箭號C所示，亦可將在選擇電路6a之接點的切換順序切換成圖框編號增大的方向與減少的方向之任一種。此切換亦可每隔一個或複數個處理週期執行，亦可例如將切換設定成順方向或逆方向的任一方後固定播放的方向，又，亦可按使子畫面與母畫面用之圖框的圖框編號一致的週期執行。此數位相機31係除了此位址控制之構成不同以外，其他與第1實施形態的數位相機1或第2實施形態的數位相機21相同。對於同一構成附加相同的符號，並省略說明。在按照固定週期切換接點之切換順序時，亦可作成一併切換抽頭輸出段。

在本實施形態的數位相機31，因為可藉切換位址控制來切換分配給子畫面之圖框編號的順序，並各式各樣地變更相對於母畫面之子畫面的顯示，所以除了上述之實施形態的特徵以外，還可更為提高便利性。

(4)其他的實施形態

在上述的實施形態，說明依使用者的操作來設定輸入動態影像資料的圖框速率、子畫面用之動態影像資料的速度、處理單位的大小及與母畫面用之資料之產生相關的延遲時間。可是，本發明未限定如此，亦可將這些的全部或任一個設定成固定值。

在上述的實施形態，說明將子畫面用的動態影像資料擷取一部分並分配給子畫面。可是，本發明未限定如此，亦可將子畫面用的動態影像資料全部分配給子畫面。

並且，例如在子畫面合成部5A，亦可作成將動態影像資料D1分配給子畫面用，並將動態影像資料D2分配給母畫面用，亦可作成進行影像合成。又，雖然說明將與動態影像資料D1合成之動態影像資料的圖框速率設為實速，但是本發明未限定如此，與動態影像資料D1合成之動態影像資料的圖框速率只要是比動態影像資料D1之圖框速率更低的圖框速率即可，亦可依實裝來定之。

並且，在本實施形態，說明使用圖框緩衝器產生子畫面用及母畫面用之動態影像資料。可是，本發明未限定如此，例如可廣泛應用於對動態影像資料進行圖框間拔的情況等。

在上述的實施形態，說明從高圖框速率的動態影像資料產生子畫面用的動態影像資料並進行影像合成。可是，本發明未限定如此，例如亦可廣泛應用於從係一般的圖框速率之圖框速率30[fps]的動態影像資料產生慢動作動態影像作為子畫面用，再將這些動態影像資料合成並予以記錄的情況。

在上述的實施形態，說明將本發明應用於數位相機，並處理從攝像系統2所輸入之動態影像資料。可是，本發明未限定如此，亦可廣泛應用於例如將由網路、各種記錄媒體所提供的動態影像資料記錄於硬碟等之記錄媒體的情況。又，可藉使攝像裝置所具有之包含CPU與記憶體的電腦發揮上述各手段之功能的程式來進行動作。程式亦可經由通信線路散發，亦可寫入CD-ROM等的記錄媒體來散發。

本發明未限定為上述的實施形態，可在不超出其主旨之範圍下，將上述的實施形態進行各種組合，並且可對上述之實施形態施加各種變形的形態。

1．．．數位相機

2．．．攝像系統

3．．．記憶卡

4．．．匯流排

5．．．CPU

5A．．．子畫面合成部

5B．．．編碼部

5C．．．檔案化部

6．．．圖框緩衝器

6a．．．選擇電路

7．．．影像顯示部

8．．．記憶體

9．．．按鍵輸入部

10．．．透鏡驅動組件

11．．．透鏡

12．．．光圈

13．．．固態攝像元件

14．．．驅動器

15．．．時序產生器

16．．．信號處理部

D1、D2．．．動態影像資料

D3．．．合成動態影像資料

第1圖係本發明之第1實施形態之數位相機的方塊圖。

第2圖係用於說明第1圖之數位相機之動作的圖。

第3圖係第1圖之數位相機之主要部分的功能構成圖。

第4圖係表示播放藉第1圖之數位相機所記錄之合成動態影像資料之一例的圖。

第5圖係表示第1圖之數位相機之圖框緩衝器的構成圖。

第6圖係說明在第1圖之數位相機之「初期設定處理」的流程圖。

第7圖係說明在第1圖之數位相機之「錄影處理」的流程圖。

第8圖係說明在第7圖的「錄影處理」所執行之「子畫面合成處理」的流程圖。

第9圖係說明在第1圖之數位相機之圖框緩衝器之位址控制的流程圖。

第10圖係說明在第1圖之數位相機之圖框緩衝器之動作的圖。

第11圖係說明第10圖後續之圖框緩衝器之動作的圖。

第12圖係本發明之第2實施形態之數位相機之主要部分的功能構成圖。

第13圖係本發明之第3實施形態之數位相機之主要部分的功能構成圖。

1．．．數位相機

3．．．記憶卡(記錄媒體)

5A．．．子畫面合成部

5B．．．編碼部

5C．．．檔案化部

6．．．圖框緩衝器

6a．．．選擇電路

7．．．影像顯示部

D1．．．動態影像資料

D2．．．動態影像資料

D3．．．合成動態影像資料

Claims (10)

1. 一種記錄裝置，其具備：輸入動態影像資料的動態影像輸入部；對該動態影像資料進行圖框間拔來產生使圖框速率降低的低圖框速率動態影像資料的影像間拔部；產生將由該影像間拔部所產生之該低圖框速率動態影像資料與該動態影像資料合成為雙畫面的合成動態影像資料的動態影像合成部；將由該動態影像合成部所合成之合成動態影像資料記錄於記錄媒體的記錄部；及該動態影像合成部係將該動態影像資料分割成複數個區間，並將各個分割成該複數個區間之該動態影像資料與低圖框速率動態影像資料合成。
2. 如申請專利範圍第1項之記錄裝置，其中該影像間拔部係從各個分割成該複數個區間之該動態影像資料的前頭開始進行圖框間拔來產生與各個分割成該複數個區間之該動態影像資料從前頭依序合成之各個該低圖框速率動態影像資料。
3. 如申請專利範圍第2項之記錄裝置，其中各個該動態影像合成部所分割之該複數個區間所包含之該動態影像資 料的圖框數係相同。
4. 如申請專利範圍第3項之記錄裝置，其中該動態影像輸入部具有：變換所拍攝之動態影像並輸出攝像信號的固態攝像元件；及處理該攝像信號並輸出該動態影像資料的信號處理部；該記錄裝置更具備用於輸入來自使用者之指示的指示輸入部；及依在該指示輸入部所輸入之來自使用者的指示來設定該動態影像資料的圖框速率、該低圖框速率動態影像資料的圖框速率、及該複數個區間各自所包含之該動態影像資料之圖框數的至少一種的設定部。
5. 如申請專利範圍第1項之記錄裝置，其中更具備使資料延遲的資料延遲部，該資料延遲部及該影像間拔部由依序循環地記錄藉該動態影像輸入部所輸入之該動態影像資料並作選擇性輸出的環緩衝器所構成。
6. 如申請專利範圍第1項之記錄裝置，其中該動態影像合成部係以顯示於母畫面的方式產生該動態影像資料，並以顯示於子畫面的方式產生該低圖框速率動態影像資料。
7. 如申請專利範圍第6項之記錄裝置，其中該動態影像合成部係擷取該低圖框速率動態影像資料的一部分來產生 顯示於該子畫面之該合成動態影像資料。
8. 如申請專利範圍第2項之記錄裝置，其中該影像間拔部係在從各個分割成該複數個區間之該動態影像資料的前頭開始進行圖框間拔來產生各個與分割成該複數個區間之該動態影像資料從前頭依序合成之各個該低圖框速率動態影像資料時，以播放方向成為與順方向相反之方向的方式依序替換並產生該低圖框速率動態影像資料。
9. 一種記錄動態影像資料之記錄裝置的記錄方法，其包含：輸入動態影像資料的動態影像輸入步驟；對該動態影像資料進行圖框間拔來產生使圖框速率降低的低圖框速率動態影像資料的影像間拔步驟；產生將由該影像間拔步驟所產生之該低圖框速率動態影像資料與該動態影像資料合成為雙畫面的合成動態影像資料的動態影像合成步驟；及將由該動態影像合成步驟所合成之合成動態影像資料記錄於記錄媒體的記錄步驟；該動態影像合成步驟係將該動態影像資料分割成複數個區間，並將各個分割成該複數個區間之該動態影像資料與低圖框速率動態影像資料合成。
10. 一種程式，其用於使控制記錄動態影像資料之記錄裝置的電腦實現如下之功能，輸入動態影像資料的動態影像輸入功能；對該動態影像資料進行圖框間拔來產生圖框速率降 低的低圖框速率動態影像資料的影像間拔功能；產生將利用該影像間拔功能所產生之該低圖框速率動態影像資料與該動態影像資料合成為雙畫面的合成動態影像資料的動態影像合成功能；以及將利用該動態影像合成功能所合成之合成動態影像資料記錄於記錄媒體的記錄功能；該動態影像合成功能係將該動態影像資料分割成複數個區間，並將各個分割成該複數個區間之該動態影像資料與低圖框速率動態影像資料合成。