TWI437879B - 圖像處理裝置、記錄媒體 - Google Patents

圖像處理裝置、記錄媒體 Download PDF

Info

Publication number
TWI437879B
TWI437879B TW098126128A TW98126128A TWI437879B TW I437879 B TWI437879 B TW I437879B TW 098126128 A TW098126128 A TW 098126128A TW 98126128 A TW98126128 A TW 98126128A TW I437879 B TWI437879 B TW I437879B
Authority
TW
Taiwan
Prior art keywords
image
unit
amount
change
images
Prior art date
Application number
TW098126128A
Other languages
English (en)
Other versions
TW201015983A (en
Inventor
Akira Hamada
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of TW201015983A publication Critical patent/TW201015983A/zh
Application granted granted Critical
Publication of TWI437879B publication Critical patent/TWI437879B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Description

圖像處理裝置、記錄媒體
本發明係關於圖像處理裝置，尤其是關於從多個圖像中抽取部分圖像的技術。
以往，已知一種數位相機，其可從在時序上連續之多個圖像中抽取被拍攝體正運動中的圖像(參照日本國公開公報之特開2008-78837號公報)。具體而言，在時序上依序讀出利用連續攝影而獲得之多個圖像，當本次讀出之圖像相對前次讀出之圖像的變化量成為預定值以上時，則顯示本次讀出之圖像。根據此種數位相機，可僅抽取被拍攝體之變化大且與被拍攝體之動作大的畫面對應的圖像。
然而，在該習知之數位相機中，當在時序上相鄰之圖像間的變化量成為臨界值以上時，則會無條件地抽取圖像，所以，在攝影狀況發生變化的情況下，有無法適當地抽取被拍攝體之動作大的圖像群的問題。例如，即使被拍攝體正靜止中，當發生手抖動或者螢光燈之閃爍時，圖像間之變化量會增大。於此情況下，在該習知數位相機中，即使被拍攝體本身正靜止中，仍判斷為被拍攝體有大的動作，而抽取圖像。
在此，本發明之目的在於提供一種圖像處理裝置、記錄媒體，其不會受到攝影狀況之影響，而可從多個圖像中精度良好地抽取被拍攝體之動作大的部分圖像。
根據本發明之第1觀點，提供一種圖像處理裝置，其特徵為具備：圖像輸入部，輸入在時序上連續之多個圖像；變化量運算部，分別計算該輸入之多個圖像中在時序上相鄰之圖像間的變化量；區間指定部，在時序上，一面依序改變存在所有該多個圖像的全區間內所含第1區間，一面依序指定該第1區間，並依序指定第2區間，也就是除了從該全區間依序指定之該第1區間以外的區間；值決定部，根據藉由該變化量運算部計算出之各第1變化量，從存在於該指定之第1區間的各圖像決定第1值，並根據藉由該變化量運算部計算出之各第2變化量，從存在於該指定之第2區間的各圖像決定第2值；乖離率運算部，在該第1區間每次被指定時，分別計算該各第1變化量與該第1值之第1乖離率，並在該第2區間每次被指定時，分別計算該各第2變化量與該第2值之第2乖離率；及圖像抽取手段，在該計算出之各第1乖離率與各第2乖離率的總和為最小時，抽取此時存在於由該區間指定部所指定之第1區間內的圖像。
根據本發明之第2觀點，提供一種圖像處理裝置，其特徵為具備：圖像輸入部，輸入在時序上連續之多個圖像；抽取數設定部，設定從該輸入之多個圖像中應抽取之圖像數；變化量運算部，分別計算該輸入之多個圖像中在時序上相鄰之圖像所規定的該圖像間的變化量；變化量特定部，依序特定藉由該變化量運算部計算出之各變化量中比與藉由該抽取數設定部所設定的數量對應之變化量小的各變化量；圖像刪除部，從該輸入之多個圖像中，刪除規定藉由變化量特定部所特定之各變化量的圖像；及圖像抽取手段，從該輸入之多個圖像中，抽取未藉由該圖像刪除部刪除之圖像。
根據本發明之第3觀點，提供一種可電腦讀取之記錄媒體，其記憶使電腦發揮以下各部功能之程式：圖像輸入部，輸入在時序上連續之多個圖像；變化量運算部，分別計算該輸入之多個圖像中時序相鄰之圖像間的變化量；區間指定部，在時序上，一面依序改變存在所有該多個圖像的全區間內所含第1區間，一面依序指定該第1區間，並依序指定第2區間，也就是除了從該全區間依序指定之該第1區間以外的區間；值決定部，根據由該變化量運算部計算出之各第1變化量，從存在於該指定之第1區間的各圖像決定第1值，並根據由該變化量運算部計算出之各第2變化量，從存在於該指定之第2區間的各圖像決定第2值；乖離率運算部，在該第1區間每次被指定時，分別計算該各第1變化量與該第1值之第1乖離率，並在該第2區間每次被指定時，分別計算該各第2變化量與該第2值之第2乖離率；及圖像抽取手段，在該計算出之各第1乖離率與各第2乖離率的總和為最小時，抽取此時存在於由該區間指定部所指定之第1區間內的圖像。
根據本發明之第4觀點，提供一種可電腦讀取之記錄媒體，其記憶使電腦發揮以下各部功能之程式：圖像輸入部，輸入在時序上連續之多個圖像；抽取數設定部，設定從該輸入之多個圖像中應抽取之圖像數；變化量運算部，分別計算該輸入之多個圖像中時序相鄰之圖像所規定的該圖像間之變化量；變化量特定部，依序特定由該變化量運算部計算出的各變化量中比與由該抽取數設定部所設定的數量對應之變化量小的各變化量；圖像刪除部，從該輸入之多個圖像中刪除已規定由變化量特定部所特定之各變化量的圖像；及圖像抽取手段，從該輸入之多個圖像中，抽取未藉由該圖像刪除部刪除之圖像。
(發明效果)
根據本發明，不會受到攝影狀況之影響，而可從多個圖像中精度良好地抽取被拍攝體之動作大的圖像群。
 (第1實施形態)
以下，參照圖面說明本發明之第1實施形態。
第1圖為顯示本發明之第1實施形態的圖像處理裝置100之硬體的構成圖。圖像處理裝置100可由例如數位相機所構成。
圖像處理裝置100具備：光學透鏡裝置1、快門裝置2、致動器3、CMOS感測器4、AFE5、TG6、DRAM7、DSP8、CPU9、RAM10、ROM11、液晶顯示控制器12、液晶顯示器13、操作部14及記憶卡15。
光學透鏡裝置1係由聚焦透鏡或變焦透鏡等構成。聚焦透鏡係用以使被拍攝體像成像於CMOS感測器4之受光面上的透鏡。
快門裝置2係作為一種機械式快門而能遮蔽射入CMOS感測器4之光束，並且作為一種光圈而能調節射入CMOS感測器4之光束的光量。快門裝置2係由快門葉片等構成。致動器3係根據CPU9之控制，來開閉快門裝置2之快門葉片。
CMOS感測器4係對從光學透鏡裝置1射入之被拍攝體像進行光電轉換(攝影)的影像感測器。CMOS感測器4係根據從TG6供給之同步脈衝，於每一固定時間對被拍攝體像進行光電轉換，並儲存圖像信號，再依序輸出儲存之圖像信號。CMOS感測器4係由CMOS(Complementary Metal Oxide Semiconductor)型影像感測器等構成。
AFE(Analog Front End)5係根據從TG6供給之同步脈衝，對從CMOS感測器4供給之圖像信號執行A/D(類比/數位)轉換處理等之各種信號處理，藉以產生數位信號並予以輸出。
TG(Timing Generator)6係根據CPU9之控制，在每一固定時間將同步脈衝分別供至CMOS感測器4及AFE5。DRAM(Dynamic Random Access Memory)7係用以暫時記憶由AFE5所產生之數位信號、由DSP8所產生之圖像資料。
DSP(Digital Signal Processor)8係根據CPU9之控制，對記憶於DRAM7之數位信號執行白平衡校正處理、γ校正處理、YC轉換處理等之各種圖像處理，藉以產生由亮度信號及色差信號等構成之架構圖像資料。在以下之說明中，稱由此架構圖像資料所表現之圖像為架構圖像。
CPU(Central Processing Unit)9係用以控制整個圖像處理裝置100之動作。RAM(Random Access Memory)10係在CPU9執行各處理時被用作為工作區域。ROM(Read Only Memory)11係用以記憶圖像處理裝置100執行各處理時所需之程式、資料。CPU9係將RAM10作為工作區域，藉由與記憶於ROM11中的程式進行互動來執行各項處理。
液晶顯示控制器12係根據CPU9之控制，將記憶於DRAM7或記憶卡15中之架構圖像資料轉換為類比信號後予以輸出。液晶顯示器13係用以顯示藉由從液晶顯示控制器12供給之類比信號所表現的圖像等。
操作部14係用以受理使用者對各種鍵的操作。操作部14具備：電源鍵、十字鍵、決定鍵、菜單鍵、快門鍵等。操作部14係將對應於受理自使用者的對各種鍵的操作之信號供給於CPU9。當CPU9從操作部14接收此等信號時，CPU9執行根據接收到之信號所作處理。
記憶卡15係用以記錄由DSP8所產生之架構圖像資料的記錄媒體。
第2圖為顯示本實施形態之圖像處理裝置100之功能構成的方塊圖。在本實施形態中，假定圖像處理裝置100具備：圖像輸入部210、圖像處理部220、操作受理部230、顯示部240、記錄部250及控制部260。
圖像輸入部210係根據控制部260之控制而輸入多個架構圖像資料。藉由此等多個架構圖像資料所分別表現之架構圖像在時序上是連續的。圖像輸入部210可藉第1圖所示之光學透鏡裝置1、快門裝置2、致動器3、CMOS感測器4、AFE5、TG6、DRAM7及DSP8來實現。
圖像處理部220係根據控制部260之控制來執行後述之圖像變化量運算處理或圖像抽取處理。圖像處理部220具備：圖像變化量運算部221、區間指定部222、值決定部223、乖離率運算部224及圖像抽取部225。
圖像變化量運算部221係從由圖像輸入部210輸入之架構圖像的縮小圖像中，分別計算在時序上相鄰之縮小圖像間的變化量(例如，像素值之差的總和)。圖像變化量運算部221可藉由第1圖所示之CPU9來實現。
區間指定部222係於藉圖像輸入部210輸入之架構圖像的全部縮小圖像均存在之時序上的全區間中，一面依序改變預定之運動區間D(第1區間)，一面依序指定變更後之運動區間D。另外，區間指定部222係從前述全區間依序指定非運動區間D'(第2區間)，其中非運動區間D'係除了運動區間D以外之區間。有關運動區間D及非運動區間D'部分，容待後述。區間指定部222係將運動區間D與非運動區間D'之指定結果供至值決定部223。區間指定部222可藉第1圖所示之CPU9來實現。例如，亦可將運動區間D作為全區間中例如架構圖像之縮小圖像被中斷、未被中斷之一塊的區間，而將非運動區間D'作為從全區間除去運動區間D的區間。
值決定部223根據各縮小圖像間之變化量的值(例如，存在於運動區間D中之各縮小圖像間的變化量之平均值)決定為第1值，其中各縮小圖像存在於由區間指定部222所指定之運動區間D中。另外，值決定部223根據各縮小圖像間的變化量之值(例如，存在於非運動區間D'中之各縮小圖像間的變化量之平均值)決定為第2值，其中各縮小圖像係存在於由區間指定部222所指定之非運動區間D'中。值決定部223將第1值與第2值之決定結果供至乖離率運算部224。值決定部223可藉第1圖所示之CPU9來實現。
乖離率運算部224係在每次由區間指定部222指定運動區間D時，分別計算各第1變化量與第1值(各第1變化量之平均值等)之乖離率(以下，稱為第1乖離率)。另外，乖離率運算部224係在每次由區間指定部222指定非運動區間D'時，分別計算各第2變化量與第2值(各第2變化量之平均值等)之乖離率(以下，稱為第2乖離率)。乖離率運算部224可藉第1圖所示之CPU9來實現。
圖像抽取部225係在由乖離率運算部224計算出之各第1乖離率與各第2乖離率的總和為最小時，從由圖像輸入部210輸入之架構圖像之縮小圖像中，抽取此時存在於由區間指定部222所指定之運動區間D內的縮小圖像。圖像抽取部225可藉第1圖所示之CPU9來實現。
操作受理部230係用以受理使用者對圖像處理裝置100之操作。作為此操作，具有對圖像處理裝置100之如下操作：使用者指示攝影之操作、設定使用者進行攝影之圖像的張數(以下，稱為攝影張數)的操作、設定圖像抽取部225所抽取之架構圖像的張數(以下，稱為抽取張數)的操作等。操作受理部230係將受理使用者之操作結果供至控制部260。操作受理部230可藉第1圖所示之操作部14來實現。
顯示部240係用以顯示由圖像輸入部210輸入之架構圖像等。顯示部240可藉第1圖所示之液晶顯示控制器12及液晶顯示器13來實現。
記錄部250係用以記錄表現由圖像抽取部225所抽取之架構圖像的架構圖像資料。記錄部250可藉第1圖所示之記憶卡15來實現。
控制部260係統合性地控制由各部所執行之處理。控制部260可藉第1圖所示之CPU9、RAM10、及ROM11來實現。
第3圖為顯示圖像處理裝置100所執行之連續攝影處理流程之一例的流程圖。此連續攝影處理就控制部260(CPU9)所執行者加以說明。另外，此連續攝影處理係以使用者對操作受理部230進行預定操作作為契機而開始執行。
控制部260在與連續攝影處理之開始同時，將由圖像輸入部210輸入之架構圖像依序供至顯示部240，藉以將架構圖像作為生活場景圖像顯示於顯示部240中。
在步驟S1中，控制部260判斷是否由使用者進行設定圖像之攝影張數及抽取張數的操作。具體而言，控制部260藉由是否從操作受理部230供給與設定圖像之攝影張數或抽取張數的操作對應之信號，來判斷是否由使用者進行設定圖像之攝影張數及抽取張數的操作。在步驟S1之判斷為YES的情況下，控制部260於對與使用者之操作對應的攝影張數及抽取張數進行設定後，進入步驟S2進行處理。另一方面，在步驟S1之判斷為NO的情況下，控制部260則重複地進行步驟S1之處理。
在以後之說明中，假定所設定之攝影張數為N張，抽取張數為M張。也就是說，從時序上連續之N張的架構圖像中，抽取在時間上互為前後之架構圖像間被拍攝體之動作大的M張之架構圖像。例如，如第4圖所示，圖像處理裝置100連續地拍攝N張之汽車通過CMOS感測器4之攝影範圍內時的圖像，並從此N張之連續的圖像中僅抽取所拍攝之移動於攝影範圍內的汽車之M張的圖像。
在步驟S2中，控制部260對與從操作受理部230所供給之快門鍵的操作相對應之信號進行監視。當檢測出與使用者進行之快門鍵的操作相對應的信號時，控制部260將在時序上連續之N張的架構圖像輸入(連續攝影)於圖像輸入部210中。在以下之說明中，將此等N張的架構圖像分別表示為p[x](0≦x≦N-1)。x為賦予各架構圖像之索引編號。在此，從在時序上最舊之架構圖像開始依序賦予0,1,2,...N-1的各個索引編號。將依索引編號之順序，也就是依時序之順序排列此等架構圖像者設為圖像排列P。
在步驟S3中，控制部260藉未圖示之攝影處理部將已拍攝之N張架構圖像縮小，以產生在時序上被排列之N張縮小圖像。此縮小處理係一般所進行之將圖像的像素數縮小的處理。縮小率可在考慮被拍攝體之大小、手抖動的影響的基礎上，並配合照相機的特性來適宜決定。在以下之說明中，將此N張縮小圖像分別表示為ps[x](0≦x≦N-1)。在此縮小處理中，預先使架構圖像之索引編號與從該架構圖像產生之縮小圖像的索引編號一致。亦即，有關縮小圖像，亦與架構圖像相同，從在時序上最舊之縮小圖像開始依序賦予0,1,2,...N-1的索引編號。
然後，如第5圖所示，將依索引編號之順序，也就是依時序之順序排列此等縮小圖像者設為縮小圖像排列PS。
在步驟S4中，控制部260進行圖像變化量運算處理。亦即，如第5圖所示，針對縮小圖像排列PS，將時間上互為前後之縮小圖像ps[x]彼此的變化量作為圖像變化量e予以計算。並將此圖像變化量e之索引編號作為上述x，將此計算出之各圖像變化量表示為e[x](0≦x≦N-2)。在此，從在時序上最舊之圖像變化量開始依序賦予0,1,2,...N-2的索引編號。並將依索引編號之順序，也就是依時序之順序排列此等圖像變化量e[x]者設為圖像變化量排列E。有關步驟S4之圖像變化量運算處理的詳細內容，容待後述。
在步驟S5中，控制部260從N張縮小圖像中僅抽取被拍攝體之動作較大的縮小圖像。有關步驟S5之圖像抽取處理的詳細內容，容待後述。
在步驟S6中，控制部260調整由步驟S5之處理所抽取的縮小圖像，使得該縮小圖像成為M張。這是因為相對於藉由使用者的操作所設定之抽取張數為M張，在藉由步驟S5之處理抽取比M張還多之張數的縮小圖像的情況、藉由步驟S5之處理抽取比M張還少之張數的縮小圖像的情況，須將縮小圖像之張數調整為使用者所希望之M張的緣故。
藉此，具體而言，在抽取之縮小圖像的張數比M還多之情況下，例如，每隔預定間隔抽取運動區間D內含有之圖像，使圖像數成為M張。另一方面，在抽取之縮小圖像比M張還少之情況下，例如，利用擴大運動區間D之範圍，以使運動區間D內含有之縮小圖像的張數成為M張。
在步驟S7中，控制部260僅將與藉由步驟S6之處理而調整了抽取張數的縮小圖像對應之架構圖像資料記錄於記錄部250中。另外，此時，控制部260將對記錄於記錄部250中之各架構圖像資料進行合成後的合成圖像、各架構圖像資料之縮小圖像，暫時顯示於顯示部240上。
第6圖為顯示步驟S4之圖像變化量運算處理的詳細流程之一例的流程圖。參照第6圖，說明圖像變化量運算處理的詳細內容。在以下之說明中，此圖像變化量運算處理係藉由控制部260之控制而由圖像處理部220所執行者。
此圖像變化量運算處理係將在時序上相鄰之縮小圖像ps中相互處於相同位置上的像素之像素值的差量之絕對值的總和，作為圖像變化量e而予以計算的處理。因此，此圖像變化量e係由在時序上相鄰之縮小圖像ps所規定。
在有關此圖像變化量運算處理之說明中，將圖像變化量e之總和的暫定值設為d。另外，為了便於說明，取代上述之x而改由i來表示縮小圖像之索引編號。另外，有關縮小圖像ps[i]之像素數，將水平方向上、也就是x方向的像素數設為p，將垂直方向上、也就是y方向的像素數設為q。另外，由座標(x,y)來表示縮小圖像ps[i]上之任意像素的位置。
圖像處理部220係將0(零)設定為索引編號i(步驟S11)，並將暫定值d的初期值設定為0(步驟S12)，將y座標的初期值設定為1(步驟S13)，將x座標的初期值設定為1(步驟S14)。
其次，圖像處理部220之圖像變化量運算部221，計算縮小圖像ps[i]之座標(x,y)的像素之像素值與縮小圖像ps[i+1]之座標(x,y)的像素之像素值的差量的絕對值，並將計算出之差量的絕對值加於暫定值d上(步驟S15)。
然後，圖像處理部220判斷x是否為p(步驟S16)。在步驟S16之判斷為YES的情況下，圖像處理部220則進入步驟S18進行處理。另一方面，在步驟S16之判斷為NO的情況下，圖像處理部220對座標x進行增加(將座標x僅加上1)(步驟S17)後，返回步驟S15進行處理。
然後，圖像處理部220判斷y是否為q(步驟S18)。在步驟S18之判斷為NO的情況下，圖像處理部220對座標y進行增加(將座標y僅加上1)(步驟S19)後，返回步驟S14進行處理。
另一方面，在步驟S18之判斷為YES的情況下，圖像處理部220將圖像變化量e[i]保持作為暫定值d(步驟S20)。然後，圖像處理部220判斷現在之索引編號i是否為N-2(N為在步驟S1之處理中所設定的攝影張數)(步驟S21)。在步驟S21之判斷為NO的情況，圖像處理部下220對計數器i進行增加(將i僅加上1)(步驟S22)後，返回步驟S12進行處理。另一方面，在步驟S21之判斷為YES的情況下，圖像處理部220則結束圖像變化量運算處理。
再者，參照第7圖來說明步驟S5之圖像抽取處理。在第7圖中，橫軸表示索引編號x，縱軸表示圖像變化量e[x]。圖中，由實線表示之曲線，顯示與各索引編號x對應之圖像變化量e[x]。另外，由虛線表示之曲線，顯示後述之孤立矩形函數r[x]。又，圖像變化量e[x]之值係依每一索引編號x也就是整數值而決定之分散值，所以，第7圖中，顯示以直線連結圖像變化量e[x]之各值者。
首先，將與運動區間D之開始點及結束點對應的索引編號分別設為x1 ,x2 。於是，運動區間D作為從x1 至x2 的區間，被表示為如下。
D=[x1 ,x2 ]　(0＜x1 ＜x2 ＜N-2)
在此，[x1 ,x2 ]表示從x1 至x2 的區間。此等x1 ,x2 成為運動區間D與非運動區間D'之邊界(境界)。圖像處理部220之區間指定部222，依序指定以上之開始點x1 、結束點x2 的全部組合，而有關藉由此等x1 ,x2 之複數個組合而被分別規定的運動區間D與複數個非運動區間D'，則進行以下之處理。
圖像處理部220之值決定部223，分別針對由區間指定部222所指定之x1 ,x2 之各個組合，根據與運動區間D內含有之所有的索引編號x對應之圖像變化量e[x]，來決定第1值。另外，圖像處理部220之值決定部223分別針對由區間指定部222所指定之x1 ,x2 之各個組合，根據與非運動區間D'內含有之所有的索引編號x對應之圖像變化量e[x]，來決定第2值。具體而言，值決定部223計算屬於運動區間D之各圖像變化量排列E的各個圖像變化量e[x]的平均值a，並決定此a作為第1值。另外，值決定部223計算屬於非運動區間D'之各圖像變化量排列E的各個圖像變化量e[x]的平均值b，並決定此b作為第2值。
圖像處理部220之乖離率運算部224針對由區間指定部222所指定之x1 ,x2 之各個組合，將孤立矩形函數r[x]定義為如下。
此孤立矩形函數r[x]的值，在運動區間D中成為a，在非運動區間D'中成為b。
圖像處理部220之乖離率運算部224，針對由區間指定部222所指定之x1 ,x2 之各個組合，計算孤立矩形函數r[x]與圖像變化量排列E的乖離率J。乖離率J係指各索引編號x之孤立矩形函數r[x]與圖像變化量排列E的差量之總和。具體而言，如以下之數式，將孤立矩形函數r[x]與圖像變化量排列E的差量進行乘方後的值之總和作為乖離率J。
若稱乖離率J成為最小時由區間指定部222指定之x1 ,x2 所規定的運動區間為運動區間Dmin，圖像抽取部225即從由圖像輸入部210輸入之架構圖像的縮小圖像中抽取分別規定此運動區間Dmin內含有之所有圖像變化量e之縮小圖像ps。
再者，說明步驟S5之圖像抽取處理之概要流程。在以下之說明中，將乖離率J之最小值設為Jmin ，將為乖離率Jmin 時之運動區間D的開始點設為m1 ，結束點設為m2 ，並將與開始點m1 及結束點m2 對應之縮小圖像排列PS的索引編號設為xin 、xout 。
首先，圖像處理部220一面使x1 ,x2 變化，一面依序計算乖離率J，比較此等依序算出之乖離率J，藉此，求取依序算出之各乖離率J中為最小值的乖離率Jmin 。然後，圖像處理部220求取乖離率J成為最小值Jmin 時所指定之運動區間Dmin的開始點m1 、結束點m2 。此時，圖像處理部220針對x1 ,x2 之可取得的值之所有組合進行完全探索。 在此，x1 ,x2 為分散值。
第1實施形態之完全探索係指一面使x1 在0與(N-3)之間變化，一面使x2 在x1 與(N-2)之間變化，並針對x1 ,x2 之所有組合來確認乖離率J的處理。具體而言，首先，將x1 固定為0，使x2 從1變化至(N-2)。然後，將x1 固定為1，使x2 從2變化至(N-2)。接著，將x1 固定為2，使x2 從3變化至(N-2)。如此，圖像處理部220一面使x1 的值從0逐個地增加至(N-3)，一面對應於各x1 之後而逐個地增加x2 。當x1 或x2 每進行一個變化時，圖像處理部220則確認每次計算出之乖離率J。
又，通常，藉由一次連續攝影所獲得之架構圖像為數張左右，所以，架構圖像之索引x相對地受到限制。因此，對控制部260(CPU9)之完全探索產生的處理負擔變得較小。
第8圖為顯示步驟S5之圖像抽取處理的詳細流程之一例的流程圖。參照第8圖，說明圖像抽取處理的詳細內容。在以下之說明中，此圖像抽取處理係藉由控制部260之控制而由圖像處理部220所執行者。
首先，圖像處理部220將Jmin 之初期值設定為接近於無限大的預定值(步驟S31)。其次，圖像處理部220之區間指定部222將x1 之初期值設定為0(步驟S32)，將x2 之初期值設定為x1 +1(步驟S33)。然後，圖像處理部220之值決定部223決定孤立矩形函數r[x]之運動區間D中的函數值a、非運動區間D'中的函數值b(步驟S34)。接著，圖像處理部220之乖離率運算部224，進行乖離率J之計算(步驟S35)。
接著，圖像處理部220判斷藉由步驟S35之處理所計算出之乖離率J是否比Jmin 還小(步驟S36)。在步驟S36之判斷為NO的情況下，圖像處理部220進入步驟S39進行處理。另一方面，在步驟S36之判斷為YES的情況下，圖像處理部220進入步驟S37進行處理。在步驟S37中，圖像處理部220將藉由步驟S35之處理所計算出之乖離率J設定為Jmin 。然後，圖像處理部220將開始點m1 暫時作為x1 而予以設定，並將結束點m2 暫時作為x2 而予以設定(步驟S38)。
在步驟S39中，圖像處理部220判斷x2 是否為N-2(N為在步驟S1之處理中所設定的攝影張數)。在步驟S39之判斷為YES的情況下，圖像處理部220進入步驟S41進行處理。然後，圖像處理部220判斷x1 是否為N-3(步驟S41)。在步驟S41之判斷為YES的情況下，圖像處理部220進入步驟S43進行處理。在步驟S41之判斷為NO的情況下，圖像處理部220對計數器x1 進行增加(將x1 僅加上1)(步驟S42)後，返回步驟S33進行處理。
另一方面，在步驟S21之判斷為NO的情況下，圖像處理部220對計數器x2 進行增加(將x2 僅加上1)(步驟S40)後，返回步驟S34進行處理。
在步驟S43中，因為結束了步驟S33～S41的一圈處理，所以，開始點m1 及結束點m2 已確定。此等m1 ,m2 係圖像變化量排列E的索引編號，m1 ,m2 之圖像變化量e[m1 ],e[m2 ]係分別根據2個縮小圖像ps所計算出。藉此，須使2個縮小圖像ps之任一個與圖像變化量e[m1 ],e[m2 ]對應，來決定是否採用作為ps[xin ],ps[xout ]。於此，在步驟S43中，圖像處理部220將(m1 +1)設定為開始點xin ，將m2 設定為結束點xout 。
於步驟S44中，在縮小圖像排列PS，從運動區間D之開始點的縮小圖像ps[xin ]迄至結束點的縮小圖像ps[xout ]為止，抽取在時序上連續之一連串的縮小圖像。然後，圖像處理部220在步驟S44的處理之後，結束圖像抽取處理。
在第1實施形態中，作為圖像變化量排列E之比較對象，定義了以a、b作為函數值之孤立矩形函數r[x]。此函數值a係運動區間D中之圖像變化量排列E的平均值，此函數值b係非運動區間D'中之圖像變化量排列E的平均值，所以，依照運動區間D之開始點x1 及結束點x2 的位置而動態地變化。因此，只要比較臨界值a,b與圖像變化量排列E，求取乖離率J之最小值Jmin ，便可將在此乖離率Jmin 之開始點m1 的圖像變化量e[m1 ]、結束點m2 的圖像變化量e[m2 ]，作為相對變化較大之圖像變化量而確實地予以抽取。藉此，可抽取圖像變化量大之架構圖像群，也就是被拍攝體之動作大的架構圖像群。
第9(a)～(d)圖為x1 =1之情況的孤立矩形函數r[x]之具體例，第10(a)～(d)圖為x1 =3之情況的孤立矩形函數r[x]之具體例。在第9(a)～(d)圖及第10(a)～(d)圖中，橫軸為索引編號x，縱軸為圖像變化量。在第9(a)～(d)圖及第10(a)～(d)圖中，粗實線所描繪之矩形波顯示孤立矩形函數r[x]，細實線所描繪之波形顯示圖像變化量排列E。又，圖像變化量e[x]之值為分散值，所以，在此等第9(a)～(d)圖及第10(a)～(d)圖中，以直線連結圖像變化量e[x]之各值。
如此等第9(a)～(d)圖及第10(a)～(d)圖所示，孤立矩形函數r[x]之函數值a係運動區間D中之圖像變化量排列E的平均值，函數值b係非運動區間D'中之圖像變化量排列E的平均值，所以，可知其依照運動區間D之開始點x1 及結束點x2 的位置而動態地變化。在第10(c)圖中，顯示孤立矩形函數r[x]之波形與顯示圖像變化量排列E的波形最為近似，所以，可理解在第10(c)圖之x1 =3、x2 =6的情況下，乖離率J成為最小。
如以上之說明，第1實施形態之圖像處理裝置100係將孤立矩形函數r[x]之函數值a設為運動區間D中之圖像變化量排列E的平均值，將函數值b設為非運動區間D'中之圖像變化量排列E的平均值。然後，求取函數值a,b與圖像變化量排列E的乖離率J成為最小的Jmin 。接著，求取與此乖離率Jmin 之開始點m1 的圖像變化量e[m1 ]對應之圖像p[xin ]、與結束點m2 的圖像變化量e[m2 ]對應之圖像p[xout ]。然後，從圖像排列P中抽取從架構圖像p[xin ]至架構圖像p[xout ]為止在時間上連續的架構圖像群。
如此，2個函數值a,b不是一定值，而是依照運動區間D之開始點x1 及結束點x2 的位置而動態地變化之圖像變化量排列E的平均值。於是，只要利用比較臨界值a,b與圖像變化量排列E，而求取乖離率J之最小值Jmin ，便可將在此乖離率Jmin 之開始點m1 的圖像變化量e[m1 ]、結束點m2 的圖像變化量e[m2 ]，作為相對地變化較大之圖像變化量而正確地予以抽取。因此，可從在時序上連續的圖像排列P中精度良好地抽取被拍攝體之動作大的架構圖像群。因此，本實施形態之圖像處理裝置100，可從例如，如田徑或球賽等、連續地拍攝被拍攝體(田徑選手或球)通過攝影範圍內之場景而得到的圖像；或是如體操比賽、連續地拍攝被拍攝體在攝影範圍內依靜止、移動、靜止的順序動作之場景而得到的圖像中，適當地僅抽取在攝影範圍內被拍攝體之動作大的圖像。
另外，例如，即使因手抖動而造成各圖像變化量e的值發生變動，也就是說，即使因手抖動而使得顯示第9圖或第10圖所示之圖像變化量排列E的波形的位置在上下方向發生變動，因函數值a,b分別為圖像變化量排列E的平均值，所以，函數值a,b仍會跟隨此變動。藉此，第1實施形態之圖像處理裝置100，不需要進行以往之臨界值的調整，幾乎不會受到手抖動等的外因的影響，與攝影狀況無關，可適當地抽取被拍攝體之動作大的架構圖像群，因此通用性高。
在圖像之背景範圍及被拍攝體範圍的圖形大致一致的情況下，時間上互為前後之架構圖像間的變化量，與在架構圖像間被拍攝體之動作的大小成比例進行增大。然而，實際上會產生架構圖像間由被拍攝體所遮蔽之背景範圍的差量、被拍攝體範圍的面積或內容之差量、或因手抖動造成之整個邊緣的差量等，所以，會有時間上互為前後之架構圖像間的變化量不穩定地進行變動的問題。
於此，在第1實施形態之圖像處理裝置100中，定義了由2個函數值a,b所構成之孤立矩形函數r[x]。此孤立矩形函數r[x]係僅利用決定運動區間D之開始點x1 及結束點x2 的2個參數，於運動區間D中將運動區間D中含有之圖像變化量e的平均值a定義作為函數值，而針對非運動區間D'，則將非運動區間D'中含有之圖像變化量e的平均值b定義作為函數值。藉此，第1實施形態之圖像處理裝置100，即使有幾個圖像變化量e因雜訊等而略微產生變動，孤立矩形函數r[x]與圖像變化量排列E之相對關係，仍不會受到此圖像變化量e之變動的太大的影響，所以，較能對抗外在因素。
在連續攝影之情況下，當因使用者按下快門鍵而造成僅於剛按下快門後的這一段時間內發生手振動時，會造成剛按下快門後所拍攝之圖像的變化量增大。在此種情況下，例如，在第4圖所示之攝影狀況中，於剛按下快門後之攝影區間、汽車通過攝影範圍內之攝影區間的2個不同之攝影區間的各區間，會造成時間上連續之架構圖像間的變化量增大。於是，在此種情況下，會有從2個不同之攝影區間分別抽取架構圖像群的擔憂。例如，在第4圖所示之攝影狀況中，恐會發生抽取剛按下快門後所攝影之圖像、亦即抽取在攝影範圍內不存在被拍攝體而缺乏變化的架構圖像群的問題。
但是，根據第1實施形態之圖像處理裝置100，因只決定一個抽取架構圖像群之攝影區間(運動區間D)，所以，可降低抽取不需要之架構圖像群的可能性。根據第1實施形態之圖像處理裝置100，即使因手抖動等之外在影響而在顯示圖像變化量排列E的波形中存在多個山峰區間，也就是說即使在圖像變化量排列E中存在多個圖像變化量e增大的區間，仍可將因手振動等之外在影響而造成圖像間的變化量增大之區間從抽取對象中排除，可更為確實地僅抽取被拍攝體之動作大的圖像。
第1實施形態之圖像處理裝置100係根據在縮小圖像排列PS中時間上互為前後之縮小圖像ps彼此的差量，來計算圖像變化量e。因與在縮小圖像排列PS中時間上互為前後之縮小圖像ps對應的架構圖像間之攝影時間間隔短，所以，即使產生手振動或螢光燈之閃爍等，仍無時間上互為前後之縮小圖像ps彼此的圖像變化量e發生較大變化的情況，所以，不容易受到外在之影響。藉此，即使在使用者以手來把持圖像處理裝置100而執行攝影的情況下，仍不需要執行縮小圖像ps彼此之位置對準處理，所以，可減低圖像處理部220(CPU9)之運算負荷。
[第2實施形態]
其次，說明本發明之第2實施形態。在第2實施形態中，圖像處理部220之構成及步驟S5的圖像抽取處理與第1實施形態不同。其他構成及處理與第1實施形態相同，所以，省略此等之說明。
第11圖為顯示第2實施形態之圖像處理裝置100的功能構成之方塊圖。第2實施形態之圖像處理裝置100的功能構成中與第1實施形態之差異，僅在於圖像處理部220的構成。假定第2實施形態之圖像處理部220具備：圖像變化量運算部221、抽取張數設定部226、圖像變化量特定部227、判斷部228、圖像刪除部229、及圖像抽取部225。
第2實施形態中，圖像變化量運算部221首先係從由圖像輸入部210輸入之架構圖像的縮小圖像中，分別計算在時間上互為前後之縮小圖像間的變化量(例如，像素值之差的總和)。然而，當每次由圖像刪除部229刪除縮小圖像時，針對從由圖像輸入部210輸入之架構圖像的縮小圖像中除去此被刪除之縮小圖像的各縮小圖像，反復地計算時間上互為前後之縮小圖像間的變化量。
抽取張數設定部226係回應使用者進行抽取張數之設定的操作，來設定根據此操作之抽取張數M。在進行此設定處理時，從操受理部230將顯示抽取之由使用者之操作而設定的抽取張數M的信號，透過控制部260供給於抽取張數設定部226。抽取張數設定部226可藉由第1圖所示之CPU9來實現。
圖像變化量特定部227係藉由圖像刪除部229來刪除縮小圖像，藉以特定計算出之圖像變化量中成為最小的圖像變化量。另外，此時，圖像變化量特定部227針對所特定之最小的圖像變化量，並對時間上互為前後之2個圖像變化量進行特定。圖像變化量特定部227可藉由第1圖所示之CPU9來實現。
判斷部228係在圖像變化量特定部227每次對各圖像變化量進行特定時，對成為最小的圖像變化量，判斷在時序上前後相鄰之2個圖像變化量中哪一個為最小。判斷部228將此判斷結果供至圖像刪除部229。判斷部228可藉第1圖所示之CPU9來實現。
圖像刪除部229係將從判斷部228供給之判斷結果所示判斷為較小方的圖像變化量，從縮小圖像排列PS中刪除。圖像刪除部229可藉第1圖所示之CPU9來實現。
第2實施形態中，圖像抽取部225係從由圖像輸入部210輸入之架構圖像的縮小圖像中，抽取未由圖像刪除部229所刪除而剩餘的縮小圖像。
第12圖為顯示第2實施形態之圖像抽取處理(步驟S5的處理)的流程之一例的流程圖。參照第12圖，說明第2實施形態之圖像抽取處理的詳細內容。在以下之說明中，此圖像抽取處理係藉由控制部260之控制而由圖像處理部220所執行者。
首先，在步驟S51中，圖像處理部220之圖像變化量特定部227，從圖像變化量排列E中來特定成為最小之圖像變化量e。在以下之說明中，將由步驟S51所特定之最小圖像變化量設為e[k]，亦即，將與特定之最小圖像變化量對應的索引編號設為k。
在步驟S52中，圖像處理部220之圖像變化量特定部227對圖像變化量e[k-1]及圖像變化量e[k+1]進行特定。圖像變化量e[k-1]係在圖像變化量排列P中鄰接於時序上比圖像變化量e[k]靠前方(過去)者的圖像變化量。圖像變化量e[k+1]係在圖像變化量排列P中鄰接於時序上比圖像變化量e[k]靠後方(未來)者的圖像變化量。
在步驟S53中，圖像處理部220之判斷部228判斷圖像變化量e[k-1]是否比圖像變化量e[k+1]小。在步驟S53之判斷為YES的情況下，圖像處理部220進入步驟S54進行處理。另一方面，在步驟S53之判斷為NO的情況下，圖像處理部220進入步驟S55進行處理。
在步驟S54中，圖像處理部220之圖像刪除部229將與圖像變化量e[k]對應之2個縮小圖像ps[k],ps[k+1]中的時序上位於前方之縮小圖像ps[k]，從縮小圖像排列PS中刪除。換言之，圖像處理部220刪除規定了圖像變化量e[k-1]之2個縮小圖像ps[k-1],ps[k]中的時序上位於後方之ps[k]。
在步驟S55中，圖像處理部220之圖像刪除部229將與圖像變化量e[k]對應之2個縮小圖像ps[k],ps[k+1]中的時序上位於後方之縮小圖像ps[k+1]，從縮小圖像排列PS中刪除。換言之，圖像處理部220刪除規定了圖像變化量e[k+1]之2個縮小圖像ps[k+1],ps[k]中的時序上位於前方之ps[k+1]。
在步驟S56中，圖像處理部220之判斷部228對藉由前面之步驟S54或步驟S55的處理而刪除了縮小圖像的結果，縮小圖像排列PS中剩餘的縮小圖像ps的張數是否為M進行判斷。在步驟S56之判斷為NO的情況下，圖像處理部220進入步驟S58進行處理。
在步驟S58中，圖像處理部220之圖像刪除部229從圖像變化量排列E中，將藉由在前面之步驟S54或步驟S55的處理被刪除之縮小圖像PS所分別規定的2個圖像變化量e刪除。在此刪除處理中，例如，如第13圖所示，在本次刪除了縮小圖像ps[k]的情況時，圖像刪除部229對藉由此刪除之縮小圖像ps[k]所規定的2個圖像變化量e[k],e[k-1]進行刪除，並計算顯示與刪除之縮小圖像ps[k]相鄰的縮小圖像ps[k-1],ps[k+1]的變化量之圖像變化量e[k-1]'，然後輸入至圖像變化量排列E。
另一方面，在步驟S56之判斷為YES的情況下，圖像處理部220之圖像抽取部225抽取剩餘之M張的縮小圖像ps(步驟S57)。在此步驟S57之處理後，圖像處理部220結束圖像抽取處理。
如上述，直到剩餘之縮小圖像ps成為M張(在步驟S56為YES)為止，圖像處理部220在步驟S51中持續地抽取最小之圖像變化量，並在步驟S54,S55中持續地刪除縮小圖像ps，在步驟S58中持續地刪除圖像變化量e。在步驟S58中未被刪除而最終剩餘的圖像變化量排列E中為最小的圖像變化量e，係根據所設定之M的值而變化者。亦即，當設定之M值較小時，則在步驟S58中未被刪除而最終剩餘的圖像變化量排列E中為最小的圖像變化量e增大。另一方面，當設定之M值較大時，則在步驟S58中未被刪除而最終剩餘的圖像變化量排列E中為最小的圖像變化量e變小。於是，在步驟S51中，直到剩餘之縮小圖像ps成為M張(在步驟S56為YES)為止，持續地將比與設定之M的值對應之特定圖像變化量(在步驟S58未被刪除而最終剩餘的圖像變化量排列E中為最小的圖像變化量e)還小的圖像變化量e完全刪除。
根據本實施形態，第2實施形態之圖像處理裝置100將圖像變化量e在時序上排列成圖像變化量排列E，利用比較此等圖像變化量e而抽取相對較小之值的圖像變化量e[k]，然後將與此抽取之圖像變化量e[k]對應的縮小圖像p刪除，再從圖像排列P中抽取與剩餘之縮小圖像對應的架構圖像。亦即，第2實施形態之圖像處理裝置100著眼於圖像變化量e彼此的相對關係，從圖像變化量排列E中抽取與相對較大之值對應的圖像變化量e的圖像p。藉此，即使在因使用者的手抖動而使得圖像變化量e產生變動的情況下，仍然跟隨此變動，所以，與攝影狀況無關，而可精度良好地抽取僅為被拍攝體之動作大的圖像。
第2實施形態之圖像處理裝置100著眼於圖像變化量e彼此的相對關係，而從圖像變化量排列E中僅抽取圖像變化量e相對較小的圖像p，亦即缺乏變化之冗長圖像。與第1實施形態之抽取連續的圖像群不同，僅分散性地抽取動作較大之圖像。藉此，不會如第1實施形態僅限定於特定的運動對象，而可應用於類似被拍攝體停留在圖像內或被拍攝體較不規則地移動的一般之運動場景。藉此，例如，即使將被拍攝體在攝影範圍內不規則且反復地進行靜止與移動的場景的攝影圖像合成而產生一個合成圖像的情況，仍可防止總是合成一些缺乏變化之冗長圖像的情況。亦即，藉由將由第2實施形態之圖像處理裝置100所抽取之架構圖像群合成而作成合成圖像，可獲得在被拍攝體之動作上清晰可辨的合成圖像。
[變化例等]
又，本發明並不限定於上述實施形態，凡在可達成本發明之目的之範圍內的變化或改良，均包含於本發明之範圍內。
例如，在上述第1實施形態中，針對x1 ,x2 之所有組合，計算出乖離率J。但並不限定於此，即使在計算孤立矩形函數r[x]之函數值a,b的結果成為a＜b的情況下，亦可於函數值b與函數值a之差較小時，將此組合排除於探索對象外。藉由此種構成，將明顯為最不適當的x1 ,x2 之組合排除，減輕圖像處理部220(CPU9)之運算處理所需的負擔，可高速地進行處理。
另外，在上述第1實施形態中，作為0＜x1 ＜x2 ＜N-2，設定為使顯示孤立矩形函數r[x]之山峰部分的x1 或x2 不會成為屬界限的0或(N-2)，但並不限定於此，作為0≦x1 ＜x2 ≦N-2，亦可設定為使顯示孤立矩形函數r[x]之山峰部分的x1 或x2 可取得屬界限的0或(N-2)。
另外，在上述第1實施形態中，孤立矩形函數之山峰部分為四方形，但亦可將山峰部分設為梯形。
另外，在上述各實施形態中，針對時間上互為前後之縮小圖像ps，將同一位置之像素值的差量的總和作為圖像變化量e予以計算。但亦可將同一位置之像素值的差量的乘方之總和作為圖像變化量e予以計算，或若是可使圖像之差異數值化的方法，則可採用任何方法。另外，在縮小圖像ps為彩色圖像的情況下，可依縮小圖像ps之每一顏色成份來計算差量。
另外，在上述各實施形態中，雖計算包括整個圖像之像素值的差量，但並不限定於此，亦可設定窗口或檢測框，僅針對圖像之一部分來計算像素值的差量。根據此種構成，圖像處理部220之運算負擔被減輕，所以，可高速地進行處理。
另外，在上述各實施形態中，作為圖像變化量e，使用縮小圖像ps間之像素值的差量。但圖像變化量e亦可為顯示縮小圖像ps間之被拍攝體的動作之運動向量。
另外，在上述各實施形態中，在藉由連續攝影而取得所有之圖像後，來執行將架構圖像p縮小而產生縮小圖像ps的縮小處理，及將縮小圖像ps間之變化量作為圖像變化量e而予以計算的圖像變化量運算處理。但亦可一面執行連續攝影，一面進行此等處理。
另外，在第1實施形態中，將孤立矩形函數r[x]之函數值a設為運動區間D中之圖像變化量排列E的各值之平均值，但函數值a亦可為運動區間D中之圖像變化量排列E的各值之中間值。另外，在第1實施形態中，將孤立矩形函數r[x]之函數值b設為非運動區間D'中之圖像變化量排列E的各值之平均值，但函數值b亦可為非運動區間D'中之圖像變化量排列E的各值之中間值。
另外，在第1實施形態中，將孤立矩形函數r[x]與圖像變化量排列E之差量予以乘方而獲得之值的總和作為乖離率J。但亦可將孤立矩形函數r[x]與圖像變化量排列E之差量的絕對值的總和作為乖離率J，或將孤立矩形函數r[x]與圖像變化量排列E之差量予以立方而獲得之值的總和作為乖離率J。簡言之，乖離率J只要是孤立矩形函數r[x]與圖像變化量排列E之絕對差量即可。
另外，在上述各實施形態中，執行了將架構圖像p縮小而產生縮小圖像ps的縮小處理。但亦可不執行縮小處理，而從縮小前之架構圖像來計算圖像變化量。但在此情況下，因為容易受到手振動等之外在的影響，所以在手持攝影中，大多需要進行位置對準處理。藉此，執行縮小處理，比執行位置對準處理，可減低運算負擔。另外，在縮小處理中，縮小圖像的外形比，亦可從縮小前之架構圖像的外形比來適宜地變更。
另外，亦可將上述第1實施形態與第2實施形態組合。例如，亦可藉由第1實施形態之圖像抽取處理來抽取運動區間D，然後，藉由第2實施形態之圖像抽取處理從運動區間D中抽取M張架構圖像。
另外，本發明不限定於數位相機，亦可應用於具有攝影功能之個人電腦等。
1．．．光學透鏡裝置
2．．．快門裝置
3．．．致動器
4．．．CMOS感測器
5．．．AFE
6．．．TG
7．．．DRAM
8．．．DSP
9．．．CPU
10．．．RAM
11．．．ROM
12．．．液晶顯示控制器
13．．．液晶顯示器
14．．．操作部
15．．．記憶卡
100．．．圖像處理裝置
210．．．圖像輸入部
220．．．圖像處理部
221．．．圖像變化量運算部
222．．．區間指定部
223．．．值決定部
224．．．乖離度運算部
225．．．圖像抽取部
226．．．抽取張數設定部
227．．．画像変化量
228．．．判定部
229．．．圖像刪除部
230．．．操作受理部
240．．．顯示部
250．．．記錄部
260．．．控制部
第1圖為本發明之第1實施形態的圖像處理裝置之硬體的構成圖。
第2圖為顯示本發明之第1實施形態的圖像處理裝置之功能構成的方塊圖。
第3圖為顯示本發明之第1實施形態的連續攝影處理之流程的流程圖。
第4圖為本發明之第1實施形態的攝影範圍與被拍攝體之關係的一例之示意圖。
第5圖為說明本發明之第1實施形態的縮小圖像排列及圖像變化量排列用之說明圖。
第6圖為顯示本發明之第1實施形態的圖像變化量運算處理之流程的流程圖。
第7圖為本發明之第1實施形態的孤立矩形函數與圖像變化量排列之一例的示意圖。
第8圖為顯示本發明之第1實施形態的圖像抽取處理的流程圖。
第9圖為本發明之第1實施形態的孤立矩形函數之具體例的示意圖。
第10圖為本發明之第1實施形態的孤立矩形函數之具體例的示意圖。
第11圖為顯示本發明之第2實施形態的圖像處理裝置之功能構成的方塊圖。
第12圖為顯示本發明之第2實施形態的圖像抽取處理之流程的流程圖。
第13圖為說明本發明之第2實施形態的圖像抽取處理中之縮小圖像排列及圖像變化量排列的變化用之說明圖。

Claims (7)

  1. 一種圖像處理裝置，其特徵為具備：圖像輸入部，輸入在時序上連續之多個圖像；變化量運算部，分別計算該輸入之多個圖像中在時序上相鄰之圖像間的變化量；區間指定部，在時序上，一面依序改變所有該多個圖像存在的全區間內所含的第1區間，一面依序指定該第1區間，並依序指定第2區間，該第2區間係從該全區間依序指定之該第1區間以外的區間；值決定部，根據藉由該變化量運算部計算出之各第1變化量，從存在於該指定之第1區間的各圖像決定第1值，並根據藉由該變化量運算部計算出之各第2變化量，從存在於該指定之第2區間的各圖像決定第2值；乖離率運算部，在每次指定該第1區間時，分別計算該各第1變化量與該第1值之第1乖離率，並在每次指定該第2區間時，分別計算該各第2變化量與該第2值之第2乖離率；及圖像抽取手段，在該計算出之各第1乖離率與各第2乖離率的總和為最小時，抽取此時存在於由該區間指定部所指定之第1區間內的圖像。
  2. 如申請專利範圍第1項之圖像處理裝置，其中該值決定部係從存在於該第1區間的圖像，將藉由該變化量運算部計算出之第1變化量的平均值決定為該第1值，並從存在於該第2區間的圖像，將藉由該變化量運算部計算 出之第2變化量的平均值決定為該第2值。
  3. 一種圖像處理裝置，其特徵為具備：圖像輸入部，輸入在時序上連續之多個圖像；抽取數設定部，設定從該輸入之多個圖像中應抽取之圖像數；變化量運算部，分別計算該輸入之多個圖像中由在時序上相鄰之圖像所規定的該圖像間的變化量；變化量特定部，依序特定藉由該變化量運算部計算出之各變化量中比與藉由該抽取數設定部所設定的數量對應之變化量小的各變化量；圖像刪除部，從該輸入之多個圖像中，刪除規定了藉由該變化量特定部所特定之各變化量的圖像；及圖像抽取手段，從該輸入之多個圖像中，抽取未藉由該圖像刪除部刪除之圖像。
  4. 如申請專利範圍第3項之圖像處理裝置，其中該變化量運算部係在每次藉由該圖像刪除部刪除圖像時，對藉由該圖像刪除部刪除之圖像，重新計算在時序上相鄰的二個圖像間之變化量；該變化量特定部係在將比與藉由該抽取數設定部所設定的數量對應之變化量小的各變化量全部特定完成之前，在每次藉由該變化量運算部重新計算變化量時，特定藉由該變化量運算部計算出之變化量中最小的變化量。
  5. 如申請專利範圍第4項之圖像處理裝置，更具備判斷部， 其用以判斷由該變化量特定部所特定之變化量與在時序上屬位於靠前面相鄰位置的變化量之前變化量、和藉由該變化量特定部所特定之變化量與在時序上屬位於靠後面相鄰位置的變化量之後變化量的二個變化量之大小關係；該圖像刪除部，係當藉由該判斷部判斷為該前變化量較小時，將規定了該前變化量之二個圖像中在時序上是位於前面位置的前圖像予以刪除，當藉該判斷部判斷為該後變化量較小時，將規定了該後變化量之二個圖像中在時序上是位於後一個位置的後圖像予以刪除。
  6. 一種電腦可讀取之記錄媒體，其記憶使電腦發揮以下各部功能之程式：圖像輸入部，輸入在時序上連續之多個圖像；變化量運算部，分別計算該輸入之多個圖像中在時序上相鄰之圖像間的變化量；區間指定部，在時序上，一面依序改變所有該多個圖像存在的全區間內所含的第1區間，一面依序指定該第1區間，並依序指定第2區間，該第2區間係除了從該全區間依序指定之該第1區間以外的區間；值決定部，根據由該變化量運算部計算出之各第1變化量，從存在於該指定之第1區間的各圖像決定第1值，並根據由該變化量運算部計算出之各第2變化量，從存在於該指定之第2區間的各圖像決定第2值； 乖離率運算部，在該第1區間每次被指定時，分別計算該各第1變化量與該第1值之第1乖離率，並在該第2區間每次被指定時，分別計算該各第2變化量與該第2值之第2乖離率；及圖像抽取手段，在該計算出之各第1乖離率與各第2乖離率的總和為最小時，抽取此時存在於由該區間指定部所指定之第1區間內的圖像。
  7. 一種電腦可讀取之記錄媒體，其記憶使電腦發揮以下各部功能之程式：圖像輸入部，輸入在時序上連續之多個圖像；抽取數設定部，設定從該輸入之多個圖像中應抽取之圖像數；變化量運算部，分別計算該輸入之多個圖像中由在時序上相鄰之圖像所規定的該圖像間之變化量；變化量特定部，依序特定由該變化量運算部計算出的各變化量中比與由該抽取數設定部所設定的數量對應之變化量小的各變化量；圖像刪除部，從該輸入之多個圖像中刪除已規定了由變化量特定部所特定之各變化量的圖像；及圖像抽取手段，從該輸入之多個圖像中抽取未藉由該圖像刪除部刪除之圖像。
TW098126128A 2008-08-05 2009-08-04 圖像處理裝置、記錄媒體 TWI437879B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008201961 2008-08-05
JP2009102353A JP4760947B2 (ja) 2008-08-05 2009-04-20 画像処理装置、プログラム

Publications (2)

Publication Number Publication Date
TW201015983A TW201015983A (en) 2010-04-16
TWI437879B true TWI437879B (zh) 2014-05-11

Family

ID=41653028

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098126128A TWI437879B (zh) 2008-08-05 2009-08-04 圖像處理裝置、記錄媒體

Country Status (5)

Country Link
US (1) US8526740B2 (zh)
JP (1) JP4760947B2 (zh)
KR (1) KR101038695B1 (zh)
CN (1) CN102082913B (zh)
TW (1) TWI437879B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4760947B2 (ja) * 2008-08-05 2011-08-31 カシオ計算機株式会社 画像処理装置、プログラム
JP5911298B2 (ja) 2011-12-27 2016-04-27 キヤノン株式会社 撮像装置及びその制御方法
US9185284B2 (en) * 2013-09-06 2015-11-10 Qualcomm Incorporated Interactive image composition

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3732366B2 (ja) * 1999-10-05 2006-01-05 財団法人電力中央研究所 画像データベース装置及び画像データベース作成検索方法
JP2001197405A (ja) 2000-01-14 2001-07-19 Sharp Corp インデックス画像作成装置および方法
JP2002329298A (ja) 2001-05-02 2002-11-15 Nissan Motor Co Ltd 車両用走行制御装置
JP4007954B2 (ja) 2003-11-04 2007-11-14 オリンパス株式会社 画像処理装置、該方法、及び該プログラム
JP4154400B2 (ja) * 2004-04-01 2008-09-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP2005303807A (ja) 2004-04-14 2005-10-27 Casio Comput Co Ltd 撮影装置、撮影方法及びプログラム
JP4140591B2 (ja) * 2004-09-13 2008-08-27 ソニー株式会社 撮像システム及び撮像方法
JP4613724B2 (ja) * 2005-07-15 2011-01-19 ソニー株式会社 撮像装置および撮像方法
JP4446193B2 (ja) * 2005-11-11 2010-04-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
US7688352B2 (en) * 2005-11-25 2010-03-30 Seiko Epson Corporation Shake correction device, filming device, moving image display device, shake correction method and recording medium
JP4275171B2 (ja) * 2006-02-03 2009-06-10 オリンパスイメージング株式会社 カメラ
JP4172507B2 (ja) * 2006-07-13 2008-10-29 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4983179B2 (ja) 2006-09-20 2012-07-25 カシオ計算機株式会社 撮像装置、画像表示制御プログラム及び画像表示制御方法
JP4668878B2 (ja) * 2006-09-22 2011-04-13 Ｎｔｔエレクトロニクス株式会社 符号化装置
WO2008041401A1 (fr) 2006-10-02 2008-04-10 Olympus Corporation Dispositif, procédé et programme de traitement d'image
JP2009079148A (ja) 2007-09-26 2009-04-16 Fujifilm Corp 加工顔料、顔料分散組成物、着色感光性組成物、カラーフィルタ、液晶表示素子、及び固体撮像素子
JP4760947B2 (ja) * 2008-08-05 2011-08-31 カシオ計算機株式会社 画像処理装置、プログラム

Also Published As

Publication number Publication date
TW201015983A (en) 2010-04-16
JP2010061634A (ja) 2010-03-18
CN102082913A (zh) 2011-06-01
KR101038695B1 (ko) 2011-06-02
US20100034463A1 (en) 2010-02-11
CN102082913B (zh) 2013-08-14
JP4760947B2 (ja) 2011-08-31
US8526740B2 (en) 2013-09-03
KR20100017075A (ko) 2010-02-16

Similar Documents

Publication Publication Date Title
JP4321287B2 (ja) 撮影装置および撮影方法、並びに、プログラム
US8334914B2 (en) Gradation correcting apparatus, and recording medium storing a program recorded therein
US8116521B2 (en) Moving body image extraction apparatus and computer readable storage medium storing program
US7680402B2 (en) Image shooting device with camera shake correction function
US9113075B2 (en) Image processing method and apparatus and digital photographing apparatus using the same
JP5720275B2 (ja) 撮像装置および撮像方法
JPWO2006082967A1 (ja) 撮像装置
US7957633B2 (en) Focus adjusting apparatus and focus adjusting method
US20140176754A1 (en) Image capturing apparatus and control method thereof
US11818466B2 (en) Notifying apparatus, image capturing apparatus, notifying method, image capturing method, and storage medium
JP5289993B2 (ja) 追尾装置および追尾方法
TWI437879B (zh) 圖像處理裝置、記錄媒體
KR100855370B1 (ko) 자동 초점 조절장치 및 그 방법
US9143684B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable storage medium
JP5353906B2 (ja) 画像処理装置、プログラム
JP6080579B2 (ja) 撮像装置およびその制御方法
KR20100121944A (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP2011059977A (ja) 撮像装置
JP7143191B2 (ja) 画像処理装置
WO2024034390A1 (ja) 情報処理装置、情報処理方法、プログラム
JP5393189B2 (ja) 撮像装置及び画像処理方法
JP2017224940A (ja) 画像処理方法および画像処理装置
JP2022124464A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2022042829A (ja) 報知装置、撮像装置、報知方法、及びプログラム
JP2017228904A (ja) 画像処理方法および画像処理装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees