TWI387330B - 具有用於拍攝平移圖像之平移模式的攝像裝置 - Google Patents

具有用於拍攝平移圖像之平移模式的攝像裝置 Download PDF

Info

Publication number
TWI387330B
TWI387330B TW098106073A TW98106073A TWI387330B TW I387330 B TWI387330 B TW I387330B TW 098106073 A TW098106073 A TW 098106073A TW 98106073 A TW98106073 A TW 98106073A TW I387330 B TWI387330 B TW I387330B
Authority
TW
Taiwan
Prior art keywords
image
images
subject
deviation
reference image
Prior art date
Application number
TW098106073A
Other languages
English (en)
Other versions
TW200943934A (en
Inventor
Kazuhisa Matsunaga
Kouichi Nakagomi
Tetsuji Makino
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of TW200943934A publication Critical patent/TW200943934A/zh
Application granted granted Critical
Publication of TWI387330B publication Critical patent/TWI387330B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Description

具有用於拍攝平移圖像之平移模式的攝像裝置
本發明係有關於例如數位相機等之攝像裝置，尤其係有關於適合在將移動體作為被拍攝體，並進行平移等的情況使用的攝像裝置、和在該攝像裝置等中所使用的圖像處理程式。
以往，在所謂的平移攝影時，作為雖然不配合主被拍攝體的移動而使相機正確地進行追蹤，但是亦可得到使該被拍攝體靜止，而且使背景移動之平移圖像的技術，例如於下述的專利文獻1記載如下的技術。
即，在平移攝影時，因應於攝影指示而進行連續攝影後，以在位置對準成主被拍攝體於相同的位置重疊之狀態將在連續攝影所得之複數個圖像資料進行合成。在該合成時，首先比較複數個圖像資料，並在圖像整個區域內抽出像素值及其配置圖案在既定面積以上之範圍中連續地類似之區域部分。接著，對所抽出之複數個區域部分暫時取得移動向量，並將移動向量彼此相異之區域部分識別為不同的被拍攝體部分。然後，將所識別之被拍攝體部分的任一個作為相當於主被拍攝體的區域，將該區域作為基準區域，以使主被拍攝體部分重疊於相同的位置，而將複數個圖像資料進行合成。
[專利文獻1]特開2006-339903號公報
可是，在上述的技術，在複數個圖像資料之合成時，為了決定複數個圖像資料之位置對準所需的基準區域，因為需要比較複數個圖像資料並在圖像整個區域內抽出像素值及其配置圖案在既定面積以上之範圍中連續地類似之區域部分的處理，所以在將複數張圖像進行位置對準並合成時的處理效率差，而具有合成處理需要相當多時間的問題。
本發明係鑑於該以往的課題而開發者，其目的在於提供在從時間上連續之複數張圖像產生平移圖像時可高效率且迅速地進行複數張圖像之合成處理的攝像裝置、和該攝像裝置等所使用的圖像處理程式。
依據本發明之第1形態，提供一種攝像裝置，其特徵為具備有：攝影手段，係藉攝像元件而取得時間上連續之複數張圖像；基準區域設定手段，係將藉該攝影手段所取得之複數張圖像的任一張作為基準圖像，並將在該基準圖像中之具有高頻成分的區域設定為基準區域；以及圖像處理手段，係以使藉該基準區域設定手段所設定之基準區域的被拍攝體部分重疊，而將該基準圖像和其他的圖像進行位置對準並合成。
依據本發明之第2形態，提供一種電腦可讀取之記錄媒體，其包含由電腦系統可執行並使該電腦系統根據一連串之處理步驟而動作的程式，該處理步驟包含以下的動作：取得在時間上連續所拍攝的複數張圖像，再將所取得之複數張圖像的任一張作為基準圖像，並將在該基準圖像之具有高頻成分的區域設定為基準區域，再以使所設定之基準區域的被拍攝體部分重疊，而將該基準圖像和其他的圖像進行位置對準並合成。
依據本發明之第3形態，提供一種攝像裝置，其特徵為具備有：攝影手段，係藉攝像元件而取得時間上連續之複數張圖像；臉檢測手段，係從藉該攝影手段所取得之圖像中檢測人物的臉部分；基準區域設定手段，係將藉該攝影手段所取得之時間上連續之複數張圖像的任一張作為基準圖像，並將在該基準圖像之和藉該臉檢測手段所檢測之臉部分對應的區域設定為基準區域；以及圖像處理手段，係以使藉該基準區域設定手段所設定之基準區域的被拍攝體部分重疊，而將該基準圖像和其他的圖像進行位置對準並合成。
依據本發明之第4形態，提供一種攝像裝置，其特徵為具備有：攝影手段，係藉攝像元件而取得時間上連續之複數張圖像；追蹤手段，係在藉該攝影手段所取得之各個圖像中追蹤注目被拍攝體；基準區域設定手段，係將藉該攝影手段所取得之時間上連續之複數張圖像的任一張作為基準圖像，並將在該基準圖像之和藉該追蹤手段所追蹤之注目被拍攝體對應的區域設定為基準區域；以及圖像處理手段，係以使藉該基準區域設定手段所設定之基準區域的被拍攝體部分重疊，而將該基準圖像和其他的圖像進行位置對準並合成。
若依據本發明之第5形態，提供一種攝像裝置，其特徵為具備有：攝影手段，係從攝像元件取得時間上連續之複數張圖像；偏差量取得手段，係取得在藉該攝影手段所取得之複數張圖像中的相異圖像間之被拍攝體部分的偏差量；基準區域設定手段，係將藉該攝影手段所取得之複數張圖像的任一張作為基準圖像，並對該基準圖像，根據藉該偏差量取得手段所取得之偏差量而設定相當於主被拍攝體的基準區域；以及圖像處理手段，係以使藉該基準區域設定手段所設定之基準區域的被拍攝體部分重疊，而將該基準圖像和其他的圖像進行位置對準並合成。
(第1實施形態)
第1圖係表示係本發明之攝像裝置的實施形態之數位相機的電氣構成之方塊圖。此數位相機在基本的動作模式中具有用以進行攝影的記錄模式、和用以播放所拍攝之圖像的播放模式，而作為記錄模式之下階模式設置有平移模式。此外，平移模式係一種攝影模式，其藉由對準主被拍攝體之移動，一面使相機進行追蹤，一面進行攝影，而得到使主被拍攝體靜止且使背景如流動般的平移圖像。
如第1圖所示，本實施形態的數位相機具備有：攝影透鏡1；是攝像元件之CMOS感測器3，係經由快門2而接收藉攝影透鏡1所收束的攝影光，同時將成像於感光面之被拍攝體的光學像進行光電轉換，並作為圖像信號輸出；A/D轉換器4，係將CMOS感測器3的輸出信號轉換成數位的圖像資料；以及DRAM5，係逐次記憶轉換後的圖像資料。此外，於DRAM5，在平移模式的攝影時儲存複數張份量的圖像資料。
根據CPU9的命令，由快門控制部8控制該快門2的動作，並根據CPU9的命令，由感光控制部10控制該CMOS感測器3及A/D轉換器4的動作。將該DRAM5所儲存之1張圖像資料，即RAW資料，利用解馬賽克部11對每個像素內插顏色資訊並轉換成YUV資料後，經由液晶顯示控制器6作為透過鏡圖像(實況圖像live-view image)顯示於液晶顯示器7。
此外，該解馬賽克部11在平移模式之攝影時，不僅將RAW資料轉換成YUV資料(攝影圖像)，而且因應於需要而轉換成僅由亮度資訊所構成之亮度圖像資料(亮度圖像)。又，將所轉換之YUV資料及亮度圖像資料暫時記憶於DRAM5。
在記錄模式之攝影時，藉解馬賽克部11而轉換成YUV資料之圖像資料，係在藉由CPU9根據JPEG等既定之壓縮方式進行壓縮後，以成靜態圖像檔案記錄於外部記憶體12。以成靜態圖像檔案記錄於外部記憶體12的圖像資料，在播放模式，因應於需要由CPU9讀出並進行解壓縮後，經由液晶顯示控制器6而顯示於液晶顯示器7。此外，外部記憶體12例如由在相機本體自由拆裝的記憶卡或內建於相機本體的快閃記憶體等所構成。
又，於CPU9，連接有使用者界面13、程式記憶體14、頻率特性計算部15、區塊(block)比對部16以及圖像處理部(圖像變形合成加萛部)17。使用者界面13由使用者用以操作數位相機之包含有電源鍵或快門按鍵、模式切換鍵等複數個開關類所構成。程式記憶體14係記憶CPU9之動作所需的各種程式、及在執行程式時所使用之各種資料的記憶體。
CPU9根據程式記憶體14所記憶之程式，因應於在使用者界面13之任一個按鍵的操作而控制數位相機之各部的動作，同時進行上述之圖像資料的壓縮‧解壓縮處理。又，在平移模式，CPU9作為本發明之攝影手段、基準區域設定手段以及處理對象區域設定手段而發揮功能。
頻率特性計算部15是本發明的評估值取得手段，其在平移模式之攝影時，對在藉CMOS感測器3所拍攝的圖像之特定的區塊(block)計算頻率特性，並向CPU9輸出。
區塊比對部16是本發明的移動向量取得手段，其在平移模式之攝影時，將SRAM18用作作業記憶體，在藉CMOS感測器3所拍攝之基準圖像和其他的圖像之間進行區塊比對，而取得移動向量並向CPU9輸出，而該移動向量表示在基準圖像之特定的區塊(block)之被拍攝體部分之相對偏差量的絕對值及偏差方向。
圖像處理部(圖像變形合成加萛部)17是本發明的圖像處理手段，其在平移模式之攝影時，因應於CPU9的指示，而將藉CMOS感測器3所拍攝之複數張圖像進行位置對準並合成。
其次，說明在由以上的構成所構成之數位相機中，對係記錄模式之下階模式的平移模式設定時的動作。第2圖係表示設定記錄模式時在藉使用者設定平移模式的情況之CPU9的處理步驟的流程圖。
CPU9設定平移模式，同時利用周知之OSD(On Screen Display)技術將第3圖所示的柵100和透過鏡圖像重疊地顯示於液晶顯示器7(步驟SA1)。此柵100是在攝影者使相機的方向追蹤主被拍攝體的移動時，將主被拍攝體引導至圖框內的特定位置，在本實施形態，該特定位置是圖框內的中央部分。因此，在平移時，攝影者使主被拍攝體位於圖框內的中央部分，並在所要之快門機會按快門按鍵。
然後，若按快門按鍵(在步驟SA2為是)，在該時刻實施12次的連拍攝影(步驟SA3)。具體而言，在設定各次的攝影條件成曝光變成無縫之狀態，藉CMOS感測器3以快門時間1/60秒、連拍速度60fps取得時間上連續之12張圖像的RAW資料，並記憶於DRAM5(步驟SA3)。在此期間(連拍攝影中)，雖然以使主被拍攝體位於攝影圖框內的中央部分(特定位置)，而對準主被拍攝體的移動而使相機進行追蹤，但是相機(攝影圖框)一般相對於主被拍攝體發生異動，結果在各個圖像在主被拍攝體發生位置偏差。
接著，藉解馬賽克部11將DRAM5所記憶之各個RAW資料轉換成YUV資料及僅由亮度成分所構成之亮度圖像資料，並將轉換後的圖像資料記憶於DRAM5(步驟SA4)。在此，YUV資料係合成用的圖像資料，亮度圖像資料係對於在後述之複數張圖像(YUV資料)的合成時之位置對準作業而言係尺寸充分之縮小圖像資料。
接著，將轉換後的亮度圖像資料中之第1張圖像作為基準圖像，對該基準圖像，將所預定之既定尺寸的窗設定於攝影圖框內的中央部分，同時將窗內區分成以縱16像素×橫16像素為單位的複數個區塊，並利用頻率特性計算部15計算每個區塊的頻率特性(步驟SA5)。
第4A圖係表示設定於基準圖像101之窗102的圖，第4B圖係表示窗102和區塊103的圖。窗102是本發明之處理對象區域，且在本實施形態如圖所示，係縱向及橫向的尺寸各目為基準圖像101之1/2的矩形區域。
又，在頻率特性計算部15，將計算區塊內的空間頻率愈高，即該部分之圖像之由焦點偏差或被拍攝體的流動所引起的模糊愈少(圖像愈鮮明)愈可得到高值之既定的評估值作為頻率特性進行計算。此外，在本實施形態，作為評估值，而計算哈里斯(Harris)之角落檢測評估值。
然後，CPU9根據對每個區塊所計算之該評估值而選出高頻區塊(步驟SA6)。在這種處理，對各區塊103因應於評估值，而從評估值高者依序賦予順位，在該順位至所預定之既定的順位為止之區塊103中評估值是既定值以上之1個或複數個區塊103判斷成高頻成分多的區域，並將該各個區塊103作為高頻區塊選出。第4B圖係表示在此所選出之高頻區塊103a(以斜線表示之各個區塊)的一例，而該複數個高頻區塊是本發明的基準區域。
此外，高頻區塊之選出基準是任意，例如亦可作成將評估值是既定值(既定之臨界值)以上之全部的區塊103、或評估值順位係至固定順位為止之全部的區塊103作為高頻區塊選出。又，亦可從評估值低者依序進行因應於評估值之各區塊103的順位賦予，並將該順位係至所預定之既定的順位為止的區塊103除外之剩下的區塊103中評估值是既定值以上的區塊103作為高頻區塊選出。又，亦可從評估值低者依序進行順位賦予，而且將至既定之順位為止的區塊103除外之剩下的全部區塊103作為高頻區塊選出。
接著，在區塊比對部16，將上述之轉換後的亮度圖像資料中基準圖像以外之其他的圖像作為對象圖像(最初是第2張圖像)，並在基準圖像和各個對象圖像之間，進行僅將高頻區塊103a的被拍攝體部分作為追蹤對象的區塊比對，而取得表示在雙方之間的被拍攝體部分之相對的偏差量的絕對值及偏差方向之移動向量(步驟SA7)。更具體而言，在本實施形態，在以對象圖像側的同一座標區塊為中心之既定探索範圍進行被拍攝體部分的追蹤，對每個座標求得差分平方和，再從該差分平方和最少的位置，求得每個高頻區塊的移動向量。
又，在該區塊比對時，將在對象圖像探索高頻區塊103a之被拍攝體部分時的探索範圍，設定為比因應於該被拍攝體部分所容許之預定的偏差量，即主被拍攝體所容許之預定的晃動量(像素數份量)的設想追蹤範圍更寬之範圍(例如因應於所容許之偏差量的2倍之偏差量的範圍)，並探索被拍攝體部分。因而，亦成可拾取背景之被拍攝體部分的移動向量，又排除主被拍攝體部分和背景的被拍攝體部分之原理上未求得正確移動向量的區塊，而取得更正確的移動向量。
這是由於若將高頻區塊103a之被拍攝體部分的探索範圍，設定為和因應於主被拍攝體所容許之晃動量的設想追蹤範圍同等時，對於在區塊比對所取得之移動向量，無法區別主被拍攝體部分的移動向量、和背景之被拍攝體部分的移動向量，或追蹤失敗時之移動向量。在此，關於藉區塊比對之具體的移動向量的算出方法是任意。
接著，CPU9使用在藉上述之區塊比對所取得之各個高頻區塊的移動向量中，利用表示既定之距離以下的晃動量之特定的移動向量，求得表示相對於基準圖像的被拍攝體之對象圖像的被拍攝體的各部之位置關係的投影轉換矩陣(步驟SA8)。即，僅根據已排除本來無法得到(顯然錯誤地取得)之移動向量之正確的移動向量而求得投影轉換矩陣。此外，在本實施形態，利用RANSAC法，排除離群值(outlier)(被拍攝體移動等所引起之不規則的移動向量)，並求得投影轉換矩陣。更具體而言，若以RANSAC法所求得之投影轉換矩陣支持率(對總取樣數之內含值(inlier)(轉換矩陣為有效的樣本)的比例)是一定值以上，可視為藉RANSAC法之投影轉換矩陣的產生是成功，而判斷轉換矩陣是有效。
接著，一面依序變更對象圖像(亮度圖像資料)，一面重複上述之步驟SA7、步驟SA8的處理(在步驟SA9為否)。那時，在步驟SA7之區塊比對時，藉由將上述之探索範圍的中心設定挪移前1張之對象圖像(若對象圖像是第3張圖像時，則是第2張圖像)的平均移動向量份量，而高效率地取得移動向量。
然後，若可對全部的對象圖像(亮度圖像資料)取得上述的投影轉換矩陣，即，若可掌握在全部的圖像間之主被拍攝體(被認為主被拍攝體的部分)的位置關係(在步驟SA9為是)，則從在步驟SA8所取得之投影轉換矩陣，算出在各個相鄰圖框間之平行移動成分，再根據基於所算出的平行移動成分之既定的選擇基準，而選擇可判斷為主被拍攝體之偏差小之連續8張圖像(步驟SA10)。在選擇該8張圖像時，以相鄰之8張圖像為1組，將在各圖像之平行移動成分向量的絕對值累加，並選擇其累加值最小之組的圖像群。但，在累加值相同(或累加值之差位於既定值以內)之圖像群有複數組的情況，選擇接近快門按下時間之組的圖像群。
又，將如以上所選擇之相鄰的1組圖像群中攝影順序為中間(在攝影順序為第4個)之圖像的亮度圖像資料設定為新的基準圖像，並利用和步驟SA5~SA9一樣的處理而對其他的各個圖像(亮度圖像資料)取得移動向量，再計算投影轉換矩陣(步驟SA11)。此外，在該投影轉換矩陣之再計算時，亦可作成對在基準圖像之變更後之其他的各個圖像的移動向量，不再進行步驟SA5~SA7的處理，而藉由從已取得之各個圖像的移動向量換算而取得，而減輕取得新的移動向量所需的處理負擔。但，在此情況，無法避免移動向量之精度降低。
然後，根據所算出之投影轉換矩陣，藉圖像處理部(圖像變形合成加萛部)17將基準圖像以外之圖框的各圖像(YUV資料)進行投影轉換，同時將各圖像對基準圖像(YUV資料)進行加法平均並合成後(步驟SA12)，將合成後的圖像作為攝影圖像並記憶於外部記憶體12(步驟SA13)。藉此，可得到平移圖像。
如以上所示之本實施形態，在將藉平移模式之連續攝影所取得之複數張圖像(YUV資料)進行位置對準並合成時，從將既定之基準圖像101(亮度圖像資料)的窗102區分的複數個區塊103，選擇空間頻率比其他的區塊103更高的高頻區塊103a(參照第4圖)，在取得所選擇之1個或複數個高頻區塊103a的移動向量後，僅根據所取得之高頻區塊103a的移動向量，而將複數張圖像進行位置對準。
即，作成根據各區塊的頻率特性而判斷在基準圖像101(窗102內)被認為對應於主被拍攝體的區域。因此，和以往相比，對應於主被拍攝體之區域的判斷所需之處理係簡單，並在產生平移圖像時可有效率且迅速地進行複數張圖像的合成處理。
又，作成僅對根據頻率特性而被判斷為高頻成分多之高頻區塊103a取得移動向量，在複數張圖像的合成時，僅根據高頻區塊的移動向量而將複數張圖像進行位置對準。因此，可將藉連續攝影所取得之複數張圖像(YUV資料)的位置對準所需之移動向量抑制成最低限，而在產生平移圖像時可更有效率且迅速地進行複數張圖像的合成處理。
此外，若只是簡化對應於主被拍攝體之區域的判斷所需之處理，和本實施形態相異，亦可不將複數張圖像之位置對準所需的移動向量設為例如僅高頻區塊103a的移動向量，而設為和1個或複數個高頻區塊103a外接的矩形區域內之全部的區塊103之移動向量。
又，作成對基準圖像101(亮度圖像資料)設定窗102(處理對象區域)，並在窗102內選出高頻區塊103a。因此，可減輕高頻區塊103a之選出，即對應於主被拍攝體之區域的判斷所需之處理負擔，並可對產生平移圖像時之複數張圖像的合成處理可更有效率且迅速地進行。
此外，在本實施形態，雖然說明將窗102設定於基準圖像101者，但是未限定如此，亦可作成將基準圖像101的整個區域分成區塊，並以基準圖像101的整個區域為對象，選出高頻區塊，再根據該移動向量而進行各圖像的位置對準。即使係此情況，和以往相比，對應於主被拍攝體之區域的判斷所需之處理亦是簡單，並在產生平移圖像時可有效率且迅速地進行複數張圖像的合成處理。
又，關於設定於基準圖像101的窗102，在本實施形態，雖然將其設定位置設為固定(中央部分)，但是亦可窗102的設定位置未必是中央部分，例如可採用攝影者可預先選擇設定位置，或自由設定之構成，亦可設為被選擇或設定之任意的位置。又，雖然對於窗102的尺寸亦固定，但是亦可採用可變更之構成。
又，亦可使窗102顯示於透過鏡圖像(連拍圖像)上。藉此，攝影者易使主被拍攝體位於窗102內。
又，除了上述之效果以外，在本實施形態，如上述所示，作成在步驟SA7的區塊比對，藉由將高頻區塊103a之被拍攝體部分的探索範圍設定成於比因應於主被拍攝體部分所容許之偏差量的設想追蹤範圍更寬之範圍而探索被拍攝體部分，作成作為在高頻區塊103a的移動向量而取得正確的移動向量。因此，根據高頻區塊103a之移動向量而可更正確地進行複數張圖像(YUV資料)的位置對準，而作為攝影圖像可得到品質高的平移圖像。
又，在本實施形態，在將複數張圖像進行位置對準並合成時，因為將基準圖像以外的圖像(YUV資料)，根據從高頻區塊103a的移動向量所計算的投影轉換矩陣而進行變形並合成為基準圖像，所以即使在各個圖像對主被拍攝體的攝影角度或攝影距離變化的情況，亦可對主被拍攝體部分確保高的同一性。因此，作為攝影圖像可得到品質高的平移圖像。
又，在本實施形態，作成在如上述所示在步驟SA8求投影轉換矩陣時，排除本來無法得到(顯然錯誤地取得)的移動向量，而僅根據正確的移動向量求投影轉換矩陣。因此，藉上述之投影轉換可更正確地進行複數張圖像(YUV資料)的位置對準，同時可確實地確保在上述之各圖像之被拍攝體部分的同一性，因而亦作為攝影圖像可得到品質高的平移圖像。
此外，在本發明，亦可在將複數張圖像(YUV資料)進行位置對準並合成時，未必將基準圖像101以外的圖像群進行投影轉換，例如亦可作成在第2圖之流程圖的步驟SA6，在選擇在基準圖像101之窗102的高頻區塊103a後，對於高頻區塊103a在基準圖像101和基準圖像101以外之各個圖像之間取得移動向量，並根據該移動向量而將複數張圖像(YUV資料)進行位置對準並合成。
在此情況，只要亦將複數張圖像(YUV資料)之位置對準所使用的移動向量設為僅表示既定之距離以下的偏差量之特定的移動向量，藉由排出本來無法得到(顯然錯誤地取得)之移動向量，並僅根據正確的移動向量而將複數張圖像(YUV資料)進行位置對準，則在攝影圖像可得到品質高的平移圖像。
又，因為在藉連續攝影所得之12張圖像中，根據決定主被拍攝體之抖動小之連續8張圖像之選擇基準而自動地選擇，並僅將所選擇之圖像進行合成，所以在連續攝影時可防止由相機之抖動所引起的在圖像內之主被拍攝體部分及背景部分的畫質降低。因而，亦在攝影圖像可得到品質高的平移圖像。
此外，在本實施形態，雖然說明在平移模式，因應於快門按鍵之攝影指示而進行連續攝影，並從所取得之複數張(12張)圖像選擇固定之張數(8張)的圖像並進行合成，但是亦可作成如以下所示。例如亦可作成將藉連續攝影所取得之全部的圖像進行合成而得到平移圖像。即，亦可作成在第2圖的流程圖，若在步驟SA7~SA9之處理對基準圖像101以外之全部的對象圖像(亮度圖像資料)可取得投影轉換矩陣(在步驟SA9為是)，馬上移至步驟SA12，並根據在步驟SA7、SA8之處理所取得之投影轉換矩陣，將基準圖像以外之圖像群的YUV資料進行投影轉換，再對基準圖像的YUV資料進行加法合成。
又，在將藉連續攝影所取得之全部的圖像進行合成的情況，或如本實施形態般從所取得之圖像選擇固定的張數並進行合成的情況之任一種，都在合成時作為基準的圖像(在取得上述之移動向量時，將其亮度圖像資料作為基準圖像101的圖像)，未限定為最接近連拍開始時序的圖像，例如亦可使用所合成之複數張圖像中攝影時間位於中央的圖像等。
又，亦可作成可變更合成之圖像的張數。例如亦可作成採用可分段地設定在平移圖像中表示背景部分之平移程度的構成，由使用者在平移模式的攝影之前選擇背景部分之平移強度，同時將因應於該強度之張數的圖像進行最終合成。此外，亦可作成根據在攝影時之被拍攝體的亮度而自動地變更合成之圖像的張數。例如，亦可將被拍攝體之亮度是可判斷攝影圖像的SN值變差之臨界值以下作為條件，將合成之圖像的張數，因應於被拍攝體的亮度而自動地增加至所決定的張數，或因應於被拍攝體的亮度而減少。因而，即使係暗的攝影環境下亦可得到畫質佳之平移圖像。此外，在此情況作為基準之被拍攝體的亮度，例如可設為視角內整個區域之被拍攝體的亮度、或如上述之窗102(參照第4圖)的一部分區域之被拍攝體的亮度。
又，在平移模式，亦可作成在有攝影指示之前開始連續攝影，將所取得的圖像中之最新的圖像僅記憶保存固定張數份量(例如12張份量)，在攝影後，以在有攝影指示之時刻的前後所取得之全部的圖像(例如在攝影指示前所取得之12張和在攝影指示後所取得的12張之共24張)為對象，進行上述之步驟SA4以後的處理。在此情況，若利用將在步驟SA5的處理有攝影指示後(剛進行攝影指示後等)所取得之圖像用作基準圖像101，則可得到重視在攝影者想要的攝影時序之主被拍攝體的狀態之平移圖像。
又，在本實施形態，雖然作成將柵100(第3圖)和在平移圖像所顯示的透過鏡圖像重疊地顯示，但是亦可作成於連續攝影中所顯示的透過鏡圖像，替代柵100的顯示，而進行以下的顯示。即，亦可作成在連續攝影中每取得新的圖像就對所取得之圖像進行第2圖之流程圖的步驟SA5、SA6的處理，而在顯示透過鏡圖像時，將由在剛取得之圖像所選出的高頻區塊103a所構成之基準區域、或包含有和在剛取得之圖像所選出之1個或複數個高頻區塊103a外接之矩形區域內之全部的區塊103之特定區域的圖像進行像素間拔等，並以半透明之狀態和透過鏡圖像重疊地顯示，或將表示該特定區域的矩形框和透過鏡圖像重疊地顯示。即，亦可在可將係主被拍攝體之可能高的區域和其他一般的區域區別之狀態顯示透過鏡圖像。此外，亦可作成在剛取得在連續攝影中之第1張圖像後對第1張圖像進行第2圖之流程圖的步驟SA5、SA6的處理，而在顯示透過鏡圖像時，將由在第1張圖像所選出的高頻區塊103a所構成之基準區域、或包含有和在第1張圖像所選出之1個或複數個高頻區塊103a外接之矩形區域內之全部的區塊103之特定區域的圖像進行像素間拔等，並以半透明之狀態和第2張以後的圖像(透過鏡圖像)重疊地顯示，或將表示該特定區域的矩形框和第2圖以後之圖像重疊地顯示。
在此情況，因為在連續攝影中(平移中)，對攝影者可指示更適合作為主被拍攝體之攝影位置(可捕捉主被拍攝體之視角內的位置)的攝影位置，所以對於攝影者在對準主被拍攝體的移動下可使相機正確地進行追蹤。當然，在平移攝影時的攝影時間愈長，這種效果愈顯著。
又，亦可在進行平移攝影時，因為從按快門按鍵之前的階段在對準主被拍攝體之移動下使相機進行追蹤，所以不論是否用於平移圖像的產生(合成)，即使在攝影等待狀態亦進行連續的攝影動作，並對攝影等待狀態的透過鏡圖像，將在剛拍攝之圖像之上述的基準圖像或特定區域的圖像以半透明之狀態重疊地顯示，或重疊地顯示表示該特定區域的矩形框。此外，亦可作成對在攝影等待狀態所取得之透過鏡圖像進行第2圖之流程圖的步驟SA5、SA6的處理，將在攝影等待狀態所取得的透過鏡圖像之上述的基準區域或特定區域的圖像和在按下快門按鍵以後所取得之連拍圖像(透過鏡圖像)重疊地顯示，或將表示該特定區域的矩形框和透過鏡圖像重疊地顯示。
另一方面，在將本發明用於具有檢測在圖像內之人物的臉部分之臉檢測功能的數位相機等的情況，亦可將上述之設定於基準圖像101的窗102(處理對象區域)作為和在攝影開始時序即將開始前等所檢測之臉部分對應的區域。此外，在將本發明用於具備有注目被拍攝體之自動追蹤功能的數位相機等的情況，亦可將上述之設定於基準圖像101的窗102(處理對象區域)作為和在攝影開始時序即將開始前等所檢測之被拍攝體部分對應的區域，而該自動追蹤功能係在顯示透過鏡圖像之間或半按快門按鍵之間，在逐次所拍攝之圖像內繼續檢測所預先指定之任意的被拍攝體部分。
但，在如上述所示具備有臉檢測功能或注目被拍攝體之自動追蹤功能的數位相機等，和本實施形態相異，例如替代在第2圖之流程圖的步驟SA5、SA6的處理，而執行對各個連拍圖像使用臉檢測功能而取得臉區域的處理，同時在步驟SA7、SA11，作成取得基準圖像之臉區域和各個對象圖像的臉區域之間的移動向量，或者亦可作成替代在第2圖之流程圖的步驟SA5、SA6的處理，而執行對基準圖像使用臉檢測功能而取得臉區域的處理，而且在步驟SA7、SA11進行將基準圖像的臉區域作為追蹤對象，對其他的各對象圖像進行區塊比對，而取得移動向量的處理。
又，亦可作成進行將和在連拍開始時序已檢測(追蹤)到的被拍攝體部分對應的區域或和基準圖像內之既定部分(例如視角中央部分)對應的區域作為基準圖像的基準區域(追蹤對象)，對其他的各對象圖像進行區塊比對，而取得移動向量的處理。
即，亦可作成將和藉臉檢測功能所檢測之臉部分對應的區域、或者和在連拍開始時序已檢測(追蹤)到的被拍攝體部分或基準圖像內之既定部分(例如視角中央部分)對應的區域，直接判斷為對應於主被拍攝體的區域。在此情況，和以往相比，對應於主被拍攝體之區域的判斷所需的處理亦是簡單，在產生平移圖像時可有效率且迅速地進行複數張圖像的合成處理。
(第2實施形態)
其次，說明本發明之第2實施形態。本實施形態和第1實施形態一樣是有關於具有記錄模式之下階模式平移模式的數位相機。在本實施形態的數位相機，廢除第1圖所示之頻率特性計算部15，同時於該程式記憶體14，記憶有在平移模式之攝影時用以使CPU9進行後述之處理的程式。
以下，說明在本實施形態的數位相機之本發明的動作。第5圖係表示在使用者設定平移模式的情況下之CPU9的處理步驟的流程圖。
步驟SB1~SB4的處理係和上述之步驟SA1~SA4的處理相同，本實施形態CPU9亦當設定平移模式時，和透過鏡圖像重疊地顯示柵100，在按快門按鍵的當下實施12次的連續攝影，對所取得之12張的每張圖像產生並記憶YUV資料和亮度圖像資料。
接著，在本實施形態，將12張亮度圖像資料中之第1張圖像作為基準圖像，將窗102設定於基準圖像的中央部分，並將窗內區分成複數個區塊103，同時藉區塊比對部16，在基準圖像和在時間上離基準圖像最遠之第12張圖像(亮度圖像資料)之間進行區塊比對，並對每個區塊103取得移動向量(步驟SB5)。此外，關於該窗102或各區塊103的尺寸(位置)以及移動向量之具體的取得方法係和第1實施形態一樣。
在此，將第12張圖像作為區塊比對的對象，係基於以下的理由。即，第6A~C圖係權宜上表示在第1張、第2張、第n(3以上)張的各圖像中之在窗102內的主被拍攝體A和背景之被拍攝體B的位置關係之差異的圖。又，第6B~C圖所示之箭號係在以相對於是基準圖像的第1張圖像之第2張、第n(3以上)張圖像為對象而取得移動向量的情況下之圖像內的各部(在此僅一部分)的移動向量，各個的長度是移動向量的大小。如圖所示，和基準圖像之時間間隔愈長的圖像，背景部分之移動向量的大小比主被拍攝體部分大愈多，關於移動向量兩者間的分離性變高。
然後，CPU9將在以基準圖像和第12張圖像之間的區塊比對所取得之每個區塊中，移動向量之大小是固定距離以下，即對應於該區塊之被拍攝體部分的偏差量是基準值以下之1個或複數個特定區塊，選為對應於主被拍攝體的區塊(步驟SB6)。在此所選出之1個或複數個特定區塊(以下稱為選出區塊)是本發明的基準區域，例如是在第6C圖位於以橢圓框C所示之區域內之彼此相鄰或分開的區塊群。
之後，CPU9使用各個選出區塊的移動向量資料，將基準圖像以外之全部的圖像(亮度圖像資料)作為對象圖像，取得表示相對於基準圖像的被拍攝體之對象圖像的被拍攝體之各部位置關係之投影轉換矩陣(步驟SB7~SB9)。之後，和第1實施形態一樣，根據所取得之投影轉換矩陣而選擇連續之8張圖像(YUV資料)，從其中決定新的基準圖像，再計算投影轉換矩陣，根據該投影轉換矩陣而將基準圖像以外的圖像(YUV資料)進行變形，再將變形後之各圖像進行合成，並將合成後的圖像作為攝影圖像並記憶(步驟SB10~SB13)。
如以上所示，在本實施形態，作成根據在基準圖像和相對於基準圖像在時間上最遠離的圖像之間所取得之移動向量的大小而判斷在基準圖像(窗內)被認為對應於主被拍攝體的區域。因此，和第1實施形態一樣，和以往相比，對應於主被拍攝體之區域的判斷所需之處理係簡單，並在產生平移圖像時可有效率且迅速地進行複數張圖像的合成處理。
又，作成在複數張圖像的合成時，僅根據該移動向量的大小是固定距離以下之複數個特定區塊的移動向量而將複數張圖像進行位置對準。因此，因為可將複數張圖像的位置對準所需之移動向量的個數抑制成最低限，所以在產生平移圖像時可有效率且迅速地進行複數張圖像的合成處理。
此外，在本實施形態，雖然說明將設定於基準圖像之窗區分成複數個區塊，並從其中特定該1個或複數個特定區塊，但是未限定如此，亦可採用從將基準圖像的整個區域區分成每個都係固定尺寸之複數個區塊中特定該1個或複數個特定區塊的構成。在此情況，對應於主被拍攝體之區域的判斷所需之處理亦是簡單，並在產生平移圖像時可有效率且迅速地進行複數張圖像的合成處理。
又，關於設定於基準圖像的窗(處理對象區域)，例如只要是具備有臉檢測功能之構成，亦可作為和在攝影開始時序即將開始前等所檢測之臉部分對應的區域，又只要是具備有自動追蹤功能之構成，亦可作為和在攝影開始時序即將開始前等所檢測之注目被拍攝體對應的區域。
其次，說明一種變形例，其和上述之第2實施形態一樣，是根據在基準圖像和在時間上離基準圖像最遠的圖像之間所取得之移動向量，而對被認為在基準圖像對應於主被拍攝體之區域(特定區塊)進行判斷的情況。
即，若以進行連續攝影之間背景之被拍攝體停止為前提，對應於背景之被拍攝體的區域(區塊)之移動向量的大小，和在從基準圖像(第1張圖像)之攝影時刻至和基準圖像在時間上最遠離之圖像的攝影時刻之間之相機的移動所伴隨之視角的移動量(在圖框內之被拍攝體之整體的偏差量)大致一致。因此，亦可作成將可得到移動向量的區域判斷是對應於主被拍攝體的區域，而該移動向量表示和在從基準圖像之攝影時刻至與基準圖像在時間上最遠離之圖像的攝影時刻之間之相機的移動所伴隨之視角的移動量相異的偏差量。
具體而言，例如預先將第7圖所示之既定寬度的外周區域D設定於在基準圖像的窗102(亦可係基準圖像的整個區域)，並替代第5圖之步驟SB6的處理，首先作為表示相機之移動所伴隨之視角的移動量之視角移動資訊，算出由在基準圖像的外周區域D內之全部的區塊的移動向量所示之各個區塊的被拍攝體部分之偏差量(移動距離)的平均值(移動向量值)。然後，可進行如下之處理，其在基準圖像之外周區域D外的區塊中，將該偏差量(移動向量值)和所算出之平均值的差位於既定之範圍的區塊選為對應於背景之被拍攝體B的區塊，並將該區塊除外之其他的區塊選為對應於主被拍攝體A的區塊。那時，上述的偏差量(移動距離)例如亦可採用僅水平方向等之特定方向的偏差量。此外，在根據上述之平均值而選出對應於主被拍攝體A的區塊時，亦可作成將在該區塊之被拍攝體部分的偏差量和上述之平均值的差位於既定之範圍外的區塊直接判斷是對應於主被拍攝體A的區塊並選出。
又，和上述不同，具備有檢測在本體之上下及/或左右方向的移動量之迴轉儀感測器等之既定的移動量檢測手段之數位相機等，在第5圖之步驟SB3實施連續攝影時，預先取得從攝影開始時刻至攝影結束時刻為止之本體的移動量，並替代步驟SB6的處理，而將本體的移動量因應於攝影透鏡1的焦距而換算成在圖像內之被拍攝體的偏差量。這是表示相機的移動所伴隨之視角的移動量的視角移動資訊。然後，可進行如下之處理，其在基準圖像之窗102(亦可係基準圖像的整個區域)內的區塊中，將該偏差量(移動向量值)和換算後之偏差量的差位於既定之範圍的區塊選為對應於背景之被拍攝體B的區塊，並將該區塊除外之其他的區塊選為對應於主被拍攝體A的區塊。那時，亦可上述的偏差量(移動距離)亦採用僅水平方向等之特定方向的偏差量，此外，亦可作成在根據如上述所示從本體的移動量所換算之被拍攝體的偏差量(換算偏差量)而選出對應於主被拍攝體A的區塊的情況，亦將在該區塊之被拍攝體部分的偏差量和該換算偏差量的差位於既定之範圍外的區塊直接判斷是對應於主被拍攝體A的區塊而選出。
在如上述所示將得到表示和相機的移動所伴隨之視角的移動量超過固定之範圍而相異之偏差量的移動向量的區域判斷為對應於主被拍攝體之區塊的情況，亦對應於主被拍攝體之區域的判斷所需的處理是簡單。因此，在產生平移圖像時可有效率且迅速地進行複數張圖像的合成處理。
又，亦可不是以相機的移動所伴隨之視角的移動量為基準而判斷對應於主被拍攝體的區塊，而是根據在基準圖像(亮度圖像資料)和相對於基準圖像在時間上最遠離的圖像(亮度圖像資料)之間所取得之移動向量，而進行例如以下所示判斷。
即，在基準圖像(亮度圖像資料)和相對於基準圖像在時間上最遠離的圖像(亮度圖像資料)之間所取得之全部的區塊之移動向量的值，係在對應於主被拍攝體的區塊群近似，又在對應於背景之被拍攝體的區塊群亦近似。同時，移動向量的值在一方之區塊群側和另一方面的區塊群側二極化。即，在全部之區塊的移動向量的值總是發生偏差。
第8圖係表示偏差之一例的圖，係於由X軸和Y軸所構成之正交座標面上，畫表示藉各個區塊之移動向量所示之X方向的偏差量和Y方向之偏差量的點的分布圖，例如將只要X方向的偏差量為n、Y方向之偏差量為m時之點畫於位置(n,m)的分布圖。又，此圖係在進行連續攝影之間，在圖框(視角)內主被拍攝體僅朝向斜右下方向移動，而且背景之被拍攝體朝向左方向移動時的例子。在此情況，由對應於主被拍攝體之各區塊的點形成位於第4象限同時接近原點0(偏差量少)之第1分布區域Pa，又由對應於背景之被拍攝體之各區塊的點形成橫渡第2象限和第3象限同時遠離原點0(偏差量多)之第2分布區域Pb。
因此，只要確認各個區塊的移動向量由第1分布區域Pa和第2分布區域Pb之哪一側所包含，並將第1分布區域Pa所包含的區塊判斷為對應於主被拍攝體的區塊即可。又，該判斷亦可忽略藉移動向量所示之被拍攝體部分的偏差方向，而僅根據該偏差量之絕對值的分布而判斷。因此，在具體的處理時，例如在第5圖的步驟SB6，進行如下的處理即可，從全部之區塊的移動向量，將按照偏差量(X方向和Y方向之雙方的偏差量，或一方的偏差量)的度數累加，在藉此所表示的梯級頻布圖(histogram)，利用包含統計計算等之既定的處理，而判定偏差量小之第1分布區域和偏差量大的第2分布區域，將對應於該第1分布區域的區塊判斷為對應於主被拍攝體的區塊而選出。
如上述所示，在根據全部之區塊之移動向量(被拍攝體部分的偏差量)的分布狀態而判斷為對應於主被拍攝體之區塊的情況，對應於主被拍攝體之區域的判斷所需的處理亦是簡單。因此，在產生平移圖像時可有效率且迅速地進行複數張圖像的合成處理。
在此，在以上之變形例的說明，雖然以將第1張圖像作為基準圖像，並在此基準圖像及與基準圖像在時間上最遠離的圖像之間取得作為對應於主被拍攝體之區塊的判斷基準的移動向量為前提，但是求移動向量時之基準圖像以外的對象圖像只要是和基準圖像間隔既定時間(既定張數)以上的圖像，亦可係其他的圖像。當然，如上述所示，在提高移動向量之分離性上，設為與基準圖像在時間上最遠離的圖像較佳。又，基準圖像亦可不是第1張圖像。
此外，在以上的各變形例，雖然說明僅根據在基準圖像及與基準圖像在時間上最遠離的圖像之間所取得之移動向量(每個區塊的移動向量)而進行對應於主被拍攝體之區塊的判斷，但是未限定如此，亦可作成根據在連續所拍攝之複數張圖像的各圖像間各自所取得之移動向量(每個區塊的移動向量)而進行對應於主被拍攝體之區塊的判斷。
例如，在藉連續攝影而取得關於複數張圖像的YUV資料和亮度圖像資料後，使用亮度圖像資料，一面改變處理對象之圖像的組，一面重複進行在相鄰之圖像間的區塊比對，而取得複數組每個區塊的移動向量。然後，對每個區塊將由所取得的複數組移動向量所示之被拍攝體部分的偏差量(移動距離)累加，並將該累加值用作對應於主被拍攝體之區塊的判斷基準，在上述之各個變形例的處理，亦可作成替代由每個區塊的移動向量所示的偏差量，而使用上述的累加值。
又，亦可和上述不同，而作成如以下所示。即，關於上述之各個變形例的任一個，移動向量(每個區塊的移動向量)之取得對象不是在時間上最遠離的2張圖像間而以相鄰的1組圖像替代，而進行前面所說明的處理，藉此特定可判斷對應於主被拍攝體的區塊。又，如第1張和第2張圖像，第2張和第3張圖像、第3張和第4張圖像、…般將全部組的圖像作為對象，重複地進行該處理複數次(總圖像張數-1次)，藉此，複數次特定若對應於主被拍攝體可進行判斷之區塊。然後，亦可作成根據在複數次的處理所特定之各個區塊的資訊，而最後選出可判斷對應於主被拍攝體之區塊。
例如亦可作成在複數次之處理所特定的區塊中，僅將在全部之處理時所特定之位置的區塊選為最後對應於主被拍攝體之區塊，或僅將既定次數以上所特定之位置的區塊選為最後對應於主被拍攝體之區塊。但，將其應用於上述的各個變形例中，在對應於主被拍攝體之區塊的判斷時，在使用移動向量而且藉迴轉儀感測器等所檢測之本體的移動量的變形例的情況下，需要在全部的圖像間檢測本體的移動量。
在此，在第1及第2實施形態，雖然說明將本發明應用於攝像元件係CMOS感測器之數位相機的情況，但是CMOS感測器可由CCD等其他的攝像元件替代。又，亦可作成藉由根據既定之程式而使CPU9動作，以實現上述之解馬賽克部11、頻率特性計算部15、區塊比對部16、圖像處理部(圖像變形合成加萛部)17之功能的一部分乃至全部。又，本發明未限定為數位相機，例如亦可應用於具有相機之手機終端機等之具有靜態影像攝影功能之其他的攝像裝置。
此外，本發明未限定為攝像裝置，亦可應用於具有從時間上連續之複數張圖像產生平移圖像的功能之任意的圖像處理裝置。又，在該圖像處理裝置，亦包含有由藉由根據既定之程式進行動作而實現該功能的個人電腦。
1．．．攝影透鏡
2．．．快門
3．．．CMOS感測器
4．．．A/D轉換器
5．．．DRAM
6．．．液晶顯示控制器
7．．．液晶顯示器
8．．．快門控制部
9．．．CPU
10．．．感光控制部
11．．．解馬賽克部
12．．．外部記憶體
13．．．使用者界面
14．．．程式記憶體
15．．．頻率特性計算部
16．．．區塊比對部
17．．．圖像處理部(圖像變形合成加萛部)
18．．．SRAM
102．．．窗
第1圖係表示本發明之數位相機的電氣構成之方塊圖。
第2圖係表示在第1實施形態的平移模式之CPU的處理步驟的流程圖。
第3圖係表示和透過鏡圖像重疊地顯示之柵的圖。
第4A圖係表示設定於基準圖像之窗的圖，第4B圖係表示將窗內區分之區塊的圖。
第5圖係表示在第2實施形態的平移模式之CPU的處理步驟的流程圖。
第6A～C圖係權宜上表示以第1張圖像為基準圖像時在其他的圖像之主被拍攝體和背景之被拍攝體的位置關係之差異的圖。
第7圖係權宜上表示在窗內的外周區域之被拍攝體部分的移動向量和除此以外之被拍攝體部分的移動向量之差異的圖。
第8圖係表示窗內之各個區塊的移動向量之值的偏差之一例的圖。
1．．．攝影透鏡
2．．．快門
3．．．CMOS感測器
4．．．A/D轉換器
5．．．DRAM
6．．．液晶顯示控制器
7．．．液晶顯示器
8．．．快門控制部
9．．．CPU
10．．．感光控制部
11．．．解馬賽克部
12．．．外部記憶體
13．．．按鍵輸入組件
14．．．程式記憶體
15．．．頻率特性計算部
16．．．區塊比對部
17．．．圖像處理部(圖像變形合成加萛部)
18．．．SRAM

Claims (19)

  1. 一種攝像裝置，其特徵為具備有：攝影手段，係藉攝像元件取得在時間上連續之複數張圖像；基準區域設定手段，係將藉該攝影手段所取得之複數張圖像的任一張作為基準圖像，並將在該基準圖像之具有高頻成分的區域設定為基準區域；圖像處理手段，係將該基準圖像和其他的圖像進行位置對準並合成，使得藉該基準區域設定手段所設定之基準區域的被拍攝體部分重疊；以及評估值取得手段，其從該基準圖像，對每個區塊取得表示高頻成分之量的評估值；該基準區域設定手段將藉該評估值取得手段對每個區塊所取得之評估值為既定值以上，及/或根據評估值的順位為既定之順位以內的特定區塊所構成之區域設定為基準區域。
  2. 如申請專利範圍第1項之攝像裝置，其中具備有處理對象區域設定手段，其對該基準圖像設定處理對象區域；該基準區域設定手段係將藉該基準區域設定手段所設定之處理對象區域之具有高頻成分的區域設定為基準 區域。
  3. 如申請專利範圍第1項之攝像裝置，其中該圖像處理手段具備有移動向量取得手段，其對構成藉該基準區域設定手段所設定之基準區域的每個區塊，取得表示在該複數張圖像的各個之間之被拍攝體部分的偏差量及偏差方向的移動向量；根據藉該移動向量取得手段所取得之每個區塊的移動向量，將該基準圖像和其他的圖像進行位置對準並合成，使得該基準區域的被拍攝體部分重疊。
  4. 如申請專利範圍第3項之攝像裝置，其中該移動向量取得手段係將比因應於該基準區域之被拍攝體部分所容許的偏差量之範圍更寬的範圍作為探索範圍，在作為對象之其他的圖像中探索對應於各區塊的被拍攝體部分，藉以取得構成該基準區域之每個區塊的移動向量。
  5. 如申請專利範圍第3項之攝像裝置，其中該圖像處理手段係僅根據藉該移動向量取得手段所取得之每個區塊的移動向量中之表示既定距離以下的偏差量之特定的移動向量，將該基準圖像和其他的圖像進行位置對準並合成，使得該基準區域的被拍攝體部分重疊。
  6. 如申請專利範圍第3項之攝像裝置，其中該圖像處理手段具備有投影轉換手段，其根據藉該移動向量取得手段所取得之每個區塊的移動向量，而以 該基準圖像和其他的圖像之中之既定的圖像為基準，將該既定的圖像以外之其他的圖像進行投影轉換；藉由將利用該投影轉換手段進行投影轉換後之該既定的圖像以外之其他的圖像和該既定的圖像進行合成，而將該基準圖像和其他的圖像進行位置對準並合成，使得在該基準圖像之基準區域的被拍攝體部分重疊。
  7. 一種攝像裝置，其特徵為具備有：攝影手段，係藉攝像元件取得在時間上連續之複數張圖像；基準區域設定手段，係將藉該攝影手段所取得之複數張圖像的任一張作為基準圖像，並將在該基準圖像之具有高頻成分的區域設定為基準區域；圖像處理手段，係將該基準圖像和其他的圖像進行位置對準並合成，使得藉該基準區域設定手段所設定之基準區域的被拍攝體部分重疊；以及選擇手段，其從藉該攝影手段所取得之複數張圖像，根據既定之選擇基準而自動地選擇作為該圖像處理手段之合成對象的複數張圖像。
  8. 如申請專利範圍第7項之攝像裝置，其中該選擇手段係從藉該攝影手段所取得之複數張圖像，根據既定之選擇基準而自動地選擇在時間上連續的複數張圖像，作為該圖像處理手段之合成對象的複數張圖像。
  9. 一種電腦可讀取之記錄媒體，其包含可由電腦系統執行 並使該電腦系統根據一連串之處理程序而動作的程式，該處理程序包含以下的步驟：取得步驟，係取得在時間上連續所拍攝的複數張圖像；設定步驟，係將所取得之複數張圖像的任一張作為基準圖像，並將在該基準圖像之具有高頻成分的區域設定為基準區域；以及合成步驟，係將該基準圖像和其他的圖像進行位置對準並合成，使得所設定之基準區域的被拍攝體部分重疊；且從該基準圖像，按每個區塊取得表示高頻成分之量的評估值；將按該每個區塊所取得之評估值為既定值以上，及/或根據評估值的順位為既定之順位以內的特定區塊所構成之區域設定為基準區域。
  10. 一種攝像裝置，其特徵為具備有：攝影手段，係藉攝像元件取得在時間上連續之複數張圖像；臉檢測手段，係從藉該攝影手段所取得之圖像檢測人物的臉部分；基準區域設定手段，係將藉該攝影手段所取得之在時間上連續之複數張圖像的任一張作為基準圖像，並將在該基準圖像之藉該臉檢測手段所檢測之人物的臉部分 區分成複數個區塊，將該複數個區塊構成的區域設定為基準區域；移動向量取得手段，係按每個區塊取得藉該基準區域設定手段所設定之基準圖像的基準區域的移動向量；以及圖像處理手段，係依據藉該移動向量取得手段所取得之移動向量，將該基準圖像和其他的圖像進行位置對準並合成，使得該基準區域的被拍攝體部分重疊。
  11. 一種攝像裝置，其特徵為具備有：攝影手段，係藉攝像元件取得在時間上連續之複數張圖像；追蹤手段，係在藉該攝影手段於時間上連續取得之各個圖像追蹤受注目的被拍攝體；基準區域設定手段，係將藉該攝影手段所取得之在時間上連續之複數張圖像的任一張作為基準圖像，並將在該基準圖像之藉該追蹤手段追蹤之受注目的被拍攝體區分成複數個區塊，將該複數個區塊構成的區域設定為基準區域；移動向量取得手段，係按每個區塊取得藉該基準區域設定手段所設定之基準圖像的基準區域之移動向量；以及圖像處理手段，係依據藉該移動向量取得手段所取得之移動向量，將該基準圖像和其他的圖像進行位置對 準並合成，使得該基準區域的被拍攝體部分重疊。
  12. 一種攝像裝置，其特徵為具備有：攝影手段，係藉攝像元件取得在時間上連續之複數張圖像；偏差量取得手段，係取得在藉該攝影手段所取得之複數張圖像的相異圖像間之被拍攝體部分的偏差量；基準區域設定手段，係將藉該攝影手段所取得之在時間上連續的複數張圖像的任一張作為基準圖像，並對該基準圖像，根據藉該偏差量取得手段所取得之偏差量而將相當於主被拍攝體的區域區分成複數個塊，將該複數個塊構成的區域設為基準區域；移動向量取得手段，係按每個區塊取得藉該基準區域設定手段所設定之基準圖像的基準區域的移動向量；以及圖像處理手段，係依據藉該移動向量取得手段所取得之移動向量，將該基準圖像和其他的圖像進行位置對準並合成，使得該基準區域的被拍攝體部分重疊。
  13. 如申請專利範圍第12項之攝像裝置，其中該偏差量取得手段係取得在時間上間隔既定時間以上之相異的圖像間之被拍攝體部分的偏差量，作為在該複數張圖像之被拍攝體部分的偏差量；該基準區域設定手段係將該相異之圖像的一方作為基準圖像，並根據該偏差量取得手段所取得之偏差量， 而對該基準圖像設定相當於主被拍攝體的基準區域。
  14. 一種攝像裝置，其特徵為具備有：攝影手段，係從攝像元件取得在時間上連續之複數張圖像；偏差量取得手段，係取得在藉該攝影手段所取得之複數張圖像的相異圖像間之被拍攝體部分的偏差量；基準區域設定手段，係將藉該攝影手段所取得之複數張圖像的任一張作為基準圖像，並對該基準圖像，根據藉該偏差量取得手段所取得之偏差量而設定相當於主被拍攝體的基準區域；圖像處理手段，係將該基準圖像和其他的圖像進行位置對準並合成，使得藉該基準區域設定手段設定的基準區域之被拍攝體部分重疊；該偏差量取得手段係取得在時間上間隔既定時間以上之相異的圖像間之被拍攝體部分的偏差量，作為在該複數張圖像之被拍攝體部分的偏差量；該基準區域設定手段係將該相異之圖像的一方作為基準圖像，將和該偏差量取得手段所取得之被拍攝體部分的偏差量是基準以下之被拍攝體部分相對應的區域作為該基準區域，設定於該基準圖像。
  15. 一種攝像裝置，其特徵為具備有：攝影手段，係由攝像元件取得在時間上連續之複數張圖像； 偏差量取得手段，係取得在藉該攝影手段所取得之複數張圖像的相異圖像間之被拍攝體部分的偏差量；基準區域設定手段，係將藉該攝影手段所取得之複數張圖像的任一張作為基準圖像，並對該基準圖像，根據藉該偏差量取得手段所取得之偏差量而設定相當於主被拍攝體的基準區域；以及圖像處理手段，係將基準圖像和其他的圖像進行位置對準並合成，使得藉該基準區域設定手段設定的基準區域的被拍攝體部分重疊；該偏差量取得手段係取得在該複數張圖像各自的被拍攝體部分的偏差量之每個區塊的累加值。
  16. 一種攝像裝置，其特徵為具備有：攝影手段，係從攝像元件取得在時間上連續之複數張圖像；偏差量取得手段，係取得在藉該攝影手段所取得之複數張圖像的相異圖像間之被拍攝體部分的偏差量；基準區域設定手段，係將藉該攝影手段所取得之複數張圖像的任一張作為基準圖像，並對該基準圖像，根據藉該偏差量取得手段所取得之偏差量而設定相當於主被拍攝體的基準區域；圖像處理手段，係將該基準圖像和其他的圖像進行位置對準並合成，使得藉該基準區域設定手段設定的基準區域的被拍攝體部分重疊； 資訊取得手段，其取得用以表示裝置本體的移動所伴隨之視角的移動量之視角移動資訊；該基準區域設定手段，係將和藉該偏差量取得手段所取得之被拍攝體部分的偏差量與藉該資訊取得手段所取得之視角移動資訊所示的移動量超過固定之範圍而相異的被拍攝體部分相對應之區域作為該基準區域，設定於該基準圖像。
  17. 如申請專利範圍第12項之攝像裝置，其中具備有分布資訊取得手段，其取得表示藉該偏差量取得手段所取得之被拍攝體部分的偏差量之分布之分布資訊；該基準區域設定手段係根據藉該分布資訊取得手段所取得之分布資訊所示的偏差量之分布狀態，而對該基準圖像設定相當於主被拍攝體的基準區域。
  18. 一種攝像裝置，其特徵為具備有：攝影手段，係藉攝像元件取得在時間上連續之複數張圖像；評估值取得手段，係將藉該攝影手段所取得之複數張圖像的任一張作為基準圖像，將該基準圖像區分成複數個區塊，按該複數個區塊的每個區塊取得高頻成分的評估值；基準區域設定手段，係將依據利用該評估值取得手段取得的每個區塊之評估值選出的區塊所構成之區域設 成基準區域；移動向量取得手段，係按每個區塊取得藉該基準區域設定手段所設定之基準圖像的基準區域的移動向量；圖像處理手段，係依據該移動向量取得手段所得之移動向量，將該基準圖像和其他的圖像進行位置對準並合成，使得該基準區域被拍攝體部分重疊。
  19. 一種電腦可讀取之記錄媒體，其包含可由電腦系統執行並使該電腦系統根據一連串之處理程序而動作的程式，該處理程序包含以下的步驟：取得步驟，係取得在時間上連續所拍攝的複數張圖像；設定步驟，係將所取得之複數張圖像的任一張作為基準圖像，將該基準圖像區分成複數個區塊，並按該複數個區塊的每區塊，取得高頻成分之評估值，將依據每區塊的評估值選出之區塊所構成區域設為基準區域；取得步驟，係按每個區塊取得所設定之基準圖像的基準區域的移動向量；合成步驟，依據所獲得之移動向量，將該基準圖像和其他的圖像進行位置對準並合成，使得該基準區域的被拍攝體部分重疊。
TW098106073A 2008-02-29 2009-02-26 具有用於拍攝平移圖像之平移模式的攝像裝置 TWI387330B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008049168A JP4561845B2 (ja) 2008-02-29 2008-02-29 撮像装置と画像処理プログラム

Publications (2)

Publication Number Publication Date
TW200943934A TW200943934A (en) 2009-10-16
TWI387330B true TWI387330B (zh) 2013-02-21

Family

ID=41012889

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098106073A TWI387330B (zh) 2008-02-29 2009-02-26 具有用於拍攝平移圖像之平移模式的攝像裝置

Country Status (5)

Country Link
US (1) US8248480B2 (zh)
JP (1) JP4561845B2 (zh)
KR (1) KR101062502B1 (zh)
CN (1) CN101521747B (zh)
TW (1) TWI387330B (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010268441A (ja) * 2009-04-16 2010-11-25 Sanyo Electric Co Ltd 画像処理装置、撮像装置及び画像再生装置
JP2011044801A (ja) * 2009-08-19 2011-03-03 Toshiba Corp 画像処理装置
JP5115568B2 (ja) * 2009-11-11 2013-01-09 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
JP4973719B2 (ja) 2009-11-11 2012-07-11 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
JP2011119930A (ja) 2009-12-02 2011-06-16 Seiko Epson Corp 撮像装置、撮像方法および撮像プログラム
JP4998630B2 (ja) * 2010-03-30 2012-08-15 株式会社ニコン 画像処理装置、および画像評価プログラム
EP2387229B1 (en) * 2010-05-14 2016-04-06 Casio Computer Co., Ltd. Image capturing apparatus and camera shake correction method, and computer-readable medium
US9509911B2 (en) * 2010-07-14 2016-11-29 Nikon Corporation Image-capturing device, and image combination program
JP5643563B2 (ja) * 2010-07-22 2014-12-17 キヤノン株式会社 画像処理装置及びその制御方法
US20120019677A1 (en) * 2010-07-26 2012-01-26 Nethra Imaging Inc. Image stabilization in a digital camera
CN102480590B (zh) * 2010-11-22 2015-02-18 华晶科技股份有限公司 一种电子装置、影像拍摄装置及其方法
JP5050256B1 (ja) * 2011-06-21 2012-10-17 オリンパス株式会社 撮像装置及び撮像方法
JP2013219544A (ja) * 2012-04-09 2013-10-24 Ricoh Co Ltd 画像処理装置、画像処理方法、及び画像処理プログラム
JP6007682B2 (ja) * 2012-08-31 2016-10-12 富士通株式会社 画像処理装置、画像処理方法及びプログラム
JP2015026192A (ja) * 2013-07-25 2015-02-05 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2015026305A (ja) * 2013-07-29 2015-02-05 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
EP3069510A4 (en) * 2013-11-18 2017-06-28 Nokia Technologies Oy Method and apparatus for enhanced digital imaging
JP6418879B2 (ja) * 2014-10-06 2018-11-07 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP6497987B2 (ja) * 2015-03-12 2019-04-10 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6539091B2 (ja) * 2015-04-09 2019-07-03 キヤノン株式会社 撮像装置およびその制御方法
US9591237B2 (en) 2015-04-10 2017-03-07 Qualcomm Incorporated Automated generation of panning shots
KR20160149842A (ko) * 2015-06-19 2016-12-28 삼성전자주식회사 영상 처리 방법 및 그 장치
TWI554108B (zh) 2015-08-04 2016-10-11 緯創資通股份有限公司 電子裝置及影像處理方法
KR102423364B1 (ko) * 2015-08-12 2022-07-22 삼성전자 주식회사 영상을 제공하는 방법 및 이를 지원하는 전자 장치
US10499070B2 (en) 2015-09-11 2019-12-03 Facebook, Inc. Key frame placement for distributed video encoding
US10341561B2 (en) 2015-09-11 2019-07-02 Facebook, Inc. Distributed image stabilization
US10602157B2 (en) 2015-09-11 2020-03-24 Facebook, Inc. Variable bitrate control for distributed video encoding
US10063872B2 (en) * 2015-09-11 2018-08-28 Facebook, Inc. Segment based encoding of video
US10506235B2 (en) 2015-09-11 2019-12-10 Facebook, Inc. Distributed control of video encoding speeds
US10602153B2 (en) 2015-09-11 2020-03-24 Facebook, Inc. Ultra-high video compression
US10375156B2 (en) 2015-09-11 2019-08-06 Facebook, Inc. Using worker nodes in a distributed video encoding system
JP6679333B2 (ja) * 2016-02-05 2020-04-15 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6745682B2 (ja) * 2016-08-30 2020-08-26 キヤノン株式会社 撮像装置、制御方法、プログラム、及び記憶媒体
CN107872671B (zh) * 2016-09-26 2022-01-14 华为技术有限公司 一种图片编码方法及终端
JP6931278B2 (ja) 2016-09-29 2021-09-01 東レ・デュポン株式会社 フレキシブルフラットケーブル補強板用フィルム
JP6802848B2 (ja) 2016-10-03 2020-12-23 オリンパス株式会社 画像処理装置、撮像システム、画像処理方法および画像処理プログラム
KR20180070264A (ko) 2016-12-16 2018-06-26 삼성전자주식회사 패닝 샷 이미지 획득 방법 및 이를 지원하는 전자 장치
JP2018146663A (ja) * 2017-03-02 2018-09-20 キヤノン株式会社 像ブレ補正装置およびその制御方法、撮像装置、レンズ装置
KR102317624B1 (ko) 2017-03-27 2021-10-26 삼성전자 주식회사 전자 장치 및 그의 이미지 처리 방법
KR102080456B1 (ko) * 2018-07-30 2020-02-24 이노뎁 주식회사 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
CN109636731B (zh) * 2018-10-23 2020-11-13 惠州Tcl移动通信有限公司 一种图像拖影的消除方法、电子设备及存储介质
CN111008621B (zh) * 2020-03-10 2020-07-07 浙江清鹤科技有限公司 对象追踪方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060007327A1 (en) * 2004-07-09 2006-01-12 Konica Minolta Photo Imaging, Inc. Image capture apparatus and image capture method
JP2006270238A (ja) * 2005-03-22 2006-10-05 Nikon Corp 画像処理装置、電子カメラ、および画像処理プログラム
JP2007074031A (ja) * 2005-09-02 2007-03-22 Canon Inc 撮像装置、及び、画像処理装置及び方法
JP2007081682A (ja) * 2005-09-13 2007-03-29 Canon Inc 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357202A (ja) * 2003-05-30 2004-12-16 Canon Inc 撮影装置
JP2006086933A (ja) 2004-09-17 2006-03-30 Canon Inc 撮像装置及び制御方法
JP4569389B2 (ja) 2005-05-31 2010-10-27 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JP4597087B2 (ja) * 2006-03-30 2010-12-15 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
US7840085B2 (en) * 2006-04-06 2010-11-23 Qualcomm Incorporated Electronic video image stabilization
JP4274233B2 (ja) * 2006-11-30 2009-06-03 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060007327A1 (en) * 2004-07-09 2006-01-12 Konica Minolta Photo Imaging, Inc. Image capture apparatus and image capture method
JP2006270238A (ja) * 2005-03-22 2006-10-05 Nikon Corp 画像処理装置、電子カメラ、および画像処理プログラム
JP2007074031A (ja) * 2005-09-02 2007-03-22 Canon Inc 撮像装置、及び、画像処理装置及び方法
JP2007081682A (ja) * 2005-09-13 2007-03-29 Canon Inc 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム

Also Published As

Publication number Publication date
CN101521747B (zh) 2011-06-15
US20090219415A1 (en) 2009-09-03
US8248480B2 (en) 2012-08-21
CN101521747A (zh) 2009-09-02
TW200943934A (en) 2009-10-16
KR20090093817A (ko) 2009-09-02
KR101062502B1 (ko) 2011-09-05
JP2009207034A (ja) 2009-09-10
JP4561845B2 (ja) 2010-10-13

Similar Documents

Publication Publication Date Title
TWI387330B (zh) 具有用於拍攝平移圖像之平移模式的攝像裝置
JP4720859B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5574423B2 (ja) 撮像装置、表示制御方法及びプログラム
TWI420901B (zh) 攝像裝置、攝像方法及攝像程式
JP6833746B2 (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP4985251B2 (ja) 撮像装置、フォーカス制御方法、フォーカス制御プログラム
JP5729237B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2008109336A (ja) 画像処理装置および撮像装置
JP2013165485A (ja) 画像処理装置、撮像装置およびコンピュータブログラム
JP2013165487A (ja) 画像処理装置、撮像装置、およびプログラム
JP2009213114A (ja) 撮像装置及びプログラム
JP2014131190A (ja) 撮像装置、その制御方法、および制御プログラム
JP5018937B2 (ja) 撮像装置と画像処理プログラム
JP2022036153A (ja) 撮像装置
JP5831492B2 (ja) 撮像装置、表示制御方法及びプログラム
JP6399120B2 (ja) 撮像装置
JP2009027437A (ja) 画像処理装置，画像処理方法及び撮像装置
JP4687619B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2019041399A (ja) 画像処理装置、画像処理方法及びプログラム
JP6828069B2 (ja) 撮像装置、撮像方法およびプログラム
JP2024036872A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP6107882B2 (ja) 撮像装置、表示制御方法及びプログラム
JP5101399B2 (ja) 撮影装置および撮影装置の制御方法並びにプログラム
JP2019017080A (ja) 撮像装置
JP2017135732A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees