TWI448151B - 攝像裝置、攝像方法及電腦可讀取媒體 - Google Patents

攝像裝置、攝像方法及電腦可讀取媒體 Download PDF

Info

Publication number
TWI448151B
TWI448151B TW099138596A TW99138596A TWI448151B TW I448151 B TWI448151 B TW I448151B TW 099138596 A TW099138596 A TW 099138596A TW 99138596 A TW99138596 A TW 99138596A TW I448151 B TWI448151 B TW I448151B
Authority
TW
Taiwan
Prior art keywords
image
unit
imaging
images
captured
Prior art date
Application number
TW099138596A
Other languages
English (en)
Other versions
TW201134207A (en
Inventor
Kazuhisa Matsunaga
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of TW201134207A publication Critical patent/TW201134207A/zh
Application granted granted Critical
Publication of TWI448151B publication Critical patent/TWI448151B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

攝像裝置、攝像方法及電腦可讀取媒體 [相關申請案的相互參考]
本申請案根據2009年11月11日所提出的習知日本專利申請案第2009-257822號、以及2010年2月24日所提出的習知日本專利申請案第2010-038233號，主張其優先權，其全部內容在此倂入以供參考。
本發明係有關於攝像裝置、攝像方法及收容了攝像程式之電腦可讀取媒體。
以往，設計有以夜景與人物被攝體等主要被攝體作為場景來進行拍攝時，可記錄夜景與主要被攝體兩者都顯眼之影像的各種技術。例如，在日本專利申請公報之特開2005-086488號公報所揭示的技術中，連續進行伴隨閃光燈發光的閃光燈開啟攝影與不伴隨閃光燈發光的閃光燈關閉攝影。此時，在閃光燈關閉攝影時，設定高的攝影靈敏度，以使夜景被適當地曝光。
藉此，以閃光燈關閉攝影所得之影像(無閃光燈影像)會成為即使主要被攝體的亮度是不適當但夜景之亮度亦適當的影像。又，以閃光燈攝影所得之影像(閃光燈影像)會成為即使夜景的亮度不適當但主要被攝體之亮度亦適當的影像。因此，藉由將這些無閃光燈影像與閃光燈影像合成，可記錄夜景與主要被攝體兩者的亮度適當、兩者都顯眼之影像。
上述的技術中，在閃光燈關閉攝影時，設定高的攝影靈敏度，以使夜景被適當地曝光。為此，雖然在閃光燈關閉攝影時的影像，即由夜景與主要被攝體兩者所構成的無閃光燈影像上會發生熱雜訊，但是關於在主要被攝體上所發生的熱雜訊，可藉由與閃光燈影像的合成而被修正並刪除。
可是，因為在主要被攝體區域以外所發生的熱雜訊不會被修正，所以仍然會有得到熱雜訊殘留之低品質的影像之問題。
依據本發明之第1形態，提供一種攝像裝置，其包含以下之構件：攝像單元；發光單元；第1攝像控制器，係對該攝像單元控制成在第1時序拍攝複數個影像；第2攝像控制器，係對該攝像單元控制成在緊接著該第1時序之前或之後的第2時序，於藉該發光單元照明的攝影環境下拍攝影像；加法合成部，係對在該第1攝像控制器之控制下所拍攝之該複數個影像，進行位置對準並進行加法合成，而產生合成影像；及合成部，係將藉該加法合成部產生之合成影像與在該第2攝像控制器之控制下所拍攝的該影像合成。
依據本發明之第2形態，提供一種攝像方法，係對攝像單元控制成在第1時序拍攝複數個影像；對該攝像單元控制成在緊接著該第1時序之前或之後的第2時序，於藉發光單元照明的攝影環境下拍攝影像；對在該第1時序所拍攝之該複數個影像，進行位置對準並進行加法合成，而產生合成影像；將該合成影像、與在藉該發光單元照明的該攝影環境下於該第2時序所拍攝的該影像合成。
依據本發明之第3形態，提供一種非暫時性之電腦可讀取媒體，其使具備攝像單元與發光單元之攝像裝置所包含的電腦執行包含以下之動作的處理：對攝像單元控制成在第1時序拍攝複數個影像；對該攝像單元控制成在緊接著該第1時序之前或之後的第2時序，於藉發光單元照明的攝影環境下拍攝影像；對在該第1時序所拍攝之該複數個影像，進行位置對準並進行加法合成，而產生合成影像；將該合成影像、與在藉該發光單元照明的該攝影環境下於該第2時序所拍攝的該影像合成。
將參照附圖，詳細說明本發明的實施例。發明所請求發明範圍理應不限於依圖闡明的例子及下述內容。參照圖式，說明實施本發明之不同特點的概略配置。圖式和相關說明供解說本發明的實施例，而非限制本發明的範圍。
以下，根據圖說明本發明的一實施形態。第1圖係表示本發明之各實施形態共同之數位相機100之電性構成的電路方塊圖。此數位相機100具有AE(Auto Exposure)、AWB(Auto White Balance)及AF(Auto Focus)等一般之功能。即，透鏡組件1包含有變焦透鏡或未圖示之聚焦透鏡等的光學系統、及用以驅動光學系統的驅動機構。
機械式快門12與由CMOS(Complementary Metal Oxide Semiconductor)攝像元件所構成之攝像部2配置於透鏡組件1所具有的光軸上。表示來自攝像部2之影像的類比信號藉A/D轉換部3轉換成數位信號，並被儲存於由DRAM(Dynamic Random Access Memory)所構成之工作記憶體4。
訂製LSI(Large Scale Integration)7對工作記憶體4所儲存之影像信號施行消隱脈衝鉗位(pedestal clamp)等的處理，再將其轉換成亮度(Y)信號及色差(UV)信號，同時進行自動白色平衡、輪廓凸顯、像素內插等之用以提高影像品質的數位信號處理。在攝影模式中，於工作記憶體4每儲存一個圖框份的資料(影像資料)就會被轉換成影像信號，並被傳送至液晶顯示控制器5。液晶顯示控制器5根據從工作記憶體4所傳來之影像信號，驅動液晶顯示部8。藉此，將以即時預覽所逐次拍攝的影像顯示於液晶顯示部8。又，在攝影模式中，以快門按鈕9的操作作為觸發，將影像資料暫時記憶於工作記憶體4，此暫時記憶的影像資料被訂製LSI7壓縮後，最後作為既定格式的靜態影像檔案而記錄於外部記憶媒體11。
訂製LSI7具備CPU(Central Processing Unit)核心7a、閃光燈控制部7b、受光控制部7c、解馬賽克部7d、特徵量計算部7e、SRAM(Static Random Access Memory)7f、方塊比對部7g、影像變形合成加法部7h、程式ROM7i及機械式快門控制部7j。
CPU核心7a根據程式ROM7i所記憶之程式，一面將工作記憶體4作為工作區域一面執行各處理，藉此控制構成訂製LSI7的該各部分。又，閃光燈控制部7b根據來自CPU核心7a的指示，控制閃光燈發光部6的發光時序。受光控制部7c係控制由CMOS攝像元件所構成之攝像部2與A/D轉換部3的動作時序，使其發揮作為電子式快門之功能。
解馬賽克部7d進行RAW影像(非壓縮影像)的解馬賽克處理。特徵量計算部7e係使用於：從所拍攝之影像檢測臉部影像之際；或在所檢測出之臉部影像中進行眨眼的檢測、細節上判定眼睛是否張開之際。方塊比對部7g使用SRAM7f作為工作區域，進行在進行影像位置對準時所需之影像彼此的方塊比對處理。影像變形合成加法部7h係進行在未伴隨閃光燈發光部6的發光下所拍攝之影像的無閃光燈影像、與在伴隨閃光燈發光部6的發光下所拍攝之影像之閃光燈影像的合成加法處理等。機械式快門控制部7j是控制機械式快門12。
又，在訂製LSI7的CPU核心7a，連接有快門按鈕9、模式按鈕10及外部記憶媒體11。快門按鈕9由具有第1段操作行程(半按)與第2段操作行程(全按)之2階段的操作行程之按鈕式開關所構成。模式按鈕10係因應使用者的操作，而送出攝影模式、播放模式的切換指示信號。又，亦輸出攝影模式中之「利用連拍合成之夜景與人物模式」等詳細之攝影模式的指示信號。
外部記憶媒體11是SD卡等之拆裝自如的記錄媒體。在外部記憶媒體11，記憶以一般的攝影模式、或「利用連拍合成之夜景與人物模式」等的攝影模式所拍攝之影像的影像資料。又，在播放時，從外部記憶媒體11所讀取之影像資料經由CPU核心7a，被供給至液晶顯示控制器5，並於液晶顯示部8顯示播放影像。
此外，在程式ROM7i亦儲存有構成程式線圖的程式AE資料，而該程式線圖係表示與攝影時之適當曝光值之適當曝光對應的光圈值和快門速度(快門時間、曝光時間)的組合。
(第1實施形態)
其次，針對本發明之第1實施形態的動作，根據第2圖的流程圖作說明。當使用者操作模式按鈕10，設定攝影模式中之「夜景與人物模式」時，訂製LSI7的CPU核心7a根據程式ROM7i所記憶之程式開始處理。
首先，CPU核心7a控制液晶顯示控制器5，使液晶顯示部8以即時預覽顯示逐次拍攝的影像(步驟A1)。接著，CPU核心7a判定是否已半按快門按鈕9(步驟A2)，若已半按快門按鈕9，則執行測光處理及對焦處理，並取得適當曝光值及焦點位置(步驟A3)。因此，藉此步驟A3的測光處理，計算由光圈值與快門速度(與後述的快門時間及曝光時間同義)所構成之適當曝光值。
然後，當使用者為了進行攝影，而全按快門按鈕9時，步驟A4的判定成為YES。因此，CPU核心7a使處理從步驟A4移至步驟A5，對閃光燈控制部7b指示，使閃光燈發光部6進行預備發光(步驟A5)。此預備發光是為了調整閃光燈發光部6的發光量及防止成為主要被攝體之人物的眼睛發生紅眼而進行者，並執行至在後述的步驟A7中伴隨閃光燈發光的連拍之例如至少0.8秒前。
接著，在相對於適當曝光值將快門時間(曝光時間)降低2段(換算成曝光時間，為對應於適當曝光值之曝光時間的1/4)的攝影條件下，首先，不進行利用閃光燈發光部6的發光，而是按照滾動快門方式連拍8次(步驟A6)。
接著，利用閃光燈控制部7b的驅動，使閃光燈發光部6發光，並按照機械式快門方式連拍3次(步驟A7)。此時，為了避被攝體人物在眨眼狀態下被拍攝的眨眼影像的拍攝，機械式快門12的間隔相距例如0.1秒以上。
又，在該步驟A7之攝影時的攝影條件，係在使ISO靈敏度比在該步驟A6之攝影更低的情況下拍攝。又，機械式快門控制部7j為了避免儘量不會拍到遠方的背景，控制成機械式快門12在閃光燈發光部6發光的時序成為開啟狀態。
因此，利用在該步驟A6與此步驟A7的處理，如第3圖所示，在工作記憶體4儲存8張RAW影像與3張RAW影像之共11張RAW影像。
在步驟A8，對這11張RAW影像測量白色平衡。然後，根據在步驟A8所測量之白色平衡，利用解馬賽克部7d對11張RAW影像全部進行解馬賽克(步驟A9)。此時，如第4圖(a)所示，關於在步驟A7所拍攝之3張RAW影像，根據頻率分佈圖的伸長度決定γ曲線。另一方面，如第4圖(b)所示，關於在步驟A6所拍攝之RAW影像，為了抑制變白的發生，而修正逆γ的色調曲線。藉此，可抑制閃光燈發光所造成之變白部分的亮度。
接著，利用在特徵量計算部7e的計算處理，從已解馬賽克之11張RAW影像中與在步驟A7所拍攝影像對應的3張影像檢測被攝體的臉部影像，同時以所檢測出之臉部的振動是否少，或(在包含複數名被攝體人物的情況)更多的臉部影像是否張開眼睛為基準，選擇評價最高的影像(步驟A10)。在此步驟A10中選擇的影像是在如後述所示般在與步驟A6所拍攝之影像對應之影像的位置對準處理中不一致的情況，或在與步驟A6中拍攝之影像對應之影像的加法合成所使用之影像。
當在步驟A10中影像的選擇結束時，執行此所選擇之影像和與在步驟A6所拍攝影像對應之8張影像的位置對準處理(步驟A11)。
第5圖係表示此影像位置對準處理(步驟A11)之處理步驟的流程圖。在進行此影像之位置對準時，針對在步驟A6所拍攝之8張RAW影像與在步驟A7所拍攝之3張RAW影像，首先，在不變更尺寸的情況下分別產生YUV影像，進而為了位置對準用而產生縮小至VGA(Video Graphics Array)尺寸的縮小YUV影像(步驟B1)。在進行影像彼此之位置對準時，必須決定成為基準之影像的基準影像。因此，在本實施形態中，最初，針對與在步驟A6中連拍之影像對應之縮小YUV影像，決定與在中間點所拍攝之影像對應之縮小YUV影像作為基準影像(步驟B2)。例如，在本實施形態中，因為連拍8次，所以將與在屬中間點之第4次所拍攝的影像對應之縮小YUV影像作為基準影像。
此外，基準影像的決定方法未限定於上述方式在中間時間點拍攝的影像，亦可是在最前面、或在步驟A7之即將拍攝前所拍攝的影像(若為了最後與在閃光燈發光時所拍攝之影像進行合成，則以選擇在步驟A7之即將拍攝前所拍攝之影像作為基準影像較佳。)。
接著，進行在步驟B2所決定之基準影像與其他7張縮小YUV影像的位置對準(步驟B3)。此位置對準係根據方塊比對及/或RANSAC(RANdom Sample Consensus)法進行。此時，若在該步驟A6的連拍時發生手振動，則會有所連拍的影像不會一致，而發生影像之位置對準不成功的情況。
因此，在接下來的步驟B4中，判定與在步驟A6所連拍8次的影像中最近所拍攝之影像的縮小YUV影像的位置對準是否成功。在此，影像之位置對準是否成功的判定，例如在方塊比對的方塊相對於基準影像有90%以上一致的情況，當作位置對準成功，而在未滿90%的情況，當作位置對準失敗。即，判定影像是否大致一致。然後，在步驟B4位置對準成功的情況，從步驟B4移至步驟B7，移至與在步驟A7所拍攝之影像的位置對準。
此外，亦可作成在方塊比對的方塊相對於基準影像完全一致(100%一致)的情況，當作位置對準成功，而在除此以外的情況，當作位置對準失敗。
可是，當在步驟B4中位置對準不成功的情況，判定在步驟B2所決定之基準影像是否是與所連拍之8張影像中最近或從最近起算第2張所拍攝之影像對應的縮小YUV影像(步驟B5)。在判定不是與最近或從最近起算第2張所拍攝之影像對應的縮小YUV影像的情況，刪除與所連拍之8張影像中最近所拍攝之影像對應的縮小YUV影像，同時從剩下之複數張縮小YUV影像決定新的基準影像(步驟B6)。在此步驟B6中，亦決定剩下之複數張縮小YUV影像中與在中間點所拍攝之影像對應的縮小YUV影像，作為新的基準影像。
因此，每次步驟B4的判定成為NO，位置對準不成功時，就在步驟B6的處理刪除縮小YUV影像，而減少進行位置對準之縮小YUV影像的張數。又，當重複這種處理時，針對結果所決定之基準影像，依序逐漸挪移至最早所拍攝之影像。然後，藉由重複進行此處理，在步驟B5判定基準影像是與在從最近起算第2張所拍攝之影像對應的縮小YUV影像時，判定縮小YUV影像的位置對準失敗，並結束(步驟B9)。
又，在步驟B5中位置對準成功的情況，進行此基準影像與在步驟A7所拍攝的影像中最早所拍攝之影像對應的縮小YUV影像之位置對準(步驟B7)後，結束影像位置對準(步驟B8)。
依此方式，在第2圖的步驟A11中進行影像的位置對準，判定位置對準是否成功作為其結果(步驟A12)。在步驟B8位置對準成功的情況，從步驟A12移至步驟A14。然後，針對位置對準成功的張數份量(3~8張)，針對在步驟B1中不變更尺寸的情況下所產生之YUV影像，分別進行位置對準，並進行加法平均(步驟A14)。
即，藉由對在方塊比對中一致的各方塊進行加法平均，而產生位置對準成功之YUV影像的加法平均影像。
此外，在本實施形態中，雖然作成將位置對準成功的張數份量進行位置對準，並進行加法平均，但是亦可作成將8張YUV影像進行位置對準，並進行加法平均。
接著，執行加法平均影像的γ(修正)值算出處理(步驟A15)。此處理是為了抑制背景變暗而進行。即，在將在步驟A6所拍攝之RAW影像與在步驟A7所拍攝之RAW影像進行加法平均的情況，若在步驟A6所拍攝之RAW影像中像素值大的區域與在步驟A7所拍攝之RAW影像中像素值大的區域明確分離，藉後段之頻率分佈圖伸長，可使增益復原。可是，如第6圖所示，在兩者中像素值大之區域重疊的情況，影像之重疊處愈多，頻率分佈圖之高亮度側就越伸長。在這種情況，頻率分佈圖伸長的餘地少，而無法使增益復原，尤其閃光燈照不到的背景被修正成變暗。因而，針對與在步驟A6所拍攝之影像對應的縮小YUV影像，施行γ修正，以抑制背景變暗。
第7圖係表示加法平均影像之γ值算出處理(步驟A15)之處理步驟的流程圖。首先，將加法平均影像和與在步驟A7所拍攝之影像對應的YUV影像進行加法平均(步驟C1)。接著，製作在此步驟C1已加法平均之亮度值的頻率分佈圖(步驟C2)。將所製作之頻率分佈圖積分，並從亮度MAX(最大)側算出成為0.5%之MAX側點(Yhismax)(步驟C3)。根據此算出之MAX側點，利用以下列舉的數學式算出γ值(步驟C4)。
γ=Kcoef(Yhismax-Ythresh)
其中，
γ=對無閃光燈影像施行之γ修正的γ值
Kcoef：調整用係數
Yhismax：單純加法平均影像中之頻率分佈圖MAX側0.5%之點的亮度值
Ythresh：調整用臨限值
然後，在第2圖的流程圖中接著步驟A15的步驟A16，以在步驟A15所得之γ值修正該步驟A14中所得之加法平均影像。接著，將此γ修正後的加法平均影像與在該步驟A10所選擇之影像進行合成加法處理(步驟A17)。
藉此，因為在步驟A17中進行加法合成處理之前，先在步驟A16進行加法平均影像的γ修正，所以可抑制背景(夜景)的亮度降低。
第8圖係表示在此步驟A1所執行之加法合成處理之細節的流程圖。在此流程圖中，在YUV成分中，關於Y(亮度)成分，執行步驟D2~D7的處理，關於U(亮度與藍色成分的差)成分及V(亮度與紅色成分的差)成分，僅進行步驟D1的處理。
即，將在該步驟A16中所得之γ修正後的加法平均影像與在該步驟A10中所選擇之影像進行加法平均，而產生加法合成影像(步驟D2)。又，對藉此加法平均所得之影像施行銳度濾波，而凸顯影像的輪廓(步驟D3)。進而，製作Y之亮度值分布的頻率分佈圖(步驟D4)。但，因為對全部像素進行測量時，頻率分佈圖的製作處理時間費時，所以例如每隔100個像素測量。
接著，取得頻率分佈圖伸長臨限值(步驟D5)。即，求得高亮度側之成為頻率分佈圖面積之0.5%的點之亮度值。又，製作色調曲線像素轉換表，即在步驟D5所求得之高亮度側的伸長點分別成為255之直線轉換的轉換表(步驟D6)。根據此製作的轉換表，將在步驟D2所產生之加法合成影像的Y成分伸長。
另一方面，關於UV成分，以Softmax(正規化指數函數)處理進行合成(步驟D1)。如針對U成分進行說明，將根據以下列舉的數學式所計算的輸出值作為U之Softmax輸出值(USoftmax)。
Ucomp=(Uave+Umax*Coef)/(1+Coef)
其中，
Ucomp：USoftmax輸出值
Uave：U的平均值
Umax：U的絕對值與V之絕對值的和最大之影像的U值
Coef：調整係數
又，如針對V成分進行說明，將根據以下列舉的數學式所計算的輸出值作為V之Softmax輸出值(VSoftmax)。Vcomp=(Vave+Vmax*Coef)/(1+Coef)，其中，Vcomp：VSoftmax輸出值，Vave：V的平均值，Vmax：U的絕對值與V之絕對值的和最大之影像的V值，Coef：調整係數。
依此方式，若在第2圖之流程圖的步驟A17中進行γ修正後的加法平均影像與在步驟A10中選擇之影像的合成加法處理結束，則將此合成加法處理後的影像作為最後輸出影像，保存於外部記憶媒體11。
因而，作為最後輸出影像而言，可得到夜景與人物被攝體兩者顯眼的影像，而且無熱雜訊之高品質的影像。
而且，本實施形態中，因為是使閃光燈發光部6發光而連拍3次，所以選擇在臉部影像振動少之評價高的影像(步驟A10)，而使用於加法合成。因而，亦可記錄作為主要被攝體的人物為高品質的影像。
另一方面，如上述所示，在步驟B9中影像位置對準結束，且位置對準失敗的情況，從步驟A12移至步驟A13。然後，在此步驟A13中，根據例如JPEG格式僅將在該步驟A10中選擇之1張影像進行顯影，並作為最後輸出影像。進而，將此最後影像保存於外部記憶媒體11。
在此，如上所述，步驟A10中選擇之影像是指在所檢測出之臉部振動少，並在複數名人物被攝體中較多人物的眼睛張開的影像。因此，即使在是無閃光燈影像之位置對準失敗的攝影時，亦可記錄在影像中之複數名人物被攝體無振動，且較多人物的眼睛張開的影像。
此外，在本實施形態中，雖然作成在步驟A6的處理後進行步驟A7的處理，但是亦可作成相反。
又，在本實施形態中，作成將在步驟A10所選擇之影像用於加法合成。可是，亦可作成在藉位置對準使影像大致一致而位置對準成功的情況，使用該選擇之影像，而在未大致一致而位置對準失敗的情況，將在步驟A6的處理剛結束後所拍攝之影像用於加法合成。
依此方式，即使是在連續拍攝3次之影像有振動的情況，亦在與連續拍攝8次之影像的關係中，可將一致性最高的影像用於加法合成。
進而，在本實施形態中，雖然作成將在步驟A17中進行加法合成後的最後輸出影像直接保存於外部記憶媒體11，但是亦可設置使最後輸出影像的白色平衡與連續拍攝3次之影像的白色平衡一致之白色平衡調整步驟(白色平衡調整部(section))。藉此，可將被攝體人物之白色平衡適當的影像記錄為最後輸出影像。
(第2實施形態)
第9圖係表示本發明之第2實施形態之處理步驟的流程圖。本實施形態與第1實施形態的合成步驟不同，是在加法平均後，根據Ymax值對像素的亮度進行增益調整，來取代利用γ修正與頻率分佈圖伸長進行合成。
在第9圖的流程圖中，步驟E1~E14係與第2圖所示之第1實施形態的流程圖中之步驟A1~A14相同。因此，省略步驟E1~E14的說明。在替代第1實施形態中之步驟A15~A17而執行的步驟E15中，執行影像合成處理。
第10圖係表示影像合成處理之處理步驟的流程圖。將在步驟E10所選擇之影像與加法平均影像進行加法平均(步驟F1)。
又，產生由所選擇之影像與加法平均影像之亮度的MAX值(最大值)所構成之Ymax影像(步驟F2)。進而，以在該步驟F1中加法平均影像的亮度成為Ymax/2的方式製作α圖(步驟F3)。
即，對各像素求得在步驟F1中所得之加法平均影像之亮度之平均值的Yave成為Ymax/2的α。具體而言，進行α=Ymax/(2*Yave)的計算。藉由進行此計算，頻率分佈圖一定成為128以下(在亮度為8bit的情況)。
接著，藉由對在步驟F1所得之加法平均影像乘以在該步驟F3所得之α圖的各值，而使加法平均影像衰減(步驟F4)。進而，在此步驟F4的處理中將頻率分佈圖經壓縮者乘以2倍的增益而復原(步驟F5)。
以上，結束在第9圖之流程圖中之步驟E15的合成處理，並將在該步驟F5所得之影像作為最後輸出影像，保存於外部記憶媒體11。
因此，依據本實施形態，可使合成處理變成比第1實施形態更簡單。
(第3實施形態)
第11圖係表示在本發明之第3實施形態中，在第9圖之流程圖之步驟E15所執行的影像合成處理之處理步驟的流程圖。
即，在第3實施形態之整體的處理係與上述第2實施形態一樣，根據第9圖所示的流程圖執行。但是，第2實施形態中，是根據第10圖所示的流程圖執行影像合成處理(步驟E15)，相對地，第3實施形態中，是根據第11圖所示的流程圖執行影像合成處理(步驟E15)。
在此第11圖的流程圖中，步驟G2~G6係和第10圖所示之第2實施形態的流程圖中之步驟F1~F5相同。而且，在與.該第10圖的流程圖中之步驟F1~F5相同處理的步驟G2~G6，新添加步驟G1。在此添加的步驟G1中，對所選擇之影像的亮度、加法平均影像的亮度執行UV加權加法處理。
第12圖係表示UV加權加法處理(步驟G1)之處理步驟的流程圖。首先，針對各像素，根據在步驟E10中所選擇之影像的亮度YF 與加法平均影像的亮度YNF ，製作UV合成用的α圖(步驟H1)。UV加權α的計算式如以下所示。
αUVF (x,y)=αF (YF (x,y))-αNF (Ynf(x,y))+0.5：(右邊超過0~1.0之範圍的倍係進行剪輯(clip)處理)
(其中，x，y是像素的座標)
該函數αF (Y)、αNF (Y)亦如第13圖所示，具有以下的特性。
αF (Y)=0：(Y≦128)
=aF *(Y-128)：(Y>128)
αNF (Y)=0：(Y≦192)
=aNF *(Y-192)：(Y>192，aNF >aF )
又，在第13圖中，
αUVNF (x,y)是在座標(x,y)所選擇之影像的UV合成比率
YF (x,y)是所選擇之影像的亮度值
YNF (x,y)是加法平均影像的亮度值
「a」「b」表示所選擇之影像與加法平均影像兩者之稍微飽和處，為了使加法平均影像之UV加權變成1.0，而設定成為b-a>0.5之加點函數的傾斜(aF ,aNF )。
該數學式及第13圖意指以下的事項。
1.在僅所選擇之影像的亮度接近飽和區域的情況，使所選擇之影像的UV加權變重。
2.在僅加法平均影像的亮度接近飽和區域的情況，使所選擇之影像的UV加權變重。
3.在所選擇之影像、加法平均影像兩者的亮度接近飽和區域的情況，直接拍攝閃光燈以外之光源的可能性高，為了避免WB偏移之選擇的UV未黏上，而使加法平均影像的UV加權變重。
4.在所選擇之影像、加法平均影像兩者的亮度低於中間值的情況，按照1：1進行加法平均。
5.在所選擇之影像、加法平均影像兩者的亮度比中間值稍高的情況，使所選擇之影像的UV加權變重。這是為了使在臉部等之閃光燈影像的亮度高之區域的混色所造成之變色不明顯。
接著，對所選擇之影像，進行臉部影像檢測(步驟H2)。在此步驟H2中，從所選擇之影像檢測出臉部影像時，如第14圖所示，設定包圍臉部影像20中之臉部部分的臉部框21，並特定臉部框21內的部分是臉部影像20。
接著，以比臉部影像更下部的頸部影像部分包含被檢測出臉部影像並特定該臉部影像的臉部框的方式，將框在縱向延長(步驟H3)。利用此步驟H3的處理，添加第14圖中以虛線所示的延長部22，而臉部框21在縱向被延長。又，在臉部框21內，不僅包含臉部影像20，而且連其下部之膚色區域的頸部影像23都包含在內。
進而，針對此延長之臉部框21的內側，進行隨著與臉部框21的距離變遠(即，接近臉部框21的中心)，而值變大之α值的加點(步驟H4)。然後，根據在該步驟H1所製作之UV合成用的α圖，將所選擇之影像與加法平均影像的UV合成(步驟H5)。
藉此，在第11圖之流程圖中之步驟G1的處理結束。接著，在步驟G2~G6中，執行和上述第2實施形態之第10圖的步驟F1~步驟F5一樣的處理。
以上，結束第9圖之流程圖中之步驟E15的合成處理，並將在該步驟G6所得之影像作為最後輸出影像，保存於外部記憶媒體11。
因此，依據本實施形態，可防止所選擇之影像(閃光燈影像)與加法平均影像(無閃光燈影像)的合成所造成之不自然的著色明顯。
而且，在本實施形態中，因為對臉部影像調整亮度，所以可防止利用所選擇之影像(閃光燈影像)與加法平均影像(無閃光燈影像)的合成之臉部影像之不自然的著色顯眼。
進而，因為不僅對臉部影像，亦對其下部的頸部影像進行亮度調整，所以在包含人物被攝體之臉部影像的膚色區域，可防止所選擇之影像(閃光燈影像)與加法平均影像(無閃光燈影像)的合成所造成之不自然的著色明顯。
此外，雖然作成在步驟G1中，根據所選擇之影像的亮度與加法平均影像之亮度兩者，進行UV加權加法處理，但是亦可作成根據任一影像的亮度，進行UV加權加法處理。即使是以此方式進行的情況，亦可防止所選擇之影像(閃光燈影像)與加法平均影像(無閃光燈影像)的合成所造成之不自然的著色顯眼。
又，亦可作成在加法平均影像(無閃光燈影像)的亮度接近飽和之程度高的情況，不減少所選擇之影像(閃光燈影像)的加權，而配合閃光燈影像加上閃光燈影像的白色平衡。
雖然本發明之實施例業已說明如上，本發明卻可不限於上述實施例，而能進行各種修改。上述實施例所揭示的組件可適當地組合以形成各種修改。例如，可將實施例中揭示之所有組件的一部分去除或適當地組合。
熟習本技藝人士將可容易思及其他優點及修改。因此，本發明在更廣闊的層面可不限於此處所示及說明之具體細節及代表性實施例。據此，在不悖離藉由後附申請專利範圍與其均等物所界定之整體發明概念的精神或範圍下，可進行各種修改。
1．．．透鏡組件
2．．．攝像部
3．．．A/D轉換部
4．．．工作記憶體
5．．．液晶顯示控制器
6．．．閃光燈發光部
7．．．訂製LSI
7a．．．CPU核心
7b．．．閃光燈控制部
7c．．．受光控制部
7d．．．解馬賽克部
7e．．．特徵量計算部
7f．．．SRAM
7g．．．方塊比對部
7h．．．影像變形合成加法部
7i．．．程式ROM
7j．．．機械式快門控制部
8．．．液晶顯示部
9．．．快門按鈕
10．．．模式按鈕
11．．．外部記憶媒體
12．．．機械式快門
100．．．數位相機
第1圖係本發明之各實施形態所共同之數位相機的電路方塊圖。
第2圖係表示本發明之第1實施形態之處理步驟的流程圖。
第3圖係表示該實施形態之攝影時序的圖。
第4圖(a)、第4圖(b)係表示解馬賽克時之色調曲線設定的圖。
第5圖係表示影像位置對準處理之處理步驟的流程圖。
第6圖係表示加法平均影像的頻率分佈圖。
第7圖係表示γ值算出處理之處理步驟的流程圖。
第8圖係表示加法合成處理之處理步驟的流程圖。
第9圖係表示本發明之第2實施形態之處理步驟的流程圖。
第10圖係表示影像合成處理之處理步驟的流程圖。
第11圖係表示本發明之第2實施形態的影像合成處理之處理步驟的流程圖。
第12圖係表示第11圖之流程圖的步驟G1之細節的流程圖。
第13圖係表示UV加權α值的特性圖。
第14圖係表示臉部框的變化圖。

Claims (7)

  1. 一種攝像裝置，其包含：攝像單元；發光單元；第1攝像控制器，係對該攝像單元控制成在第1時序拍攝複數個影像；第2攝像控制器，係對該攝像單元控制成在緊接著該第1時序之前或之後的第2時序，於藉該發光單元照明的攝影環境下拍攝複數個影像；加法合成部，係對在該第1攝像控制器之控制下所拍攝之該複數個影像，進行位置對準並進行加法合成，而產生合成影像；合成部，係將藉該加法合成部產生之合成影像與在該第2攝像控制器之控制下所拍攝的該影像合成，選擇部，該選擇部係對在該第2攝像控制器之控制下所拍攝之該複數個影像所包含的臉部影像進行評價，選擇評價最高的影像作為選擇影像；以及判定部，係進行藉該第2攝像控制器拍攝之複數個影像彼此的位置對準，並判定影像是否大致一致，該合成部係將該合成影像與該選擇影像合成，該選擇部係在藉該判定部判定大致一致的情況，選擇評價最高的影像，而在判定未大致一致的情況，選擇在最接近該第1攝像控制器之攝像時序的時序由該第2攝像控制器所拍攝之影像。
  2. 如申請專利範圍第1項之攝像裝置，其中更具備白色平衡調整部，係對該合成影像的白色平衡與在該第2攝像控制器之控制下所拍攝之該影像的白色平衡中至少一者進行調整，使兩者彼此一致。
  3. 如申請專利範圍第1項之攝像裝置，其中更具備修正處理部，係在利用該合成部的合成進行之前，先對該合成影像施行γ修正。
  4. 如申請專利範圍第1項之攝像裝置，其中更具備亮度調整部，係在利用該合成部的合成進行之前，先調整該合成影像及在該第2攝像單元之控制下所拍攝的該影像中至少一者的亮度。
  5. 如申請專利範圍第4項之攝像裝置，其中更具備臉部影像檢測部，係檢測出該合成影像及在該第2攝像單元之控制下所拍攝之該影像中至少一者所包含的臉部影像；該亮度調整部係根據包含藉該臉部影像檢測部檢測出之該臉部影像的膚色區域，調整亮度的調整程度。
  6. 一種攝像方法，係包含：第1攝像控制步驟，對攝像單元控制成在第1時序拍攝複數個影像；第2攝像控制步驟，對該攝像單元控制成在緊接著該第1時序之前或之後的第2時序，於藉發光單元照明的攝影環境下拍攝複數個影像； 加法合成步驟，對在該第1時序所拍攝之該複數個影像，進行位置對準並進行加法合成，而產生合成影像；選擇步驟，對在藉該發光單元照明的該攝影環境下於該第2時序所拍攝的該複數個影像所包含的臉部影像進行評價，選擇評價最高的影像作為選擇影像；合成步驟，將該合成影像與該選擇影像合成；以及判定步驟，係進行在藉該發光單元照明的該攝影環境下於該第2時序所拍攝的該複數個影像彼此的位置對準，並判定影像是否大致一致，其中，於該選擇步驟，在藉由該判定步驟判定大致一致的情況，選擇評價最高的影像，而在判定未大致一致的情況，選擇在最接近該第1時序的時序藉由該第2攝像控制步驟所拍攝之影像。
  7. 一種非暫時性之電腦可讀取媒體，其記錄有使具備攝像單元與發光單元之攝像裝置所包含的電腦執行以下處理的程式：第1攝像控制處理，對攝像單元控制成在第1時序拍攝複數個影像；第2攝像控制處理，對該攝像單元控制成在緊接著該第1時序之前或之後的第2時序，於藉發光單元照明的攝影環境下拍攝複數個影像；加法合成處理，對在該第1時序所拍攝之該複數個影像，進行位置對準並進行加法合成，而產生合成影像； 選擇處理，在藉該發光單元照明的該攝影環境下於該第2時序所拍攝的該複數個影像所包含的臉部影像進行評價，選擇評價最高的影像作為選擇影像；合成處理，將該合成影像與該選擇影像合成；以及判定處理，係進行在藉該發光單元照明的該攝影環境下於該第2時序所拍攝的該複數個影像彼此的位置對準，並判定影像是否大致一致，其中，於該選擇處理，在藉由該判定處理判定大致一致的情況，選擇評價最高的影像，而在判定未大致一致的情況，選擇在最接近該第1時序的時序藉由該第2攝像控制處理所拍攝之影像。
TW099138596A 2009-11-11 2010-11-10 攝像裝置、攝像方法及電腦可讀取媒體 TWI448151B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009257822 2009-11-11
JP2010038233A JP5115568B2 (ja) 2009-11-11 2010-02-24 撮像装置、撮像方法、及び撮像プログラム

Publications (2)

Publication Number Publication Date
TW201134207A TW201134207A (en) 2011-10-01
TWI448151B true TWI448151B (zh) 2014-08-01

Family

ID=43973904

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099138596A TWI448151B (zh) 2009-11-11 2010-11-10 攝像裝置、攝像方法及電腦可讀取媒體

Country Status (6)

Country Link
US (1) US8493458B2 (zh)
JP (1) JP5115568B2 (zh)
KR (1) KR101357987B1 (zh)
CN (1) CN102065224B (zh)
HK (1) HK1153885A1 (zh)
TW (1) TWI448151B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585344B1 (en) 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
US11119396B1 (en) 2008-05-19 2021-09-14 Spatial Cam Llc Camera system with a plurality of image sensors
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
JP5147903B2 (ja) * 2010-07-12 2013-02-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5743696B2 (ja) * 2011-05-06 2015-07-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5881350B2 (ja) * 2011-09-21 2016-03-09 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5917258B2 (ja) * 2012-04-20 2016-05-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP6452355B2 (ja) * 2014-09-02 2019-01-16 キヤノン株式会社 撮影装置及びその制御方法、並びに、プログラム
JP6425571B2 (ja) * 2015-02-02 2018-11-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107333056A (zh) * 2017-06-13 2017-11-07 努比亚技术有限公司 运动物体的图像处理方法、装置及计算机可读存储介质
US20190370942A1 (en) * 2018-06-01 2019-12-05 Apple Inc. Red-eye correction techniques
CN109194882B (zh) * 2018-08-22 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966132A (en) * 1994-06-17 1999-10-12 Namco Ltd. Three-dimensional image synthesis which represents images differently in multiple three dimensional spaces
EP0961223A2 (en) * 1998-05-25 1999-12-01 Japan Radio Co., Ltd Image synthesis system
US20040239779A1 (en) * 2003-05-29 2004-12-02 Koichi Washisu Image processing apparatus, image taking apparatus and program
US20050201594A1 (en) * 2004-02-25 2005-09-15 Katsuhiko Mori Movement evaluation apparatus and method
US20070165960A1 (en) * 2003-09-04 2007-07-19 Rui Yamada Image processing method, image processing apparatus and computer program
EP1965348A1 (en) * 2005-12-21 2008-09-03 NEC Corporation Gray-scale correcting method, gray-scale correcting device, gray-scale correcting program, and image device
US20080317307A1 (en) * 2007-06-21 2008-12-25 Peng Lu Systems and methods for alignment of objects in images
US20090244301A1 (en) * 2008-04-01 2009-10-01 Border John N Controlling multiple-image capture

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308068A (ja) * 1999-04-16 2000-11-02 Olympus Optical Co Ltd 撮像装置
JP2000307941A (ja) * 1999-04-26 2000-11-02 Minolta Co Ltd デジタルカメラ
JP2004032171A (ja) 2002-06-24 2004-01-29 Fuji Photo Film Co Ltd 撮像装置
US7508421B2 (en) 2002-06-24 2009-03-24 Fujifilm Corporation Image pickup apparatus and image processing method
JP2004214836A (ja) * 2002-12-27 2004-07-29 Minolta Co Ltd 撮像装置
JP2005039365A (ja) * 2003-07-16 2005-02-10 Fuji Photo Film Co Ltd ディジタル・カメラおよびその制御方法
JP2005086488A (ja) 2003-09-09 2005-03-31 Nikon Corp 電子スチルカメラおよび画像処理プログラム
JP2006050457A (ja) * 2004-08-06 2006-02-16 Canon Inc 撮像装置
JP4086166B2 (ja) * 2005-03-02 2008-05-14 船井電機株式会社 電子写真装置
US7590344B2 (en) * 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
JP4823743B2 (ja) 2006-04-03 2011-11-24 三星電子株式会社 撮像装置，及び撮像方法
JP2007288235A (ja) * 2006-04-12 2007-11-01 Sony Corp 撮像装置および撮像方法
JP4860567B2 (ja) * 2007-07-20 2012-01-25 富士フイルム株式会社 撮影装置
JP2009124264A (ja) * 2007-11-12 2009-06-04 Ricoh Co Ltd 画像処理装置および画像処理方法
JP4561845B2 (ja) * 2008-02-29 2010-10-13 カシオ計算機株式会社 撮像装置と画像処理プログラム
US8111300B2 (en) * 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966132A (en) * 1994-06-17 1999-10-12 Namco Ltd. Three-dimensional image synthesis which represents images differently in multiple three dimensional spaces
EP0961223A2 (en) * 1998-05-25 1999-12-01 Japan Radio Co., Ltd Image synthesis system
US20040239779A1 (en) * 2003-05-29 2004-12-02 Koichi Washisu Image processing apparatus, image taking apparatus and program
US20070165960A1 (en) * 2003-09-04 2007-07-19 Rui Yamada Image processing method, image processing apparatus and computer program
US20050201594A1 (en) * 2004-02-25 2005-09-15 Katsuhiko Mori Movement evaluation apparatus and method
EP1965348A1 (en) * 2005-12-21 2008-09-03 NEC Corporation Gray-scale correcting method, gray-scale correcting device, gray-scale correcting program, and image device
US20080317307A1 (en) * 2007-06-21 2008-12-25 Peng Lu Systems and methods for alignment of objects in images
US20090244301A1 (en) * 2008-04-01 2009-10-01 Border John N Controlling multiple-image capture

Also Published As

Publication number Publication date
TW201134207A (en) 2011-10-01
HK1153885A1 (en) 2012-04-05
JP2011124967A (ja) 2011-06-23
CN102065224B (zh) 2013-05-22
JP5115568B2 (ja) 2013-01-09
US8493458B2 (en) 2013-07-23
US20110109767A1 (en) 2011-05-12
KR101357987B1 (ko) 2014-02-03
KR20110052506A (ko) 2011-05-18
CN102065224A (zh) 2011-05-18

Similar Documents

Publication Publication Date Title
TWI448151B (zh) 攝像裝置、攝像方法及電腦可讀取媒體
CN108200354B (zh) 控制方法及装置、成像设备、计算机设备及可读存储介质
JP4004943B2 (ja) 画像合成方法および撮像装置
JP5141733B2 (ja) 撮像装置、撮像方法、及びプログラム
US8467581B2 (en) Image capturing apparatus, image capturing method, and computer program
KR101303410B1 (ko) 촬상장치 및 촬상방법
US8224036B2 (en) Image editing apparatus, method for controlling image editing apparatus, and recording medium storing image editing program
JP6521776B2 (ja) 画像処理装置、画像処理方法
US20100073546A1 (en) Image Processing Device And Electric Apparatus
JP4717720B2 (ja) 画像処理装置および方法並びにプログラム
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP2009182832A (ja) 撮影装置およびスルー画表示方法
JP2008228185A (ja) 撮像装置
JP4857856B2 (ja) 彩度調整機能を有する電子カメラ、および画像処理プログラム
JP6492452B2 (ja) 制御システム、撮像装置、制御方法およびプログラム
JP4015492B2 (ja) 画像合成方法および撮像装置
JP5083116B2 (ja) 撮影装置、画像処理方法、およびプログラム
JP5351663B2 (ja) 撮像装置およびその制御方法
JP2004247873A (ja) 画像表示プログラム
JP2015192179A (ja) ホワイトバランス調整装置、撮影装置およびホワイトバランス調整方法
JP5598106B2 (ja) 画像制御装置、撮像装置、及び画像制御プログラム
JP2002290824A (ja) デジタルカメラ
JP2009225252A (ja) 撮像装置および撮像方法
JP2004222149A (ja) デジタルカメラと撮像画像データ記録方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees