TWI399977B - 攝影裝置及程式 - Google Patents

攝影裝置及程式 Download PDF

Info

Publication number
TWI399977B
TWI399977B TW098116090A TW98116090A TWI399977B TW I399977 B TWI399977 B TW I399977B TW 098116090 A TW098116090 A TW 098116090A TW 98116090 A TW98116090 A TW 98116090A TW I399977 B TWI399977 B TW I399977B
Authority
TW
Taiwan
Prior art keywords
photographing
image
images
photographic
imaging
Prior art date
Application number
TW098116090A
Other languages
English (en)
Other versions
TW201004329A (en
Inventor
Kazuhisa Matsunaga
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of TW201004329A publication Critical patent/TW201004329A/zh
Application granted granted Critical
Publication of TWI399977B publication Critical patent/TWI399977B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

攝影裝置及程式
本發明係關於一種利用固態攝影元件之攝影裝置。
以往,在利用固態攝影元件之攝影裝置中,從攝影元件輸出之影像信號及驅動攝影元件用的脈衝會被混入電路內。另外,在攝影裝置內混入有用於信號處理之各種脈衝。該等脈衝係由共同之基準時脈所製作,且多數為相互同步之信號。當該等同步信號之高頻成分,藉由配線圖案間之電容耦合等而混入影像信號中時,會在基於此影像信號之影像上產生能目視的線狀或點狀之定態雜訊(FIXED PATTERN NOISE;FPN),所以,有時,此定態雜訊會造成畫質劣化。
在此,提出一種習知的攝影裝置(例如,參照日本特開2007-214662號公報),其在連續攝影時,將被拍攝體像導向二維光檢測元件用的反射鏡各旋轉預定角度,藉以拍攝被拍攝體像之位置各移動了預定量的複數枚影像,並以各攝影影像上之特定的被拍攝體像為基準,對該等之各攝影影像進行合成,以生成合成影像。
根據此習知之攝影裝置,藉由反射鏡之旋轉,使在各攝影影像中成為合成基準之特定的被拍攝體像與定態雜訊的位置關係成為相異之關係者,所以,可使產生於各攝影影像上之定態雜訊分散於合成影像上,而在合成影像上減低定態雜訊的影響。
然而,在此習知之攝影裝置中,在連續攝影中發生攝影裝置之使用者引起的手振時,會有因該手振而抵消了反射鏡之旋轉產生的各攝影影像上的被拍攝體之位置偏離的情況。此情況使得在各攝影影像中成為合成基準之特定像與定態雜訊的位置關係成為相同者。亦即,在此習知攝影裝置中,在發生手振之情況,即使對各攝影影像進行合成,仍有無法使定態雜訊分散於合成影像上的情況。
在此,本發明之目的在於,即使在攝影中發生手振的情況,仍可確實地減低合成影像上之定態雜訊的影響。
本發明之攝影裝置的一態樣為,具備:攝影手段,藉由攝影元件對被拍攝體像進行複數次拍攝,生成產生有定態雜訊的複數個影像;校正手段,校正手振所引起之該攝影元件的攝影範圍之偏離,且在每次拍攝時,以該攝影元件之攝影範圍相異的方式,使該攝影元件移動;及合成手段,藉由以該複數個影像上之特定部分為基準,平均地合成該複數個影像,來生成合成影像。
本發明之另一態樣為,一種電腦可讀取之記錄媒體,該電腦具備:攝影手段,藉由攝影元件對被拍攝體像進行複數次拍攝,生成產生有定態雜訊的複數個影像;及驅動手段,使該攝影元件移動,而該記錄媒體記憶有讓該電腦執行以下之處理的程式:校正處理,校正手振所引起之該攝影元件的攝影範圍之偏離,且在每次拍攝時,以該攝影元件之攝影範圍相異的方式,於該驅動手段使該攝影元件移動;及合成處理,藉由以該複數個影像上之特定部分為基準,平均地合成該複數個影像,來生成合成影像。
根據本發明,即使在攝影中發生手振的情況,仍可確實地減低合成影像上之定態雜訊的影響。
以下,參照圖面說明本發明之一實施形態的攝影裝置100。
第1圖為顯示本實施形態之攝影裝置100的功能構成之方塊圖。採用第1圖來說明本實施形態之攝影裝置100的構成。攝影裝置100可由數位相機等構成。
攝影裝置100具備:控制部10、RAM11、ROM12、光學透鏡裝置13、光學系控制部14、光學系驅動部15、光圈16、光圈控制部17、光圈驅動部18、攝影元件19、驅動器20、手振校正系21、前處理部22、影像輸入控制器23、影像記憶體24、影像處理部25、AF/AE評估部26、特徵抽取部27、影像合成部28、顯示控制部29、顯示部30、記憶媒體31及操作部32。
控制部10係控制整個攝影裝置100之動作。控制部10係由CPU(Central Processing Unit;中央處理單元)等所構成。
RAM11係在控制部10執行各處理時作為工作區域發揮功能。RAM11係由DRAM(Dynamic Random Access Memory)等構成。ROM12係用以記憶攝影裝置100進行攝影元件偏移式手振校正控制用之程式、或執行第4圖之流程圖所示各處理所需要的程式等。ROM12係由快閃記憶體等構成。控制部10係將RAM11作為工作區域,藉由與記憶於ROM12中之程式的互動,來執行各處理。
光學透鏡裝置13係由聚焦透鏡或變焦透鏡等構成。聚焦透鏡係用以使被拍攝體像成像於攝影元件19之受光面的透鏡。
光學系控制部14係根據控制部10之控制來控制光學系驅動部15,藉以在光學系驅動部15使光學透鏡裝置13之聚焦透鏡沿光軸方向作進退。藉此,使聚焦透鏡之位置變化,來調節焦點。光學系驅動部15係由步進馬達等構成。光學系控制部14係由控制光學系驅動部15之控制電路等構成。
光圈葉片16係擔負作為調節射入攝影元件19之被拍攝體的光量之光圈而發揮功能之機構。光圈葉片16可在例如F3.1~F8的範圍內呈階段性地變換光圈。
光圈控制部17係根據控制部10之控制來控制光圈驅動部18,藉以讓光圈驅動部18驅動光圈葉片16。
攝影元件19係藉由對從光學透鏡裝置13射入而成像於受光面之被拍攝體像進行光電轉換(攝影)而蓄積影像信號的元件。在攝影元件19之受光面上,光電二極體、即光電轉換元件呈行列狀地配置。攝影元件19具有調節曝光時間之電子快門功能。在攝影時,藉由電子快門功能來調節快門速度、即曝光時間。又,攝影元件19之曝光時間,亦可藉由機械式快門來控制,以取代電子快門功能。攝影元件19係由CMOS(Complementary Metal-Oxide Semiconductor;互補金氧半導體)型之影像感測器等構成。又,攝影元件19亦可由CCD(Charge Coupled Device;光耦合元件)型之影像感測器構成。
驅動器20係根據控制部10之控制,按每一定時間依序將蓄積於攝影元件19之影像信號來作為類比信號輸出。另外,攝影元件19之電子快門的快門速度,可藉由控制部10來調節對驅動器20所設定之參數,而在例如、1/4秒~1/512秒的範圍內變化。
手振校正系21係根據控制部10的攝影元件偏移式手振校正控制等而使攝影元件19在與攝影裝置100之光軸正交的面內移動。藉此校正攝影元件19之位置,縱使發生手振,成像於攝影元件19上之被拍攝體像的位置亦大致上不變化。又,手振校正之方法,亦可為光學系偏移式手振校正控制,其係使另外配設之手振校正透鏡在與光軸正交之面內移動。
第2圖為手振校正系21之詳細示意圖。如第2圖所示,手振校正系21包含有:手振感測器211、手振校正控制電路212、像素偏離控制電路213、加法電路214及致動器215。
手振感測器211係在因使用者擺弄攝影裝置100之姿勢等產生變化而發生手振的情況等,檢測俯仰方向及偏擺方向上之攝影裝置100的角速度。手振感測器211係將檢測之角度度轉換為電信號,並將此電信號作為檢測信號D輸出。手振感測器211係由角速度感測器等所構成。
手振校正控制電路212係藉由對從手振感測器211供給之檢測信號D所示角速度進行時間性積分,計算出屬攝影裝置100之振角的角位移量。手振校正控制電路212係藉由控制部10之攝影元件偏移式手振校正控制,且根據計算出之攝影元件19的角位移量及聚焦透鏡之焦點距離,以像素單位計算出因手振而產生之攝影元件19的位置變化量。手振校正控制電路212計算出用以消除所計算出之位置變化量的手振校正資訊,輸出顯示計算出之手振校正資訊的校正信號R。
像素偏離控制電路213係僅在後述之連續攝影合成模式中的各攝影開始時,輸出偏離信號O,該信號顯示使攝影元件19僅在與光軸正交之面內移動預定距離的指示。此偏離信號O係不受檢測信號D所示之攝影裝置100的角速度之大小所左右的額定信號。
加法電路214係將由手振校正控制電路212供給之校正信號R及由像素偏離控制電路213供給的偏離信號O相加,並輸出相加後之信號來作為控制信號C。亦即,此控制信號C所示之校正資訊,相對於校正信號R所示之手振校正資訊,係反映偏離信號O所示之像素挪移資訊的校正資訊。
致動器215係根據從加法電路214供給之控制信號C來驅動攝影元件19,藉以使攝影元件19在與攝影裝置100之光軸垂直的面內移動。
返回第1圖,前處理部22係對由攝影元件19所供給之類比信號,實施相關性二次取樣處理、增益控制處理、A/D(類比/數位)轉換處理等的各信號前處理,以生成數位信號,並輸出生成後之數位信號。前處理部22係藉由A/D轉換器等構成。
影像輸入控制器23係將從前處理部22輸出之數位信號記憶於影像記憶體24內。
影像記憶體24係用以暫時記憶由前處理部22所生成之數位信號、由影像處理部25所生成之影像資料。影像記憶體24係由DRAM(Dynamic Random Access Memory;動態隨機存取記憶體)等構成。
影像處理部25係用以讀取記憶於影像記憶體24內之數位信號,並對讀取之數位信號實施白平衡控制處理、γ校正處理、YC轉換處理等之各種影像處理,生成亮度信號與色差信號相重疊之影像資料。藉由此影像資料來表現被拍攝體像。影像處理部25係在快門鍵被全按操作時,以較高的畫質來生成大容量的攝影影像用之影像資料。另一方面,在顯示現場觀看影像時,影像處理部25係以較低的畫質來生成小容量的現場觀看影像用之影像資料。影像處理部25係將生成後之影像資料再度記憶於影像記憶體24內。另外,影像處理部25係依預定之壓縮形式對影像資料實施壓縮處理。影像處理部25係由DSP(Digital Signal Processor;數位信號處理器)等構成。
在本實施形態中,攝影裝置100內同步之時脈脈衝的高頻成份,藉由配線圖案間之容量耦合等而混入從攝影元件19輸出之影像信號。藉此,在由影像動作所生成之影像資料所表現的各影像之相同位置上,產生例如縱線狀之定態雜訊。
AF/AE評估部26係從依序記憶於影像記憶體24內之現場觀看影像用之各影像資料,抽取屬高頻成份之AF評估值,並依序將抽取之AF評估值供給於控制部10。AF/AE評估部26係對記憶於影像記憶體24內之影像資料的亮度積分值進行運算,並將運算後之亮度的積分值作為測光資料供給於控制部10。
特徵抽取部27係從記憶於影像記憶體24內之影像資料,檢測與預先指定之被拍攝體的種類對應之特徵部分。被指定之被拍攝體的種類係可變。作為被指定之被拍攝體的種類,例如有人物之全體像或臉等等。藉由特徵抽取部27所檢測之被拍攝體的種類,可由使用者透過操作部32來設定或因應於攝影裝置100之攝影模式(風景攝影模式、人物攝影模式等等)來設定。
另外,特徵抽取部27係在由記憶於影像記憶體24內之影像資料所表現的影像上之預定取樣點,進行抽取與預先指定之被拍攝體的種類相對應之特徵部分。具體而言,特徵抽取部27係藉由記憶於影像記憶體24內之影像資料與模版資料的匹配處理來計算該等之類似度,並將計算出之類似度為預定之臨界值以上的取樣點的影像成份作為特徵部分而予以抽取。在ROM12內預先記憶有複數個被拍攝體的種類之特徵部分的資料而作為模版資料。例如,作為有關於人物之臉的模版資料,有表現臉影像之影像資料、臉的眼睛、口等的局部特徵資料。並因應於被指定之被拍攝體的種類,從ROM12讀取預定尺寸的模版資料。
作為特徵抽取部27進行之匹配處理,例如,可利用日本特開平9-130714號公報所記載之方法。此方法係一面以例如4×4之方塊像素單位,使因應於被拍攝體距離之尺寸的模版影像(模版資料)在攝影影像內掃描,一面藉由計算正規化相關係數等,來計算攝影影像之局部部分與模版資料的方塊像素的類似度分布。又,匹配處理並不限定於此方法,可適宜利用公知之方法。
影像合成部28係將藉由特徵抽取部27抽取之特徵部分作為基準,亦即,在使各特徵部分之位置一致的狀態下,藉由合成由複數個影像資料所表現之各影像,產生表現合成影像之合成影像資料。
顯示控制部29係根據控制部10之控制,讀取記憶於影像記憶體24中之影像資料,並將讀取之影像資料轉換為類比信號後輸出。顯示控制部29係由VRAM(Video Random Access Memory)或D/A(Digital/Analog)轉換器等所構成。
顯示部30係用以顯示由顯示控制部29供給之類比信號所表現的影像等。顯示部30係設於攝影裝置100之框體背面的液晶顯示器等所構成。
記憶媒體31係用以記錄由影像處理部25生成之影像資料。記憶媒體31係由可拆裝於攝影裝置100上之半導體記憶卡等所構成。
操作部32係受理來自使用者之各種按鍵的操作。操作部32具備電源鍵、快門鍵、變焦鍵、游標鍵、決定鍵及選單鍵等。操作部32係將顯示從使用者處受理之各種鍵操作的信號供給於控制部10。快門鍵係構成為可受理使用者之指示攝影準備(AF處理等)用之半按操作、及指示攝影用之全按操作。當從操作部32接收到該等信號時,控制部10根據接收到之信號執行處理。
第3圖為顯示攝影裝置100之本實施形態的連續攝影合成模式的動作之流程圖。參照第3圖,說明在本實施形態之連續攝影合成模式中所執行的動作。在以下之實施形態中,說明縱線狀之定態雜訊的線寬相當於一個像素量者。另外,以下之說明中,將透過光學透鏡裝置13而成像於攝影元件19之受光面的被拍攝體像之範圍稱為「攝影範圍」。
在本實施形態中,在使用者以本身的手擺好攝影裝置100的狀態下,來拍攝靜止之主要被拍攝體。另外,在本實施形態中,攝影中經常會發生手振,在此設攝影裝置100之姿勢為時常變化者。
當藉由使用者之選單鍵等的操作而設定連續攝影合成模式時,控制部10讀取記憶於ROM12中之連續攝影合成模式用的程式,並藉由與此程式之協動,開始進行由第3圖之流程所示的處理。
首先,在步驟S1,控制部10開始現場觀看顯示。具體而言,控制部10在影像處理部25生成現場觀看影像用的影像資料。然後,控制部10將生成之現場觀看影像用的影像資料供給於顯示控制部29,藉由顯示控制部29將現場觀看影像顯示於顯示部30。以後,控制部10將影像處理部25依序生成之現場觀看影像用的影像資料依序供給於顯示控制部29,藉以將現場觀看影像顯示於顯示部30。
其次,在步驟S2,控制部10判斷使用者是否正對快門鍵進行半按操作。具體而言,控制部10藉由監視與來自操作部32之快門鍵的半按操作相應之信號,判斷使用者是否有對快門鍵進行了半按操作。在判斷未對快門鍵進行半按操作之情況(步驟S2:否),直到檢測出因應於來自操作部32之快門鍵的半按操作之信號為止,控制部10均為待機狀態。另一方面,在判斷對快門鍵進行了半按操作之情況(步驟S2:是),控制部10進入步驟S3之處理。
接著,在步驟S3,控制部10進行AF處理。具體而言,控制部10係透過光學控制部14對光學系驅動部15進行控制,讓光學系驅動部15使聚焦透鏡朝光軸方向進退,並在從AF/AE評估部26供給之AF評估值成為最高的透鏡位置使聚焦透鏡停止。
接著,在步驟S4,控制部10進行AE處理。具體而言,控制部10根據從ROM12讀取之程式線圖及從AF/AE評估部26供給之測光資料,來決定由快門速度、光圈值及ISO感度所構成之曝光條件。然後,控制部10將表示已決定之曝光條件的控制信號供給於各部,藉以控制光圈控制部17等的各部,使其等能獲得正確之曝光。
接著,在步驟S5,控制部10判斷使用者是否有對快門鍵進行全按操作。具體而言,控制部10藉由監視與來自操作部32之快門鍵的全按操作相應之信號,判斷使用者是否有對快門鍵進行了全按操作。在判斷未對快門鍵進行全按操作之情況(步驟S5:否),控制部10返回步驟S2的處理。另一方面,在判斷對快門鍵進行了全按操作之情況(步驟S5:是),控制部10進入步驟S6之處理。攝影裝置100回應使用者之一次快門鍵全按操作,連續地執行3次攝影。
接著,在步驟S6,控制部10執行第1次攝影。具體而言,控制部10讓驅動部20以在步驟S4所決定之快門速度使攝影元件19曝光,藉以將影像信號蓄積於攝影元件19內。在經過了曝光時間之後,控制部10在驅動部20將蓄積於攝影元件19之影像信號作為類比信號輸出。前處理部22則從此類比信號中產生數位信號並輸出。影像輸入控制器23將此數位信號記憶於影像記憶體24中。影像處理部25則從記憶於影像記憶體24中之數位信號生成影像資料,並將生成之影像資料再度記憶於影像記憶體24中。
另外,控制部10在第1次攝影中進行手振校正。
第4圖為主要被拍攝體相對於攝影裝置100之光軸的相對位置關係、及攝影元件19相對於攝影裝置100之光軸的相對位置關係的示意圖。
在第4圖中,橫軸為顯示距離第1次攝影開始時間點的經過時間t之時間軸。此橫軸中之第一段刻度量的時間T,為每一次之攝影動作所需的時間。另外,縱軸顯示主要被拍攝體或攝影元件19相對於偏擺方向上之攝影裝置100的光軸的距離。縱軸係設偏擺方向之右方為正,偏擺方向之左方為負。此縱軸之單位係一個像素量之距離。在此,一個像素量之距離係指使攝影元件19在實際空間中移動而使該攝影元件19之範圍偏離一個像素量所需要的距離。
第4圖係由虛線顯示從偏擺方向之攝影裝置100的光軸迄至主要被拍攝體之中心的距離A(t)。第5圖為距離A(t)之模式示意圖。在第5圖中,元件符號40顯示主要被拍攝體。隨著發生手振,攝影裝置100的姿勢亦變化,因此,從偏擺方向之攝影裝置100的光軸迄至主要被拍攝體之中心的距離A(t),亦時時刻刻發生變化。經過時間t上之主要被拍攝體的位置,在偏擺方向上,對於攝影裝置100的光軸僅偏離A(t)個像素量之距離。
在本實施形態中,在第1次攝影開始時間點(t=0),設主要被拍攝體之位置是位於光軸上。另外,如上述,主要被拍攝體為靜止狀態。如第4圖所示,從偏擺方向之攝影裝置100的光軸迄至主要被拍攝體之中心的距離A(t)的值,始終為正。因此,第4圖所示之例子,因手振造成攝影裝置100的姿勢變化,所以,意味著連續攝影中之攝影裝置100的光軸,比攝影開始時間點朝左方僅偏離A(t)個像素量之距離。換言之,意味著在連續攝影中,主要被拍攝體始終相對於攝影裝置100朝右方偏離。
第4圖係由實線顯示從偏擺方向之攝影裝置100的光軸迄至攝影元件19之中心的距離B(t)。第6圖為距離B(t)之模式示意圖。因隨著發生手振時之攝影元件偏移式手振校正控制,所以,從偏擺方向之攝影裝置100的光軸迄至攝影元件19之中心的距離B(t),亦時時刻刻發生變化。經過時間t上之攝影元件19的位置,在偏擺方向上,對於攝影裝置100的光軸僅偏離B(t)個像素量之距離。在第1次攝影開始時間點(t=0),攝影裝置100內之攝影元件19的中心(攝影元件19的中心)是位於光軸上。
其次,說明在第1次攝影時之手振校正控制時,手振校正系21之處理的狀況。
在第1次之攝影中,手振感測器211按每一定時間輸出顯示手振造成之攝影裝置100的角速度之檢測信號D。
手振校正控制電路212根據從手振感測器211供給之檢測信號D,計算消除手振造成之攝影元件19的位置變化量用的手振校正資訊(移動攝影元件19之方向或移動量等)。手振校正控制電路212按每一定時間輸出顯示算出之手抖校正資訊的校正信號R。在此設攝影元件19上之任意的像素位置為(n,m)。攝影裝置100之光軸相對於主要被拍攝體40朝左方僅偏離A(t)個像素量的距離之情況,校正信號R所示校正資訊成為(A(t),0)。因此,校正信號R顯示所謂「使各像素位置(n,m)朝(n+A(t),m)移動」、亦即「使攝影元件19朝右方僅移動A(t)個像素量的距離」之指示。
另一方面,像素偏離控制電路213僅在第1次攝影開始時間點(t=0),輸出顯示像素挪移資訊(-3,0)之偏離信號O。在第1次攝影開始時間點輸出之此偏離信號O,顯示所謂「使攝影元件19朝左方僅移動與連續攝影之次數相同的像素量的距離」之指示。在本實施形態中,連續攝影之次數為3次。因此,此偏離信號O顯示所謂「使各像素位置(n,m)朝(n-3,m)移動」、亦即「使攝影元件19朝左方僅移動3個像素量的距離」之指示。
在第1次攝影開始時間點(t=0),加法電路214輸出反映校正信號R所示手振校正資訊及偏離信號O所示像素挪移資訊的信號,以作為控制信號C。因此,第1次攝影開始時間點之控制信號C所示校正資訊,為(A(t)-3,0)。亦即,第1次攝影開始時間點之控制信號C顯示「使攝影元件19朝右方僅移動(A(t)-3)個像素量的距離」之指示。
在第1次攝影開始時間點(t=0),致動器215根據從加法電路214供給之控制信號C,在與光軸正交之面內,使攝影元件19朝右方僅移動(A(t)-3)個像素量的距離。
在第1次攝影開始時間點(t=0),因尚未發生手振,所以,校正校號R所示校正資訊成為(0,0)。因此,如第4圖所示,在第1次攝影開始時間點(t=0),因偏離信號O之影響,成為攝影元件19相對於攝影裝置100之光軸朝左方僅移動3個像素量的距離的狀態。如上述,在第1次攝影開始時間點(t=0),因主要被拍攝體之位置是位於光軸上,所以,在此時間點,成為攝影元件19相對於主要被拍攝體朝左方僅移動3個像素量的距離的狀態。
在從第1次攝影開始時間點至第2次攝影開始時間點之期間(0<t<T),像素偏離控制電路213停止偏離信號O之輸出。藉此,根據由手振感測器211供給之檢測信號D,手振校正控制電路212所輸出之校正信號R,從加法電路214被直接作為控制信號C輸入致動器215。然後,在此期間,致動器215根據控制信號C以使攝影元件19移動,使得能消除手振造成之攝影元件19的位置變化量。藉此,如第4圖所示,在從第1次攝影開始時間點至第2次攝影開始時間點之期間(0<t<T),在維持攝影元件19相對於主要被拍攝體朝左方僅移動3個像素量的距離的狀態下,使得攝影元件19之位置對主要被拍攝體的位置進行追蹤。
第7A圖顯示藉由第1次攝影產生之影像資料所表表現的第1枚的影像之一例的影像P1。在第1枚之影像P1,除攝影後之主要被拍攝體40之外,並拍攝到定態雜訊51。此第1枚之影像P1成為後述之影像資料的合成處理之基準影像。
返回第3圖,在步驟S7,控制部10將攝影次數n設定為「1」。具體而言,控制部10將顯示攝影次數n為1之資訊記憶於RAM11中。
接著,在步驟S8,控制部10執行第2次攝影。第2次攝影之具體處理內容,與第1次攝影相同。另外,控制部10在第2次攝影進行手振校正控制。
其次,說明在第2次攝影時之手振校正控制時,手振校正系21之處理的狀況。
在第2次之攝影中,手振感測器211按每一定時間輸出顯示手振造成之攝影裝置100的角速度之檢測信號D。
手振校正控制電路212根據從手振感測器211供給之檢測信號D,計算消除手振造成之攝影元件19的位置變化量用的手振校正資訊。手振校正控制電路212按每一定時間輸出顯示算出之手振校正資訊的校正信號R。
另一方面,像素偏離控制電路213僅在第2次攝影開始時間點(t=T),輸出顯示像素挪移資訊(1,0)之偏離信號O。在第2次攝影開始時間點,像素偏離控制電路213產生之此偏離信號O,顯示所謂「使各像素位置(n,m)朝(n+1,m)移動」、亦即「使攝影元件19朝右方僅移動1個像素量的距離」之指示。
在第2次攝影開始時間點(t=T),加法電路214輸出反映校正信號R所示手振校正資訊及偏離信號O所示像素挪移資訊的信號,以作為控制信號C。因此,第2次攝影開始時間點之控制信號C所示校正資訊,為(A(t)+1,0)。亦即,第2次攝影開始時間點之控制信號C顯示「使攝影元件19朝右方僅移動(A(t)+1)個像素量的距離」之指示。
在第2次攝影開始時間點(t=T),致動器215根據從加法電路214供給之控制信號C,在與光軸正交之面內,使攝影元件19朝右方僅移動(A(t)+1)個像素量的距離。
如第4圖所示,因偏離信號O之影響,攝影元件19之攝影範圍,從在第1次攝影中(0≦t<T)攝影元件19之位置是相對於主要被拍攝體的位置偏離3個像素量之距離的狀態,被校正為在第2次攝影開始時間點(t=T),攝影元件19之位置相對於主要被拍攝體的位置偏離2個像素量之距離的狀態。
在從第2次攝影開始時間點至第3次攝影開始時間點之期間(T<t<2T),像素偏離控制電路213停止偏離信號O之輸出。藉此,根據由手振感測器211供給之檢測信號D,手振校正控制電路212所輸出之校正信號R,從加法電路214被直接作為控制信號C輸入致動器215。然後,在此期間,致動器215根據控制信號C以使攝影元件19移動,使得能消除手振造成之攝影元件19的位置變化量。藉此,如第4圖所示,在從第2次攝影開始時間點至第3次攝影開始時間點之期間(T<t<2T),在維持攝影元件19相對於主要被拍攝體朝左方僅移動2個像素量的距離的狀態下,使得攝影元件19之位置對主要被拍攝體的位置進行追蹤。於是,第2次攝影中之攝影元件19的攝影範圍,與第1次攝影中之攝影元件19的攝影範圍相比,始終僅偏離1個像素量的距離。
第7B圖顯示藉由第2次攝影產生之影像資料所表表現的第2枚的影像之一例的影像P2。在第2枚之影像P2,除攝影後之主要被拍攝體40之外,並拍攝到定態雜訊52。此第2枚之影像P2的攝影範圍(第2次攝影中之攝影範圍),與第1枚之影像P1的攝影範圍(第1次攝影中之攝影範圍)偏離一個像素量。因此,第2枚影像P2中之主要被拍攝體40的位置,與第1枚影像P1中之主要被拍攝體40的位置,僅偏離一個像素量。
另一方面,定態雜訊51,52係與攝影元件19之位置無關,在攝影元件19內產生於預定之像素區域上的預定區域者。因此,在攝影範圍相異的第1枚影像P1與第2枚影像P2之間,定態雜訊51,52之產生位置成為相同。因此,第1枚影像P1之主要被拍攝體40與定態雜訊51之間的距離,及第2枚影像P2之主要被拍攝體40與定態雜訊52之間的距離,僅相差一個像素量。
返回第3圖,在步驟S9,控制部10判斷在藉由靠前一個步驟S8之處理而重新攝影的影像上是否有拍攝到主要被拍攝體。具體而言,控制部10判斷在記憶於影像記憶體24中之新攝影的影像與基準影像(第1枚攝影影像)是否有近似之影像部分。在控制部10判斷為具有近似之影像部分的情況,則判斷在新攝影之影像上有拍攝到主要被拍攝體。另一方面,在控制部10判斷為無近似之影像部分的情況,則判斷在新攝影之影像上未拍攝到主要被拍攝體。此步驟S9中之判斷成為否,例如,可考慮是因手振使得攝影裝置100之位置變化非常大,所以,即使利用手振校正以使攝影元件19移動,仍無法消除手振造成之攝影元件19的攝影範圍之變化。
控制部10判斷在新攝影之影像與基準影像(第1枚攝影影像)是否有近似的影像部分之方法為任意,例如可考慮使用如下之方法。又,為了便於理解,以各攝影影像係由640×480的像素所構成者來進行說明。首先,控制部10將影像分割成由4×4像素構成之200×125之區塊。然後,控制部10針對新攝影之影像與基準影像的各影像,於每一區塊求取含於各區塊中之像素的亮度之總和。接著,控制部10於每一區塊求取新攝影之影像的亮度總和與基準影像之亮度總和的差值之絕對值。在此,控制部10係將絕對值為預定值以下之區塊設定為近似區域。然後,控制部10檢測近似區塊之密度高的影像部分。例如,控制部10判斷是否具有在縱向、橫向均連續4個以上之近似區塊的近似區塊群。在控制部10判斷為無近似區塊群之情況,則判斷無近似之影像部分。另一方面,在控制部10判斷為具有近似區塊群之情況,則判斷具有近似之影像部分,於是將該近似區塊群設定為影像部分。
在控制部10判斷為在新攝影的影像上有拍攝到主要被拍攝體之情況(步驟S9;是),則進入步驟S11之處理。另一方面,在控制部10判斷為在新攝影的影像上未拍攝到主要被拍攝體之情況(步驟S9;否),則進入步驟S10之處理。
在步驟S10,控制部10將靠前二個步驟S8之處理所生成的影像資料從影像記憶體24中消除。
在步驟S11,控制部10增加攝影次數n。具體而言,控制部10進行在記憶於RAM11之攝影次數n上加上1的處理。
在步驟S12,控制部10判斷攝影次數n是否為3次以上。具體而言,控制部10藉由確認記憶於RAM11之攝影次數n,判斷攝影次數n是否為3次以上。在控制部10判斷攝影次數n小於3次時,則返回步驟S8之處理。另一方面,在控制部10判斷攝影次數n為3次以上時,則進入步驟S13之處理。
當在攝影次數n為2之情況而返回步驟S8的處理時,控制部10執行第3次之攝影。第3次攝影之具體處理內容與第1次攝影相同。另外,控制部10在第3次攝影中進行手振校正控制。
再者,說明在第3次攝影時之手振校正控制時,手振校正系21之處理的狀況。
在第3次之攝影中,手振感測器211按每一定時間輸出顯示手振造成之攝影裝置100的角速度之檢測信號D。
手振校正控制電路212根據從手振感測器211供給之檢測信號D,計算消除手振造成之攝影元件19的位置變化量用的手振校正資訊。手振校正控制電路212按每一定時間輸出顯示算出之手抖校正資訊的校正信號R。
另一方面,像素偏離控制電路213僅在第3次攝影開始時間點(t=2T),輸出顯示像素挪移資訊(1,0)之偏離信號O。在第3次攝影開始時間點,像素偏離控制電路213產生之此偏離信號O,顯示所謂「使各像素位置(n,m)朝(n+1,m)移動」、亦即「使攝影元件19朝右方僅移動1個像素量的距離」之指示。
在第3次攝影開始時間點(t=2T),加法電路214輸出反映校正信號R所示手振校正資訊及偏離信號O所示像素挪移資訊的信號,以作為控制信號C。因此,第3次攝影開始時間點之控制信號C所示校正資訊,為(A(t)+1,0)。亦即,第3次攝影開始時間點之控制信號C顯示「使攝影元件19朝右方僅移動(A(t)+1)個像素量的距離」之指示。
在第3次攝影開始時間點(t=2T),致動器215根據從加法電路214供給之控制信號C,在與光軸正交之面內,使攝影元件19朝右方僅移動(A(t)+1)個像素量的距離。
如第4圖所示,因偏離信號O之影響,攝影範圍從在第2次攝影中(T≦t<2T),攝影元件19之位置相對於主要被拍攝體的位置被偏離2個像素量之距離的狀態,被校正為在第3次攝影開始時間點(t=2T),攝影元件19之位置相對於主要被拍攝體的位置被偏離1個像素量之距離的狀態。
在第3次攝影開始時間點以後(2T<t),像素偏離控制電路213停止偏離信號O之輸出。藉此,根據由手振感測器211供給之檢測信號D,手振校正控制電路212所輸出的校正信號R,從加法電路214被直接作為控制信號C輸入致動器215。然後,在此期間,致動器215根據控制信號C以使攝影元件19移動,使得能消除手振造成之攝影元件19的位置變化量。藉此,如第4圖所示,在第3次攝影開始時間點以後(2T<t),在維持攝影元件19相對於主要被拍攝體朝左方僅移動1個像素量的距離的狀態下,使得攝影元件19之位置對主要被拍攝體的位置進行追蹤。於是,第3次攝影中之攝影元件19的攝影範圍,與第2次攝影中之攝影元件19的攝影範圍相比,時常僅偏離1個像素量。
第7C圖顯示藉由第3次攝影產生之影像資料所表表現的第3枚的影像之一例的影像P3。影像P3之被拍攝體與影像P1,P2之被拍攝體相同。此第3枚影像P3之勢攝影範圍(第3次攝影中之攝影範圍),與第2枚之影像P2的攝影範圍(第2次攝影中之攝影範圍)偏離一個像素量。因此,第3枚影像P3中之主要被拍攝體40的位置,與第2枚影像P2中之主要被拍攝體40的位置,僅偏離一個像素量。另外,第3枚影像P3中之主要被拍攝體40的位置,與第1枚影像資料P1中之主要被拍攝體40的位置,僅偏離二個像素量。
另一方面,在攝影範圍相異之第1至第3枚的影像資料P1,P2,P3中,定態雜訊51,52,53之產生位置相同。因此,第2枚影像P2中之主要被拍攝體40與定態雜訊52之間的距離、及第3枚影像P3中之主要被拍攝體40與定態雜訊53之間的距離,相差一個像素量。另外,第1枚影像P1中之主要被拍攝體40與定態雜訊51之間的距離、及第3枚影像P3中之主要被拍攝體40與定態雜訊53之間的距離,相差二個像素量。
第8圖顯示以主要被拍攝體40之水平方向的中心位置為基準,依時系列排列該3枚影像P1,P2,P3的狀況。由第8圖可知,從影像P1中之主要被拍攝體40的位置至定態雜訊51之位置的距離、與從影像P2中之主要被拍攝體40的位置至定態雜訊52之位置的距離、與從影像P3中之主要被拍攝體40的位置至定態雜訊53之位置的距離,互為相異。
返回第3圖,當在步驟S12判斷攝影次數n為3次以上時,在步驟S13,控制部10從由記憶於影像記憶體24中之各影像資料所表現的影像中分別抽取特徵部分。具體而言,控制部10在特徵抽取部27中藉由記憶於影像記憶體24內之影像資料與記憶於ROM12中的模版資料的匹配處理來計算類似度,並將算出之類似度為預定臨界值以上的取樣點中影像成份抽出而作為特徵部分。例如在檢測之被拍攝體的種類被指定為人物之臉時,則抽取臉上之眼、口等的局部特徵部分。
然後,在步驟S14,控制部10產生合成影像資料。具體而言,在使步驟S13中被抽取之各特徵部分之位置一致的狀態下,藉由合成由記憶於影像記憶體24中之各影像資料所表現之各影像,產生合成影像資料。此時,影像合成部28調整影像間之位置或大小,使得由各影像資料所表現之各影像的特徵部分完全重合,在使特徵部分之位置一致的狀態下,來合成各影像資料。例如,在從影像P1,P2,P3分別抽取主要被拍攝體40之眼、口等的特徵部分之情況,在使此特徵部分一致的狀態下,來合成影像P1,P2,P3。
第9圖為合成了影像P1,P2,P3後之合成影像CP的示意圖。如第9圖所示,在使主要被拍攝體40之特徵部分一致的狀態下來合成各影像,所以,主要被拍攝體40在完全一致之狀態下被重合,但定態雜訊51,52,53係在各偏離一個像素量之狀態下被重合。
影像合成部28係暫時設為將合成影像中之各像素的亮度值及色差值、與在原來之各影像上對應的位置上之各像素的亮度值及色差值合計後之值。結果,例如在合成影像CP中構成主要被拍攝體40之區域的各像素的亮度值及色差值,與原來之影像P1,P2,P3比較,成為3倍的值。另一方面,如第9圖所示,合成影像CP中之定態雜訊51,52,53的構成像素之亮度值及色差值,與合成前者並無變化,且成為位置被分散的狀態。但就以此狀態與原來之影像P1,P2,P3比較,會使得定態雜訊單在合成影像CP上被增加。
在此,在步驟S15,控制部10將合成影像資料平均化。具體而言,控制部10係在影像合成部28實施將合成影像中之所有像素的亮度值及色差值加以平均化之處理。在進行此平均化處理時,影像合成部28係將合成影像中之所有像素的亮度值及色差值被除以3(合成之影像的枚數)的值,作為合成影像中之所有像素的新亮度值及色差值。例如,在合成影像CP之情況,藉由平均化處理,構成主要被拍攝體40之區域的各像素的亮度值及色差值,與原來之影像P1,P2,P3成為相同的值。另一方面,定態雜訊51,52,53之構成像素的亮度值及色差值與合成前比較,成為1/3的值。
第10圖顯示在合成影像CP施以平均化處理後之影像的合成影像CPa。如第10圖所示,定態雜訊51,52,53之亮度值及色差值與合成前比較,成為1/3的值,所以,與原來之影像P1,P2,P3比較,定態雜訊51,52,53變得不顯眼。
返回第3圖,在步驟S16,控制部10將被施以平均化處理後之合成影像資料記憶於記錄媒體31。
迄此,控制部10結束第3圖所示之連續攝影合成模式的處理。
如上述說明,本實施形態之攝影裝置100,係在發生手振之時之連續攝影時的各攝影開始時間點,根據使顯示像素挪移資訊之偏離信號O反映於顯示手振校正資訊的校正信號R上之控制信號C,以使攝影元件19移動。藉此,可大致上消除手振所引起之攝影元件19的攝影範圍之變化,使得於每次拍攝時僅一個像素量之攝影範圍發生變化。
又,為了便於說明,本實施形態中,僅在偏擺方向進行手振校正,但在被連續攝影之各影像的間距方向的相同位置產生有定態雜訊之情況,可採用來自手振感測器211之檢測信號,來同樣地校正間距方向的手振,並同樣地使被連續攝影之各影像的攝影範圍於間距方向移動。
在此,即使攝影範圍不同,在被拍攝之各影像上,在相同位置仍產生有定態雜訊。因此,根據本實施形態之攝影裝置100,即使在發生手振之情況,仍可在被拍攝之各影像上,使特徵部分(主要被拍攝體)與定態雜訊之距離成為相異者。其結果,即使在發生手振之情況,藉由以特徵部分作為基準來合成被連續攝影之各影像,可獲得定態雜訊被分散之合成影像。
然後,在本實施形態之攝影裝置100中,對合成影像施以平均化處理。根據此,在合成影像中被分散之各定態雜訊的亮度值及色差值,比原來之各影像的定態雜訊的亮度值及色差值還小,所以,可在合成影像中使定態雜訊變得不明顯。
藉由上述,根據本實施形態之攝影裝置100,即使在攝影中發生手振之情況,仍可確實地減低攝影影像上所產生之定態雜訊的影響。
另外,本實施形態之攝影裝置100係藉由依據攝影元件偏移式手振校正控制之校正校號R而使攝影元件19移動,以校正手振。藉由此種構成,在連續攝影之各影像中手振成為要因之被拍攝體像的挪移被消除,所以,可防止各影像之畫質的劣化。另外,在本實施形態之攝影裝置100中,藉由無此等畫質劣化之各影像資料的合成來產生合成影像資料。其結果,由合成影像資料所表現之合成影像的畫質亦不會劣化。
另外,本實施形態之攝影裝置100係在連續攝影之第1次攝影開始時,藉由偏離信號O,使攝影元件19朝左方僅移動與連續攝影之攝影次數相同的像素量的距離。攝影元件19之位置,無法超過致動器215可使攝影元件19移動之界限位置。但是,藉由此種構成,根據連續攝影中之第2次攝影以下的各攝影中之偏離信號O的影響,使攝影元件19依序朝右方移動時,可使在攝影裝置100之內部能使攝影元件19移動之範圍預先保有寬裕量。亦即,在第2次以下之各攝影時,使攝影元件19依序朝右方移動時,可減低因超過界限位置而變得不能進行手振校正之可能性。這在連續攝影之攝影次數多,且攝影元件19朝右方之移動量的總和多的情況尤其有效。
本實施形態之攝影裝置100,可將藉由連續攝影而獲得之影像中未拍攝到主要被拍攝體的影像消除。藉由此種構成,可從合成影像中消除未拍攝到主要被拍攝體的影像,該主要被拍攝體具有成為合成時之基準的特徵資訊。其結果,僅採用可正確用於合成之影像資料來`生成合成影像資料。
本實施形態之攝影裝置100係將第1次攝影時生成之偏離信號O所示攝影元件19的移動方向設為左方,將第2次以下之攝影時生成之偏離信號O所示攝影元件19的移動方向設為右方。但與此相反,亦可將第1次攝影時生成之偏離信號O所示攝影元件19的移動方向設為右方,將第2次以下之攝影時生成之偏離信號O所示攝影元件19的移動方向設為左方。
本實施形態之攝影裝置100係在使由連續攝影而生成之各影像的特徵部分之位置一致的狀態下,來合成各影像,以產生合成影像資料。但是,控制部10亦可藉由在影像合成部28對第1枚影像、使第2枚影像朝右方偏離一個像素量的影像、及使第3枚影像朝右方偏離二個像素量的影像進行合成,來生成合成影像。藉由此方法,可在各影像中使水平方向之主要被拍攝體的位置一致之狀態下,來合成各影像。
本實施形態之攝影裝置100係將第1次攝影時生成之偏離信號O所示像素挪移資訊設為3個像素。但是,亦可將第1次攝影時生成之偏離信號O所示像素挪移資訊設為4個像素以上(例如,100個像素)。
本實施形態之攝影裝置100係將第2次以下之攝影時生成之偏離信號O所示像素挪移資訊設為1個像素。但是,亦可將第2次以下之偏離信號O所示像素挪移資訊設為2個像素以上。亦即,在定態雜訊之線寬度寬的情況,可使攝影元件僅移動與此線寬對應之像素的數量,以便在每次攝影時使攝影範圍變化。
本實施形態之攝影裝置100係將連續攝影設為3次。但該連續攝影之次數亦可不是3次。合成影像資料之生成用的影像資料的枚數,亦可不是3枚。
本實施形態之攝影裝置100係藉由手振感測器211之角速度感測器,來檢測手振造成之攝影裝置100的姿勢變化。但是,亦可藉由攝影影像上之移動向量,來檢測攝影裝置100的位置及姿勢變化。移動向量之檢測方法,可適宜採用公知方法。
本實施形態之攝影裝置100係在生成合成影像資料後,對合成影像資料實施平均化處理。但是,在生成一枚影像資料的時候,在施以使新生成之影像資料的各影像的亮度值及色差值成為1/3的值之平均化處理後,藉由對實施了平均化處理之各影像資料進行合成,可生成合成影像資料。
在本實施形態中,將各影像資料之合成中的基準影像,作為藉由連續攝影所生成之第一枚的影像。但是,亦可將合成時的基準影像,作為第二枚以下的影像。
又,在主要被拍攝體不是靜止體而在連拍期間作移動之情況,則無法以其特徵部分作為基準進行合成,所以,例如,可在連續攝影之各影像上,將與定態雜訊的相對位置僅依序被偏離預定像素量的預定標記形成於影像上,並能以此標記為基準來獲得合成影像。
本發明亦可應用於附設照相機之行動電話或附設照相機的遊戲機等之內建有電子照相機的機器。另外,本發明亦可應用於由複數個機器(例如,主電腦、介面機器、照相機頭等)所構成之系統。
本發明之目的可依以下方式來達成。首先,將記錄有用以實現本實施形態之功能的軟體的程式碼之記錄媒體,供給於系統或裝置。然後,此系統或裝置之電腦讀取記憶於記錄媒體之程式碼。在此情況時,從記錄媒體讀取之程式碼本身,用以實現本實施形態之功能,記憶此程式碼之記錄媒體係構成本發明。在此,記憶此程式碼之記錄媒體,例如,可列舉撓性碟、硬碟、ROM、RAM、磁帶、非揮發性記憶卡、CD-ROM、CD-R、DVD、光碟、光磁碟、MO等。另外,亦可將LAN或WAN等之電腦網路,利用於程式碼之供給。
100...攝影裝置
10...控制部
11...RAM
12...ROM
13...光學透鏡裝置
14...光學系控制部
15...光學系驅動部
16...光圈
17...光圈控制部
18...光圈驅動部
19...攝影元件
20...驅動器
21...手振校正系
22...前處理部
23...影像輸入控制器
24...影像記憶體
25...影像處理部
26...AF/AE評估部
27...特徵抽取部
28...影像合成部
29...顯示控制部
30...顯示部
31...記憶媒體
32...操作部
211...手振感測器
212...手振校正控制電路
213...像素偏離控制電路
214...加法電路
215...致動器
R...校正信號
C...控制信號
O...偏離信號
D...檢測信號
第1圖為顯示本發明之實施形態的攝影裝置之功能構成的一例之方塊圖。
第2圖為手振校正系之詳細示意圖。
第3圖為顯示本發明之實施形態的攝影裝置所執行之連續攝影合成模式的處理流程的一例之流程圖。
第4圖為主要被拍攝體、攝影元件相對於攝影裝置之光軸的相對位置關係之一例的示意圖。
第5圖為從偏擺(yaw)方向上之攝影裝置的光軸迄至主要被拍攝體之中心的距離A(t)之模式示意圖。
第6圖為從偏擺(yaw)方向上之攝影裝置的光軸迄至攝影元件之中心的距離B(t)之模式示意圖。
第7A圖為藉由本實施形態之連續攝影而獲得之一枚影像的一例之示意圖。
第7B圖為藉由本實施形態之連續攝影而獲得之二枚影像的一例之示意圖。
第7C圖為藉由本實施形態之連續攝影而獲得之三枚影像的一例之示意圖。
第8圖為以主要被拍攝體為基準,藉由連續攝影而獲得之各影像的排列狀態之示意圖。
第9圖為藉由本實施形態之攝影裝置而生成的合成影像的一例之示意圖。
第10圖為施以平均化處理之合成影像的一例之示意圖。
19...攝影元件
21...手振校正系
211...手振感測器
212...手振校正控制電路
213...像素偏離控制電路
214...加法電路
215...致動器
R...校正信號
C...控制信號
O...偏離信號
D...檢測信號

Claims (10)

  1. 一種攝影裝置,其特徵為具備:攝影手段,藉由攝影元件對被拍攝體進行連續地拍攝,藉此生成產生有定態雜訊的複數個影像;校正手段,藉由使該攝影手段的光軸與該攝影元件之相對的位置關係變化,校正該攝影元件的攝影範圍之偏離,且以校正該偏離的攝影範圍在每次拍攝時相異的方式進行控制;及合成手段,藉由以該複數個影像上之特定部分為基準,平均地合成該複數個影像,來生成合成影像。
  2. 如申請專利範圍第1項之攝影裝置,其中該校正手段具有:第1輸出手段,檢測手振,輸出手振校正資訊,其用以校正手振所引起之該攝影元件的位置偏離;第2輸出手段,輸出使該攝影元件的位置偏離用的像素挪移資訊;計算手段,反映該手振校正資訊及該像素挪移資訊,計算該攝影元件之移動資訊;及驅動手段,根據由該計算手段所計算之移動資訊,使該攝影元件移動,利用該驅動手段使該攝影元件移動,藉此使該攝影部的光軸與該攝影元件的相對位置關係變化。
  3. 如申請專利範圍第2項之攝影裝置,其中該第2輸出手段係輸出在該攝影元件進行第1次拍攝時使該攝影元件朝預定方向移動之像素挪移資訊,並輸出在該攝影元件進行第2次以後之各次拍攝時使該攝影元件朝與該預定方向相反的方向移動之像素挪移資訊。
  4. 如申請專利範圍第3項之攝影裝置,其中該第2輸出手段係輸出在該攝影元件進行第1次拍攝時使該攝影元件朝該預定方向僅移動第1移動量之像素挪移資訊,並輸出在該攝影元件進行第2次以後之各次拍攝時使該攝影元件朝該相反方向僅移動比該第1移動量小的第2移動量之像素挪移資訊。
  5. 如申請專利範圍第4項之攝影裝置,其中該第2輸出手段係僅在該攝影元件開始進行各次拍攝之時間點輸出該像素挪移資訊。
  6. 如申請專利範圍第1項之攝影裝置,其中更具備抽取手段,從藉由該攝影元件所生成之複數個影像中分別抽取特徵部分;該合成手段係以藉由該抽取手段所抽取之特徵部分為基準,來平均地合成該複數個影像,藉以生成合成影像。
  7. 如申請專利範圍第1項之攝影裝置,其中該合成手段係以該複數個影像上的特定部分為基準,以該合成影像之亮度值及色差值分別成為該複數個影像的亮度值之平均 值及色差值的平均值之方式,來合成該複數個影像。
  8. 如申請專利範圍第6項之攝影裝置,其中更具備消除手段,用以消除藉該攝影元件所生成之複數個影像中未拍攝到主要被拍攝體的影像,該合成手段係以藉該抽取手段所抽取之特徵部分為基準,來平均地合成該複數個影像中未被該消除手段消除之影像,藉以生成合成影像。
  9. 如申請專利範圍第2項之攝影裝置,其中該第2輸出手段係至少輸出像素挪移資訊,該像素挪移資訊係用以使該攝影元件之位置僅挪移與該定態雜訊的影像寬度對應之影像數。
  10. 一種電腦可讀取之記錄媒體,其係記錄有電腦可讀取的程式之記錄媒體,而該記錄媒體記憶有讓該電腦執行以下之處理的程式:校正處理,藉由使攝影手段的光軸與攝影元件之相對位置關係變化,校正該攝影元件的攝影範圍之偏離,且以校正該偏離的攝影範圍在每次拍攝時相異的方式進行控制;及合成處理,藉由以該複數個影像上之特定部分為基準,平均地合成該複數個影像,來生成合成影像。
TW098116090A 2008-05-16 2009-05-15 攝影裝置及程式 TWI399977B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008128987 2008-05-16
JP2009027968A JP4900401B2 (ja) 2008-05-16 2009-02-10 撮影装置およびプログラム

Publications (2)

Publication Number Publication Date
TW201004329A TW201004329A (en) 2010-01-16
TWI399977B true TWI399977B (zh) 2013-06-21

Family

ID=40848447

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098116090A TWI399977B (zh) 2008-05-16 2009-05-15 攝影裝置及程式

Country Status (7)

Country Link
US (1) US8711230B2 (zh)
EP (1) EP2120450A3 (zh)
JP (1) JP4900401B2 (zh)
KR (1) KR101034109B1 (zh)
CN (1) CN101582989B (zh)
HK (1) HK1136725A1 (zh)
TW (1) TWI399977B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8988661B2 (en) * 2009-05-29 2015-03-24 Microsoft Technology Licensing, Llc Method and system to maximize space-time resolution in a time-of-flight (TOF) system
JP2012050073A (ja) * 2010-07-30 2012-03-08 Nikon Corp 撮像装置及び画像合成プログラム
KR101700363B1 (ko) * 2010-09-08 2017-01-26 삼성전자주식회사 적절한 밝기를 갖는 입체 영상을 생성하는 디지털 영상 촬영 장치 및 이의 제어 방법
EP2688279A4 (en) * 2011-03-15 2014-09-24 Nec Casio Mobile Comm Ltd PICTURE DEVICE, INFORMATION PROCESSING DEVICE AND NON-TEMPERATURE COMPUTER-READABLE MEDIA WITH A PROGRAM SAVED THEREIN
JP5778469B2 (ja) * 2011-04-28 2015-09-16 日本アビオニクス株式会社 撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステム
TWI427618B (zh) * 2011-06-16 2014-02-21 Hon Hai Prec Ind Co Ltd 電子裝置及其螢幕資訊調整方法
JP2013138413A (ja) * 2011-11-28 2013-07-11 Panasonic Corp 撮像装置
US8913141B2 (en) 2012-06-28 2014-12-16 Gopro, Inc. Edge-based electronic image stabilization
CN103565402A (zh) * 2012-08-01 2014-02-12 华晶科技股份有限公司 眼底摄像装置及其成像方法
JP6128458B2 (ja) * 2012-09-04 2017-05-17 パナソニックIpマネジメント株式会社 撮像装置および画像処理方法
JP6098874B2 (ja) * 2012-09-04 2017-03-22 パナソニックIpマネジメント株式会社 撮像装置および画像処理装置
US9282259B2 (en) 2012-12-10 2016-03-08 Fluke Corporation Camera and method for thermal image noise reduction using post processing techniques
CN104427242B (zh) * 2013-09-10 2018-08-31 联想(北京)有限公司 图像拼接方法、装置及电子设备
JP6170395B2 (ja) * 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
JP6128109B2 (ja) * 2014-12-12 2017-05-17 カシオ計算機株式会社 撮影装置、撮影方向の制御方法及びプログラム
US9426362B2 (en) * 2015-01-16 2016-08-23 Mems Drive, Inc. Three-axis OIS for super-resolution imaging
JP2017046301A (ja) * 2015-08-28 2017-03-02 オリンパス株式会社 撮像装置
CL2015003495A1 (es) 2015-11-30 2016-07-15 Univ Concepcion Un proceso que permite eliminar el ruido de patrón fijo en imágenes efectivas formadas por arreglos de sensores electromagnéticos de un campo de luz mediante un reenfoque digital.
KR102449354B1 (ko) * 2016-02-04 2022-09-30 삼성전기주식회사 이미지 안정화 모듈 및 카메라 모듈
US10306148B2 (en) 2016-08-30 2019-05-28 Microsoft Technology Licensing, Llc Motion triggered gated imaging
JP6240301B1 (ja) * 2016-12-26 2017-11-29 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
TWI692965B (zh) * 2017-06-02 2020-05-01 宏達國際電子股份有限公司 影像處理方法、電子裝置及非暫態電腦可讀取記錄媒體
CN110769146B (zh) * 2018-07-25 2021-01-15 北京小米移动软件有限公司 拍摄方法及电子设备
JP6944196B2 (ja) * 2018-11-16 2021-10-06 株式会社ジェイエイアイコーポレーション 撮像装置
CN112073608B (zh) * 2020-08-28 2021-08-27 中航测控(深圳)有限公司 一种基于机器视觉技术的智能相机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070212044A1 (en) * 2006-03-10 2007-09-13 Masafumi Yamasaki Electronic blur correction device and electronic blur correction method
US20080094481A1 (en) * 2006-10-19 2008-04-24 Barinder Singh Rai Intelligent Multiple Exposure
US20080152332A1 (en) * 2006-12-20 2008-06-26 Jun-Mo Koo Hand-shake correction method and apparatus of camera module for use in mobile device
TW200915857A (en) * 2007-09-28 2009-04-01 Altek Corp Image capturing apparatus with image-compensating function and method for compensating image thereof
TW200920107A (en) * 2007-10-19 2009-05-01 Altek Corp Camera and method and system for stabilizing vibration and calibration method thereof

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06141242A (ja) 1992-10-26 1994-05-20 Mitsubishi Electric Corp 撮像装置
JPH07177424A (ja) * 1993-12-20 1995-07-14 Konica Corp 画像入力装置
JPH0965219A (ja) * 1995-08-24 1997-03-07 Sony Corp 撮像装置
JP3774495B2 (ja) 1995-11-01 2006-05-17 キヤノン株式会社 画像情報抽出装置および方法
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JP2002027300A (ja) 2000-07-05 2002-01-25 Minolta Co Ltd デジタルカメラ
JP4097966B2 (ja) * 2002-03-22 2008-06-11 オリンパス株式会社 画像取得装置
JP2004072371A (ja) 2002-08-06 2004-03-04 Sony Corp カメラ装置およびその露光制御方法
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP2004343483A (ja) 2003-05-16 2004-12-02 Acutelogic Corp 手振れ補正装置および方法、手振れ検出装置
JP2005191987A (ja) * 2003-12-26 2005-07-14 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2007081682A (ja) 2005-09-13 2007-03-29 Canon Inc 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム
JP2007178708A (ja) 2005-12-28 2007-07-12 Samsung Techwin Co Ltd 撮像装置および撮影方法
JP2007214662A (ja) 2006-02-07 2007-08-23 Mitsubishi Electric Corp 固体撮像装置
JP5157895B2 (ja) * 2006-03-24 2013-03-06 株式会社ニコン 信号処理方法、信号処理システム、係数生成装置、およびデジタルカメラ
JP4662880B2 (ja) * 2006-04-03 2011-03-30 三星電子株式会社 撮像装置,及び撮像方法
JP4700555B2 (ja) * 2006-05-02 2011-06-15 三星電子株式会社 像ぶれ補正装置
JP4968885B2 (ja) * 2006-06-05 2012-07-04 キヤノン株式会社 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム
JP4750854B2 (ja) * 2006-09-14 2011-08-17 富士通株式会社 画像処理方法および装置とそのプログラム
JP4501994B2 (ja) 2007-11-19 2010-07-14 ソニー株式会社 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070212044A1 (en) * 2006-03-10 2007-09-13 Masafumi Yamasaki Electronic blur correction device and electronic blur correction method
US20080094481A1 (en) * 2006-10-19 2008-04-24 Barinder Singh Rai Intelligent Multiple Exposure
US20080152332A1 (en) * 2006-12-20 2008-06-26 Jun-Mo Koo Hand-shake correction method and apparatus of camera module for use in mobile device
TW200915857A (en) * 2007-09-28 2009-04-01 Altek Corp Image capturing apparatus with image-compensating function and method for compensating image thereof
TW200920107A (en) * 2007-10-19 2009-05-01 Altek Corp Camera and method and system for stabilizing vibration and calibration method thereof

Also Published As

Publication number Publication date
JP4900401B2 (ja) 2012-03-21
JP2009303196A (ja) 2009-12-24
KR20090119687A (ko) 2009-11-19
HK1136725A1 (en) 2010-07-02
EP2120450A2 (en) 2009-11-18
US8711230B2 (en) 2014-04-29
CN101582989A (zh) 2009-11-18
CN101582989B (zh) 2011-12-28
US20090284609A1 (en) 2009-11-19
TW201004329A (en) 2010-01-16
KR101034109B1 (ko) 2011-05-13
EP2120450A3 (en) 2014-03-12

Similar Documents

Publication Publication Date Title
TWI399977B (zh) 攝影裝置及程式
JP4957759B2 (ja) 撮像装置及び撮像方法
EP2134079A1 (en) Image processing apparatus, imaging apparatus, image processing method and program
JP4356621B2 (ja) 撮像装置及び撮像方法
JP2009010814A (ja) 画像処理装置および方法並びにプログラム、撮像装置および方法並びにプログラム
JP2005269562A (ja) 撮影装置
JP2010226157A (ja) カメラおよび画像補正方法
JP2007286846A (ja) 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム
JP2009010813A (ja) 画像処理装置および方法並びにプログラム
JP2010147786A (ja) 撮像装置及び画像処理方法
JP2005215373A (ja) 撮像装置
JP3984346B2 (ja) 撮像装置及び画像合成方法
KR100819811B1 (ko) 촬상 장치 및 촬상 방법
JP4792929B2 (ja) デジタルカメラ
JP4747673B2 (ja) 電子カメラおよび画像処理プログラム
JP2010141609A (ja) 撮像装置
JP4208563B2 (ja) 自動焦点調節装置
JP4760496B2 (ja) 画像データ生成装置、画像データ生成方法
JP5160655B2 (ja) 画像処理装置および方法並びにプログラム
JP2015186062A (ja) 画像合成処理装置
JP5613145B2 (ja) 撮影装置およびプログラム
JP2008283477A (ja) 画像処理装置及び画像処理方法
JP5410870B2 (ja) カメラ
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP5239687B2 (ja) 撮像装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees