TW201351343A - 影像合成裝置及用於影像合成之電腦程式 - Google Patents

影像合成裝置及用於影像合成之電腦程式 Download PDF

Info

Publication number
TW201351343A
TW201351343A TW102107282A TW102107282A TW201351343A TW 201351343 A TW201351343 A TW 201351343A TW 102107282 A TW102107282 A TW 102107282A TW 102107282 A TW102107282 A TW 102107282A TW 201351343 A TW201351343 A TW 201351343A
Authority
TW
Taiwan
Prior art keywords
pixel
image
value
interest
unit
Prior art date
Application number
TW102107282A
Other languages
English (en)
Other versions
TWI496105B (zh
Inventor
Yuushi Toyoda
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of TW201351343A publication Critical patent/TW201351343A/zh
Application granted granted Critical
Publication of TWI496105B publication Critical patent/TWI496105B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

一種影像合成裝置包含：一第一像素選擇單元，其自一第一影像上之一感興趣像素周圍的一第一濾波器區域，選擇一第一像素，該第一像素具有包含一感興趣像素之一數值的一第一可允許範圍內之一數值；一第二像素選擇單元，其設定一第二濾波器區域在被安置於如該感興趣像素之相同位置中具有曝光時間較長於該第一影像之一第二影像上的一參考像素周圍，並且其自該第二濾波器區域選擇一第二像素，該第二像素具有包含該感興趣像素之數值的一第二可允許範圍內之一數值；以及一合成單元，其設定藉由合成該第一以及該第二像素之數值所得到的一合成值，作為如該感興趣像素之相同位置的該合成影像上的一像素之數值。

Description

影像合成裝置及用於影像合成之電腦程式 發明領域
此處討論的實施例是關於影像合成裝置以及用於合成藉由在各種曝光時間拍攝一物件所取得的複數個影像之影像合成方法。
發明背景
當使用者藉由以手握持一攝影機而拍攝一物件時，該物件影像可能當快門速率緩慢時由於攝影機搖動而模糊不清。用以藉由影像處理而更正由於攝影機搖動之此模糊不清的技術已經被研究出。尤其是，用以藉由使用在各種曝光時間拍攝一物件所取得的複數個影像而更正由於攝影機搖動而模糊不清，以便減低使用於影像更正之影像數量之技術，已經被提出(參看，例如，日本待決專利公開第2007-324770號案，日本待決專利公開第2009-284001號案以及日本待決專利公開第2011-44846號案)。
例如，日本待決專利公開第2007-324770號案，揭示用以藉由較少影像數目取得影像而不會模糊不清以及減低雜訊之一成像裝置。該成像裝置捕捉複數個影像，該 等影像包含具有短曝光時間以及高解析度但卻包含很多雜訊之一影像，以及具有長曝光時間但是包含微量雜訊與具有低解析度之一影像。接著，成像裝置依照一臨界值而自二影像之間的一差別影像分離邊緣模糊以及雜訊，並且藉由改變在該等影像之間的合成比率而合成該等二影像。在合成時，有關於被決定是為邊緣的像素，該成像裝置增加具有短曝光時間以及高解析度但卻包含很多雜訊之影像的合成比率。
更進一步地，日本待決專利公開第2009-284001號案揭示一影像處理裝置，該影像處理裝置藉由合成一第一影像、一第二影像、一第三影像而產生一合成影像，其中該第二影像是藉由在曝光時間較短於第一影像之下拍攝所取得且具低敏感性之影像，並且第三影像是第一影像中之高頻成分被過濾的一影像。該影像處理裝置依照每一像素基礎而計算邊緣強度值、有關具有較大邊緣強度值之像素而增加第一影像之合成比率、以及有關在第二影像以及該第三影像之間的差異是較少之像素而增加第二影像之合成比率。
更進一步地，日本待決專利公開第2011-44846號案揭示一影像處理裝置，該影像處理裝置合成一短曝光時間之短曝光影像以及一長曝光時間之適當曝光影像。該影像處理裝置分離該短曝光影像成為複數個部份影像區域，並且當有關於感興趣像素位置之邊緣強度值是較大並且對於感興趣像素位置所屬的部份影像區域之區域邊緣數量是 較大時，則增加短曝光影像之合成比率至適當曝光影像。
藉由上面之任何技術，對於其中物件之邊緣被捕捉的邊緣區域，比較至長曝光時間影像，短曝光時間影像之合成比率增加。因此，即使於一合成影像中，將被包含在邊緣區域中之雜訊成分相對地增加。取決於各情況，由於在被包含於邊緣區域中的雜訊成分數量以及被包含於邊緣區域之區域周圍中的雜訊成分數量之間的差量，邊緣區域粒度成為不同，並且，因而，一合成影像可能帶給使用者大體上不良品質的印象。
發明概要
本說明之目的是提供一影像合成裝置，其可抑制由於攝影機搖動之模糊，並且可產生依照不同曝光時間之複數個影像而具有被包含在邊緣區域中之減低雜訊成分之合成影像。
依據一實施例，利用合成該第一影像以及具有曝光時間較長於該第一影像的一第二影像而產生一合成影像之一影像合成裝置被提供。這影像合成裝置包含：一第一像素選項單元，其設定一第一濾波器區域在該第一影像上之一感興趣像素周圍，並且其自該第一濾波器區域選擇具有包含該感興趣像素之數值的一第一可允許範圍內之一數值的一第一像素；一第二像素選擇單元，其設定一第二濾波器區域在被安置於如該感興趣像素之相同位置的該第二影像上之一參考像素周圍，並且其自該第二濾波器區域選 擇具有包含該感興趣像素之數值的一第二可允許範圍內之一數值的一第二像素；以及一合成單元，其設定藉由合成該第一像素值以及該第二像素值所得到的一合成值，作為被安置於如該感興趣像素之相同位置的該合成影像上的一像素之一數值。
1‧‧‧成像裝置
2‧‧‧攝影機模組
3‧‧‧操作單元
4‧‧‧顯示單元
5、103‧‧‧儲存單元
6、61、62‧‧‧影像合成裝置
7‧‧‧控制單元
200、400‧‧‧短曝光影像
201‧‧‧物件
210、420‧‧‧長曝光影像
11‧‧‧定位單元
12‧‧‧第一相似像素選擇單元
13‧‧‧第二相似像素選擇單元
14‧‧‧合成單元
15‧‧‧邊緣檢測單元
16‧‧‧雜訊成分估計單元
100‧‧‧電腦
101‧‧‧使用者界面單元
102‧‧‧通訊界面單元
104‧‧‧儲存媒體存取裝置
105‧‧‧處理器
106‧‧‧儲存媒體
401‧‧‧感興趣像素
402、403、404、421、422、910‧‧‧像素
410‧‧‧濾波器區域
430‧‧‧濾波器區
701‧‧‧短曝光影像物件邊緣像素數值改變曲線
702‧‧‧長曝光影像物件邊緣像素數值改變曲線
710、720‧‧‧邊緣部份
901‧‧‧短曝光影像平坦區域像素數值改變曲線
902‧‧‧長曝光影像平坦區域像素數值改變曲線
S101-S110‧‧‧影像合成處理流程步驟
圖1是包含影像合成裝置之成像裝置的組態圖。
圖2A是圖解說明短曝光影像之範例圖。
圖2B是圖解說明長曝光影像之範例圖。
圖3是依據一第一實施例之影像合成裝置的組態圖。
圖4A是圖解說明被設定以供用於短曝光影像中之感興趣像素以及將被選擇之像素的濾波器區域之範例圖。
圖4B是圖解說明被設定以供用於長曝光影像中之感興趣像素以及將被選擇之像素的濾波器區域之範例圖。
圖5是利用一影像合成裝置被執行之影像合成處理程序的操作流程圖。
圖6是依據一第二實施例之影像合成裝置的組態圖。
圖7是圖解說明有關短曝光影像以及長曝光影像之物件邊緣部份的像素之數值概況的範例圖。
圖8是依據一第三實施例之影像合成裝置的組態圖。
圖9A是圖解說明在一第一可允許範圍以及被疊加在短曝光影像中的雜訊成分之間的關係圖。
圖9B是圖解說明在一第二可允許範圍以及被疊加在長曝光影像中的雜訊成分之間的關係圖。
圖10是依據各實施例或其之變化的電腦組態圖，該電腦藉由執行一電腦程式以實現一影像合成裝置之單元的功能而操作如同一影像合成裝置。
較佳實施例之詳細說明
依據許多實施例之影像合成裝置將參考附圖被說明。
為減低由於攝影機搖動之影像模糊，影像合成裝置藉由合成具有相對長的曝光時間以及藉由以適當的曝光數量被拍攝的一影像、以及藉由以相對短的曝光時間被拍攝之一影像而產生一合成影像。注意到，為容易說明起見，具有相對長曝光時間以及以足夠的適當曝光數量被拍攝之影像將被稱為長曝光影像，並且利用以較短於長曝光影像之曝光時間的曝光時間被拍攝的一影像將被稱為短曝光影像。該影像合成裝置自被設定在設定於一短曝光影像上之任意的感興趣像素周圍之一濾波器區域，而選擇具有依照作為一參考數值之感興趣像素的數值被決定之第一可允許範圍的像素數值內之數值的像素。同樣地，該影像合成裝置同時也自一濾波器區域(其被設定在被安置於如長曝光影像上之感興趣像素的相同位置中之一參考像素周圍)，而選擇具有依照作為一參考數值之感興趣像素數值被決定的一第二可允許範圍之像素數值內的數值之像素。接著，該影像合成裝置藉由構成利用合成選擇的像素之數值(其是被安置在如於合成影像中之感興趣像素的相同位置中之像 素的數值)所取得之合成值，而減低由於攝影機搖動之模糊以及減低有關邊緣區域之雜訊成分。
於本實施例中，將是處理目標之影像是一彩色數位影像，其利用RGB色彩系統以及每個色彩具有8位元色階被表示。下面說明中之像素數值代表特定色彩成分。接著，將在下面被說明之處理程序，針對每個色彩成分被執行。
應注意，代表各色彩成分之色階的位元數是不受限定於8位元並且可以是，例如，4位元或10位元。處理目標之影像同樣也可以是利用其他色彩系統(例如，YUV色彩系統或HSV色彩系統)被表示的彩色數位影像。於此情況中，下面說明中之像素數值代表下列成分，例如，色度、飽和度、以及亮度。接著，下面的處理程序依每個成分被執行。另外地，將是處理目標的影像同時也可以是一灰階影像，於其中各像素僅具有一亮度值。
第1圖是依據一實施例於其中包含一影像合成裝置的成像裝置之分解組態圖。一成像裝置1是可產生複數個影像之成像裝置，該等複數個影像藉由以變化的曝光時間連續地拍攝一物件而具有變化的曝光時間，並且是，例如，裝設攝影機或數位攝影機之移動電話。如圖1中之展示，成像裝置1包含攝影機模組2、操作單元3、顯示單元4、儲存單元5、影像合成裝置6、以及控制單元7。更進一步地，成像裝置1可以包含遵循一串列匯流排標準(例如，通用串列匯流排)之界面電路(未被展示於圖形中)，以連接成像裝置1與其他裝置，例如，電腦以及電視。更進一步地，控制單 元7以及成像裝置1的其他單元利用，例如，匯流排被連接。
攝影機模組2具有一影像感應器，影像感應器具有以二維配置方式被配置之固態成像元件陣列，以及在影像感應器上形成物件影像之一成像光學系統。接著，攝影機模組2產生一影像，於其中該物件藉由自控制單元7所知會之光圈直徑以及快門速率而被捕捉。於本實施例中，藉由被調整以提供適當的曝光數量之一光圈直徑以及快門速率，攝影機模組2拍攝物件，並且產生長曝光影像。更進一步地，攝影機模組2藉由當產生長曝光影像時被使用之相同光圈直徑作為光圈直徑，以及藉由增加快門速率(例如，8倍)拍攝該物件，而產生短曝光影像。換言之，比較至長曝光影像，於短曝光影像中，曝光時間以及曝光數量是1/8。注意到，上面曝光時間只是一範例，並且有關短曝光影像之曝光時間同樣也可以是，例如，長曝光影像之1/4或1/16曝光時間。
更進一步地，為了更正由於曝光數量中之差量所造成之長曝光影像以及短曝光影像之間的亮度中之差量，攝影機模組2調整來自各固態成像元件輸出信號之增益，並且將短曝光影像之各像素數值乘以長曝光影像之曝光時間對短曝光影像之曝光時間的比率。接著，攝影機模組2儲存短曝光影像以及長曝光影像於儲存單元5中。
圖2A是圖解說明短曝光影像之範例圖，以及圖2B是圖解說明長曝光影像之範例圖。於圖2A展示的短曝光影像200中，具有一個十字形狀之物件201的邊緣清晰地被 捕捉。但是，於短曝光影像200中，雜訊成分對像素數值之比例成為相對地大，並且因此就整體而言粒度成為明顯。另一方面，於圖2B展示之長曝光影像210中，因為由於攝影機搖動使模糊被產生，該像素數值逐漸地改變而接近物件201之邊緣，並且因此該邊緣成為不清楚。但是，於長曝光影像210中，像素數值中之雜訊成分成為相對地小，並且因此粒度是不明顯的。
操作單元3具有，例如，各種操作按鈕或調撥開關以允許使用者操作成像裝置1。接著，操作單元3依據使用者之操作而發送用以開始拍攝、對焦等等之控制信號、以及用以設定快門速率、光圈直徑等等之安排信號，至控制單元7。
顯示單元4包含，例如，顯示裝置，例如，液晶顯示裝置，並且顯示自控制單元7所接收的各種資訊或利用攝影機模組2所產生的影像。注意到，操作單元3以及顯示單元4可使用，例如，觸控面板顯示器而整體地被形成。
儲存單元5包含，例如，可讀取與可寫入、以及依電性或非依電性半導體記憶體電路。儲存單元5儲存自攝影機模組2所接收的影像。儲存單元5回應於來自影像合成裝置6之讀取要求而傳送一影像至影像合成裝置6，並且，更進一步地，儲存單元5儲存自影像合成裝置6所接收的合成影像。更進一步地，當影像合成裝置6之功能利用在控制單元7中所提供的處理器上被執行之電腦程式被實現時，該電腦程式可被儲存。
影像合成裝置6利用合成長曝光影像以及短曝光影像而產生合成影像，於其中由於攝影機搖動之模糊被減低，並且於其中雜訊成分被減低。注意到，影像合成裝置6稍後將更詳細地被說明。
控制單元7包含至少一處理器以及其之週邊電路，並且控制成像裝置1之整體。例如，控制單元7依據自操作單元3所接收的安排信號而設定快門速率或光圈直徑以及曝光數量至物件。控制單元7可調整利用影像合成裝置6所產生的合成影像之色彩平衡，並且執行處理程序，例如，邊緣強化或對比強化。
影像合成裝置6之構件將被說明。圖3是影像合成裝置6之組態圖。影像合成裝置6包含定位單元11、一第一相似像素選擇單元12，一第二相似像素選擇單元13以及一合成單元14。於影像合成裝置6中被提供的這些單元可被形成作為一積體電路，於其中對應至該等單元之電路被整合。另外地，於影像合成裝置6中被提供的這些單元同樣地也可被形成作為分離電路。
定位單元11在於長曝光影像中被捕捉的物件之影像位置以及於短曝光影像中被捕捉的物件之影像位置之間尋找偏移數量。接著，定位單元11移動於長曝光影像以及短曝光影像之至少一者中被捕捉的物件之影像，以消除偏移數量，因而匹配在兩影像上的物件之影像的位置。
為了尋找偏移數量，定位單元11，例如，在短曝光影像上抽取至少一特徵點。例如，定位單元11藉由應用 一角落檢測器至短曝光影像作為一特徵點而檢測複數個點之各者。注意到，定位單元11是可以使用，例如，一哈立斯(Harris)檢測器，作為角落檢測器。更進一步地，定位單元11可以使用用以抽取特徵點之其他檢測器，以自短曝光影像抽取特徵點。例如，馬勒費克(Moravec)檢測器、最小同值片段吸收核(smallest univalue segment assimilating nucleus-SUSAN)檢測器、Kanade-Lucas-Tomasi(KLT)追蹤器、或尺度不變特徵轉換(SIFT)檢測器均可被使用作為檢測器。
接著，對於自短曝光影像被抽取的每個特徵點，定位單元11設定一圍繞特徵點之預定區域作為一樣板。接著，定位單元11當改變在樣板以及長曝光影像之間的相對位置時，藉由進行樣板匹配而計算相似性，並且決定其中相似性是最大的區域之中心位置作為對應至在短曝光影像上特徵點之在長曝光影像上之特徵點。於一實施例中，有關一相關的特徵點，定位單元11設定長曝光影像上之對應的像素，作為一第一搜尋點。接著，定位單元11計算有關該搜尋點之相似性以及在圍圍之8個附近的像素或24個附近的像素，並且設定其中相似性是最大的像素，作為下一個搜尋點。接著，定位單元11可重複上面處理程序，直至搜尋點不再移動，並且使發現之搜尋點為最後特徵點。定位單元11計算，例如，在樣板以及在長曝光影像上將被比較的一區域之間的一標準化交叉相關性數值，作為相似性數值。另外地，定位單元11可計算在樣板中以及在長曝光 影像上將被比較的區域之間之對應像素的像素數值差之絕對值總和△的倒數，或1/(1+△)，作為相似性數值。
僅當上述相似性數值之最大數值是等於或大於一預定臨界值時，定位單元11可將在短曝光影像上之一特徵點以及在長曝光影像上之一對應點形成對應至物件相同部份的一特徵點組對。於此情況中，當相似性之最大數值是較低於臨界值時，定位單元11可決定在長曝光影像上沒有匹配對應至樣板的特徵點之特徵點，並且自特徵點組對之搜尋目標移除該特徵點。由於這預定臨界值被設定為較高，定位單元11可改進特徵點組對應至物件相同部份之可靠度。例如，預定臨界值被設定為利用將相似性數值最大數值相乘以0.8至0.9所得到的一數值。另外地，當一較大數目的特徵點自短曝光影像被抽取時，定位單元11可能增加預定臨界值。藉由這方式，當自一影像被抽取的特徵點數目是大時，定位單元11是僅可抽取具有對應至相同部份的高可能性之特徵點組對。更進一步地，即使當自一影像被抽取的特徵點數目是小時，定位單元11是可抽取用於匹配兩影像上之物件影像的位置之足夠數目的特徵點組對。
接著，依照被抽取的特徵點組對，定位單元11計算用於匹配於短曝光影像中被捕捉的物件位置以及於長曝光影像匹配中被捕捉的物件位置之座標轉換參數組對。例如，該座標轉換參數組對可以是將被應用至短曝光影像以及長曝光影像之至少一者中的各像素之仿射轉換係數組對。
於此情況中，定位單元11藉由，例如，最小均方 之方法而決定該座標轉換參數組對。尤其是，對於複數個特徵點的組對之各者，定位單元11依據仿射轉換，使用包含在座標轉換參數組對中之各個仿射轉換係數為一變量，而轉換短曝光影像以及長曝光影像之至少一者的特徵點座標。接著，定位單元11計算在轉換之後有關於各組對特徵點之在特徵點之間的距離之平方的平均值。定位單元11找出其中平方均值是最小的座標轉換參數組對。
應注意，定位單元11可能使用任何各種其他定位方法找出座標轉換參數組對。例如，成像裝置1可包含一迴轉儀感應器(未被展示於圖形中)。於此情況中，依照來自該迴轉儀感應器之輸出，定位單元11可找出在當拍攝長曝光影像時之攝影機模組2的拍攝方向以及當拍攝短曝光影像時之攝影機模組2的拍攝方向之間的角度，並且依據該角度而找出上述之座標轉換參數。
定位單元11使用所發現的座標轉換參數組對而進行短曝光影像以及長曝光影像之至少一者的各像素座標之仿射轉換。藉由這方法，定位單元11是可匹配於長曝光影像中被捕捉的物件之影像位置以及於短曝光影像中被捕捉之物件的影像位置。
定位單元11輸出於其中物件之影像位置已被匹配的短曝光影像，至第一相似像素選擇單元12，並且輸出於其中物件之影像位置已被匹配的長曝光影像，至第二相似像素選擇單元13。
第一相似像素選擇單元12依序地設定在短曝光 影像上之各像素作為一感興趣像素，並且在該感興趣像素周圍設定一預定濾波器區域。接著，第一相似像素選擇單元12自該濾波器區域，選擇具有在依據感興趣像素之數值的一參考數值被設定的第一可允許範圍內之一數值的各像素。注意到，濾波器區域是，例如，在感興趣像素周圍之具有5個垂直像素x5個水平像素之尺度的矩形區域。第一可允許範圍被設定在對應至預期的像素數值之波動的一範圍中，其預期自成像裝置1中之電子電路中所產生的雜訊、以及由於入射在對應至一個別像素的成像元件上之光子數量的波動之雜訊。該範圍被決定，例如，根據實驗地，並且，當像素之數值利用0至255被表示時，則被設定至參考數值±25。注意到，當拍攝中之曝光數量是較小時，像素數值中之雜訊成分比例增加，因而由於短曝光影像曝光數量是較小，第一可允許範圍可被設定為較廣。另外地，由於感興趣像素數值是較小，第一可允許範圍可被設定為較廣。
第一相似像素選擇單元12通知合成單元14有關表示在短曝光影像上所選擇的像素位置之資訊。
第二相似像素選擇單元13對於長曝光影像，設定一預定濾波器區域在被安置於如短曝光影像上之感興趣像素的相同位置中之參考像素周圍。接著，第二相似像素選擇單元13自該濾波器區域，選擇具有在依據感興趣像素數值之參考數值被設定的一第二可允許範圍內之一數值的各像素。
應注意，於長曝光影像中，由於攝影機搖動，在物件上之一特定點可能在複數個像素上被捕捉。因此，對 於長曝光影像的濾波器區域設定最好是較大於對於短曝光影像之濾波器區域設定。例如，對於長曝光影像之濾波器區域設定是在感興趣像素周圍具有9個垂直像素x9個水平像素之尺度的矩形區域。注意到，當攝影機搖動方向利用，例如，被包含於成像裝置1中之迴轉儀感應器的輸出等等被估計時，第二相似像素選擇單元13可在攝影機搖動方向中設定濾波器尺度較大於正交於攝影機搖動方向之方向中的濾波器尺度。第二相似像素選擇單元13，例如，可設定該濾波器區域以在攝影機搖動方向中具有參考像素周圍之9個像素的寬度以及在正交於攝影機搖動方向之方向中具有參考像素周圍之5個像素的寬度。
更進一步地，對於長曝光影像之第二可允許範圍設定最好是較窄於對於短曝光影像之第一可允許範圍設定。這是因為，於長曝光影像中，像素數值中的雜訊成分之比例是相對地低，並且因此由於雜訊像素數值之波動寬度是小的。例如，當像素數值利用0至255被表示時，第二可允許範圍被設定至參考數值±15。
應注意，由於對於長曝光影像之曝光數量是較大，第二相似像素選擇單元13可設定第二可允許範圍較窄。由於一像素於長曝光影像上具有較大像素數值，第二相似像素選擇單元13可設定該第二可允許範圍較窄。
圖4A是圖解說明被設定以供用於短曝光影像中之感興趣像素、以及將被選擇之像素的濾波器範圍之範例圖。於圖4A中，於短曝光影像400之各像素中所給予的數值 代表像素之數值。於這範例中，在感興趣像素401周圍之5個垂直像素x5個水平像素的濾波器區域410被設定。當來自感興趣像素401之像素數值192的第一可允許範圍具有±25的範圍時，除了感興趣像素401之外，感興趣像素401之一左方鄰近像素402(像素數值185)，一左下方像素403(像素數值203)以及一右下方像素404(像素數值190)被選擇。
圖4B是圖解說明用於長曝光影像420以及將被選擇的像素之濾波器範圍設定的範例圖。於圖4B中，於各像素中所給予的數值代表該像素之數值。於這範例中，9個垂直像素x9個水平像素之濾波器區域430被設定在被安置於如感興趣像素的相同位置中之一參考像素421周圍。當第二可允許範圍是來自所展示的圖4A中之感興趣像素401的像素數值192之±15的範圍時，以影線被展示的7個像素422被選擇。
第二相似像素選擇單元13將表示所選擇像素之位置的資訊通知合成單元14。
合成單元14計算藉由合成利用第一相似像素選擇單元12被選擇的短曝光影像上之像素數值以及利用第二相似像素選擇單元13被選擇的長曝光影像上之像素數值之合成值，以設定被安置於如感興趣像素之相同位置中之合成影像上的像素數值。於本實施例中，合成單元14計算被選擇的像素之平均值作為被安置於如感興趣像素之相同位置中的合成影像上之像素數值。例如，於圖4A以及圖4B中所展示之被選擇的像素範例中，該平均值是 (192+185+203+190+190+185+188+187+195+204+199)/11=192.5，因而192，其是平均值之整數部份，被設定作為如感興趣像素之相同位置的像素數值。
應注意，合成單元14可利用第一相似像素選擇單元12設定在選擇的短曝光影像上之像素數值以及利用第二相似像素選擇單元13設定在選擇的長曝光影像上之像素數值的中間值作為被安置於如感興趣像素之相同位置中的合成影像上之像素數值。於此情況中，在圖4A以及圖4B所展示之選擇的像素範例中，被選擇的像素數值之中間數值是190，並且因此如感興趣像素之相同位置的像素數值被設定為190。
圖5是利用影像合成裝置6被執行的影像合成處理程序之操作流程圖。影像合成裝置6自儲存單元5讀取長曝光影像以及短曝光影像(步驟S101)。接著，定位單元11移動長曝光影像以及短曝光影像之至少一者中的物件，以至於長曝光影像上之物件位置與短曝光影像上之物件影像位置重疊(步驟S102)。
在短曝光影像上的像素之中，在已被匹配的位置，影像合成裝置6設定未被設定作為一感興趣像素之像素(步驟S103)。例如，影像合成裝置6隨著光點掃瞄順序，自上方最左的像素，依序地設定各像素作為一感興趣像素。
第一相似像素選擇單元12設定一濾波器區域在短曝光影像上之感興趣像素周圍(步驟S104)。接著，第一相似像素選擇單元12於該濾波器區域中，選擇具有在依照感 興趣像素數值之參考數值被設定的第一可允許範圍之數值內的一數值之各個像素(步驟S105)。第一相似像素選擇單元12將表示選自短曝光影像之像素的位置資訊通知合成單元14。
第二相似像素選擇單元13，對於長曝光影像，設定一預定濾波器區域在被安置於長曝光影像上如感興趣像素之相同位置中的參考像素周圍(步驟S106)。接著，第一相似像素選擇單元12於該濾波器區域中，選擇具有在依照感興趣像素數值之參考數值被設定的第一可允許範圍內之數值的各像素(步驟S107)。第二相似像素選擇單元13將表示選自長曝光影像之像素的位置之資訊通知合成單元14。
合成單元14計算利用合成所選擇的像素之數值的合成值，以設定被安置於如感興趣像素之相同位置中的合成影像上之像素的數值(步驟S108)。如上面所述，利用合成所選擇的像素之數值所得到的數值可以是，例如，被選擇的像素之數值的平均值或中間數值。
依序地，影像合成裝置6決定未被設定作為感興趣像素之一像素是否仍然被留在短曝光影像上(步驟S109)。當未被設定作為感興趣像素之像素仍然被留在短曝光影像上時(步驟S109-是)，則影像合成裝置6重複步驟S103以及在步驟S103之後的程序。
另一方面，當未被設定作為感興趣像素之一像素不被留在短曝光影像上時(步驟S109-否)，該影像合成裝置6輸出該合成影像至控制單元7(步驟S110)。注意到，該影像 合成裝置6可將該合成影像儲存於儲存單元5中。接著，影像合成裝置6結束該影像合成處理程序。
應注意，該影像合成裝置6可平行地執行步驟S104與S105之處理程序以及步驟S106與S107之處理程序。另外地，該影像合成裝置6可切換步驟S104與S105之處理程序以及步驟S106與S107之處理程序的順序。
如上所述，影像合成裝置在感興趣像素周圍設定具有某一尺度之一濾波器區域以供用於一長曝光影像以及一短曝光影像，並且自該濾波器區域選擇具有接近該感興趣像素之數值的數值之像素。有一高的可能性，該物件，其是相同如於感興趣像素中被捕捉之物件，是以此方式被捕捉於所選擇的像素中。因此，影像合成裝置是可減低由於攝影機搖動之模糊。更進一步地，該影像合成裝置利用合成預期捕捉該物件相同部份之複數個所選擇的像素之數值而產生一合成影像，並且因此是可減低包含在合成影像之像素數值中的雜訊成分。
接著，依據一第二實施例之一影像合成裝置將被說明。依據第二實施例之影像合成裝置檢測邊緣像素，其中物件之邊緣被捕捉於長曝光影像中，並且當一邊緣像素被設定作為參考像素時則相對地增加濾波器區域。
圖6是依據第二實施例之影像合成裝置61的組態圖。影像合成裝置61包含定位單元11、第一相似像素選擇單元12、第二相似像素選擇單元13、合成單元14、以及邊緣檢測單元15。於影像合成裝置61中被提供的這些單元可 被形成作為一積體電路，於其中對應至該等單元的電路被整合。另外地，於立體影像產生裝置6中被提供的這些單元可被形成作為分離電路。
於圖6中，於影像合成裝置61中被提供之構件被指定如依據圖3中所展示的第一實施例之於影像合成裝置6中被提供之對應構件的參考號碼之相同參考號碼。比較至依據第一實施例之影像合成裝置6，依據第二實施例的影像合成裝置61是不同於具有邊緣檢測單元15。邊緣檢測單元15以及相關部件將在下面被說明。
依照長曝光影像以及短曝光影像，其之位置已利用定位單元11被匹配，邊緣檢測單元15對於長曝光影像之各個像素決定物件之邊緣是否被捕捉。
圖7是圖解說明有關於短曝光影像以及長曝光影像中之物件邊緣部的像素數值之概況範例圖。於圖7中，水平軸代表影像上之位置並且垂直軸代表像素數值。接著，量變曲線701代表短曝光影像中之物件邊緣部份中的像素數值之改變。當由於攝影機搖動之模糊被產生時，量變曲線702代表長曝光影像中之物件邊緣部份中的像素數值之改變。
如於量變曲線701中之表示，於短曝光影像中沒有由於攝影機搖動之非常多的模糊，並且因此，於物件之邊緣部份710中，像素之數值隨著邊緣部份中位置之改變而快速地改變。另一方面，如量變曲線702中之表示，由於長曝光影像中之攝影機搖動的模糊被產生，並且因此一邊緣 部份720是較寬於短曝光影像中邊緣部份710，並且邊緣部份中像素數值之改變對於位置之改變是適當的。因而，於邊緣部份720中，雖然相同物件被捕捉，在短曝光影像以及長曝光影像之間的像素數值中之差量產生。另一方面，除了邊緣部份720之外，在短曝光影像以及長曝光影像之間的像素數值中之差量是非常小。
因此，於本實施例中，邊緣檢測單元15計算在被安置於長曝光影像以及短曝光影像中的相同位置之間的像素數值之差量絕對值，作為一邊緣檢測數值。接著，當邊緣檢測數值是等於或大於一預定臨界數值Th時，邊緣檢測單元15決定物件之邊緣被捕捉於長曝光影像之像素中。注意到，藉由依照一組對短曝光影像以及長曝光影像之複數個取樣而計算對應至物件邊緣部份的像素數值之差量的絕對值，於其中相同物件被捕捉，該預定臨界數值Th被設定至，例如，差量絕對值之較低限度。例如，當該像素數值利用0至255被表示時，臨界數值Th被設定為5。
應注意，邊緣檢測單元15可使用其他的邊緣檢測方法。返回參看至圖7，當於長曝光影像中由於攝影機搖動之模糊被產生時，在長曝光影像上之邊緣部份中的附近像素之間的差量數值是較小於在短曝光影像上之邊緣部份中的附近像素之間的差量數值。另一方面，在長曝光影像上之邊緣部份周圍的像素數值改變是平坦之部分中的附近像素之間的差量數值是較大於對應至短曝光影像上之邊緣部份周圍的平坦部份之部份中的附近像素之間的差量數值。 接著，邊緣檢測單元15可藉由進行有關被安置在短曝光影像以及長曝光影像中之相同位置中的像素之附近像素之間的差量計算而計算該差量數值，並且得到在差量數值之間的差量絕對值作為邊緣檢測數值。同時於此情況中，當邊緣檢測數值是等於或較大於一預定臨界數值時，邊緣檢測單元15也可決定在長曝光影像上之像素中被捕捉的邊緣。
邊緣檢測單元15通知第二相似像素選擇單元13有關被決定以捕捉長曝光影像中之邊緣的像素座標。
當參考像素是一邊緣像素時，第二相似像素選擇單元13設定濾波器區域，使較大於當該參考像素不是邊緣像素時之濾波器區域。例如，當該參考像素是邊緣像素時，該濾波器區域被設定為在該參考像素周圍9個垂直像素x9個水平像素之尺度。另一方面，當該參考像素不是邊緣像素時，該濾波器區域被設定為在該參考像素周圍之5個垂直像素x5個水平像素尺度。
當該長曝光影像由於攝影機搖動發生模糊時，影像上之物件的邊緣部份是較寬於物件邊緣被捕捉之區域周圍的原始寬度。因此，在長曝光影像上，其是不易於檢測，具有相同如在短曝光影像上被捕捉之物件的感興趣像素之像素數值的數值之像素。尤其是，於上述邊緣像素檢測方法中，當物件邊緣於短曝光影像中不發生模糊而物件邊緣於長曝光影像中發生模糊時，則邊緣像素被檢測。因此，有一高度可能性，由於攝影機搖動發生模糊，物件之邊緣被捕捉於被決定為邊緣像素之像素中。但是，於本實施例 中，當被安置於如短曝光影像中之感興趣像素的相同位置中之長曝光影像上的參考像素是邊緣像素時，設定供用於長曝光影像之濾波器區域加寬。因此，第二相似像素選擇單元13可容易地檢測如於感興趣像素中被捕捉之物件部份的相同部份被捕捉之像素。
應注意，依據一修改，對於在長曝光影像上之各像素，邊緣檢測單元15可通知第二相似像素選擇單元13有關於影像之邊緣檢測數值。接著，隨著參考像素之邊緣檢測數值是較大，第二相似像素選擇單元13可增加其中參考像素在周圍中被設定之濾波器區域的尺度。
接著，依據第三實施例之一影像合成裝置將被說明。依據第三實施例之影像合成裝置估計藉由被疊加在長曝光影像中之雜訊成分以及藉由被疊加於短曝光影像中之雜訊成分所導致的像素數值之波動寬度。隨著波動寬度愈寬，則影像合成裝置加寬一像素數值可允許範圍。疊加在這些影像中之雜訊成分愈大，則影像合成裝置更加寬濾波器區域。
圖8圖解說明依據第三實施例之影像合成裝置62的組態。影像合成裝置62包含定位單元11、雜訊成分估計單元16、第一相似像素選擇單元12、第二相似像素選擇單元13、以及合成單元14。於影像合成裝置62中被提供的這些單元被形成如一積體電路，於其中對應至該等單元的電路被整合。或者，於影像合成裝置62中被提供之該等單元分別地被形成作為分離電路。
於圖8中，於影像合成裝置62中被提供之構件所被指定的參考號碼，是相同如依據圖3中所展示的第一實施例而於影像合成裝置6中被提供之對應構件的參考號碼。依據第三實施例之影像合成裝置62不同於依據第一實施例之影像合成裝置6，在於影像合成裝置62中包含雜訊成分估計單元16，而且不同於設定該濾波器區域之方法以及第一相似像素選擇單元12、第二相似像素選擇單元13中之像素數值的可允許範圍。因此，於下面，雜訊成分估計單元16、第一相似像素選擇單元12以及第二相似像素選擇單元13將被說明。
雜訊成分估計單元16估計藉由被疊加於長曝光影像中之雜訊成分所導致的像素數值之波動寬度以及藉由被疊加於短曝光影像中之雜訊成分所導致的像素數值之波動寬度。通常，雜訊成分愈大，則像素數值波動也愈大。因而，同樣地像素數值之標準偏差也成為愈大。關於包含一裝飾樣型之一物件被捕捉之一區域，該物件之裝飾樣型導致該區域中之像素數值的標準偏差增加。因此，雜訊成分估計單元16檢查其中包含一最少數量之裝飾樣型的物件被捕捉的一區域中之像素數值的標準偏差。以這方式，雜訊成分估計單元16估計由於一雜訊成分之像素數值的波動寬度。
雜訊成分估計單元16分離長曝光影像以及短曝光影像成為複數個子區域，例如，藉由分離長曝光影像以及短曝光影像，分別地成為在垂直方向中八個相等部份以 及成為在水平方向中八個相等部份。接著，對於各個子區域，雜訊成分估計單元16將被包含在子區域中之各像素相乘以一邊緣檢測濾波器，例如，一拉普拉斯(Laplacian)濾波器或一索貝爾(Sobel)濾波器，以計算各像素之一被過濾的數值。依序地，雜訊成分估計單元16計算各個子區域之被過濾數值的總合。雜訊成分估計單元16自長曝光影像之複數個子區域，選擇具有最小過濾數值總和之子區域，作為具有由於該物件之像素數值的最小波動寬度之一平坦區域。同樣地，雜訊成分估計單元16自短曝光影像之複數個子區域，選擇具有過濾數值的最小總和之子區域，作為平坦區域。
為了指明該平坦區域，該雜訊成分估計單元16可分別地應用快速傅立葉轉換於複數個子區域上。接著，雜訊成分估計單元16可選擇具有較大於一預定頻率臨界值之頻率成分對於整個頻率成分之最小比率的子區域，作為平坦區域。於此情況中，該頻率臨界值可以是，例如，子區域之一側的長度之倒數。
雜訊成分估計單元16計算短曝光影像中之平坦區域的像素數值之標準偏差α，作為代表由於被疊加於短曝光影像中之雜訊成分的像素數值之波動寬度的一指標。同樣地，雜訊成分估計單元16計算長曝光影像中平坦區域的像素數值之標準偏差β，作為代表由於被疊加於長曝光影像中之雜訊成分的像素數值之波動寬度的一指標。
雜訊成分估計單元16通知第一相似像素選擇單 元12以及相似像素選擇單元13有關標準偏差α以及β。
第一相似像素選擇單元12依照短曝光影像中之平坦區域的像素數值之標準偏差α而設定該第一可允許範圍。
圖9A展示在疊加於該短曝光影像中之雜訊成分以及第一可允許範圍之間的關係。於圖9A中，水平軸代表影像上之位置，以及垂直軸代表像素數值。量變曲線901代表短曝光影像中之平坦區域的像素數值中之改變。
如圖9A中之展示，平坦區域中幾乎全部像素(理論上，平坦範圍中95.45%的像素)被包含在自短曝光影像中平坦區域之像素數值的平均數值之中心延伸±2α的數量脉之一範圍中。換言之，由於雜訊成分之像素數值的波動寬度被估計是為±2α。於一特定情況中，一感興趣像素之數值是波動範圍中之最小數值或最大數值。例如，於圖9A中，當像素910是一感興趣像素時，該感興趣像素之像素數值Pref是被包含在波動寬度中的像素數值之最小數值。於此情況中，為了使像素數值的整個波動寬度被包含在第一可允許範圍中，自感興趣像素之像素數值延伸±4α數量的一範圍將被包含在第一可允許範圍中。對於這目的，第一相似像素選擇單元12使用，如參考數值Pref，感興趣像素之數值以設定第一可允許範圍為自數值(Pref-4α)延伸至數值(Pref+4α)的範圍。
同樣地，第二相似像素選擇單元13依照被疊加於該短曝光影像中之雜訊成分以及被疊加於長曝光影像中之雜訊成分而設定第二可允許範圍。
圖9B展示在第二可允許範圍以及疊加於該短曝光影像中的雜訊成分與疊加於長曝光影像中的雜訊成分之間的關係。於圖9B中，水平軸代表影像上之位置，以及垂直軸代表像素數值。量變曲線902代表長曝光影像中平坦區域之像素數值中的改變。
如圖9B中之展示，平坦區域中幾乎全部像素被包含在自長曝光影像中平坦區域之像素數值的平均數值之中心而被延伸±2β數量的範圍中。換言之，由於雜訊成分之像素數值的波動寬度被估計為±2β。於一特定情況中，第二可允許範圍中心之感興趣像素的數值是短曝光影像中像素數值之波動範圍的最小數值或最大數值。於此情況中，於平坦區域中，在感興趣像素的數值以及長曝光影像之像素的平均數值之間的差量成為大約為2α之數值。這理由是對於短曝光影像調整一增益或其類似者導致對於具有相同亮度的物件之短曝光影像中的像素數值以及長曝光影像中的像素數值成為彼此相等。於此情況中，為了對於像素數值之整個波動寬度被包含在第二可允許範圍中，自感興趣像素之像素數值被延伸±(2α+2β)數量的一範圍將被包含在第二可允許範圍中。對於這目的，第二相似像素選擇單元13使用，如參考數值Pref，感興趣像素之數值以設定第二可允許範圍為自數值(Pref-(2α+2β))至數值(Pref+(2α+2β))之範圍。
最好是，第一相似像素選擇單元12以及第二相似像素選擇單元13隨著疊加於短曝光影像以及長曝光影像中 之雜訊成分成為較大而將設定濾波器區域為較大。因而，即使雜訊成分是大的，第一相似像素選擇單元12以及第二相似像素選擇單元13更容易地選擇具有如於感興趣像素中被捕捉的物件之亮度的相同亮度位準之像素。
因為長曝光影像於適當的曝光中被捕捉，由於雜訊成分之像素數值的波動寬度通常是小的。因此，平坦區域中之標準偏差β同樣也是小的。即使曝光數量是稍微地被減低，因為至像素數值之雜訊成分的貢獻是小的，故標準偏差β增加較少。同時，短曝光影像以具有曝光數量較小於長曝光影像之曝光數量被得到。因此，隨著曝光數量減少，至像素數值之雜訊成分的貢獻明確地增加。因此，隨著曝光數量減少，平坦區域中之標準偏差α比標準偏差β更大地改變。有鑑於此，隨著α/β數值成為較大的，第一相似像素選擇單元12以及第二像素選擇單元13估計雜訊成分將是較大，該等雜訊成分是被疊加在長曝光影像以及短曝光影像中。隨著α/β數值成為較大的，第一相似像素選擇單元12以及第二像素選擇單元13加寬濾波器區域。
例如，當不等式1.00<α/β2.00被滿足時，第一相似像素選擇單元12設定第一濾波器區域之尺度是為3個垂直像素x3個水平像素之尺度，供用於短曝光影像之第一濾波器被設定。第二相似像素選擇單元13設定第二濾波器區域之尺度是為7個垂直像素x7個水平像素之尺度，供用於長曝光影像之第二濾波器被設定。
當不等式2.00<α/β4.00被滿足時，第一相似像素 選擇單元12設定第一濾波器區域之尺度是為5個垂直像素x5個水平像素之尺度。第二相似像素選擇單元13設定第二濾波器區域之尺度是為9個垂直像素x9個水平像素的尺度。
進一步地，當α/β之數值是較大於4.00時，第一相似像素選擇單元12設定第一濾波器區域之尺度是為7個垂直像素x7個水平像素之尺度。第二相似像素選擇單元13設定第二濾波器區域之尺度是為11個垂直像素x11個水平像素之尺度。
第一相似像素選擇單元12選擇一像素，該像素具有被包含在短曝光影像濾波器區域中之第一可允許範圍中的一像素數值。第二相似像素選擇單元13選擇一像素，其具有被包含在長曝光影像濾波器區域中的第二可允許範圍中之一像素數值。合成單元14依照所選擇的像素之數值而合成感興趣像素之數值。
如上所述，依據第三實施例之影像合成裝置估計由於疊加於短曝光影像以及長曝光影像中之雜訊成分之像素數值的波動寬度，並且依照該估計結果，自動地導致可允許範圍以及像素數值之濾波器區域適當地被調整。
依據一修改範例，雜訊成分估計單元16同時也可計算，如由於短曝光影像中之雜訊成分的像素數值之波動寬度、在短曝光影像中的平坦區域中之像素的最大數值以及最小數值之間的一差量d1。同樣地，雜訊成分估計單元16同時也可計算，如由於長曝光影像中的雜訊成分之像素數值的波動寬度、在長曝光影像中的平坦區域中之像素的 最大數值以及最小數值之間的一差量d2。於此情況中，差量d1對應至數值2α。同樣地，差量d2對應至數值2β。因此，第一相似像素選擇單元12可使用感興趣像素的一數值作為參考數值Pref，以設定第一可允許範圍是為自數值(Pref-d1)延伸至數值(Pref+d1)的範圍。第二相似像素選擇單元13可使用感興趣像素的一數值作為參考數值Pref，以設定第二可允許範圍是為自數值(Pref-(d1+d2)/2)延伸至數值(Pref+(d1+d2)/2)的範圍。
應注意，本發明是決不受限於上面實施例。依據上述各實施例之修改，合成單元14可藉由計算選自長曝光影像之像素的數值以及選自短曝光影像之像素的數值之加權平均值，而計算合成影像之像素數值。於此情況中，合成單元14可依據，例如，下面方程式，而計算合成影像之像素數值P。
其中w1是用於選自長曝光影像之像素的加權係數，以及ws是用於選自短曝光影像之像素的加權係數。更進一步地，pi(i=1,2,...,m)是選自長曝光影像的像素之數值，以及qj(j=1,2,...,n)是選自短曝光影像的像素之數值。接著，m以及n分別地是選自長曝光影像之像素數目以及選自短曝光影像之像素數目。
例如，當長曝光影像在無攝影機搖動情況之下被 拍攝時，合成單元14設定加權係數w1較大於加權係數ws。另一方面，當長曝光影像在攝影機搖動情況之下被拍攝時，合成單元14設定加權係數w1較小於加權係數ws。
關於長曝光影像，當影像在無攝影機搖動情況之下被拍攝時，由於攝影機搖動而有稍微的模糊。因此，藉由以此方式設定該等加權係數，影像合成裝置是可進一步減低合成影像之各像素數值中的雜訊成分，並且改進合成影像之影像品質。另一方面，當長曝光影像在攝影機搖動情況之下被拍攝時，藉由增加用於短曝光影像之加權係數，影像合成裝置是可能夠進一步減低由於攝影機搖動之模糊。
為了決定長曝光影像是否無攝影機搖動而被拍攝，合成單元14自成像裝置1之控制單元7，取得在長曝光影像的拍攝時間之快門速率。當在長曝光影像的拍攝時間之快門速率是等於或較大於對應至其中稍微的攝影機搖動可被產生之快門速率的較低限制值之一臨界值時，合成單元14決定長曝光影像無攝影機搖動而被拍攝，並且設定加權係數w1使較大於加權係數ws。另一方面，當在長曝光影像拍攝時間之快門速率是較低於臨界值時，合成單元14決定長曝光影像具有攝影機搖動地被拍攝，並且設定加權係數w1較小於加權係數ws。注意到，其中稍微攝影機搖動可能產生之較低的快門速率之限制值通常是於35毫米(mm)影片等效中之攝影機模組2的成像光學系統之焦距的倒數。
另外地，當一加速度感應器被裝設在成像裝置1 上時，合成單元14可使用利用加速感應器所量測的加速度，以取代該快門速率，而決定長曝光影像是否無攝影機搖動而被拍攝。例如，當在長曝光影像的拍攝時間利用加速感應器所量測的加速度是等於或較大於對應至其中稍微的攝影機搖動可能產生之加速度的上限數值的一臨界值時，合成單元14決定長曝光影像在無攝影機搖動之情況下被拍攝。
依據另一修改例，定位單元可被省略。依據實施例之影像合成裝置設定，對於長曝光影像，具有一特定尺度的一濾波器區域，在如短曝光影像上之感興趣像素的相同位置中之參考像素周圍，並且於該濾波器區域中選擇，具有接近至感興趣像素之數值的像素數值之像素。因此，影像合成裝置是可自長曝光影像選擇如在感興趣像素中被捕捉之物件部份的相同部份被捕捉之像素，即使當於短曝光影像中被捕捉之物件的影像位置以及長曝光影像中被捕捉之物件的影像位置時是稍微不同時亦然。
依據再另一修改例，影像合成裝置可構成有關第一以及第二可允許範圍的至少一者，自短曝光影像上之感興趣像素的數值至上限值寬度，以及自感興趣像素之數值至下限值之寬度為不同。
依據再另一修改例，影像合成裝置可合成彼此不同的曝光時間之三個或更多個影像。於此情況中，影像合成裝置形成最小曝光時間的影像為短曝光影像。接著，有關於具有較長於短曝光影像之曝光時間的各影像，相同於 上述實施例，第二相似像素選擇單元13可自被設定在被安置於如短曝光影像上之感興趣像素的相同位置中之參考像素周圍的濾波器區域，選擇具有在第二可允許範圍內之像素數值的像素。接著，合成單元14是可藉由合成所有被選擇的像素數值，而在如感興趣像素的相同位置中之合成影像上找到像素之數值。
更進一步地，仍然依據另一修改例，取代控制單元7，影像合成裝置可調整一更正影像之色彩平衡，並且執行，例如，邊緣強化或對比強化之處理程序。
依據上面實施例之影像合成裝置的單元功能或它們的變化可藉由在一處理器上被執行之電腦程式被實作。此一被記錄在電腦可讀取記錄媒體(例如，磁記錄媒體、光學記錄媒體、等等)上之電腦程式可被提供。但是，這記錄媒體不包含載波。
圖8是一電腦的組態圖，該電腦藉由執行依據各實施例之一電腦程式以實現影像合成裝置單元功能或其之變化而操作如一影像合成裝置。電腦100包含使用者界面單元101、通訊界面單元102、儲存單元103、儲存媒體存取裝置104以及處理器105。處理器105，例如，經由匯流排，被連接於使用者界面單元101、通訊界面單元102、儲存單元103以及儲存媒體存取裝置104。
使用者界面單元101包含，例如，輸入裝置，例如，鍵盤與滑鼠、以及顯示裝置，例如，液晶顯示器。另外地，使用者界面單元101可包含一裝置，其整合輸入裝置 以及顯示裝置，例如，觸控面板顯示器。使用者界面單元101回應於使用者操作，而輸出，例如，操作信號至處理器105，以開始影像合成處理程序。
通訊界面單元102可包含通訊界面以及供用於該通訊界面之控制電路，以供連接電腦100與可產生變化曝光時間之複數個影像的成像裝置(未被展示於圖形中)。這通訊界面可以是，例如，通用串列匯流排(USB)。
更進一步地，通訊界面單元102可包含通訊界面以及供用於該通訊界面之控制電路，以供依照通訊標準(例如，以太(Ethernet，註冊商標))而連接於一通訊網路。於此情況中，通訊界面單元102自連接到該通訊網路的另一裝置取得長曝光影像以及短曝光影像，並且儲存這些影像於儲存單元103中。更進一步地，通訊界面單元102可經由通訊網路將被接收自處理器105的合成影像輸出至其他裝置。
儲存單元103可包含，例如，可讀取以及可寫入半導體記憶體以及唯讀半導體記憶體。儲存單元103儲存用以執行影像合成處理程序之電腦程式(其在處理器105上被執行)，以及在影像合成處理程序期間取得的中間計算結果。更進一步地，儲存單元103儲存經由通訊界面單元102所接收的影像、利用處理器105所產生的合成影像等等。
儲存媒體存取裝置104是存取儲存媒體106之裝置，例如，磁碟、半導體記憶體卡或光學儲存媒體。儲存媒體存取裝置104讀取供用於影像合成處理程序之被儲存於儲存媒體106中以及將在處理器105上被執行之電腦程 式，並且傳送這電腦程式至處理器105。儲存媒體存取裝置104可將利用處理器105被產生的合成影像，寫入在儲存媒體106中。
處理器105依據上述實施例或修改範例，藉由執行用於影像合成處理之電腦程式，而產生具有減低由於攝影機搖動之模糊以及具有減低的雜訊成分之合成影像。接著，處理器105儲存該產生的合成影像於儲存單元103中，或經由通訊界面單元102而輸出所產生的合成影像至其他裝置。
此處詳述的所有範例以及條件語言是欲用於教示目的以協助讀者了解本發明以及發明人所提供之概念而推展本技術，並且可理解地不是用以限制此等特定被詳述之範例以及情況，也不是用以限制關於本發明說明中展示的此等範例機構之優劣。雖然本發明實施例已詳細地被說明，應了解此處可有各種改變、替代以及修改而不脫離本發明之精神以及範疇。
6‧‧‧影像合成裝置
11‧‧‧定位單元
12‧‧‧第一相似像素選擇單元
13‧‧‧第二相似像素選擇單元
14‧‧‧合成單元

Claims (21)

  1. 一種藉由合成一第一影像以及曝光時間較長於該第一影像之一第二影像而產生一合成影像之影像合成裝置，該影像合成裝置包括：一第一像素選擇單元，其設定一第一濾波器區域在該第一影像上之一感興趣像素周圍，並且其自該第一濾波器區域選擇一第一像素，該第一像素具有包含該感興趣像素之數值的一第一可允許範圍內之一數值；一第二像素選擇單元，其設定一第二濾波器區域在被安置於如該感興趣像素之相同位置的該第二影像上之一參考像素周圍，並且其自該第二濾波器區域選擇一第二像素，該第二像素具有包含該感興趣像素之數值的一第二可允許範圍內之一數值；以及一合成單元，其設定藉由合成該第一像素值以及該第二像素值所得到的一合成值，作為被安置於如該感興趣像素之相同位置的該合成影像上的一像素之一數值。
  2. 依據申請專利範圍第1項之影像合成裝置，進一步包括一定位單元，該定位單元匹配在該第一影像上被捕捉的一物件之一位置與在該第二影像上被捕捉的該物件之一位置，其中該第二像素選擇單元依照於其中該物件之該等位置被匹配的該第一影像與該第二影像而判定該參考像素。
  3. 依據申請專利範圍第1項之影像合成裝置，其中，當該第二影像是無攝影機搖動而被拍照時，該合成單元藉由設定對應至該第一像素之一第一加權係數較小於對應至該第二像素之一第二加權係數而計算該合成值並且計算該第一像素值以及該第二像素值的一加權平均值，而當該第二影像在攝影機搖動情況之下被拍照時，該合成單元藉由設定該第一加權係數大於該第二加權係數而計算該合成值並且計算該第一像素值以及該第二像素值之該加權平均值。
  4. 依據申請專利範圍第1項之影像合成裝置，進一步包括一邊緣檢測單元，該邊緣檢測單元對於該第二影像的各像素決定該物件的一邊緣是否被捕捉，其中該第二像素選擇單元設定當該參考像素被決定是其中該物件邊緣被捕捉的一像素時之該第二濾波器區域的一尺度，較大於當該參考像素被決定是其中該物件邊緣不被捕捉的一像素時之該第二濾波器區域的一尺度。
  5. 依據申請專利範圍第1項之影像合成裝置，其中該第二可允許範圍是較窄於該第一可允許範圍。
  6. 依據申請專利範圍第1項之影像合成裝置，其中該第二濾波器區域尺度是較大於該第一濾波器區域尺度。
  7. 依據申請專利範圍第1項之影像合成裝置，進一步包括一雜訊成分估計單元，該雜訊成分估計單元估計由於一雜訊成分被疊加在該第一影像中之像素值的一第一浮 動寬度，以及由於一雜訊成分被疊加在該第二影像中之像素值的一第二浮動寬度，並且其中隨著該第一浮動寬度成為較大，則該第一像素選擇單元加寬該第一可允許範圍，以及隨著該第一浮動寬度以及該第二浮動寬度二者都成為較大，則該第二像素選擇單元加寬該第二可允許範圍。
  8. 依據申請專利範圍第7項之影像合成裝置，其中隨著該第一浮動寬度對該第二浮動寬度之一比率成為較大，該第一像素選擇單元加寬該第一濾波器區域，以及隨著該第一浮動寬度對該第二浮動寬度之該比率成為較大，該第二像素選擇單元加寬該第二濾波器區域。
  9. 依據申請專利範圍第7項之影像合成裝置，其中該雜訊成分估計單元分割該第一影像成為複數個子區域；在自該第一影像被分割的該等複數個子區域之中，計算具有最少像素值浮動的子區域中之像素值的第一標準偏差，作為代表該第一浮動寬度的一指標；分割該第二影像成為複數個子區域；並且在自該第二影像被分割的該等複數個子區域之中，計算具有最少像素值浮動的子區域中之像素值的第二標準偏差，作為代表該第二浮動寬度的一指標，隨著該第一標準偏差成為較大，該第一像素選擇單元加寬該第一可允許範圍，並且隨著該第一標準偏差以及該第二標準偏差之總和成為較大，該第二像素選擇單元加寬該第二可允許範圍。
  10. 依據申請專利範圍第1項之影像合成裝置，其中該合成值是該第一像素值以及該第二像素值之一平均值或中間值。
  11. 一種電腦可讀取儲存媒體，其儲存用於合成影像產生的一電腦程式以導致一電腦藉由合成一第一影像以及曝光時間較長於該第一影像之一第二影像而產生一合成影像，該電腦程式導致一電腦執行下列步驟：設定一第一濾波器區域在該第一影像上之一感興趣像素周圍，並且自該第一濾波器區域選擇一第一像素，該第一像素具有包含該感興趣像素之數值的一第一可允許範圍內之一數值；設定一第二濾波器區域在被安置於如該感興趣像素之相同位置的該第二影像上之一參考像素周圍，並且自該第二濾波器區域選擇一第二像素，該第二像素具有包含該感興趣像素之數值的一第二可允許範圍內之一數值；以及設定藉由合成該第一像素值以及該第二像素值所得到的一合成值，作為被安置於如該感興趣像素之相同位置的該合成影像上的一像素之一數值。
  12. 依據申請專利範圍第11項之電腦可讀取儲存媒體，該用於合成影像產生之電腦程式導致一電腦進一步執行下列步驟：匹配在該第一影像上被捕捉的一物件之一位置與在該第二影像上被捕捉的該物件之一位置， 其中該設定一第二濾波器區域的步驟依照於其中該物件之該等位置被匹配的該第一影像與該第二影像而判定該參考像素。
  13. 依據申請專利範圍第11項之電腦可讀取儲存媒體，其中，當該第二影像是無攝影機搖動而被拍照時，該設定一合成值的步驟藉由設定對應至該第一像素之一第一加權係數較小於對應至該第二像素之一第二加權係數而計算該合成值並且計算該第一像素值以及該第二像素值的一加權平均值，而當該第二影像在攝影機搖動情況之下被拍照時，該設定一合成值的步驟藉由設定該第一加權係數大於該第二加權係數而計算該合成值並且計算該第一像素值以及該第二像素值之該加權平均值。
  14. 依據申請專利範圍第11項之電腦可讀取儲存媒體，該用於合成影像產生之電腦程式導致一電腦進一步執行下列步驟：對於該第二影像的各像素，決定該物件之一邊緣是否被捕捉，其中該設定一第二濾波器區域的步驟設定當該參考像素被決定是其中該物件邊緣被捕捉的一像素時之該第二濾波器區域的一尺度，較大於當該參考像素被決定是其中該物件邊緣不被捕捉之一像素時之該第二濾波器區域的一尺度。
  15. 依據申請專利範圍第11項之電腦可讀取儲存媒體，其中該第二可允許範圍是較窄於該第一可允許範圍。
  16. 依據申請專利範圍第11項之電腦可讀取儲存媒體，其中該 第二濾波器區域尺度是較大於該第一濾波器區域尺度。
  17. 依據申請專利範圍第11項之電腦可讀取儲存媒體，該用於合成影像產生之電腦程式導致一電腦進一步執行下列步驟：估計由於一雜訊成分被疊加在該第一影像中之像素值的一第一浮動寬度，以及由於一雜訊成分被疊加在該第二影像中之像素值的一第二浮動寬度，並且其中隨著該第一浮動寬度成為較大，該設定該第一濾波器的步驟加寬該第一可允許範圍，並且隨著該第一浮動寬度以及該第二浮動寬度二者都成為較大，該設定該第二濾波器的步驟加寬該第二可允許範圍。
  18. 依據申請專利範圍第17項之電腦可讀取儲存媒體，其中隨著該第一浮動寬度對該第二浮動寬度之一比率成為較大，該設定該第一濾波器的步驟加寬該第一濾波器區域，並且隨著該第一浮動寬度對該第二浮動寬度之該比率成為較大，該設定該第二濾波器的步驟加寬該第二濾波器區域。
  19. 依據申請專利範圍第17項之電腦可讀取儲存媒體，其中該估計該第一浮動寬度的步驟分割該第一影像成為複數個子區域；在自該第一影像被分割的該等複數個子區域之中，計算具有最少像素值浮動的子區域中之像素值的第一標準偏差，作為代表該第一浮動寬度的一指標；以及該估計該第二浮動寬度的步驟分割該第二影像成 為複數個子區域；並且在自該第二影像被分割的該等複數個子區域之中，計算具有最少像素值浮動的子區域中之像素值的第二標準偏差，作為代表該第二浮動寬度的一指標，隨著第一標準偏差成為較大，該設定該第一濾波器的步驟加寬該第一可允許範圍，並且隨著該第一標準偏差以及該第二標準偏差之總和成為較大，該設定該第二濾波器的步驟加寬該第二可允許範圍。
  20. 依據申請專利範圍第11項之電腦可讀取儲存媒體，其中該合成值是該第一像素值以及該第二像素值之一平均值或中間值。
  21. 一種影像合成裝置，其包括：一成像單元，其產生一第一影像以及具有曝光時間較長於該第一影像之一第二影像；以及一處理器，其適用於進行下列步驟：設定一第一濾波器區域在該第一影像上之一感興趣像素周圍，並且自該第一濾波器區域選擇一第一像素，該第一像素具有包含該感興趣像素之數值的一第一可允許範圍內之一數值；設定一第二濾波器區域在被安置於如該感興趣像素之相同位置的該第二影像上之一參考像素周圍，並且自該第二濾波器區域選擇一第二像素，該第二像素具有包含該感興趣像素之數值的一第二可允許範圍內之一數值；以及 設定藉由合成該第一像素值以及該第二像素值所得到的一合成值，作為被安置於如該感興趣像素之相同位置的該合成影像上的一像素之一數值。
TW102107282A 2012-03-16 2013-03-01 影像合成裝置及用於影像合成之電腦程式 TWI496105B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012059827 2012-03-16
JP2012255419A JP5978949B2 (ja) 2012-03-16 2012-11-21 画像合成装置及び画像合成用コンピュータプログラム

Publications (2)

Publication Number Publication Date
TW201351343A true TW201351343A (zh) 2013-12-16
TWI496105B TWI496105B (zh) 2015-08-11

Family

ID=47845784

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102107282A TWI496105B (zh) 2012-03-16 2013-03-01 影像合成裝置及用於影像合成之電腦程式

Country Status (5)

Country Link
US (1) US9007483B2 (zh)
EP (1) EP2639769A3 (zh)
JP (1) JP5978949B2 (zh)
KR (1) KR101424923B1 (zh)
TW (1) TWI496105B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101871945B1 (ko) * 2013-01-17 2018-08-02 한화에어로스페이스 주식회사 영상 처리 장치 및 방법
KR101518751B1 (ko) * 2013-11-21 2015-05-11 연세대학교 산학협력단 다중 대조도 자기공명영상에서 잡음 제거 방법 및 장치
JP6261334B2 (ja) * 2013-12-26 2018-01-17 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP6320053B2 (ja) * 2014-01-22 2018-05-09 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
WO2016179050A1 (en) * 2015-05-01 2016-11-10 Flir Systems, Inc. Enhanced color palette systems and methods for infrared imaging
US9565363B1 (en) * 2015-08-10 2017-02-07 X Development Llc Stabilization of captured images for teleoperated walking biped robots
EP3358821B1 (en) * 2015-09-30 2021-06-30 Nikon Corporation Imaging device and image processing device
CN106791459A (zh) * 2016-11-17 2017-05-31 努比亚技术有限公司 一种信号处理方法及设备
JP7260990B2 (ja) * 2018-10-26 2023-04-19 キヤノン株式会社 撮像装置及び撮像システム
CN112689099B (zh) * 2020-12-11 2022-03-22 北京邮电大学 一种面向双镜头相机的无重影高动态范围成像方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242501A (ja) * 2002-02-20 2003-08-29 Seiko Epson Corp 画像処理装置及びその方法、画像形成装置、並びにコンピュータが読出し可能なプログラム
JP2005149266A (ja) * 2003-11-18 2005-06-09 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP4961182B2 (ja) * 2005-10-18 2012-06-27 株式会社リコー ノイズ除去装置、ノイズ除去方法、ノイズ除去プログラム及び記録媒体
WO2007077719A1 (ja) 2005-12-27 2007-07-12 Kyocera Corporation 撮像装置およびその画像処理方法
JP3974633B1 (ja) 2006-05-30 2007-09-12 京セラ株式会社 撮像装置および撮像方法
JP3974634B2 (ja) 2005-12-27 2007-09-12 京セラ株式会社 撮像装置および撮像方法
EP2018048A4 (en) * 2006-05-09 2011-07-20 Sharp Kk PICTURE SETUP
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
JP5183297B2 (ja) 2008-05-19 2013-04-17 三洋電機株式会社 画像処理装置、撮像装置及び画像処理方法
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
JP2010141653A (ja) 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
US20100157079A1 (en) 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to selectively combine images
US8331714B2 (en) * 2009-02-23 2012-12-11 Sharp Laboratories Of America, Inc. Methods and systems for image processing
US8390698B2 (en) * 2009-04-08 2013-03-05 Panasonic Corporation Image capturing apparatus, reproduction apparatus, image capturing method, and reproduction method
JP2011044846A (ja) 2009-08-20 2011-03-03 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
JP5589446B2 (ja) * 2009-09-18 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8760537B2 (en) * 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
US8810663B2 (en) * 2011-01-27 2014-08-19 Aptina Imaging Corporation Methods for motion correction for high-dynamic-range imaging systems
WO2012173571A1 (en) * 2011-06-17 2012-12-20 Nanyang Technological University A method and system for fusing images

Also Published As

Publication number Publication date
US9007483B2 (en) 2015-04-14
TWI496105B (zh) 2015-08-11
KR101424923B1 (ko) 2014-08-01
KR20130105534A (ko) 2013-09-25
JP2013219744A (ja) 2013-10-24
US20130242122A1 (en) 2013-09-19
EP2639769A2 (en) 2013-09-18
EP2639769A3 (en) 2016-10-26
JP5978949B2 (ja) 2016-08-24

Similar Documents

Publication Publication Date Title
TWI496105B (zh) 影像合成裝置及用於影像合成之電腦程式
US10621729B2 (en) Adaptive focus sweep techniques for foreground/background separation
JP5398156B2 (ja) ホワイトバランス制御装置およびその制御方法並びに撮像装置
JP5179398B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
US10115178B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US20130307966A1 (en) Depth measurement apparatus, image pickup apparatus, and depth measurement program
JP4454657B2 (ja) ぶれ補正装置及び方法、並びに撮像装置
JP5569357B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US10839529B2 (en) Image processing apparatus and image processing method, and storage medium
US9811909B2 (en) Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method
JP2013206175A (ja) 画像判定装置、画像判定方法及び画像判定用コンピュータプログラム
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
JP2019101996A (ja) 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法
JP2017220885A (ja) 画像処理装置、その制御方法、および制御プログラム
JP2019101997A (ja) 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法
US9270883B2 (en) Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium
JP6075835B2 (ja) 距離情報取得装置、撮像装置、距離情報取得方法、及び、プログラム
JP2023033355A (ja) 画像処理装置およびその制御方法
JP6556033B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016072924A (ja) 画像処理装置及び画像処理方法
JP7277321B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
JP2018072942A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
JP2010079815A (ja) 画像補正装置
JP6525693B2 (ja) 画像処理装置及び画像処理方法
JP6331363B2 (ja) 被写体特定装置、撮像装置およびプログラム