TWI524781B - 信號處理裝置及信號處理方法、固態攝像裝置、電子資訊機器、信號處理程式以及電腦可讀取儲存媒體 - Google Patents

信號處理裝置及信號處理方法、固態攝像裝置、電子資訊機器、信號處理程式以及電腦可讀取儲存媒體 Download PDF

Info

Publication number
TWI524781B
TWI524781B TW101131619A TW101131619A TWI524781B TW I524781 B TWI524781 B TW I524781B TW 101131619 A TW101131619 A TW 101131619A TW 101131619 A TW101131619 A TW 101131619A TW I524781 B TWI524781 B TW I524781B
Authority
TW
Taiwan
Prior art keywords
pixel
interpolation
signal
pixels
signal processing
Prior art date
Application number
TW101131619A
Other languages
English (en)
Other versions
TW201316784A (zh
Inventor
船尾大輔
Original Assignee
夏普股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 夏普股份有限公司 filed Critical 夏普股份有限公司
Publication of TW201316784A publication Critical patent/TW201316784A/zh
Application granted granted Critical
Publication of TWI524781B publication Critical patent/TWI524781B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Description

信號處理裝置及信號處理方法、固態攝像裝置、電子資訊機器、信號處理程式以及電腦可讀取儲存媒體
本發明係關於信號處理裝置及信號處理方法、固態攝像裝置、電子資訊機器、信號處理程式以及電腦可讀取儲存媒體。更特定言之，本發明係關於用於對一螢幕上一明亮區域與一黑暗區域之間的像素信號自適應地切換內插的信號處理裝置及信號處理方法；裝備該信號處理裝置之固態攝像裝置；裝備該固態攝像裝置之電子資訊機器；用於允許一電腦執行該信號處理方法之信號處理程式；以及用於記錄該信號處理程式之電腦可讀取儲存媒體。
對於數位攝影機，已按慣例使用諸如CCD固態攝像裝置及CMOS固態攝像裝置之固態攝像裝置來對來自一主體之光(在下文中亦稱為主體光)進行光電轉換且產生該主體之影像信號以擷取該主體之一影像。
圖10為用於說明習知CCD固態攝像裝置之圖，圖10(a)示意地展示該習知固態攝像裝置之總體組態。圖10(b)展示構成該固態攝像裝置之CCD影像感測器。圖10(c)展示彩色濾光片在該固態攝像裝置中之配置(圖10(b)中之部分A)。
CCD固態攝像裝置200a包含CCD影像感測器1，其用於對來自一主體之光進行光度轉換以輸出像素信號；及信號處理裝置200，其用於對自該影像感測器1輸出之類比像素信號Ag進行AD轉換且對如此獲得之數位影像信號執行信號處理。
如圖10(b)所示，CCD影像感測器1包含：像素區段1a，其由配置成一矩陣之複數個像素P組成；垂直電荷轉移區段(垂直CCD)1b，其沿著像素區段1a之各像素行安置且用於在垂直方向Y上轉移藉由在每一像素處對來自一主體之光進行光電轉換而獲得之信號電荷；讀取閘區段2，其安置於垂直CCD 1b與一對應像素行中之一像素P之間；水平電荷轉移區段(水平CCD)1c，其安置於垂直CCD 1b之一個末端處且用於在水平方向X上轉移來自垂直CCD 1b之信號電荷；及輸出區段3，其用於將來自水平CCD 1c之信號電荷轉換成電壓信號且用於放大該等電壓信號並將其輸出作為類比像素信號。在此處，垂直CCD 1b經組態以由來自一CCD驅動電路(未圖示)之四相垂直轉移信號ΦV1至ΦV4驅動，且水平CCD 1c經組態以由來自該CCD驅動電路(未圖示)之兩相水平轉移信號ΦH1及ΦH2驅動。
構成像素區段1a之像素中之每一者包含形成於一半導體基板上之一光電二極體。諸如R(紅)、G(綠)或B(藍)之彩色濾光片係設置於形成有該光電二極體之一區域中。根據彩色濾光片之色彩，每一像素為用於輸出紅色像素信號(R像素值)之R像素、用於輸出綠色像素信號(G像素值)之G像素或用於輸出藍色像素信號(B像素值)之B像素。
圖10(c)展示在圖10(a)中所展示之像素區段1a之部分A中的彩色濾光片之配置。在CCD影像感測器1中，彩色濾光片之配置為被稱為拜耳配置(Bayer arrangement)之配置。具體言之，綠色濾光片Fg係相對於配置成一矩陣之像素P 以方格圖案形式設置，且藍色濾光片Fb及紅色濾光片Fr係沿著像素行或像素列交替地加以配置以填充綠色濾光片Fg之間的空間。
信號處理裝置200亦對自CCD影像感測器1輸出之類比像素信號Ag執行A/D轉換，且對所獲得之數位像素信號執行信號處理。信號處理裝置200經組態以針對數位像素信號執行各種類型之處理，諸如，調整黑色位準、調整白平衡、像素內插、色彩矩陣處理、調整對比度、伽瑪控制。
接著，將描述信號處理裝置200之操作。
在具有此種組態之CCD固態攝像裝置200a中，CCD影像感測器1對來自一主體之光進行光電轉換以產生類比像素信號Ag，且將該等類比像素信號Ag輸出至信號處理裝置200。
具體言之，在像素區段1a之像素P中之每一者處對已進入CCD影像感測器1之主體光進行光電轉換，且自像素P中之每一者經由讀取閘區段2至垂直CCD 1b讀出藉由光電轉換產生之信號電荷。在垂直CCD 1b中，信號電荷係在垂直方向Y上轉移，而在水平CCD 1c中，自垂直CCD 1b轉移之信號電荷係在水平方向X上轉移。在水平CCD 1c之一終邊上之輸出區段3處，信號電荷被轉換成電壓信號且作為類比像素信號Ag被輸出至信號處理裝置200。信號處理裝置200對該等類比像素信號Ag執行各種類型之信號處理
圖11為用於說明信號處理裝置200中之特定信號處理之圖，其中自A/D轉換處理開始展示影像處理之典型流程。
信號處理裝置200將來自像素之信號電荷轉換成電壓信號，將如此獲得之類比像素信號轉換成數位像素信號，且對該等數位像素信號執行信號處理以產生已經過影像處理之彩色影像信號。
在信號處理裝置200中，首先，藉由A/D轉換器(未圖示)將自CCD影像感測器1輸出之類比像素信號Ag轉換成數位像素信號(步驟S1)，且執行用於調整黑色位準之處理，諸如將對應於各別色彩之像素的數位像素信號之黑色位準固定至一規定值(步驟S2)。
接著，藉由將具有經調整黑色位準之數位像素信號中的R像素及B像素之數位像素信號乘以一預定值來執行用於調整白平衡之處理。更具體言之，調整數位像素信號之增益，使得當擷取一白色主體之一影像時，各別R像素、G像素及B像素之數位像素信號之信號位準能彼此相等(步驟S3)。
此後，對對應於各別信號之像素信號執行內插處理，亦即，針對各別像素獲得除該等像素所具有之彩色濾光片之色彩以外的色彩之像素信號的處理。該等像素中之每一者僅具有紅色、綠色及藍色之一的要素(數位像素信號)。因此，藉由此內插處理，藉由自周圍像素進行內插來獲得對應於各別像素之其他色彩之要素(數位像素信號)(步驟S4)。
舉例而言，由於R像素僅具有紅色之數位像素信號，故R像素之綠色之數位像素信號及藍色之數位像素信號係自 周邊的G像素之數位像素信號及B像素之數位像素信號產生。類似地，由於G像素及B像素分別僅具有綠色之數位像素信號及藍色之數位像素信號，故其他色彩之數位像素信號係自其他色彩之像素之數位像素信號產生。
隨後，藉由對各別像素之各別色彩(RGB)之數位像素信號進行色彩矩陣處理，自CCD影像感測器輸出的色彩R、G及B之數位像素信號之特性與人眼對色彩R、G及B之敏感度特性匹配，使得將顯示自然色彩影像(步驟S5)。
此外，對已執行色彩矩陣處理的色彩R、G及B之數位像素信號執行用於調整對比度之處理及用於伽瑪控制之處理，以產生數位影像信號(步驟S6)。
請注意，圖11中所展示之信號處理為信號處理裝置中之基本處理。不限於此等類型之處理，需要在適當時執行本文中未描述之其他處理，包括諸如雜訊、白色缺陷、垂直線校正及水平線校正以及陰影校正之各種校正。通常需要在內插處理之前執行此處理。雖然此等校正當在內插處理之前執行時更有效，但亦可能在內插處理之後執行校正。另外，各種類型之處理之次序不限於圖11中所展示之次序。
如上所述，固態攝像裝置不僅包括CCD固態攝像裝置，而且包括CMOS固態攝像裝置。
圖12為用於說明習知CMOS固態攝像裝置之圖。
此種CMOS固態攝像裝置之輸出亦藉由如上所述之信號處理裝置來處理以獲得數位影像信號。
CMOS影像感測器10包含：像素區段11，其由配置成一矩陣之像素組成；垂直選擇電路(V選擇電路)12，其用於以列單位選擇像素區段11之像素；及信號處理電路(S/H、CDS電路)13，其用於對藉由垂直選擇電路12選定的一像素列中之像素之類比像素信號執行雜訊拒斥處理且保存該等信號。信號處理電路13對來自每一選定列之像素之類比像素信號執行用於針對每一像素拒斥一固定圖案雜訊之處理。
CMOS影像感測器10亦包含：水平選擇電路(H選擇電路)14，其用於連續地取出並輸出保存於信號處理電路13中之類比像素信號；AGC電路16，其用於以一適當增益放大自信號處理電路13輸出之該等類比像素信號；A/D轉換器17，其用於將由AGC電路16放大之該等類比像素信號轉換成數位像素信號；數位放大器18，其用於放大及輸出該等數位像素信號；及時序產生區段(TG)15，其用於產生用以控制上文所描述之該等各別電路之一時序信號。
CMOS影像感測器10進一步包含用於對自數位放大器18輸出之該等數位像素信號執行信號處理的信號處理裝置19，且除A/D轉換器之外，信號處理裝置19具有與圖10(a)中所展示之信號處理裝置200相同的組態。
用於此種CMOS影像感測器10之製造製程係基於CMOS LSI之標準製程，且因此，除起CMOS影像感測器作用之彼等電路(像素區段11、V選擇電路12、H選擇電路14及信號處理電路13)外的用於達成功能之電路(時序產生區段15、 AGC電路16、A/D轉換器17、數位放大器18及信號處理裝置19)亦可整合在同一晶片上。
在下文中，將詳細地描述前述內插處理。
如上所述，各自具有紅、綠或藍之彩色濾光片之像素係以方格圖案形式配置於此類型之一固態攝像裝置中。另外，存在一種固態攝像裝置，其中此等彩色濾光片之配置係由作為一單元之紅、綠及藍之四個鄰近彩色濾光片形成，該四個彩色濾光片旋轉45度以形成一蜂巢形狀。在任何濾光片配置中，每一像素僅具有紅色、綠色及藍色之一之要素，且有必要藉由自周圍像素進行內插來獲得其他色彩之要素。最知名之內插為線性內插。
圖13為用於說明線性內插方法之圖，其中圖10(b)中所展示的像素區段1a中之像素P之配置將分別以不同色彩(諸如，紅、綠及藍)單獨地展示於圖13(a)、圖13(b)及圖13(c)中。
在此等圖中，每一正方形表示一像素，且每一正方形中之R、G或B指示設置於像素中之一彩色濾光片之色彩。與之相反，未指示R、G或B之正方形為必須藉由內插來產生色彩之像素，且該等像素之座標係展示於括號中。
在此處，待內插之像素(目標像素)之座標為x、y。為了更好地理解，用斜線區域表示指示內插之主體之像素的正方形，而用點線區域表示指示待用於內插之像素的正方形。請注意，(x,y)=(0,0)為圖13(a)、圖13(b)及圖13(c)中所展示的各別色彩之像素之配置的參考點。
圖13(a)為用於說明R像素之像素信號之內插處理的圖。
首先，當藉由內插獲得在沿水平方向配置之鄰近R像素之間的像素P22之R像素值(紅色之數位像素信號)時，藉由圖13(a)中所展示之公式(1a)獲得該R像素值。在此處，公式(1a)中之R(x,y)為待內插之目標像素P22之R像素值。
此外，當藉由內插獲得在沿垂直方向配置之鄰近R像素之間的像素P73之R像素值時，藉由圖13(a)中所展示之公式(1b)獲得該R像素值。在此處，公式(1b)中之R(x,y)為待內插之目標像素P73之R像素值。
此外，當藉由內插使用定位於正方形之各別頂點處之四個鄰近R像素獲得定位於具有該四個R像素之正方形之中心處的像素P163之R像素值時，藉由圖13(a)中所展示之公式(1c)獲得該R像素值。在此處，公式(1c)中之R(x,y)為待內插之目標像素P163之R像素值。
圖13(b)為用於說明G像素之像素信號之內插處理的圖。
當藉由內插使用定位於藉由將正方形旋轉45度所形成的菱形之各別頂點處之四個鄰近G像素獲得定位於該菱形之中心處的像素P63之G像素值(綠色之數位像素信號)時，藉由圖13(b)中所展示之公式(2)獲得該G像素值。在此處，公式(2)中之G(x,y)為內插之目標像素P63之G像素值。
圖13(c)展示B像素之像素信號之內插處理。
首先，當藉由內插獲得在沿水平方向配置之鄰近B像素之間的像素P33之B像素值時，藉由圖13(c)中所展示之公式(3a)獲得該B像素值。在此處，公式(3a)中之B(x,y)為內 插之目標像素P33之B像素值。
此外，當藉由內插獲得在沿垂直方向配置之鄰近B像素之間的像素P84之B像素值時，藉由圖13(c)中所展示之公式(3b)獲得該B像素值。在此處，公式(3b)中之B(x,y)為內插之目標像素P84之B像素值。
此外，當藉由內插使用定位於正方形之各別頂點處之四個鄰近B像素獲得定位於該正方形之中心處的像素P174之B像素值時，藉由圖13(c)中所展示之公式(3c)獲得該B像素值。在此處，公式(3c)中之B(x,y)為待內插之目標像素P174之B像素值。
如上所述之此種線性內插表示用於對像素值進行平均化之內插，且用於平均化之此等內插意謂用於混合圍繞目標像素之周圍像素之像素值且添加該等像素值的內插，其中係數之和通常將為1。請注意，存在無數種內插方法，且本文中所描述之方法僅為用於理解本發明之先前技術的實例。因此，內插方法不限於上文所描述之內插方法。
由於線性內插為用於平均化之內插(如在上文所描述之實例中)，故線性內插使邊緣邊界模糊且使解析度減小。
因此，其實踐往往避免僅在內插期間對像素值進行平均化，而是同時執行邊緣強調以改良解析度。
圖14為用於說明已執行邊緣強調的R像素值之內插處理的圖，其中圖10(b)中所展示的像素區段1a中之像素P之配置分別以不同色彩(諸如，紅、綠及藍)單獨地展示於圖14(a)、圖14(b)及圖14(c)中。在此等圖中，類似於圖13， 待內插之像素(目標像素)之座標為x、y。為了更好地理解，用斜線區域表示指示內插之主體之像素的正方形，而用點線區域表示指示待用於內插之像素的正方形。
首先，當藉由內插獲得在沿水平方向配置之鄰近R像素之間的像素P22之R像素值時，藉由圖14(a)中所展示之公式(4a)獲得該R像素值。在此處，公式(4a)中之R(x,y)為待內插之目標像素P22之R像素值。
此外，當藉由內插使用定位於正方形之各別頂點處之四個鄰近R像素獲得定位於該正方形之中心處的像素P163之R像素值時，藉由圖14(a)中所展示之公式(4b)獲得該R像素值。在此處，公式(4b)中之R(x,y)為待內插之目標像素P163之R像素值。
在此處，G像素之像素值被用於目標像素之上、之下、左邊及右邊之位置處的邊緣強調。
此外，當藉由內插使用定位於正方形之各別頂點處之四個鄰近R像素獲得定位於該正方形之中心處的像素P243之R像素值時，藉由圖14(a)中所展示之公式(4c)獲得該R像素值。在此處，公式(4c)中之R(x,y)為待內插之目標像素P243之R像素值。
在此處，B像素之像素值被用於像素之上、之下、左邊及右邊之位置處的邊緣強調。
圖15為用於說明用於邊緣強調之G像素值之內插處理的圖，其中圖10(b)中所展示的像素區段1a中之像素P之配置分別以不同色彩(諸如，紅、綠及藍)單獨地展示於圖 15(a)、圖15(b)及圖15(c)中。在此等圖中，類似於圖13，待內插之像素(目標像素)之座標為x、y。為了更好地理解，用斜線區域表示指示內插之主體之像素的正方形，而用點線區域表示指示待用於內插之像素的正方形。
首先，當藉由內插使用定位於藉由將正方形旋轉45度所形成的菱形之各別頂點處之四個鄰近G像素獲得定位於該菱形之中心處的像素P72之G像素值時，藉由圖15(b)中所展示之公式(5a)獲得該G像素值。在此處，公式(5a)中之G(x,y)為內插之目標像素P72之G像素值。此外，R像素之像素值被用於邊緣強調。
此外，當藉由內插使用定位於藉由將正方形旋轉45度所形成的菱形之各別頂點處之四個鄰近G像素獲得定位於該菱形之中心處的像素P203之G像素值時，藉由圖15(b)中所展示之公式(5b)獲得該G像素值。在此處，公式(5b)中之G(x,y)為內插之目標像素P203之G像素值。此外，B像素之像素值被用於邊緣強調。
圖16為用於說明使用相同色彩之像素的內插加上邊緣強調之實例的圖，其中展示有圖10(b)中所展示的像素區段1a中之G像素之配置。在該圖中，類似於圖13，待內插之像素(目標像素)之座標為x、y。為了更好地理解，用斜線區域表示指示內插之主體之像素的正方形，而用點線區域表示指示待用於內插之像素的正方形。
當藉由具有邊緣強調之內插來獲得在頂部、底部、左邊及右邊被G像素圍繞之像素P163之G像素值時，藉由圖16 中所展示之公式(6)獲得該G像素值。在此處，公式(6)中之G(x,y)為所內插之像素P163之G像素值。此外，定位於所內插像素之周邊的十二個G像素之像素值被用於邊緣強調。
如上文所例示，使用組合周圍像素之像素值之平均化及周圍像素之像素值之差異的公式作為具有邊緣強調之內插方法之一。係數之和通常將為1。此外，隨著減法係數變得越大，邊緣將更清晰。另外，雖然僅可使用相同色彩之像素，但藉由在內插中在周邊使用不同色彩之像素，邊緣將實際上清晰。
又，已知偵測像素區段中之像素值之梯度以使用配置在具有一緩和梯度之方向上的像素之像素值執行內插的此方法。
圖17為用於說明考慮到此種像素值梯度之內插處理的圖，其中圖10(b)中所展示的像素區段1a中之像素P之配置分別在圖17(a)、圖17(b)及圖17(c)中用色彩(紅、綠及藍)來單獨地指示。在此等圖中，類似於圖13，待內插之像素(目標像素)之座標為x、y。為了更好地理解，用斜線區域表示指示內插之主體之像素的正方形，而用點線區域表示指示待用於內插之像素的正方形。
當藉由內插使用定位於藉由將正方形旋轉45度所形成的菱形之各別頂點處之四個鄰近G像素獲得定位於該菱形之中心處的像素P72之G像素值時，首先藉由公式(7b)使用R像素值來獲得包括像素72之像素之水平配置中的像素值之 梯度β，且藉由公式(7a)使用R像素值來獲得包括像素72之像素之垂直配置中的像素值之梯度α。
請注意，亦可藉由條件公式(8b)使用G像素值來獲得包括像素P72之像素之水平配置中的像素值之梯度β，且亦可藉由條件公式(8a)使用G像素值來獲得包括像素P72之像素之垂直配置中的像素值之梯度α。
隨後，基於水平配置中之像素值之梯度β與垂直配置中之像素值之梯度α之間的大小關係且基於公式(9a)至(9c)，獲得目標像素P72之G像素值。
具體言之，當垂直配置中之像素值之梯度α小於水平配置中之像素值之梯度β時，藉由公式(9a)獲得目標像素P72之G像素值；且當水平配置中之像素值之梯度β小於垂直配置中之像素值之梯度α時，藉由公式(9b)獲得目標像素P72之G像素值。此外，當垂直配置中之像素值之梯度α等於水平配置中之像素值之梯度β時，藉由公式(9c)獲得目標像素P72之G像素值。藉此，可使用配置在具有一緩和梯度之方向上的像素之像素值來執行內插。
因而，上文所描述之方法使得藉由平均化在一方向上像素值具有緩和變化之像素來維持一邊緣。在此處，僅針對用於獲得作為目標像素之R像素之G像素值的內插處理例示用於判定條件之兩個公式。另外，雖然用於平均化之像素在此方法中受限制，但係數之總和通常亦將為1。
對於具有邊緣強調之內插，雖然存在各種方法(諸如，組合差異之方法及使用梯度之方法)，但該等方法不限於 此等方法。
此外，亦存在此種方法，其中執行使用G像素值之內插且接著使用藉由內插計算之G像素值內插R像素值及B像素值。
此外，即使對於不需要內插之像素值(諸如，具有綠色濾光片之G像素之G像素值)，亦可能藉由使用周圍像素之像素值執行內插處理來抑制雜訊。
圖18為用於說明使用相同色彩之周圍像素之像素值的內插之實例的圖，其中圖10(b)中所展示的像素區段1a中之像素P之配置分別在圖18(a)、圖18(b)及圖18(c)中用色彩(紅、綠及藍)來單獨地指示。在此等圖中，類似於圖13，待內插之像素(主體內插像素)之座標為x、y。為了更好地理解，用斜線區域表示指示內插之主體之像素的正方形，而用點線區域表示指示待用於內插之像素的正方形。
首先，當藉由內插使用定位於藉由將正方形旋轉45度所形成的菱形之各別頂點處之四個鄰近R像素獲得定位於該菱形之中心處的像素P33之R像素值時，藉由圖18(a)中所展示之公式(10a)獲得該R像素值。在此處，公式(10a)中之R(x,y)為主體內插像素P33之R像素值。
此外，當藉由內插使用定位於正方形之各別頂點處之四個鄰近G像素獲得定位於該正方形之中心處的像素P53之G像素值時，藉由圖18(b)中所展示之公式(10b)獲得該G像素值。在此處，公式(10b)中之G(x,y)為待內插之目標像素P53之G像素值。
此外，當使用鄰近於像素P113定位之八個G像素之像素值內插像素P113之G像素值時，藉由圖18(b)中所展示之公式(10c)獲得該G像素值。在此處，公式(10c)中之G(x,y)為內插之目標像素P113之G像素值。
當藉由內插使用定位於藉由將正方形旋轉45度所形成的菱形之各別頂點處之四個鄰近B像素獲得定位於該菱形之中心處的像素P43之B像素值時，藉由圖18(c)中所展示之公式(10d)獲得該B像素值。在此處，公式(10d)中之B(x,y)為內插之目標像素P43之B像素值。
在圖18中，針對G像素之G像素值之內插例示兩個實例，且此情況下的係數之總和通常亦將為1。
如上所述，雖然存在用於內插之各種方法，但可藉由在內插期間添加周圍像素及平均化周圍像素來減少雜訊。隨著待平均化之像素之數目增加，可進一步減少雜訊。
另一方面，當待平均化之像素之模數藉由計算梯度或其類似者而減少時，雖然會減小抑制雜訊之作用，但將增加解析度。或者，當執行周圍像素之間的減法且在內插期間強調邊緣時，雜訊及邊緣均將被放大。
當待擷取之一主體係黑暗的或擷取一黑色主體時，固態攝像裝置之輸出信號之位準減小，從而導致相對明顯之雜訊。此係因為人類視覺原本對亮度之差異敏感，且另外，因為人類視覺對成直線之光量無反應，而黑暗之等級對人類視覺而言更清晰。與之相反，隨著主體變得更亮，將難以區分等級且雜訊將較不明顯。此外，當待擷取之一主體 係明亮的時，歸因於光散粒雜訊(light shot noise)，將輸出比黑暗中之雜訊多的雜訊。然而，此種情況很少有問題，因為信號與雜訊之比率將減小。
另外，人類視覺對具有高亮度及飽和度之一部分具有高視覺吸引力，且此部分容易被記憶。另外，隨著亮度之差異以對比色調(contrast hue)增加，可見性將增加，且此種影像將容易被人類看到。因此，具有高亮度及飽和度之區域之解析度尤其必要。
另一方面，視覺吸引力對具有低亮度及飽和度之一部分將較低，且此部分難以被記憶。然而，當最初不明顯之一部分由於雜訊變得明顯時，該部件將被辨識為礙眼物。
專利文獻1揭示適當地添加具有不良解析度之內插影像及具有原始解析度之內插影像之一種方式，作為內插處理。
[引用清單] [專利文獻]
[PTL 1]日本特許公開公佈第2005-328215號
雖然習知影像處理方法包括用於基於空間頻率及邊緣資訊改變內插處理之方法，但此種方法因為以下方式而有問題：對整個螢幕均勻地執行邊緣強調，從而導致對黑暗部分或由於低飽和度而具有低視覺吸引力之部分的邊緣之不必要強調，或在整個黑暗影像中執行用於強調甚至有限邊 緣(若發現)之處理，從而導致將雜訊放大。
雖然如(例如)在專利文獻1中，揭示適當地添加具有不良解析度之內插影像及具有原始解析度之內插影像之一種方式，但此係用於校正敏感度之差異，其不能夠藉由內插處理基於螢幕之個別區域中之亮度或其類似者來調整邊緣強度。
本發明意欲解決上文所描述之習知問題。本發明之一目標為提供一種信號處理裝置及信號處理方法，其能夠藉由在一顯示幕上之具有低亮度或飽和度之一區域中內插來減少雜訊並改良S/N且藉由在該顯示幕上之具有高亮度或飽和度之一區域中進行邊緣強調來增加解析度；一種包括該信號處理裝置之固態攝像裝置；一種包含該固態攝像裝置之電子資訊機器；一種用於允許一電腦執行該信號處理方法之影像處理程式；及一種用於記錄該信號處理程式之電腦可讀取儲存媒體。
提供一種根據本發明之信號處理裝置，其用於對自一攝像元件輸出之像素信號執行信號處理，該攝像元件具有用於對來自一主體之光進行光電轉換之複數個像素，該像素信號對應於各別像素，該信號處理裝置包含：一判定區段，其用於針對每一像素判定一個或複數個像素處之亮度或飽和度；及一內插處理區段，其用於基於一目標像素之該判定之亮度或飽和度使用定位於該目標像素之周邊的周邊像素之像素信號執行內插該目標像素之一像素信號之內 插處理，其中該內插處理區段執行自至少兩種或兩種以上類型之內插處理中為每一像素選擇適合於該目標像素之該判定之亮度或飽和度之內插處理且藉由該選定內插處理內插該目標像素之一像素信號的自適應內插處理，藉此達成上文所描述之目標。
較佳地，在根據本發明之信號處理裝置中，當該目標像素之該判定之亮度小於一預定臨限值時，該內插處理區段選擇混合周邊像素之像素信號之內插處理。
更較佳地，在根據本發明之信號處理裝置中，當該目標像素之該判定之亮度大於一預定臨限值時，該內插處理區段選擇涉及使用周邊像素之像素信號之差異對該目標像素進行邊緣強調之內插處理。
更較佳地，在根據本發明之信號處理裝置中，當該目標像素之該判定之亮度大於一預定臨限值時，該內插處理區段選擇獲得周邊像素之像素信號之一梯度、基於該梯度自該複數個周邊像素選擇特定周邊像素及混合該等選定之特定周邊像素之像素信號的內插處理。
更較佳地，在根據本發明之信號處理裝置中，當該目標像素之該判定之飽和度小於一預定臨限值時，該內插處理區段選擇混合周邊像素之像素信號之內插處理。
更較佳地，在根據本發明之信號處理裝置中，當該目標像素之該判定之飽和度大於一預定臨限值時，該內插處理區段選擇涉及使用周邊像素之像素信號之差對該目標像素進行邊緣強調之內插處理。
更較佳地，在根據本發明之信號處理裝置中，當該目標像素之該判定之飽和度大於一預定臨限值時，該內插處理區段選擇獲得周邊像素之像素信號之一梯度、基於該梯度自該複數個周邊像素選擇特定周邊像素及混合該等選定之特定周邊像素之像素信號的內插處理。
更較佳地，在根據本發明之信號處理裝置中，當使用周邊像素之像素信號之差執行邊緣強調時，該內插處理區段選擇使用周邊像素中具不同於待內插之像素信號的色彩之色彩的像素信號作為目標像素之像素信號來內插目標像素之像素信號的內插處理。
更較佳地，在根據本發明之信號處理裝置中，當該內插處理區段藉由獲得配置有周邊像素之一區域中的像素信號之一梯度、基於該梯度自該複數個周邊像素選擇特定周邊像素及混合該等選定之特定周邊像素之像素信號來對目標像素執行內插處理時，該梯度係藉由使用周邊像素中具不同於待內插之像素信號的色彩之色彩的像素信號來獲得。
更較佳地，在根據本發明之信號處理裝置中，該判定區段將包括用以內插目標像素之像素信號的周邊像素之一區域中的包括不同色彩之像素的複數個像素之像素信號用於判定目標像素之亮度或飽和度。
更較佳地，在根據本發明之信號處理裝置中，該判定區段使用自包括用於內插處理之周邊像素之一區域中的像素獲得的各別像素之亮度中的最高亮度判定目標像素之亮度。
更較佳地，在根據本發明之信號處理裝置中，該判定區段根據周邊像素中之一綠色像素之一像素信號判定目標像素之亮度。
更較佳地，在根據本發明之信號處理裝置中，針對目標像素之亮度，該判定區段使用自包括用於目標像素之內插處理的周邊像素之一區域中的像素之像素信號獲得之一明度信號。
更較佳地，在根據本發明之信號處理裝置中，該判定區段根據用於目標像素之內插處理的周邊像素之像素信號中的綠色及紅色之像素信號之差及綠色及藍色之像素信號之差異獲得目標像素之飽和度。
更較佳地，在根據本發明之信號處理裝置中，該信號處理裝置進一步包含一雜訊拒斥區段，該雜訊拒斥區段用於對自攝像元件輸出的對應於各別像素之像素信號執行雜訊拒斥處理；且該判定區段基於已經受雜訊拒斥處理之像素信號計算目標像素之亮度或飽和度。
更較佳地，在根據本發明之信號處理裝置中，該判定區段經組態以在對自攝像元件輸出之對應於各別像素之像素信號執行雜訊拒斥處理時，基於對應於各別像素之像素信號針對每一像素判定該等像素之亮度或飽和度。
更較佳地，在根據本發明之信號處理裝置中，該信號處理裝置進一步包含一雜訊拒斥區段，該雜訊拒斥區段用於對自攝像元件輸出的對應於各別像素之像素信號執行雜訊拒斥處理；且該內插處理區段使用已經受該雜訊拒斥處理 之像素信號執行自適應內插處理。
更較佳地，在根據本發明之信號處理裝置中，該內插處理區段經組態以在對自攝像元件輸出的對應於各別像素之像素信號執行雜訊拒斥處理時執行自適應內插處理。
更較佳地，在根據本發明之信號處理裝置中，該兩種或兩種以上類型之內插處理為使用相同周邊像素之內插處理，該內插處理為用於根據該等相同周邊像素之像素信號獲得目標像素之像素信號的一公式準備兩個或兩個以上不同係數，且該內插處理基於目標像素之亮度或飽和度判定使用該兩個或兩個以上不同係數中之哪些。
更較佳地，在根據本發明之信號處理裝置中，該兩種或兩種以上類型之內插處理係用於藉由使用藉由將周邊像素之像素信號乘以不同係數獲得之一像素信號內插目標像素之像素信號；且針對每一類型之內插處理中之該等係數，使用經由基於對目標像素判定之亮度或飽和度連續變化而獲得的係數。
更較佳地，在根據本發明之信號處理裝置中，針對該兩種或兩種以上類型之內插處理中之每一者中的該等係數，使用經由基於一線性函數連續變化而獲得的係數，該線性函數係基於對目標像素判定之亮度或飽和度。
更較佳地，在根據本發明之信號處理裝置中，針對該兩種或兩種以上類型之內插處理中之每一者中的該等係數，使用經由基於一線性函數連續變化而獲得的係數，該線性函數係基於對目標像素判定之亮度或飽和度。
更較佳地，在根據本發明之信號處理裝置中，該兩種或兩種以上類型之內插處理係用於使用藉由將複數個周邊像素中之每一者之一像素信號乘以係數而獲得的像素信號之總和內插目標像素之像素信號；且該複數個周邊像素中之每一者之該像素信號所乘以的該等係數之總和為1。
更較佳地，在根據本發明之信號處理裝置中，該內插處理區段經組態以基於作為一光源之一主體限制該自適應內插處理。
更較佳地，在根據本發明之信號處理裝置中，該內插處理區段經組態以在影像擷取期間在該攝像元件中之一增益等於或小於一固定倍率之情況下限制該自適應內插處理。
更較佳地，在根據本發明之信號處理裝置中，該內插處理區段經組態以在影像擷取期間在該攝像元件接收的光之量等於或大於一固定光量之情況下限制該自適應內插處理。
更較佳地，在根據本發明之信號處理裝置中，該內插處理區段經組態以基於用於在影像擷取期間將來自該主體之光導引至該攝像元件之一光學系統的一聚光狀態限制該自適應內插處理。
更較佳地，在根據本發明之信號處理裝置中，該內插處理區段經組態以基於該光學系統在影像擷取期間之一光圈之程度限制該自適應內插處理。
更較佳地，在根據本發明之信號處理裝置中，該內插處理區段經組態以基於該光學系統在影像擷取期間之一焦距 限制該自適應內插處理。
更較佳地，在根據本發明之信號處理裝置中，該內插處理區段經組態以基於在影像擷取期間該攝像元件之一快門速度限制該自適應內插處理。
更較佳地，在根據本發明之信號處理裝置中，該內插處理區段經組態以在判定一主要主體之一影像係逆著該光擷取之情況下限制該自適應內插處理。
提供一種根據本發明之信號處理方法，其用於對自一攝像元件輸出之像素信號執行信號處理，該攝像元件具有用於對來自一主體之光進行光電轉換之複數個像素，該等像素信號對應於各別像素，該信號處理方法包含：針對每一像素判定一個或複數個像素處之亮度或飽和度之一步驟；及基於一目標像素之該判定之亮度或飽和度使用定位於該目標像素之周邊的周邊像素之像素信號執行內插該目標像素之一像素信號之內插處理的一步驟，其中執行內插處理之該步驟執行自至少兩種或兩種以上類型之內插處理中為每一像素選擇適合於該目標像素之該判定之亮度或飽和度之內插處理且藉由該選定內插處理內插該目標像素之一像素信號的自適應內插處理，藉此達成上文所描述之目標。
一種根據本發明之固態攝像裝置包含：一攝像元件，其具有用於對來自一主體之光進行光電轉換之複數個像素；及一信號處理裝置，其用於對自該攝像元件輸出之對應於各別像素之像素信號執行信號處理，其中該信號處理裝置為根據本發明之信號處理裝置，藉此達成上文所描述之目 標。
一種根據本發明之電子資訊機器包含用於擷取一主體之一影像的一攝像區段，其中該攝像區段為根據本發明之固態攝像裝置，藉此達成上文所描述之目標。
提供一種根據本發明之信號處理程式，其用於允許一電腦對自一攝像元件輸出之像素信號執行信號處理，該攝像元件具有用於對來自一主體之光進行光電轉換之複數個像素，該等像素信號對應於各別像素，該信號處理程式允許該電腦執行：針對每一像素判定一個或複數個像素處之亮度或飽和度之一步驟；及基於一目標像素之該判定之亮度或飽和度執行內插處理以根據定位於該目標像素之周邊的周邊像素之像素信號計算該目標像素之一像素信號的一步驟，其中執行內插處理之該步驟允許該電腦執行將至少兩種或兩種以上類型之內插處理中之該等類型之內插處理切換至適合於該目標像素之該判定之亮度或飽和度之內插處理的自適應內插處理，藉此達成上文所描述之目標。
提供一種根據本發明之電腦可讀取儲存媒體，其用於記錄根據本發明之信號處理程式，藉此達成上文所描述之目標。
接著，將描述本發明之操作。
根據本發明，一種用於分別處理對應於複數個像素之像素信號的信號處理裝置判定該等像素之亮度及飽和度，且基於該等經判定像素之亮度及飽和度藉由使用兩種或兩種以上類型之內插處理對該等像素信號自適應地執行內插處 理。因此，藉由在一顯示幕上之具有低亮度或飽和度之一區域中內插來減少雜訊並改良S/N且藉由在該顯示幕上之具有高亮度或飽和度之一區域中進行邊緣強調來增加解析度變得可能。
根據本發明，當一目標像素之該判定之亮度低於一預定臨限值時，將選擇用於混合所述周圍像素之像素信號之內插處理。因此，減少一具有低亮度之像素(其中雜訊易為明顯的)中由雜訊所致之影響變得可能。或者，在一具有低飽和度之像素中，藉由平均化來很好地顯示色彩(諸如，白色、黑色及灰色)變得可能。
根據本發明，當一目標像素之該判定之亮度高於一預定臨限值時，將選擇涉及使用周圍像素之像素信號之差異對該目標像素進行邊緣強調之內插處理。因此，對於一具有高亮度之像素，藉由增強一邊界來獲得一清晰影像變得可能。
根據本發明，當一目標像素之該判定之亮度高於一預定臨限值時，將選擇用於獲得周圍像素之像素信號之一梯度、基於該梯度自該複數個周圍像素選擇一特定周圍像素及混合該選定特定周圍像素之像素信號的內插處理。因此，在一具有高亮度之像素中，亦使用周圍像素來獲得一梯度以縮減待混合之像素，使得具有邊緣強調之內插可執行。另外，由於一具有高飽和度之像素具有高視覺吸引力，故執行具有邊緣強調之內插係有效的。
根據本發明，可藉由執行內插以強調除待內插之像素之 色彩以外的色彩之一邊緣，且詳言之，使用以多達R像素及B像素之兩倍配置的G像素強調一邊緣來增加解析度。
根據本發明，當使用具有色彩與待內插之色彩相同的一彩色濾光片之一像素之一輸出信號時，防止一假色彩產生變得可能。
根據本發明，藉由經由使用用於一內插之一像素區域中的像素(亦即，用於一目標像素之內插之周圍像素)及定位於該目標像素之周邊且未被用於內插之周圍像素來獲得一目標像素之亮度或飽和度，考慮鄰近於為內插之主體之一目標像素的周圍像素判定該目標像素之亮度或飽和度變得可能。此外，藉由基於如此獲得之目標像素之亮度或飽和度判定內插處理之類型，即使靠近目標像素存在一邊緣，在適當時判定內插處理亦變得可能。
根據本發明，可藉由將待內插之一區域中之最亮部分用於判定一像素之亮度或飽和度來判定適當內插處理。此外，由於綠色對允許亮度被視覺感知之波長而言最重要，故基於綠色像素之像素信號執行內插之一判定係有效的。
根據本發明，可藉由根據用於一目標像素之內插處理的周邊像素之像素信號中的綠色及紅色之像素信號之差異及綠色及藍色之像素信號之差異獲得該目標像素之飽和度來容易地執行飽和度之量化。
根據本發明，包含一雜訊拒斥區段，其用於對自一攝像元件輸出之對應於各別像素之像素信號執行雜訊拒斥處理，且該判定區段基於已經受該雜訊拒斥處理之像素信號 計算目標像素之亮度或飽和度，藉此準確地獲得該目標像素之亮度或飽和度。
此外，執行雜訊處理以將充分地遠離周邊像素之像素信號之一平均值或中間值的像素信號移除，或預先記錄將出現雜訊之一位置以對該位置處之像素之像素信號執行雜訊處理，使得雜訊拒斥可在亮度或飽和度之判定期間或在內插處理期間執行。
根據本發明，兩種或兩種以上類型之內插處理係用於使用藉由將周邊像素之像素信號乘以不同係數而獲得之像素信號內插一目標像素之一像素信號。在每一類型之該內插處理中，使用經由基於該目標像素之該判定之亮度或飽和度連續變化而獲得的係數作為該等係數，使得可更適當地切換內插處理類型。
根據本發明，將上文所描述之係數之和定義為1，使得色調將難以改變，且可容易地獲得自然著色(natural coloration)。
根據本發明，自適應內插處理係基於一光源或基於一光接收區段之周邊的光之量之資訊受限制。因此，當自適應內插處理並非必要時(諸如，當一背景天空或一森林在日間在室外逆著光之影像擷取期間比一主體明亮時，或當天空在日落時比一主體明亮時，或當在影像擷取期間窗外比室內明亮時)，該限制係有效的。
另外，由於解析度在陰天或下雨時將減小，故諸如在用於平均化自適應內插處理中所使用之像素之內插處理中減 少用於內插之像素之數目或降低邊緣強調之臨限值的調整將係有效的。
根據本發明，自適應內插處理將在影像擷取期間在該攝像元件中之一增益等於或小於一特定固定倍率之情況下受限制。因此，在除非增益達到一特定值否則雜訊不會變得有問題之情況下，該限制係有效的。在此情況下，需要基於該增益之位準判定是否執行自適應內插處理。
根據本發明，在影像擷取期間在該攝像元件接收的光之量等於或大於一特定光量之情況下限制自適應內插處理。因此，例如，當很明亮且飽和度很高以使得自適應內插並非必要時，執行用於平均化之一單獨內插將為不必要的。在此情況下，對內插處理之限制係有效的。
根據本發明，若該攝像元件之一快門速度極短，則自適應內插處理將受限制，且將在內插處理中執行像素之平均化，藉此減少黑暗部分中之雜訊。
根據本發明，自適應內插處理將基於用於在影像擷取期間將來自該主體之光導引至該攝像元件之一光學系統的一會聚狀態而受限制。因此，當哪個邊緣將在光圈較接近其最寬狀態時被強調或遮蔽為一極敏感的問題時，該限制將為有效的。
舉例而言，需要基於一光學系統之設定(會聚狀態)來判定是否執行自適應內插處理。透鏡之設定包括光圈及焦距之值。又，當在光圈較接近其最窄狀態之情況下使用一廣角透鏡時，可更多地執行邊緣強調，因為預期全焦點(pan focus)。另一方面，由於具有長焦距之區域傾向於變模糊且整個螢幕難以在具有一短焦距之區域中變模糊，故基於焦距來調整自適應內插處理中之邊緣強調之程度係有效的。
根據如上所述之本發明，得到下列各者變得可能：一種信號處理裝置及信號處理方法，其能夠在藉由於具有高亮度或飽和度之一像素中進行邊緣強調來增加解析度的同時藉由於具有低亮度或飽和度之一像素中內插來減少雜訊及改良S/N；一種包括該信號處理裝置之固態攝像裝置；一種包含該固態攝像裝置之電子資訊機器；一種用於允許一電腦執行該信號處理方法之影像處理程式；及一種用於記錄該信號處理程式之電腦可讀取儲存媒體。
在下文中，將參看附圖描述本發明之實施例。
(實施例1)
圖1為用於說明根據本發明之實施例1之固態攝像裝置的圖，其中圖1(a)示意地展示包含該固態攝像裝置之攝影機系統之總體組態且圖1(b)展示構成該固態攝像裝置之信號處理裝置之組態。
根據實施例1之固態攝像裝置100a為包含下列各者之CCD固態攝像裝置：用於對來自一主體之光進行光電轉換以輸出一像素信號的CCD影像感測器(攝像元件)1；用於驅動CCD影像感測器1之CCD驅動電路100b；及用於對自 CCD影像感測器1輸出之像素信號Ag執行A/D轉換及用於對藉由該A/D轉換獲得之數位像素信號Dg執行信號處理的信號處理裝置100。在本文中，CCD影像感測器1等同於圖10(b)中所展示之習知影像感測器1。
CCD固態攝像裝置100a與用於將來自一主體之光導引至CCD影像感測器1的光學系統100c一起構成起數位攝影機作用之攝影機系統1000。光學系統100c包含：配置在透鏡之光軸Da上的複數個透鏡111至113；及光圈機構114。透鏡112為在光軸方向Ds上以可移動方式組態之可移動透鏡，且該光學系統之焦距可經由可移動透鏡112調整。此外，數位攝影機系統1000包含用於藉由使用者操作將用於調整可移動透鏡112之移動量及光圈機構114之敞開程度的操作信號M1及M2輸出至可移動透鏡112及光圈機構114之攝影機操作區段100d。
CCD驅動電路100b經組態以產生水平CCD及垂直CCD之驅動信號Sd以及CCD影像感測器中之快門操作之控制信號Sc且將此等信號供應至CCD影像感測器。
在下文中，將詳細地描述信號處理裝置100。
信號處理裝置100為用於對來自CCD影像感測器1的對應於像素中之每一者之類比像素信號Ag執行信號處理的信號處理裝置。
具體言之，信號處理裝置100包含：用於對來自CCD影像感測器1的對應於像素中之每一者之類比像素信號Ag執行A/D轉換以輸出數位像素信號Dg的A/D轉換器101；用於 對來自A/D轉換器101之數位像素信號Dg的一信號位準(諸如，一黑色位準)執行調整處理之位準調整電路105a；用於儲存已針對CCD影像感測器1中之像素區段1a(參看圖10(b))之若干行(line)執行位準調整處理的數位像素信號Rg之影像緩衝器102；用於使用儲存於影像緩衝器102中之數位像素信號Db針對每一像素判定一或多個像素之亮度或飽和度的亮度或飽和度判定區段103；及用於基於該經判定像素之亮度或飽和度使用一定位於一目標像素之周邊的周邊像素之一像素信號執行內插該目標像素之一像素信號之內插處理的內插處理區段104。
在本文中，亮度或飽和度判定區段103包含：用於偵測每一像素之亮度或飽和度的亮度或飽和度偵測區段103a；及用於比較該像素之該偵測亮度或飽和度與一預定臨限值的亮度或飽和度比較區段103b。基於此比較結果，亮度或飽和度判定區段103判定每一像素之亮度及飽和度中之至少一者是否大於一預定臨限值，且輸出判定結果之資訊Dr。
具體言之，亮度或飽和度判定區段103經正常組態以便：自影像緩衝器102接收一待內插之目標像素及其周邊像素之數位像素信號Db以計算該目標像素之亮度或飽和度之任一者或兩者，比較所獲得之亮度或飽和度之資訊與一預定臨限值或一由該攝影系統設定之臨限值，且將指示一比較結果之判定資訊Dr輸出至內插處理區段104。
內插處理區段104亦執行自至少兩種或兩種以上類型之 內插處理中為每一像素選擇適合於與一目標像素之亮度或飽和度有關之一判定結果的內插處理及藉由該選定內插處理內插該目標像素之一像素信號的自適應內插處理。
在本文中，內插處理區段104包含：用於執行第一內插處理之內插處理電路[1]104a；用於執行不同於第一內插處理之第二內插處理的內插處理電路[2]104b；及用於基於來自亮度或飽和度判定區段103之指示一判定結果之判定信號Dr在第一內插處理與第二內插處理之間切換由內插處理區段104執行之內插處理類型的內插處理切換電路104c。具體言之，內插處理切換電路104c經組態以基於判定信號Dr將儲存於影像緩衝器102中之數位像素信號Db供應至內插處理電路[1]104a及內插處理電路[2]104b中之任一者，以便將對數位像素信號Db執行適當內插處理(第一內插處理或第二內插處理)。
應注意，由內插處理電路[1]104a執行之第一內插處理為如圖14、圖15、圖16或圖17所示的用於進行邊緣強調之內插處理類型之一。亦應注意，由內插處理電路[2]104b執行之第二內插處理為如圖13或圖18所示的用於平均化像素信號之內插處理類型之一。
已由內插處理區段執行如上所述之內插處理的數位像素信號變為包括每一像素之紅色數位像素信號(R像素值)、綠色數位像素信號(G像素值)及藍色數位像素信號(B像素值)的RGB數位像素信號。
信號處理裝置100進一步包含用於對RGB數位像素信號 執行影像品質調整處理(諸如，色彩矩陣處理、對比度調整處理及伽瑪校正處理)之影像品質調整電路105b。
首先，將描述整個攝影機系統之操作。
當攝影機系統之電源經接通時，驅動信號Sd及快門控制信號Sc係自CCD驅動區段100b供應至CCD影像感測器1，此允許CCD影像感測器1執行攝影操作。CCD影像感測器1中之攝影操作類似於參看圖10(b)所描述之攝影操作。
此外，焦點之調整係回應於來自攝影機操作區段100d之操作信號M1藉由可移動透鏡112之移動來執行，且光圈機構114中之光圈(aperture)之調整係回應於來自攝影機操作區段100d之操作信號M2而執行。
另外，當由CCD影像感測器1藉由攝影獲得之類比像素信號Ag在一後續階段中經輸出至信號處理裝置100時，對類比像素信號Ag執行信號處理。
圖2為用於說明信號處理裝置100之操作的流程圖。
首先，由A/D轉換器101對自CCD影像感測器1之像素讀出之類比像素信號Ag執行A/D轉換，以便將該等信號轉換成數位像素信號Dg(步驟S101)。
接著，在位準調整電路105a中，對數位像素信號Dg執行位準調整處理。舉例而言，針對位準調整處理，需要執行類似於習知信號處理裝置200之黑色位準調整(步驟S102)，且針對白平衡執行調整(步驟S102a)。雖然可能在信號處理之任何階段執行缺陷消除及雜訊拒斥，但在儘可能早的階段且在內插處理之前執行缺陷消除及雜訊拒斥更 加有效。請注意，若白平衡之調整係在內插處理之前執行，則計算量可能減少，但亦可能在內插處理之後執行該調整。
因而藉由對來自A/D轉換器101之數位像素信號Dg執行位準調整處理而獲得之數位像素信號Rg係儲存於用於CCD影像感測器1之像素區段中的像素之若干列的影像緩衝器102中。
接著，在亮度或飽和度偵測區段103a中，讀出一特定像素及定位於該特定像素周邊之像素的數位像素信號Dg以獲得目標像素之亮度或飽和度(步驟S103)。
具體言之，聚焦於一特定像素上，且使用包括所聚焦之像素(聚焦像素)的周邊之像素的數位像素信號來導出亮度及飽和度中之任一者或兩者。
雖然最簡單方法為用於使用G像素之數位像素信號來判定亮度之方法，但亦存在一種較準確的方法，其中以約3：6：1之比率分別添加鄰近R像素、G像素及B像素之數位像素信號，且如此獲得之數位像素信號之位準經判定為一明度位準。
請注意，一種獲得明度之方式可用於亮度。由於已知各種用於獲得明度之方法，故本文中將省略對其之描述。然而，為了簡化計算，亦可能使用藉由經由適當加權添加作為靠近目標像素之周邊像素的R像素、G像素及B像素之像素信號而獲得的一像素信號作為目標像素之明度。
針對目標像素之亮度，亦可能使用一自定位於用於目標 像素之內插處理的周邊像素之配置區域中的像素之像素信號獲得之明度信號。
雖然希望使用彩色矩陣來準確地獲得一明度位準，但亦可能省略彩色矩陣之使用。另外，若基於雜訊、缺陷或其類似者之數位像素信號可適當地被移除，則通常需要自用於判定所聚焦像素的周邊像素之數位像素信號中選擇具有最高信號位準之數位像素信號且使用該數位像素信號之信號位準判定所聚焦像素之亮度。
另外，針對飽和度，可能使用一種方法來獲得Lab之ab或La*b*之a*b*。此外，為了更簡單起見，利用G像素與R像素之輸出信號之間的定義為a*之差異且利用G像素與B像素之輸出信號之間的定義為b*之差異，可能獲得一絕對值以用於取代。此外，較佳地，可能將亮度及飽和度兩者用於判定標準。
具體言之，亦可能根據用於一目標像素之內插處理的周邊像素之像素信號中的綠色及紅色之像素信號之間的差異及綠色及藍色之像素信號之間的差異獲得目標像素之飽和度。
另外，在亮度或飽和度比較區段103b中，自亮度或飽和度偵測區段103a獲得作為內插目標的目標像素之亮度或飽和度，將目標像素之亮度或飽和度與亮度或飽和度之預設的臨限值進行比較，且將指示一比較結果之判定資訊Dr輸出至內插處理區段104。在內插處理區段104中，內插處理切換電路104c起作用以執行用於基於判定資訊Dr自適應地 切換待執行的複數個內插處理類型之自適應內插處理(步驟S104)。
對於將亮度及飽和度兩者用於判定標準之情況，只有當目標像素之亮度及飽和度均小於對應臨限值時，才會選擇第二內插處理(平均化)。對於其他情況，將選擇第一內插處理(邊緣強調)。
在此內插處理期間，執行記憶體管理以使得：內插所需的若干列之像素信號被暫時儲存於緩衝器中；且當目標列之內插結果被輸出時，該等列將移位至緊接之若干列，以設計出一種將記憶體之容量所需之量減至最少的方式。
另外，雖然對用於判定將執行哪一類型之內插處理之臨限值沒有限制，但將說明一些實例以在適當時實施本發明。
首先，當靠近待內插之像素(目標像素)定位之周邊像素的綠色之數位像素信號之平均值為滿刻度之5%或更小時，或當獲得靠近待內插之像素定位之周邊像素的明度位準之平均值且該平均值為滿刻度之5%或更小時，可想到設定用於將目標像素之內插處理類型自用於邊緣強調之內插處理切換至用於平均化數位像素信號之內插處理的一臨限值。
另一方面，可將以下指示符用於飽和度之臨限值。
飽和度為色彩之三個屬性之一。飽和度為色彩之亮度之標度，其基本上由距色彩空間之中心軸線(消色色彩軸線)之距離來表示。在消色色彩(白、黑及灰)中，此距離將為 零，且隨著該距離變得離消色色彩軸線越遠，飽和度將更接近純色。
舉例而言，可將L*a*b*色彩座標系統之色彩空間視為一球體，其中縱向方向上之軸線為亮度之軸線(消色色彩軸線)，L*指示該消色色彩軸線上之一位置，L*=0指示黑色，且L*=100指示白色。另外，在正交於消色色彩軸線的a*之軸線中，正值指示較接近紅色之色彩，而負值指示較接近綠色之色彩。在正交於消色色彩軸線的b*之另一軸線中，正值指示較接近黃色之色彩，且負值指示較接近藍色之色彩。a*之軸線正交於b*之軸線，且色彩可藉由包括a*之軸線及b*之軸線的一平面上之座標定量地定義。a*之軸線及b*之軸線的兩側上之色彩具有互補色之關係。
因此，對於飽和度之臨限值，可想到a*及b*之值為20或更小，或可想到(a*2+b*2)0.5之值為20或更小。
亦可能使用蒙賽爾色彩系統之一色彩空間作為該色彩空間，以定義亮度及飽和度。
為了在適當時抑制雜訊，可能基於一更實際之值、CCD影像感測器之像素信號中之雜訊位準或CCD影像感測器之光接收表面上之照度位準來設定亮度或飽和度之臨限值。
舉例而言，存在一種用於基於像素或CCD影像感測器之雜訊位準判定臨限值之方法。舉例而言，若CCD影像感測器之像素信號中之雜訊位準為3個電子，則可將作為用以判定亮度之臨限值的信號位準設定為該雜訊位準之十倍或30個電子。或者，例如，當CCD影像感測器之光接收表面 上之表面照度與快門時間的乘積為0.003 lux*s(其將為信號位準之亮度之臨限值)時，可量測CCD影像感測器中之數位像素信號之信號位準。
此外，針對當待內插之目標像素的亮度(或飽和度)大於或小於對應臨限值時的情況，將切換內插處理類型。
具體言之，若目標像素之亮度(或飽和度)大於臨限值，則將執行如圖14、圖15、圖16或圖17所示之用於執行邊緣強調之內插處理；且若目標像素之亮度(或飽和度)小於臨限值，則將執行如圖13或圖18所示之用於平均化之處理。
將在下文中提供詳細解釋。
在目標像素之亮度或飽和度大於臨限值之情況下，換言之，在目標像素為具有高亮度或飽和度之像素的情況下，在使用周邊像素之數位像素信號之內插中，對目標像素之數位像素信號執行邊緣強調(步驟105a)。具體言之，減去周邊像素之數位像素信號，或使用配置在具有由一條件公式決定之較小梯度之方向上的像素之數位像素信號執行內插。結果，將執行用於使一界線更清楚(distinct)之邊緣強調。
另一方面，在目標像素之亮度或飽和度小於臨限值的情況下，換言之，在不存在具有高亮度或飽和度之任何目標像素或其周邊像素的情況下，考慮到周邊像素執行用於平均化之內插處理(步驟S105b)。因而，藉由像素信號之平均化來執行內插處理，使得雜訊將基於用於平均化之像素之數目得到改良，而解析度將減小。在平均化期間，亦可 能對用於內插之數位像素信號適當地加權。
隨後，對已經受內插處理之數位像素信號執行色彩矩陣處理，以使自CCD影像感測器輸出的各別R、G及B色彩之像素信號(RGB像素信號)之特性與人眼對各別R、G及B色彩之敏感度特性匹配，以便將顯示一自然色影像(步驟S106)。
此外，對已經受色彩矩陣處理之RGB像素信號執行對比度調整處理及伽瑪校正處理以產生數位影像信號(步驟S107)，且輸出該等數位影像信號。
接著，將描述實施例1之工作效用。
根據實施例1，在用於對對應於複數個像素之像素信號執行信號處理的信號處理裝置中，執行自適應內插處理，其中判定每一像素之亮度或飽和度，且基於對像素判定之亮度或飽和度自兩個類型之內插處理中選擇一適當類型之內插處理且執行該內插處理。因此，藉由在一顯示幕上之具有低亮度或飽和度之一區域中內插來減少雜訊並改良S/N變得可能，且藉由在該顯示幕上之具有高亮度或飽和度之一區域中進行邊緣強調來增加解析度變得可能。
詳言之，對於具有低亮度之像素，如在第二內插處理中(圖13及圖18)，有可能藉由內插藉由混合及平均化像素之數位像素信號而獲得之一數位像素信號作為一目標信號之一數位像素信號來防止雜訊明顯。
此外，對於具有低飽和度之像素，如在第二內插處理中(圖13及圖18)，有可能藉由內插藉由混合及平均化周邊像 素之數位像素信號而獲得之一數位像素信號作為一目標信號之一數位像素信號來更好地顯示白色、黑色及灰色。
此外，對於具有高亮度之像素，如在第一內插處理中(圖14至圖17)，使用藉由減去周邊像素中之數位像素信號獲得之差執行用於內插一目標像素之一數位像素信號的涉及邊緣強調之內插處理，使得一主體之輪廓(界線)可得到增強且可獲得一清晰影像。
此外，對於如圖17所示的具有高亮度之像素，使用周邊像素之數位像素信號獲得像素信號之位準之等級，且將該等像素縮減至用於內插之像素中的配置在具有一緩和梯度之方向上之像素。結果，可執行用於邊緣強調之處理且可獲得一清晰影像。
此外，由於具有高飽和度之像素為具有高視覺吸引力之像素，故執行涉及邊緣強調之內插處理係有效的。
此外，如在圖14及圖15中所展示的涉及邊緣強調之內插處理中，使用除待內插之目標像素之數位像素信號的色彩以外之色彩的周邊像素之數位像素信號來執行用於邊緣強調之內插處理，且詳言之，使用G像素(經配置多達R像素及B像素之兩倍)之數位像素信號來執行邊緣強調，以便可更進一步增加解析度。
此外，當使用具有色彩與待內插之色彩相同的一彩色濾光片之一像素之一輸出信號時，防止一假色彩產生變得可能。
此外，藉由使用用於內插之一像素區域中的像素(亦 即，用於目標像素之內插之周邊像素)及定位於目標像素之周邊的未被用於該內插之周邊像素來獲得目標像素之亮度或飽和度，考慮到鄰近於目標像素(其為內插之主體)之周邊像素來判定目標像素之亮度或飽和度變得可能。此外，藉由基於如此獲得之目標像素之亮度或飽和度切換對目標像素之內插處理之類型，即使靠近目標像素存在一邊緣，選擇適當內插處理亦變得可能。
此外，藉由獲得用於內插之一像素區域中的複數個像素(亦即，用於目標像素之內插之周邊像素)之亮度或飽和度，選擇一更適當之類型之內插處理變得可能。希望，若在此種情況下針對每一像素獲得亮度或飽和度，則選擇一適當得多之類型之內插處理變得可能。在此情況下，以下亦有可能：使用包括用於目標像素之像素信號之內插的周邊像素之一區域中的包括不同色彩之像素的複數個像素之像素信號獲得目標像素之亮度或飽和度，且使用對目標像素所獲得之亮度或飽和度判定目標像素之亮度或飽和度(以執行與各別臨限值之比較)以基於此判定結果選擇內插處理類型。
此外，在獲得用於內插之一像素區域中的複數個像素(亦即，用於目標像素之內插之周邊像素)之亮度或飽和度的情況下，藉由使用最高亮度或飽和度作為目標像素之亮度或飽和度來判定目標像素之之亮度或飽和度，以便可針對內插處理之切換作出適當判定。
此外，由於綠色對允許亮度被視覺感知之波長而言最重 要，故以周邊像素中之G像素之數位像素信號作為標準，執行用於切換內插處理的目標像素之亮度或飽和度之判定。因此，基於單一色彩之數位像素信號利用很少計算切換內插處理類型變得可能。
在實施例1中，自適應內插處理基於目標像素之亮度或飽和度是否大於一對應臨限值而自兩個類型之內插處理中選擇適當內插處理且執行該內插處理。然而，基於目標像素之亮度或飽和度與複數個對應臨限值之間的大小關係，自適應內插處理亦可自三個類型之內插處理中選擇適當內插處理且執行該適當內插處理。
該兩個類型之內插處理係用於使用藉由將周邊像素之像素信號乘以不同係數而獲得之一像素信號內插目標像素之一像素信號，且因此，色調將難以改變，且可藉由將該等係數之和設定為1來獲得一自然著色。
此外，該兩個類型之內插處理係用於使用藉由將周邊像素之像素信號乘以不同係數而獲得之一像素信號內插目標像素之一像素信號，且對於每一類型之內插處理，關於係數，亦可能使用經由基於對目標像素判定之亮度或飽和度連續變化而獲得的係數。
舉例而言，圖4例示為圖14中所展示之內插處理之變體的內插處理。在圖4中所展示之內插處理中，係數k被改變，以便邊緣強調將被連續地改變。此情況下之係數k可為目標像素之亮度或飽和度值之線性函數或對數函數。
圖3為用於說明由根據實施例1之信號處理裝置進行的自 適應內插處理之效用之圖。
在一影像係藉由使用藉由在根據實施例1之信號處理裝置100中執行自適應內插處理而獲得之數位像素信號顯示的情況下，點光源A可清晰地顯示於顯示幕D上，如圖3所示。此外，明亮展示之人物之輪廓可藉由邊緣強調而清晰地顯示。此外，對顯示幕中之黑暗物件BO而言，雜訊並不明顯。此外，類似地，對於黑暗背景部分Ba而言，雜訊並不明顯。
(實施例2)
圖5為用於說明根據本發明之實施例2之固態攝像裝置的圖，其中圖5(a)示意地展示包括該固態攝像裝置之攝影機系統之總體組態且圖5(b)展示構成該固態攝像裝置之信號處理裝置之組態。
根據實施例2之固態攝像裝置110a使用包含用於對來自A/D轉換器101之數位像素信號Dg執行雜訊拒斥處理之雜訊拒斥電路106的信號處理裝置替代根據實施例1之固態攝像裝置100a中之信號處理裝置100。剩餘組態等同於根據實施例1之固態攝像裝置100a之剩餘組態。
固態攝像裝置110a與用於將來自一主體之光導引至CCD影像感測器1的光學系統100c一起構成起數位攝影機作用之攝影機系統1100。光學系統100c等同於實施例1中之光學系統。
雜訊拒斥電路106執行雜訊拒斥處理，該雜訊拒斥處理用於讀取來自影像緩衝器102之數位像素信號Db且用定位 於一個像素之周邊的像素之一數位像素信號之一平均值或中間值替換該等數位像素信號Db中的完全不同於該平均值或中間值中之任一者。
因此，亮度或飽和度判定區段103及內插處理區段104將能夠藉由使用已拒斥雜訊之數位像素信號來執行信號處理。
在實施例2中，雖然提供雜訊拒斥電路106以在關於亮度或飽和度之判定處理及目標像素之內插處理之前執行雜訊拒斥處理，但雜訊拒斥處理可在關於亮度或飽和度之判定處理期間及在內插處理期間執行。
在此情況下，該雜訊拒斥電路基於儲存於一影像緩衝器中的複數個像素之數位像素信號記憶具有雜訊之一像素，且該影像緩衝器經控制，使得具有雜訊之該像素之數位像素信號將不會輸出至亮度或飽和度判定區段103或內插處理區段104。因此，亮度或飽和度判定區段103及內插處理區段104變得可能在關於亮度或飽和度之判定處理期間及在內插處理期間拒斥數位像素信號之雜訊。
此外，除雜訊處理外，亦可能執行一陰影校正，換言之，用以校正由光學系統之特性或光接收表面內之轉移閘或其類似者的驅動電壓之梯度導致的該光接收表面之中心部分及周邊部分處的數位像素信號之間的差異之處理。
請注意，可在將數位像素信號儲存至影像緩衝器中之前或之後或藉由使用影像緩衝器執行諸如缺陷消除之處理。
(實施例3)
圖6為用於說明根據本發明之實施例3之固態攝像裝置的圖，其中圖6(a)示意地展示包括該固態攝像裝置之攝影機系統之總體組態且圖6(b)展示構成該固態攝像裝置之信號處理裝置之組態。
根據實施例3之固態攝像裝置120a使用包含經組態以基於攝影機系統1200之一光學系統之一聚光狀態限制對來自A/D轉換器101之數位像素信號Dg的自適應內插處理之內插處理區段114的信號處理裝置120替代根據實施例1之固態攝像裝置100a中之信號處理裝置100。剩餘組態等同於根據實施例1之固態攝像裝置100a之剩餘組態。
具體言之，在實施例3中，內插處理區段114經組態以基於指示來自攝影機系統1200之光學系統之會聚狀態的資訊Lc限制用於基於藉由亮度或飽和度判定區段獲得的目標像素之亮度或飽和度自適應地切換內插處理類型的自適應內插處理。
舉例而言，存在需要基於一光源之亮度或基於一光接收區段之周邊的光之量之資訊限制自適應內插處理的情況。
此係因為在當天空或森林背景在日間在室外逆著光之影像擷取期間比一主體明亮時，或當天空在日落時比一主體明亮時，或當在影像擷取期間窗外比室內明亮時的狀態下，不需要操作自適應內插處理。
此外，需要基於光之量判定是否執行自適應內插處理。此係因為，當很明亮且飽和度很高以使得自適應內插並非必要時，執行用於平均化之一單獨內插將為必要的。當因 為很明亮且飽和度很高以使得自適應內插並非必要而未執行自適應內插處理時，需要預先設定一信號處理裝置以執行用於邊緣強調之內插處理。
另外，為了適當地度量(gauge)光接收區段中之暗度，可單獨地設置用於量測光之量的一感測器，使得內插處理切換電路114c可基於來自該感測器之一輸出值作出一判定。
此外，在實施例3中，內插處理切換電路114c自CCD驅動區段100b接收指示CCD影像感測器處之一快門時間的快門資訊；且內插處理切換電路114c可在該快門時間極短時始終執行關於平均化之內插處理，使得黑暗部分中之雜訊可減少。
此外，在實施例3中，需要基於一透鏡之設定判定是否執行自適應內插處理。
此係因為一透鏡之設定包括一光圈之一值之設定及一焦距之設定，且哪個邊緣將在光圈接近其最寬狀態時被強調或遮蔽為一極敏感的問題。又，當在光圈接近其最窄狀態之情況下使用一廣角透鏡時，可更多地執行邊緣強調，因為預期全焦點。
另一方面，由於具有一長焦距之一區域傾向於變模糊且整個螢幕難以在具有一短焦距之一區域中變模糊，故內插處理切換電路114c可獲得關於一焦距之資訊，且基於該焦距，邊緣強調之程度可藉由改變如圖4中所展示之內插處理中之係數k來調整。
另外，由於遮蔽方式以一類似方式視CCD影像感測器之 大小而變化，故由內插處理區段114切換之內插處理中的邊緣強度之設定必須考慮此感測器之大小作出。
另外，自適應內插處理在當一螢幕之一部分明亮時照片拍攝環境足夠黑暗之一位置處最有效。相反地，當整個螢幕明亮時，不可執行自適應內插處理。
另外，由於解析度在陰天或下雨時將減小，故可調整自適應內插處理，以便在第二內插處理(平均化)中減少待混合之像素之數目，或以使得用於將內插處理切換至第一內插處理(邊緣強調)之臨限值降低以強調輪廓。
此外，若圖12中所展示之CMOS影像感測器中的一自動增益控制器16中之增益或一數位放大器中之增益未達到一特定值，則雜訊可能不成問題。因此，內插處理區段114需要接收此種增益之位準以基於增益之量值判定是否執行自適應內插處理。
為此目的，雖然可能設定用於使用一類比增益或一數位增益判定是否執行自適應內插處理之一臨限值，但該臨限值可使用ISO敏感度設定。舉例而言，可能將自適應內插處理設定為在ISO敏感度1600或更高ISO敏感度下起作用。
(實施例4)
圖7為用於說明根據本發明之實施例4之固態攝像裝置的圖，其中圖7(a)示意地展示包括該固態攝像裝置之攝影機系統之總體組態且圖7(b)展示構成該固態攝像裝置之信號處理裝置之組態。
根據實施例4之固態攝像裝置130a使用包含用於自適應 地切換由一個內插處理電路134a進行之兩種或兩種以上類型之內插處理的內插處理區段134的信號處理裝置130替代根據實施例1之固態攝像裝置100a中之信號處理裝置100。剩餘組態等同於根據實施例1之固態攝像裝置100a之剩餘組態。
另外，固態攝像裝置130a與用於將來自一主體之光導引至CCD影像感測器1之光學系統100c一起構成起數位攝影機作用之攝影機系統1300。光學系統100c等同於實施例1中之光學系統。
具體言之，在根據實施例4之CCD固態攝像裝置130a之信號處理裝置130中，內插處理區段134包含：內插處理電路134a，其用於改變根據定位於一目標像素之周邊的周邊像素之像素信號計算將為一內插主體之該目標像素之一像素信號的一內插計算公式中之一係數，以達成兩種或兩種以上類型之內插處理；及內插係數切換電路134b，其用於基於來自亮度或飽和度判定區段103之指示一判定結果之一判定信號Dr選擇內插處理電路134a中所使用之該內插計算公式之一係數，且將指示該選定係數之係數資訊Ce輸出至內插處理電路134a。
根據實施例4之CCD固態攝像裝置130a中的信號處理裝置130之剩餘組態等同於根據實施例1之CCD固態攝像裝置100a的信號處理裝置100之剩餘組態。
接著，將描述本發明之實施例4之操作。
在信號處理裝置130中，僅內插處理區段134之操作不同 於根據實施例1之信號處理裝置100。因此將在下文中描述由此信號處理裝置進行之內插處理。
圖8為用於說明根據本發明之實施例4之CCD固態攝像裝置130a中的信號處理裝置之操作的圖，其展示將相同內插像素用於兩個不同類型之內插處理及改變用於內插之計算公式中之係數的一個實例。
在本文中，將關於內插圖4(a)中所展示像素P22、P163及P243之R像素值之情況的一個實例描述操作。在此實例中，內插係數切換電路134b基於目標像素之亮度或飽和度判定將使用來自兩種或兩種以上類型之係數中的哪個係數。
分別用於內插像素P22、P163及P243之R像素值的計算公式中之每一者由圖4(a)中所展示之公式(1)、公式(2)及公式(3)藉由使用一係數k來表示。
具體言之，當內插處理電路134a使用公式(1)至(3)內插一像素之一R像素值時，該內插處理電路基於來自內插係數切換電路134b之係數資訊Ce判定該等公式中之每一者中之一係數。
舉例而言，當像素P22、P163及P243之亮度或飽和度經判定為大於一預定臨限值時，將對此等像素執行涉及邊緣強度之內插處理。在此情況下，在內插處理電路134a中，將判定公式(1)至(3)中之每一者之係數k，使得公式(1)至(3)將為圖14(a)中所展示之公式(4a)至(4c)。
另一方面，當像素P163之亮度或飽和度經判定為小於該 預定臨限值時，將對此像素執行藉由像素值之平均化而進行之內插處理。在此情況下，在內插處理電路134a中，將判定公式(2)之係數k(參見圖4(a))，使得公式(2)將為圖8(a)中所展示之公式(5)。請注意，圖8(a)展示對像素P22及P243執行涉及邊緣強調之內插處理的一種情況，且圖8(a)中之公式(4)及(6)等同於圖14(a)中之公式(4a)及(4c)。
根據如上所述之實施例4，內插處理區段134經組態以包含：內插處理電路134a，其用於改變根據定位於目標像素之周邊的周邊像素之像素值計算將為內插主體之目標像素之像素信號的一內插計算公式中之一係數，以達成複數個類型之內插處理；及內插係數切換電路134b，其用於基於來自亮度或飽和度判定區段103之指示一判定結果之判定信號Dr選擇內插處理電路134a中所使用之內插計算公式之一係數，且將指示該選定係數之係數資訊Ce輸出至內插處理電路134a。因此，可藉由一個內插電路達成涉及邊緣強調之內插處理及藉由平均化進行之內插處理，因而簡化內插處理區段134之電路組態。
此外，根據實施例1至4之固態攝像裝置中的信號處理裝置中之信號處理可由一電腦根據一信號處理程式執行；且由該電腦執行之基本步驟包含：針對每一像素基於對應於像素之一像素信號判定像素之亮度或飽和度的一步驟；及基於一目標像素之該判定之亮度或飽和度執行用於根據定位於該目標像素之周邊的周邊像素之像素信號計算該目標像素之一像素信號之自適應內插處理的一步驟。在執行該 自適應內插處理之該步驟中，由一電腦執行該自適應內插處理以用於自至少兩個類型或兩個以上類型之內插處理中切換適合於該目標像素之該判定之亮度或飽和度的內插處理類型。
在該等步驟中之每一者中，執行實施例1至4中所說明的自適應內插處理類型。
此種信號處理程式係儲存於一電腦可讀取儲存媒體上，且一電腦自該儲存媒體讀取該信號處理程式以執行包括該自適應內插處理之信號處理。
(實施例5)
圖9為展示作為本發明之實施例5的電子資訊機器之例示性示意組態的方塊圖，該電子資訊機器包含在其攝像區段中使用的根據實施例1至4之該等固態攝像裝置中之任一者。
如圖9所示的根據本發明之實施例5之電子資訊機器90包含根據本發明之實施例1至4的固態攝像裝置中之任一者作為用於擷取一主體之攝像區段91。電子資訊機器90至少進一步包含下列各者中之任一者：記憶體區段92(例如，記錄媒體)，其用於在對影像資料執行預定信號處理以用於記錄之後資料記錄藉由使用該攝像區段獲得之一高品質影像資料；顯示區段93(例如，液晶顯示機器)，其用於在執行預定信號處理以用於顯示之後在一顯示幕(例如，液晶顯示幕)上顯示此影像資料；通信區段94(例如，傳輸及接收機器)，其用於在對影像資料執行預定信號處理以用於 通信之後傳達此影像資料；及影像輸出區段95，其用於印刷(打字輸出)及輸出(印出)此影像資料。
如上所述，本發明係藉由使用其較佳實施例例證。然而，不應僅基於上文所描述之實施例來解釋本發明。應瞭解，應僅基於申請專利範圍來解釋本發明之範疇。亦應瞭解，熟習此項技術者可基於本發明之描述及來自本發明之詳細較佳實施例之描述的普通知識來實施技術之等同範疇。此外，應瞭解，本說明書中所應用之任何專利、任何專利申請案及任何參考案應以引用方式併入本說明書中，其方式與內容在本文中被詳細描述相同。
工業適用性
本發明可應用於以下領域中：一種信號處理裝置及一種信號處理方法，其用於在一螢幕上之一明亮區域與一黑暗區域之間自適應地切換像素信號之內插；一種裝備該信號處理裝置之固態攝像裝置；一種裝備該固態攝像裝置之電子資訊機器；一種用於允許一電腦執行該信號處理方法之信號處理程式；以及一種用於記錄該信號處理程式之電腦可讀取儲存媒體。在本發明中，獲得以下各者變得可能：一種信號處理裝置及一種信號處理方法，其能夠藉由在一顯示幕上之具有低亮度或飽和度之一區域中內插來減少雜訊並改良S/N且藉由在該顯示幕上之具有高亮度或飽和度之一區域中進行邊緣強調來增加解析度；一種包括該信號處理裝置之固態攝像裝置；一種包含該固態攝像裝置之電子資訊機器；一種用於允許一電腦執行該信號處理方法之 影像處理程式；及一種用於記錄該信號處理程式之電腦可讀取儲存媒體。
在本文中，上文所描述之固態攝像裝置為用於使用一彩色濾光片將光分離成多個波長且獲得彩色影像信號以對應於人類視覺的固態攝像裝置。上文所描述之電子資訊機器為諸如以下之電子資訊機器：數位攝影機(例如，數位視訊攝影機或數位靜態相機)、影像輸入攝影機(例如，監視攝影機)、掃描器、傳真機、電視電話機器及裝備攝影機之行動電話機器，包括固態攝像裝置作為在其攝像區段中使用之影像輸入機器。
1‧‧‧CCD影像感測器
90‧‧‧電子資訊機器
91‧‧‧攝像區段
92‧‧‧記憶體區段
93‧‧‧顯示區段
94‧‧‧通信區段
95‧‧‧影像輸出區段
100、110、120、130‧‧‧信號處理裝置
100a、110a、120a、130a‧‧‧固態攝像裝置
100b‧‧‧CCD驅動電路
100c‧‧‧光學系統
100d‧‧‧攝影機操作區段
101‧‧‧A/D轉換器
102‧‧‧影像緩衝器
103‧‧‧亮度或飽和度判定區段
103a‧‧‧亮度或飽和度偵測區段
103b‧‧‧亮度或飽和度比較區段
104‧‧‧內插處理區段
104a‧‧‧內插處理電路[1]
104b‧‧‧內插處理電路[2]
104c‧‧‧內插處理切換電路
105a‧‧‧位準調整電路
105b‧‧‧影像品質調整電路
106‧‧‧雜訊拒斥電路
111、113‧‧‧固定透鏡
112‧‧‧可移動透鏡
114‧‧‧光圈機構
1000、1100、1200、1300‧‧‧攝影機系統
Ag‧‧‧類比像素信號
Da‧‧‧光軸
Db‧‧‧數位像素信號
Dg‧‧‧數位像素信號
Dr‧‧‧判定資訊/判定信號
Ds‧‧‧光軸方向
M1‧‧‧操作信號
M2‧‧‧操作信號
Rg‧‧‧數位像素信號
Sc‧‧‧控制信號/快門控制信號
Sd‧‧‧驅動信號
圖1為用於說明根據本發明之實施例1之固態攝像裝置的圖，其中圖1(a)示意地展示包含該固態攝像裝置之攝影機系統之總體組態且圖1(b)展示構成該固態攝像裝置之信號處理裝置之組態。
圖2為用於說明根據本發明之實施例1的固態攝像裝置之操作的流程圖，其中用流程圖展示用於數位化及信號處理像素信號之操作。
圖3為用於說明本發明之效用的圖。
圖4(a)至圖4(c)為用於說明根據本發明之實施例1的固態攝像裝置中之信號處理裝置之操作的圖，其展示使用一函數改變R像素信號之邊緣強調的一個實例。
圖5為用於說明根據本發明之實施例2之固態攝像裝置的圖，其中圖5(a)示意地展示包括該固態攝像裝置之攝影機 系統之總體組態且圖5(b)展示構成該固態攝像裝置之信號處理裝置之組態。
圖6為用於說明根據本發明之實施例3之固態攝像裝置的圖，其中圖6(a)示意地展示包括該固態攝像裝置之攝影機系統之總體組態且圖6(b)展示構成該固態攝像裝置之信號處理裝置之組態。
圖7為用於說明根據本發明之實施例4之固態攝像裝置的圖，其中圖7(a)示意地展示包括該固態攝像裝置之攝影機系統之總體組態且圖7(b)展示構成該固態攝像裝置之信號處理裝置之組態。
圖8(a)至圖8(c)為用於說明根據本發明之實施例4的固態攝像裝置中之信號處理裝置之操作的圖，其展示將相同內插像素用於兩個不同類型之內插處理及改變用於內插之計算公式中之係數的一個實例。
圖9為展示作為本發明之實施例5的電子資訊機器之例示性示意組態的方塊圖，該電子資訊機器包含在其攝像區段中使用的根據實施例1至4之該等固態攝像裝置中之任一者。
圖10為用於說明習知CCD固態攝像裝置之圖，其中圖10(a)示意地展示該習知固態攝像裝置之總體組態，圖10(b)展示構成該固態攝像裝置之CCD影像感測器之組態，且圖10(c)展示該固態攝像裝置中之彩色濾光片之配置。
圖11為用於說明習知固態攝像裝置之操作的圖，其以流程圖展示數位化及信號處理類比影像信號之操作。
圖12為用於說明習知CMOS固態攝像裝置之圖。
圖13為用於說明構成習知固態攝像裝置之信號處理裝置中的線性內插處理之圖，其中圖13(a)展示R像素之像素信號之內插處理，圖13(b)展示G像素之像素信號之內插處理，且圖13(c)展示B像素之像素信號之內插處理。
圖14為用於說明構成習知固態攝像裝置之信號處理裝置中的R像素信號之邊緣強調的圖，其單獨地展示像素區段中的R像素之配置(圖14(a))、G像素之配置(圖14(b))及B像素之配置(圖14(c))。
圖15為用於說明構成習知固態攝像裝置之信號處理裝置中的G像素信號之邊緣強調的圖，其單獨地展示像素區段中的R像素之配置(圖15(a))、G像素之配置(圖15(b))及B像素之配置(圖15(c))。
圖16為用於說明構成習知固態攝像裝置之信號處理裝置中的G像素信號之邊緣強調的圖，其展示僅使用G像素執行G像素信號之邊緣強調處理的一個實例。
圖17為用於說明考慮到構成習知固態攝像裝置之信號處理裝置中的像素值梯度之內插處理的圖，其中圖10(b)中所展示的像素區段中之像素之配置分別在圖17(a)、圖17(b)及圖17(c)中用色彩(紅、綠及藍)來單獨地指示。
圖18為用於說明使用相同色彩之周邊像素之像素值內插待內插之像素之像素值的一個實例之圖，其中圖10(b)中所展示的像素區段中之像素之配置分別在圖18(a)、圖18(b)及圖18(c)中用色彩(紅、綠及藍)來單獨地指示。
1‧‧‧CCD影像感測器(攝像元件)
100‧‧‧信號處理裝置
100a‧‧‧固態攝像裝置
100b‧‧‧CCD驅動電路/CCD驅動區段
100c‧‧‧光學系統
100d‧‧‧攝影機操作區段
101‧‧‧A/D轉換器
102‧‧‧影像緩衝器
103‧‧‧亮度或飽和度判定區段
103a‧‧‧亮度或飽和度偵測區段
103b‧‧‧亮度或飽和度比較區段
104‧‧‧內插處理區段
104a‧‧‧內插處理電路[1]
104b‧‧‧內插處理電路[2]
104c‧‧‧內插處理切換電路
105a‧‧‧位準調整電路
105b‧‧‧影像品質調整電路
111‧‧‧固定透鏡
112‧‧‧可移動透鏡
113‧‧‧固定透鏡
114‧‧‧光圈機構/內插處理區段
1000‧‧‧攝影機系統
Ag‧‧‧類比像素信號
Da‧‧‧光軸
Db‧‧‧數位像素信號
Dg‧‧‧數位像素信號
Dr‧‧‧判定資訊/判定信號
Ds‧‧‧光軸方向
M1‧‧‧操作信號
M2‧‧‧操作信號
Rg‧‧‧數位像素信號
Sc‧‧‧控制信號/快門控制信號
Sd‧‧‧驅動信號

Claims (36)

  1. 一種用於對自一攝像元件輸出之像素信號執行信號處理之信號處理裝置，該攝像元件具有用於對來自一主體之光進行光電轉換之複數個像素，該像素信號對應於各別像素，該信號處理裝置包含：一判定區段，其用於針對每一像素判定一個或複數個像素處之亮度或飽和度；及一內插處理區段，其用於基於一目標像素之該判定之亮度或飽和度使用定位於該目標像素之周邊的周邊像素之像素信號執行內插該目標像素之一像素信號的內插處理，其中該內插處理區段執行自至少兩種或兩種以上類型之內插處理中為每一像素選擇適合於該目標像素之該判定之亮度或飽和度之內插處理及藉由該選定內插處理內插該目標像素之一像素信號的自適應內插處理。
  2. 如請求項1之信號處理裝置，其中當該目標像素之該判定之亮度小於一預定臨限值時，該內插處理區段選擇混合該等周邊像素之該等像素信號之內插處理。
  3. 如請求項1之信號處理裝置，其中當該目標像素之該判定之亮度大於一預定臨限值時，該內插處理區段選擇涉及使用該等周邊像素之該等像素信號之一差對該目標像素進行邊緣強調之內插處理。
  4. 如請求項1之信號處理裝置，其中當該目標像素之該判定之亮度大於一預定臨限值時，該內插處理區段選擇獲 得該等周邊像素之該等像素信號之一梯度、基於該梯度自該複數個周邊像素選擇特定周邊像素及混合該等選定之特定周邊像素之像素信號的內插處理。
  5. 如請求項1之信號處理裝置，其中當該目標像素之該判定之飽和度小於一預定臨限值時，該內插處理區段選擇混合該等周邊像素之該等像素信號之內插處理。
  6. 如請求項1之信號處理裝置，其中當該目標像素之該判定之飽和度大於一預定臨限值時，該內插處理區段選擇涉及使用該等周邊像素之該等像素信號之一差對該目標像素進行邊緣強調之內插處理。
  7. 如請求項1之信號處理裝置，其中當該目標像素之該判定之飽和度大於一預定臨限值時，該內插處理區段選擇獲得該等周邊像素之該等像素信號之一梯度、基於該梯度自該複數個周邊像素選擇特定周邊像素及混合該等選定之特定周邊像素之像素信號的內插處理。
  8. 如請求項1之信號處理裝置，其中當使用該等周邊像素之該等像素信號之一差執行邊緣強調時，該內插處理區段選擇使用該等周邊像素中具不同於待內插之像素信號的色彩之色彩的像素信號作為該目標像素之該像素信號內插該目標像素之該像素信號的內插處理。
  9. 如請求項1之信號處理裝置，其中當該內插處理區段藉由獲得配置有該等周邊像素之一區域中的該等像素信號之一梯度、基於該梯度自該複數個周邊像素選擇特定周邊像素及混合該等選定之特定周邊像素之像素信號來執 行該目標像素之內插處理時，該梯度係藉由使用該等周邊像素中具不同於待內插之像素信號的色彩之色彩的像素信號獲得。
  10. 如請求項1之信號處理裝置，其中該判定區段將包括用以內插該目標像素之該像素信號之該等周邊像素之一區域中的包括不同色彩之像素的複數個像素之像素信號用於判定該目標像素之亮度或飽和度。
  11. 如請求項1之信號處理裝置，其中該判定區段使用自包括用於該內插處理之該等周邊像素之一區域中之該等像素獲得的該等各別像素之亮度中之一最高亮度判定該目標像素之亮度。
  12. 如請求項1之信號處理裝置，其中該判定區段根據該等周邊像素中之一綠色像素之一像素信號判定該目標像素之亮度。
  13. 如請求項1之信號處理裝置，其中針對該目標像素之亮度，該判定區段使用自包括用於該目標像素之內插處理的該等周邊像素之一區域中的像素之像素信號獲得之一明度信號。
  14. 如請求項1之信號處理裝置，其中該判定區段根據來自用於該目標像素之內插處理的該等周邊像素之該等像素信號中的綠色及紅色之像素信號之一差及綠色及藍色之像素信號之一差獲得該目標像素之飽和度。
  15. 如請求項1之信號處理裝置，其中：該信號處理裝置進一步包含一雜訊拒斥區段，該雜訊 拒斥區段用於對自該攝像元件輸出的對應於該等各別像素之該等像素信號執行雜訊拒斥處理；且該判定區段基於已經受該雜訊拒斥處理之像素信號計算該目標像素之亮度或飽和度。
  16. 如請求項1之信號處理裝置，其中該判定區段經組態以在對自該攝像元件輸出之對應於該等各別像素之該等像素信號執行雜訊拒斥處理時，基於對應於該等各別像素之該等像素信號針對每一像素判定該等像素之亮度或飽和度。
  17. 如請求項1之信號處理裝置，其中：該信號處理裝置進一步包含一雜訊拒斥區段，該雜訊拒斥區段用於對自該攝像元件輸出的對應於該等各別像素之該等像素信號執行雜訊拒斥處理；且該內插處理區段使用已經受該雜訊拒斥處理之像素信號執行該自適應內插處理。
  18. 如請求項1之信號處理裝置，其中該內插處理區段經組態以在對自該攝像元件輸出的對應於該等各別像素之該等像素信號執行雜訊拒斥處理時執行該自適應內插處理。
  19. 如請求項1之信號處理裝置，其中該兩種或兩種以上類型之內插處理為使用相同周邊像素之內插處理，該內插處理為用於根據該等相同周邊像素之像素信號獲得該目標像素之該像素信號的一公式準備兩個或兩個以上不同係數，且該內插處理基於該目標像素之亮度或飽和度判 定使用該兩個或兩個以上不同係數中之哪些。
  20. 如請求項1之信號處理裝置，其中：該兩種或兩種以上類型之內插處理係用於藉由使用藉由將該等周邊像素之該等像素信號乘以不同係數而獲得之一像素信號內插該目標像素之該像素信號；且針對每一類型之該內插處理中之該等係數，使用經由基於該目標像素之該判定之亮度或飽和度連續變化而獲得之係數。
  21. 如請求項20之信號處理裝置，其中針對該兩種或兩種以上類型之該內插處理中之每一者中的該等係數，使用經由基於一線性函數連續變化而獲得的係數，該線性函數係基於該目標像素之該判定之亮度或飽和度。
  22. 如請求項20之信號處理裝置，其中針對該兩種或兩種以上類型之該內插處理中之每一者中的該等係數，使用經由基於一對數函數連續變化而獲得的係數，該對數函數係基於該目標像素之該判定之亮度或飽和度。
  23. 如請求項1之信號處理裝置，其中：該兩種或兩種以上類型之內插處理係用於使用藉由將該複數個周邊像素中之每一者的一像素信號乘以係數而獲得之像素信號之一總和內插該目標像素之該像素信號；且該複數個周邊像素中之每一者之該像素信號所乘以的該等係數之該總和為1。
  24. 如請求項1之信號處理裝置，其中該內插處理區段經組 態以基於作為一光源之一主體限制該自適應內插處理。
  25. 如請求項1之信號處理裝置，其中該內插處理區段經組態以在影像擷取期間在該攝像元件中之一增益等於或小於一固定倍率之情況下限制該自適應內插處理。
  26. 如請求項1之信號處理裝置，其中該內插處理區段經組態以在影像擷取期間在該攝像元件接收的光之量等於或大於一固定光量之情況下限制該自適應內插處理。
  27. 如請求項1之信號處理裝置，其中該內插處理區段經組態以基於用於在影像擷取期間將來自該主體之光導引至該攝像元件之一光學系統之一聚光狀態限制該自適應內插處理。
  28. 如請求項27之信號處理裝置，其中該內插處理區段經組態以基於在影像擷取期間該光學系統之一光圈之程度限制該自適應內插處理。
  29. 如請求項27之信號處理裝置，其中該內插處理區段經組態以基於在影像擷取期間該光學系統之一焦距限制該自適應內插處理。
  30. 如請求項1之信號處理裝置，其中該內插處理區段經組態以基於在影像擷取期間該攝像元件之一快門速度限制該自適應內插處理。
  31. 如請求項1之信號處理裝置，其中該內插處理區段經組態以在判定一主要主體之一影像係逆著該光擷取之情況下限制該自適應內插處理。
  32. 一種用於對自一攝像元件輸出之像素信號執行信號處理 之信號處理方法，該攝像元件具有用於對來自一主體之光進行光電轉換之複數個像素，該等像素信號對應於各別像素，該信號處理方法包含：針對每一像素判定一個或複數個像素處之亮度或飽和度的一步驟；及基於一目標像素之該判定之亮度或飽和度使用定位於該目標像素之周邊的周邊像素之像素信號執行內插該目標像素之一像素信號之內插處理的一步驟，其中執行內插處理之該步驟執行自至少兩種或兩種以上類型之內插處理中為每一像素選擇適合於該目標像素之該判定之亮度或飽和度之內插處理及藉由該選定內插處理內插該目標像素之一像素信號的自適應內插處理。
  33. 一種固態攝像裝置，其包含：一攝像元件，其具有用於對來自一主體之光進行光電轉換之複數個像素；及一信號處理裝置，其用於對自該攝像元件輸出之對應於各別像素之像素信號執行信號處理，其中該信號處理裝置為如請求項1至31中任一項之信號處理裝置。
  34. 一種包含用於擷取一主體之一影像的一攝像區段之電子資訊機器，其中該攝像區段使用如請求項33之固態攝像裝置。
  35. 一種用於允許一電腦對自一攝像元件輸出之像素信號執行信號處理的信號處理程式，該攝像元件具有用於對來 自一主體之光進行光電轉換之複數個像素，該等像素信號對應於各別像素，該信號處理程式允許該電腦執行：針對每一像素判定一個或複數個像素處之亮度或飽和度的一步驟；及基於一目標像素之該判定之亮度或飽和度執行內插處理以根據定位於該目標像素之周邊的周邊像素之像素信號計算該目標像素之一像素信號的一步驟，其中執行內插處理之該步驟允許該電腦執行將至少兩種或兩種以上類型之內插處理中的該等類型之內插處理切換至適合於該目標像素之該判定之亮度或飽和度之內插處理的自適應內插處理。
  36. 一種電腦可讀取儲存媒體，其用於記錄如請求項35之信號處理程式。
TW101131619A 2011-08-30 2012-08-30 信號處理裝置及信號處理方法、固態攝像裝置、電子資訊機器、信號處理程式以及電腦可讀取儲存媒體 TWI524781B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011187830 2011-08-30

Publications (2)

Publication Number Publication Date
TW201316784A TW201316784A (zh) 2013-04-16
TWI524781B true TWI524781B (zh) 2016-03-01

Family

ID=47755615

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101131619A TWI524781B (zh) 2011-08-30 2012-08-30 信號處理裝置及信號處理方法、固態攝像裝置、電子資訊機器、信號處理程式以及電腦可讀取儲存媒體

Country Status (4)

Country Link
US (1) US9160937B2 (zh)
JP (1) JP5675996B2 (zh)
TW (1) TWI524781B (zh)
WO (1) WO2013031081A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011253779A1 (en) * 2011-12-01 2013-06-20 Canon Kabushiki Kaisha Estimation of shift and small image distortion
JP2015007739A (ja) * 2012-10-01 2015-01-15 キヤノン株式会社 表示装置及びその制御方法
US10455199B1 (en) * 2015-08-11 2019-10-22 The Boeing Company Image management system for reducing effects of laser beams
WO2017068702A1 (ja) 2015-10-22 2017-04-27 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN106488203B (zh) * 2016-11-29 2018-03-30 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
KR20190049197A (ko) * 2017-11-01 2019-05-09 한국전자통신연구원 고해상도 영상을 이용한 업샘플링 및 rgb 합성 방법, 및 이를 수행하는 장치
CN111163301B (zh) 2018-11-07 2021-04-20 浙江宇视科技有限公司 色彩调整方法、装置及计算机可读存储介质
JP7442990B2 (ja) * 2018-11-07 2024-03-05 三星電子株式会社 信号処理装置及び信号処理方法
CN112312054B (zh) * 2019-08-01 2022-10-21 杭州海康威视数字技术股份有限公司 图像处理方法、装置、设备、系统和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4702912B2 (ja) * 2000-05-12 2011-06-15 キヤノン株式会社 信号処理方法及び信号処理装置
JP3899118B2 (ja) * 2004-02-19 2007-03-28 オリンパス株式会社 撮像システム、画像処理プログラム
JP4304623B2 (ja) * 2005-06-01 2009-07-29 ソニー株式会社 撮像装置及び撮像装置における撮像結果の処理方法
CN101867832B (zh) * 2005-12-29 2011-09-07 安泰科技有限公司 阈值确定装置和阈值确定方法
JP4941482B2 (ja) * 2009-02-17 2012-05-30 株式会社豊田中央研究所 擬似カラー画像生成装置、及びプログラム
JP5546229B2 (ja) * 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5454156B2 (ja) * 2010-01-14 2014-03-26 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
JP5503522B2 (ja) * 2010-01-20 2014-05-28 キヤノン株式会社 撮像装置、撮像装置の制御方法
US20130002936A1 (en) * 2011-06-30 2013-01-03 Nikon Corporation Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
US8908062B2 (en) * 2011-06-30 2014-12-09 Nikon Corporation Flare determination apparatus, image processing apparatus, and storage medium storing flare determination program

Also Published As

Publication number Publication date
WO2013031081A1 (ja) 2013-03-07
JP5675996B2 (ja) 2015-02-25
JPWO2013031081A1 (ja) 2015-03-23
TW201316784A (zh) 2013-04-16
US20140211060A1 (en) 2014-07-31
US9160937B2 (en) 2015-10-13

Similar Documents

Publication Publication Date Title
TWI524781B (zh) 信號處理裝置及信號處理方法、固態攝像裝置、電子資訊機器、信號處理程式以及電腦可讀取儲存媒體
JP6404923B2 (ja) 撮像センサおよび撮像装置
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
US10630920B2 (en) Image processing apparatus
JP5493010B2 (ja) 撮像装置及びその合焦位置検出方法
TWI458333B (zh) 用於使用雜訊模型減少影像雜訊之方法及裝置
US8482618B2 (en) Reduction of motion-induced blur in images
US10419685B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US20080180557A1 (en) Solid-state image pickup device
JP2005102134A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4523629B2 (ja) 撮像装置
US8970747B2 (en) Imaging device
JP6762365B2 (ja) 画像処理装置、画像処理方法およびプログラム
US8896731B2 (en) Image processing apparatus, image processing method, and camera module
JP6315239B2 (ja) 撮像装置、撮像方法、画像処理装置、撮像プログラム
CN108496360B (zh) 图像处理装置、图像处理方法和记录了程序的介质
JP2011114473A (ja) 画素欠陥補正装置
WO2018193544A1 (ja) 撮像装置および内視鏡装置
US20200045280A1 (en) Imaging apparatus and endoscope apparatus
JP2004200888A (ja) 撮像機器
JP5034789B2 (ja) 撮像装置
JPH11218796A (ja) 画像撮像装置