TW202310606A - 圖像處理裝置、圖像處理方法、及攝像裝置 - Google Patents

圖像處理裝置、圖像處理方法、及攝像裝置 Download PDF

Info

Publication number
TW202310606A
TW202310606A TW111141179A TW111141179A TW202310606A TW 202310606 A TW202310606 A TW 202310606A TW 111141179 A TW111141179 A TW 111141179A TW 111141179 A TW111141179 A TW 111141179A TW 202310606 A TW202310606 A TW 202310606A
Authority
TW
Taiwan
Prior art keywords
image
mapping data
processing
interpolation
pixel values
Prior art date
Application number
TW111141179A
Other languages
English (en)
Inventor
古閑史彦
山口哲司
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202310606A publication Critical patent/TW202310606A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本發明之圖像處理裝置具備：圖像分割處理部，其可基於包含複數個像素值之第1圖像映射資料，產生像素值之配置圖案互不相同且於互不相同之位置配置像素值的複數個第1映射資料；內插處理部，其可於複數個第1映射資料各者中，使用內插處理，求出像素值缺失之位置處之像素值，藉此產生與複數個第1映射資料對應的複數個第2映射資料；及合成處理部，其可基於複數個第2映射資料中之相互對應之位置之像素值產生該位置之像素值，藉此產生第3映射資料。

Description

圖像處理裝置、圖像處理方法、及攝像裝置
本發明係關於一種進行圖像處理之圖像處理裝置、圖像處理方法、及具備此種圖像處理裝置的攝像裝置。
於攝像裝置中，基於經紅色、綠色及藍色之光電轉換元件轉換後之電氣信號產生攝像圖像。例如，於專利文獻1揭示有一種將紅色、綠色及藍色之光電轉換元件堆積於1個像素區域者。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2011-138927號公報
然，於攝像裝置中，期望提高攝像圖像之畫質，且期待畫質之進一步提高。
較理想為提供一種可提高攝像圖像之畫質之圖像處理裝置、圖像處理方法、及攝像裝置。
本發明一實施形態中之圖像處理裝置具備：圖像分割處理部、內插處理部及合成處理部。圖像分割處理部係可基於包含複數個像素值之第1圖像映射資料，產生像素值之配置圖案互不相同且於互不相同之位置配置像素值的複數個第1映射資料者。內插處理部係可於複數個第1映射資料各者中，使用內插處理，求出像素值缺失之位置處之像素值，藉此產生與複數個第1映射資料對應的複數個第2映射資料者。合成處理部係可基於複數個第2映射資料中之相互對應之位置之像素值，產生該位置之像素值，藉此產生第3映射資料者。
本發明一實施形態中之圖像處理方法係包含以下處理者：圖像分割處理，其基於包含複數個像素值之第1圖像映射資料，產生像素值之配置圖案互不相同且於互不相同之位置配置像素值的複數個第1映射資料；內插處理，其於記複數個第1映射資料各者中，使用內插處理，求出像素值缺失之位置處之像素值，藉此產生與複數個第1映射資料對應的複數個第2映射資料；及合成處理，其基於複數個第2映射資料中之相互對應之位置之像素值，產生該位置之像素值，藉此產生第3映射資料。
本發明一實施形態中之攝像裝置具備攝像部、圖像分割處理部、內插處理部及合成處理部。攝像部係產生包含複數個像素值之第1圖像映射資料者。圖像分割處理部係可基於上述第1圖像映射資料，產生像素值之配置圖案互不相同且於互不相同之位置配置像素值的複數個第1映射資料者。內插處理部係可於上述複數個第1映射資料各者中，使用內插處理，求出像素值缺失之位置處之像素值，藉此產生與上述複數個第1映射資料對應的複數個第2映射資料者。合成處理部係可基於上述複數個第2映射資料中之相互對應之位置之像素值，產生該位置之像素值，藉此產生第3映射資料者。
此處，「攝像裝置」並非限定於所謂之影像感測器單體，而是包含數位相機或智慧型手機等具有攝像功能之電子機器。
於本發明之一實施形態中之圖像處理裝置、圖像處理方法及攝像裝置中，藉由圖像分割處理，基於第1圖像映射資料產生複數個第1映射資料。該等複數個第1映射資料係像素值之配置圖案互不相同且像素值配置於互不相同之位置者。且，藉由內插處理，基於該等複數個第1映射資料之各者產生複數個第2映射資料。該等複數個第2映射資料係藉由在複數個第1映射資料中使用內插處理求出像素值缺失之位置處的像素值而產生。且，藉由合成處理，基於該等複數個第2映射資料產生第3映射資料。該第3映射資料係藉由基於該等複數個第2映射資料中相互對應之位置之像素值產生該位置之像素值而產生。
根據本發明之一實施形態中之圖像處理裝置、圖像處理方法及攝像裝置，基於第1圖像映射資料產生像素值之配置圖案互不相同且像素值配置於互不相同之位置的複數個第1映射資料，並在複數個第1映射資料各者中使用內插處理，求出像素值缺失之位置處之像素值，藉此產生複數個第2映射資料，並基於複數個第2映射資料中相互對應之位置之像素值，產生該位置之像素值，藉此產生第3映射資料，因此可提高攝像圖像之畫質。再者，此處記載之效果未必為限定者，亦可為本發明中記載之任意效果。
以下，對本發明之實施形態，參照圖式詳細地進行說明。再者，說明依據以下之順序進行。 1.第1實施形態 2.第2實施形態 3.第3實施形態 4.第4實施形態 5.攝像裝置之使用例 6.應用例
＜1.第1實施形態＞ [構成例] 圖1係表示第1實施形態之具備圖像處理裝置之攝像裝置1之一構成例者。再者，本發明之實施形態之圖像處理方法係藉由本實施形態而具體化，故一併進行說明。攝像裝置1具備：光學系統9、攝像部10及圖像處理部20。
光學系統9係例如包含在攝像部10之攝像面S使圖像成像的透鏡而構成。
攝像部10為藉由拍攝被攝體而產生圖像信號DT及增益信號SGAIN者。攝像部10係使用例如CMOS(complementary metal oxide semiconductor：互補金屬氧化物半導體)影像感測器而構成。
圖2係表示攝像部10之一構成例者。攝像部10具有：像素陣列11、掃描部12、讀出部13及攝像控制部14。
像素陣列11為將複數個攝像像素P呈矩陣狀配置而成者。攝像像素P係包含可接受紅色(R)之光之光電轉換元件、可接受綠色(G)之光之光電轉換元件及可接受藍色(B)之光之光電轉換元件而構成。
圖3係模式性表示攝像像素P之剖面構造者。該圖3模式性表示配置於圖2所示之區域X之4個攝像像素P中之2個攝像像素P的剖面構造。
於半導體基板100，在對應於1個攝像像素P之像素區域中，形成有2個光電二極體PDR、PDB。光電二極體PDR為可接受紅色(R)之光之光電轉換元件，光電二極體PDB為可接受藍色(B)之光之光電轉換元件。光電二極體PDR及光電二極體PDB在半導體基板100中以光電二極體PDB成為攝像面S之側之方式積層形成。光電二極體PDR及光電二極體PDB利用半導體基板100中之光之吸收係數因光之波長而異之情況，基於紅色光及藍色光分別進行光電轉換。
於半導體基板100之攝像面S側之表面形成有絕緣膜101。該絕緣膜101使用例如二氧化矽(SiO 2)構成。且，於該絕緣膜101上，依序形成有透明電極102、光電轉換膜103G及透明電極104。透明電極102、104為可使紅色光、綠色光及藍色光透過之電極。光電轉換膜103G為可接受綠色(G)光之光電轉換膜，且構成為可使紅色光及藍色光透過。該光電轉換膜103G及透明電極102、104構成可接受綠色(G)光之光電轉換元件。於透明電極104之上方形成有晶載透鏡105。
圖4係模式性表示配置於圖2所示之區域X之4個攝像像素P中之光電轉換元件之配置者。如此，於攝像部10中，在對應於1個攝像像素P之像素區域積層形成有綠色(G)之光電轉換元件、藍色(B)之光電轉換元件、紅色(R)之光電轉換元件。藉此，於攝像部10中，各攝像像素P之各者可產生紅色之像素信號、綠色之像素信號、藍色之像素信號。
掃描部12係基於來自攝像控制部14之指示，例如以像素線單位依序驅動像素陣列11中之複數個攝像像素P者，且係例如包含位址解碼器而構成者。
讀出部13係基於來自攝像控制部14之指示，基於自各攝像像素P供給之像素信號進行AD轉換而產生圖像信號DT者。圖像信號DT包含3個圖像映射資料MPG、MPB、MPR。圖像映射資料MPG包含綠色(G)之1圖框圖像量之像素值，圖像映射資料MPB包含藍色(B)之1圖框圖像量之像素值，圖像映射資料MPR包含紅色(R)之1圖框圖像量之像素值。各像素值為以複數位元之數位碼表示者。
攝像控制部14係將控制信號供給至掃描部12及讀出部13，並控制該等電路之動作，藉此控制攝像部10之動作者。又，攝像控制部14亦具有設定讀出部13進行AD轉換時之轉換增益GC之功能。具體而言，攝像控制部14於攝像部10拍攝較暗之被攝體之情形時，提高進行AD轉換時之轉換增益GC，於攝像部10拍攝較亮之被攝體之情形時，降低進行AD轉換時之轉換增益GC。藉此，攝像裝置1可拍攝各種亮度之被攝體。又，攝像控制部14亦具有將該轉換增益GC相關之資訊作為增益信號SGAIN輸出之功能。
圖像處理部20(圖1)為基於圖像信號DT及增益信號SGAIN進行圖像處理者。圖像處理部20具有：切換部21、圖像分割處理部22、內插處理部23、合成處理部24及信號處理部25。
切換部21為基於增益信號SGAIN所示之轉換增益GC將圖像信號DT選擇性供給至圖像分割處理部22或信號處理部25者。具體而言，切換部21於例如轉換增益GC高於特定之閾值Gth之情形時，將圖像信號DT供給至圖像分割處理部22，於轉換增益GC低於特定之閾值Gth之情形時，將圖像信號DT供給至信號處理部25。藉此，於圖像處理部20中，可實現於轉換增益GC高於特定之閾值Gth之情形時，由圖像分割處理部22、內插處理部23及合成處理部24進行處理，於轉換增益GC低於特定之閾值Gth之情形時，圖像分割處理部22、內插處理部23及合成處理部24不進行處理。
圖像分割處理部22係基於自攝像部10經由切換部21供給之圖像信號DT所含之3個圖像映射資料MPG、MPB、MPR，進行圖像分割處理A1，藉此產生6個映射資料MG11、MG12、MB11、MB12、MR11、MR12者。具體而言，圖像分割處理部22如稍後所述，基於圖像信號DT所含之綠色(G)之圖像映射資料MPG，產生像素值之配置圖案PAT互不相同且像素值配置於互不相同之位置的2個映射資料MG11、MG12。同樣地，圖像分割處理部22基於圖像信號DT所含之藍色(B)之圖像映射資料MPB，產生2個映射資料MB11、MB12，且基於圖像信號DT所含之紅色(R)之圖像映射資料MPR，產生2個映射資料MR11、MR12。如此，圖像分割處理部22基於圖像信號DT，產生6個映射資料MG11、MG12、MB11、MB12、MR11、MR12。
內插處理部23係藉由對自圖像分割處理部22供給之6個映射資料MG11、MG12、MB11、MB12、MR11、MR12之各者進行內插處理A2而產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22者。具體而言，內插處理部23如稍後所述，在綠色(G)之映射資料MG11中，使用內插處理A2求出像素值缺失之位置處的像素值，藉此產生映射資料MG21，且在綠色(G)之映射資料MG12中，使用內插處理A2求出像素值缺失之位置處的像素值，藉此產生映射資料MG22。同樣地，內插處理部23在藍色(B)之映射資料MB11中進行內插處理A2，藉此產生映射資料MB21，且在藍色(B)之映射資料MB12中進行內插處理A2，藉此產生映射資料MB22。又，內插處理部23在紅色(R)之映射資料MR11中進行內插處理A2，藉此產生映射資料MR21，且在紅色(R)之映射資料MR12中進行內插處理A2，藉此產生映射資料MR22。
合成處理部24係藉由基於自內插處理部23供給之6個映射資料MG21、MG22、MB21、MB22、MR21、MR22進行合成處理A3而產生3個映射資料MG3、MB3、MR3者。具體而言，合成處理部24如稍後所述，基於綠色(G)之2個映射資料MG21、MG22產生映射資料MG3。同樣地，合成處理部24基於藍色(B)之2個映射資料MB21、MB22產生映射資料MB3，基於紅色(R)之2個映射資料MR21、MR22中相互對應之位置之像素值，產生該位置處之像素值，藉此產生映射資料MR3。然後，合成處理部24將3個映射資料MG3、MB3、MR3作為圖像信號DT2供給至信號處理部25。
信號處理部25係基於自合成處理部24供給之圖像信號DT2、或自攝像部10經由切換部21供給之圖像信號DT，進行特定之信號處理者。特定之信號處理包含例如白平衡調整、非線性轉換、輪廓強調處理、圖像尺寸轉換等。然後，信號處理部25將該等特定之信號處理之處理結果作為圖像信號DT3輸出。
根據該構成，於攝像裝置1中，於拍攝較暗之被攝體之情形時，由於轉換增益GC提高，故進行圖像分割處理A1、內插處理A2及合成處理A3。藉此，於攝像裝置1中，可提高攝像圖像中之信號雜訊比(S/N比)。又，於攝像裝置1中，於攝像裝置1拍攝較亮之被攝體之情形時，由於轉換增益GC降低，故不進行圖像分割處理A1、內插處理A2及合成處理A3。藉此，於攝像裝置1中，可提高攝像圖像中之解像度。
此處，圖像處理部20對應於本發明中之「圖像處理裝置」之一具體例。圖像分割處理部22對應於本發明中之「圖像分割處理部」之一具體例。內插處理部23對應於本發明中之「內插處理部」之一具體例。合成處理部24對應於本發明中之「合成處理部」之一具體例。信號處理部25對應於本發明中之「處理部」之一具體例。切換部21對應於本發明中之「處理控制部」之一具體例。
[動作及作用] 繼而，對本實施形態之攝像裝置1之動作及作用進行說明。
(整體動作概要) 首先，參照圖1，說明攝像裝置1之整體動作概要。攝像部10藉由拍攝被攝體而產生圖像信號DT及增益信號SGAIN。圖像處理部20之切換部21基於增益信號SGAIN所示之轉換增益GC，將圖像信號DT選擇性供給至圖像分割處理部22或信號處理部25。圖像分割處理部22基於自攝像部10經由切換部21供給之圖像信號DT所含之3個映射資料MPG、MPB、MPR進行圖像分割處理A1，藉此產生6個映射資料MG11、MG12、MB11、MB12、MR11、MR12。內插處理部23藉由對自圖像分割處理部22供給之6個映射資料MG11、MG12、MB11、MB12、MR11、MR12之各者進行內插處理A2，產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22。合成處理部24基於自內插處理部23供給之6個映射資料MG21、MG22、MB21、MB22、MR21、MR22進行合成處理A3，藉此產生3個映射資料MG3、MB3、MR3。然後，合成處理部24將該等3個映射資料MG3、MB3、MR3作為圖像信號DT2供給至信號處理部25。信號處理部25基於自合成處理部24供給之圖像信號DT2、或自攝像部10經由切換部21供給之圖像信號DT，進行特定之信號處理，藉此產生圖像信號DT3。
(詳細動作) 圖5係表示圖像處理部20之一動作例者。圖像處理部20基於增益信號SGAIN所示之轉換增益GC決定是否進行圖像分割處理A1、內插處理A2及合成處理A3。以下對該動作詳細地進行說明。
首先，切換部21比較增益信號SGAIN所示之轉換增益GC、與特定之閾值Gth(步驟S101)。於轉換增益GC低於特定之閾值Gth之情形(步驟S101中“N”)時，行進至步驟S105。
於轉換增益GC為特定之閾值Gth以上(G≧Gth)之情形(步驟S101中“Y”)時，圖像分割處理部22進行圖像分割處理A1(步驟S102)，內插處理部23進行內插處理A2(步驟S103)，合成處理部24進行合成處理A3(步驟S104)。
然後，信號處理部25進行特定之信號處理(步驟S105)。即，信號處理部25於轉換增益GC為特定之閾值Gth以上之情形(步驟S101中“Y”)時，基於藉由合成處理A3產生之圖像信號DT2進行特定之信號處理，於轉換增益GC低於特定之閾值Gth之情形(步驟S101中“N”)時，基於由攝像部10產生之圖像信號DT進行特定之信號處理。
以上，該流程結束。
如此，於圖像處理部20中，於轉換增益GC較高之情形時，進行圖像分割處理A1、內插處理A2及合成處理A3。又，於攝像裝置1中，於轉換增益GC較低之情形時，不進行圖像分割處理A1、內插處理A2及合成處理A3。藉此，於攝像裝置1中，如以下所說明，可提高攝像圖像之畫質。
接下來，對圖像分割處理A1、內插處理A2及合成處理A3，列舉具體之動作例詳細地進行說明。
圖6係模式性表示圖像處理部20中之圖像分割處理A1、內插處理A2及合成處理A3之一例者。
(圖像分割處理A1) 圖像分割處理部22基於自攝像部10供給之圖像信號DT所含之3個圖像映射資料MPG、MPB、MPR進行圖像分割處理A1，藉此產生6個映射資料MG11、MG12、MB11、MB12、MR11、MR12。以下，列舉針對綠色(G)之圖像資料MPG之圖像分割處理A1為例，詳細地進行說明。
圖7係模式性表示綠色(G)之圖像映射資料MPG者。圖8A、8B係分別模式性表示綠色(G)之映射資料MG11、MG12者。於圖8A、8B中，附網點之部分表示像素值所在之位置，未附網點之部分表示不存在像素值(像素值缺失)之位置。
圖像信號DT所含之圖像映射資料MPG(圖7)包含綠色(G)之1圖框圖像量之像素值。圖6所示之圖像映射資料MPG之一例模式性表示圖7所示之區域X中之配置成2列2行的4個像素值。
圖像分割處理部22基於此種圖像映射資料MPG，產生像素值之配置圖案PAT互不相同且像素值配置於互不相同之位置的2個映射資料MG11、MG12(圖8A、8B)。映射資料MG11、MG12中之像素值之配置圖案PAT為在水平方向(橫向)及垂直方向(縱向)相互錯開1像素量的方格紋圖案(Checkered Pattern)。換言之，映射資料MG11、MG12中之方格紋圖案為存在像素值之位置與不存在像素值之位置相互反轉者，且像素值配置於互不相同之位置。具體而言，例如，於映射圖案MG11中，如圖8A所示，於區域X中，在左上及右下存在像素值，且在左下及右上像素值缺失。另一方面，於映射圖案MG12中，如圖8B所示，於區域X中，在左下及右上存在像素值，且在左上及右下像素值缺失。圖6所示之映射資料MG11、MG12之一例係模式性表示該區域X中之4個像素值。映射資料MG11中各位置之像素值與圖像映射資料MPG中對應之位置的像素值相同。同樣地，映射資料MG12中各位置之像素值與圖像映射資料MPG中對應之位置的像素值相同。
圖像分割處理部22基於圖像映射資料MPG進行圖像分割處理A1，藉此產生此種映射資料MG11、MG12。同樣地，圖像分割處理部22基於圖像映射資料MPB進行圖像分割處理A1，藉此產生映射資料MB11、MB12，基於圖像映射資料MPR進行圖像分割處理A1，藉此產生映射資料MR11、MR12。如圖6所示，映射資料MG11、MB11、MR11具有互為相同之配置圖案PAT，映射資料MG12、MB12、MR12具有互為相同之配置圖案PAT。
(內插處理A2) 其次，內插處理部23對由圖像分割處理A1產生之6個映射資料MG11、MR12、MB11、MB12、MR11、MR12之各者進行內插處理A2，藉此產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22。以下，列舉針對綠色(G)之映射資料MG11、MG12(圖8A、8B)之內插處理A2為例，詳細地進行說明。
圖9A、9B係分別模式性表示綠色(G)之映射資料MG21、MG22者。於圖9A、9B中，附網點之部分表示內插處理A2處理前之映射資料MG11、MG12中存在像素值之位置，未附網點之部分表示內插處理A2處理前之映射資料MG11、MG12中不存在像素值之位置，且表示由該內插處理A2產生像素值之位置。
內插處理部23在圖8A所示之映射資料MG11中，使用內插處理A2，求出像素值缺失之位置處之像素值，藉此產生圖9A所示之映射資料MG21，且在圖8B所示之映射資料MG12中，使用內插處理A2，求出像素值缺失之位置處之像素值，藉此產生圖9B所示之映射資料MG22。具體而言，內插處理部23基於配置於像素值缺失之位置往上一格之像素值、配置於往左一格之像素值、配置於往下一格之像素值及配置於往右一格之像素值，進行內插處理A2，藉此求出像素值缺失之位置處之像素值。即，內插處理A2之內插方法於該例中為使用像素值缺失之位置之上下左右處之像素值者。內插處理部23使用該等4個像素值，進行例如雙線性內插，藉此可進行內插處理A2。再者，並非限定於此，可使用雙三次內插、花鍵內插等公知之各種內插方法。例如，於映射資料MG21中，如圖9A所示，內插處理部23在區域X中之左下位置，藉由內插處理A2產生像素值，且在區域X中之右上位置，藉由內插處理A2產生像素值。同樣地，於映射資料MG22中，如圖9B所示，內插處理部23在區域X中之左上位置，藉由內插處理A2產生像素值，且在區域X中之右下位置，藉由內插處理A2產生像素值。於該圖9A、9B中，“G'”表示藉由內插處理A2產生像素值之情況。圖6所示之映射資料MG21、MG22之一例係模式性表示該區域X中之4個像素值。
內插處理部23藉由對映射資料MG11進行內插處理A2而產生此種映射資料MG21，且藉由對映射資料MG12進行內插處理A2而產生此種映射資料MG22。同樣地，內插處理部23藉由對映射資料MB11進行內插處理A2而產生映射資料MB21，且藉由對映射資料MB12進行內插處理A2而產生映射資料MB22。又，內插處理部23藉由對映射資料MR11進行內插處理A2而產生映射資料MR21，且藉由對映射資料MR12進行內插處理A2而產生映射資料MR22。分別產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22時之內插方法互為相同。
(合成處理A3) 其次，合成處理部24基於由內插處理A2產生之6個映射資料MG21、MG22、MB21、MB22、MR21、MR22進行合成處理A3，藉此產生3個映射資料MG3、MB3、MR3。以下，列舉針對綠色(G)之映射資料MG21、MG22(圖9A、9B)之合成處理A3為例，詳細地進行說明。
圖10係模式性表示綠色(G)之映射資料MG3者。合成處理部24基於2個映射資料MG21、MG22中相互對應之位置之像素值，產生該位置之像素值，藉此產生映射資料MG3。具體而言，合成處理部24可藉由將2個映射資料MG21、MG22中相互對應之位置之像素值相加而產生映射資料MG3中該位置之像素值。例如，合成處理部24藉由將圖9A所示之映射資料MG21之區域X中之左上之像素值、與圖9B所示之映射資料MG22之區域X中之左上之像素值相加，而產生圖10所示之映射資料MG3之區域X中之左上的像素值。同樣地，合成處理部24藉由將映射資料MG21、MG22之區域X中之左下之像素值相加，產生映射資料MG3之區域X中之左下的像素值，藉由將映射資料MG21、MG22之區域X中之右上之像素值相加，產生映射資料MG3之區域X中之右上的像素值，藉由將映射資料MG21、MG22之區域X中之右下之像素值相加，產生映射資料MG3之區域X中之右下的像素值。於圖10中，“2G”表示藉由合成處理A3使像素值成為圖像映射資料MPG中之像素值之大約2倍的情況。圖6所示之映射資料MG3之一例模式性表示該區域X中之像素值。
合成處理部24藉由基於映射資料MG21、MG22進行合成處理A3而產生此種映射資料MG3。同樣地，合成處理部24藉由基於映射資料MB21、MB22進行合成處理A3而產生映射資料MB3，藉由基於映射資料MR21、MR22進行合成處理A3而產生映射資料MR3。映射資料MB3中之像素值為圖像映射資料MPB中之像素值之大約2倍，映射資料MR3中之像素值為圖像映射資料MPR中之像素值之大約2倍。
如此，合成處理部24產生3個映射資料MG3、MB3、MR3。然後，合成處理部24將該等3個映射資料MG3、MB3、MR3作為圖像信號DT2供給至信號處理部25。
此處，圖像映射資料MPG、MPB、MPR分別對應於本發明中之「第1圖像映射資料」、「第2圖像映射資料」及「第3圖像映射資料」之一具體例。映射資料MG11、MG12對應於本發明中之「複數個第1映射資料」之一具體例。映射資料MG21、MG22對應於本發明中之「複數個第2映射資料」之一具體例。映射資料MG3對應於本發明中之「第3映射資料」之一具體例。映射資料MB11、MB12對應於本發明中之「複數個第4映射資料」之一具體例。映射資料MB21、MB22對應於本發明中之「複數個第5映射資料」之一具體例。映射資料MB3對應於本發明中之「第6映射資料」之一具體例。映射資料MR11、MR12對應於本發明中之「複數個第7映射資料」之一具體例。映射資料MR21、MR22對應於本發明中之「複數個第8映射資料」之一具體例。映射資料MR3對應於本發明中之「第9映射資料」之一具體例。
如以上，於攝像裝置1中，例如藉由基於圖像映射資料MPG進行圖像分割處理A1而產生映射資料MG11、MG12，藉由分別對該等映射資料MG11、MG12進行內插處理A2而產生映射資料MG21、MG22，藉由基於該等映射資料MG21、MG22進行合成處理A3而產生映射資料MG3。關於圖像映射資料MPB、MPR亦同樣。藉此，於攝像裝置1中，可提高映射資料MG3、MB3、MR3中之信號雜訊比（S/N比）。
即，合成處理部24例如藉由將映射資料MG21之區域X中之左上之像素值、與映射資料MG22之區域X中之左上之像素值相加，求出映射資料MG3之區域X中之左上的像素值。各像素值具有信號成分與作為隨機雜訊之雜訊成分。因此，合成處理部24藉由將映射資料MG21之區域X中之左上之像素值、與映射資料MG22之區域X中之左上之像素值相加，使得信號成分成為大約2倍，雜訊成分成為大約1.4倍。即，雜訊成分如上所述為隨機雜訊，且映射資料MG21之區域X中之左上之像素值所含之雜訊成分、與映射資料MG22之區域X中之左上之像素值所含之雜訊成分為相互獨立之雜訊成分，故未成為大約2倍，而為1.4倍(2的平方根)。如此，於攝像裝置1中，由於將信號成分設為大約2倍，且將雜訊成分設為大約1.4倍，故可提高映射資料MG3中之信號雜訊比(S/N比)。關於映射資料MB3、MR3亦同樣。其結果，於攝像裝置1中，可提高攝像圖像之畫質。
又，攝像裝置1中，於圖像分割處理A1中，將像素值之配置圖案PAT設為方格紋圖案。藉此，如圖8A、8B所示，由於在像素值缺失之位置之上下左右分別存在像素值，故可藉由進行內插處理A2而基於該等4個像素值求出像素值缺失之位置處的像素值。如此，於攝像裝置1中，由於可基於上下左右之像素值進行內插處理A2，故可將水平方向之解像度之降低與垂直方向之解像度之降低設為互為相同之程度，可抑制解像度之降低。其結果，於攝像裝置1中，可提高攝像圖像之畫質。
又，攝像裝置1中，於圖像分割處理A1中，將映射資料MG11、MB11、MR11中之像素值之配置圖案PAT設為互為相同，且可將映射資料MG12、MB12、MR12中之像素值之配置圖案PAT設為互為相同。藉此，圖像分割處理部22可基於3個圖像映射資料MPG、MPB、MPR，以相同之方法進行圖像分割處理A1，故與基於3個圖像映射資料MPG、MPB、MPR以各不相同之方法進行圖像分割處理A1之情形相比，可簡化圖像分割處理部22之電路構成。
又，攝像裝置1中，於內插處理A2中，將產生映射資料MG21、MG22、MB21、MB22、MR21、MR22時之內插方法設為互為相同。藉此，內插處理部23可使用互為相同之內插方法產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22，故與使用互不相同之內插方法產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22之情形相比，可簡化內插處理部23之電路構成。
又，攝像裝置1中，於圖像分割處理A1中，將映射資料MG11、MB11、MR11中之像素值之配置圖案PAT設為互為相同，且將映射資料MG12、MB12、MR12中之像素值之配置圖案PAT設為互為相同。然後，於內插處理A2中，將產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22時之內插方法設為互為相同。藉此，於攝像裝置1中，可抑制攝像圖像中之假色。即，例如，於內插處理A2中，產生綠色(G)之映射資料MG21、MG22時，基於配置於像素值缺失之位置往上一格及往下一格之像素值進行內插處理A2，產生藍色(B)之映射資料MB21、MB22時，基於配置於像素值缺失之位置往左一格及往右一格之像素值進行內插處理A2之情形時，由於內插方法因顏色而異，故有局部發生假色之虞。另一方面，本實施形態之攝像裝置1中，於圖像分割處理A1中，將映射資料MG11、MB11、MR11中之像素值之配置圖案PAT設為互為相同，且將映射資料MG12、MB12、MR12中之像素值之配置圖案PAT設為互為相同。且，於內插處理A2中，將產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22時之內插方法設為互為相同。藉此，於攝像裝置1中，可減少發生此種假色之虞。其結果，於攝像裝置1中，可提高攝像圖像之畫質。
又，於攝像裝置1中，由於可控制是否進行圖像分割處理、內插處理及合成處理，故可提高攝像圖像之畫質。尤其，於攝像裝置1中，基於攝像部10中之轉換增益GC控制是否進行圖像分割處理、內插處理及合成處理。具體而言，於增益信號SGAIN所示之轉換增益GC高於特定之閾值Gth之情形時，進行圖像分割處理、內插處理及合成處理，於轉換增益GC低於特定之閾值Gth之情形時，不進行圖像分割處理、內插處理及合成處理。藉此，例如於攝像裝置1拍攝較暗之被攝體之情形時，轉換增益GC提高，因此進行圖像分割處理A1、內插處理A2及合成處理A3。藉此，於攝像裝置1中，可提高攝像圖像中之信號雜訊比(S/N比)。即，於拍攝較暗之被攝體之情形時，由於存在雜訊增多之虞，故可藉由進行圖像分割處理A1、內插處理A2及合成處理A3而提高攝像圖像中之信號雜訊比(S/N比)。又，於攝像裝置1拍攝較亮之被攝體之情形時，轉換增益GC降低，因此不進行圖像分割處理A1、內插處理A2及合成處理A3。藉此，於攝像裝置1中，可提高攝像圖像中之解像度。即，於拍攝較亮之被攝體之情形時，由於雜訊較少，故可藉由不進行圖像分割處理A1、內插處理A2及合成處理A3而提高解像度。其結果，於攝像裝置1中，可提高攝像圖像之畫質。
[效果] 如上所述，本實施形態中，由於進行圖像分割處理、內插處理及合成處理，故可提高攝像圖像中之信號雜訊比，從而可提高攝像圖像之畫質。
本實施形態中，於圖像分割處理中，由於將像素值之配置圖案設為方格紋圖案，故可將水平方向之解像度之降低與垂直方向之解像度之降低設為互為相同之程度，從而可抑制解像度降低，可提高攝像圖像之畫質。
本實施形態中，於圖像分割處理中，由於將映射資料MG11、MB11、MR11中之像素值之配置圖案設為互為相同，且將映射資料MG12、MB12、MR12中之像素值之配置圖案設為互為相同，故可簡化圖像分割處理部之電路構成。
本實施形態中，於內插處理中，由於將產生6個映射資料時之內插方法設為互為相同，故可簡化內插處理部之電路構成。
本實施形態中，於圖像分割處理中，將映射資料MG11、MB11、MR11中之像素值之配置圖案設為互為相同，且將映射資料MG12、MB12、MR12中之像素值之配置圖案設為互為相同。且，於內插處理中，將產生6個映射資料時之內插方法設為互為相同。藉此，可減少發生假色之虞，故可提高攝像圖像之畫質。
本實施形態中，由於可控制是否進行圖像分割處理、內插處理及合成處理，故可提高攝像圖像之畫質。
[變化例1-1] 於上述實施形態中，合成處理部24例如藉由將2個映射資料MG21、MG22中之相互對應之位置之像素值相加，而產生映射資料MG3中該位置之像素值，但並非限定於此。亦可代替此，而如例如圖11所示之攝像裝置1A，將2個映射資料MG21、MG22中之相互對應之位置之像素值相加，並將相加後之像素值減半，藉此產生映射資料MG3中該位置之像素值。藉此，可將映射資料MG3中之像素值與圖像映射資料MPG中之像素值設為相同程度。關於映射資料MB3、MR3亦同樣。藉此，可在維持信號雜訊比之狀態下，抑制表示映射資料MG3、MB3、MR3中之像素值之數位碼之位元數。其結果，可使信號處理部25中之動態範圍之設計變得容易。
[變化例1-2] 於上述實施形態中，將圖像分割處理A1中之像素值之配置圖案PAT設為以1個像素值為單位之方格紋圖案，但並非限定於此。以下，對本變化例，列舉若干例詳細地予以記載。再者，以下，以綠色(G)之映射資料為例進行說明，但關於藍色(B)之映射資料及紅色(R)之映射資料亦同樣。
(其他方格紋圖案) 圖12A、12B係表示將像素值之配置圖案PAT設為以配置成2列2行之4個像素值為單位之方格紋圖案時之映射資料MG11、MG12的一例者。該圖12A、12B所示之配置圖案PAT中之水平方向(橫向)之間距為圖8A、8B所示之配置圖案PAT中之垂直方向之間距的2倍。同樣地，圖12A、12B所示之配置圖案PAT中之垂直方向(縱向)之間距為圖8A、8B所示之配置圖案PAT中之垂直方向之間距的2倍。映射資料MG11、MG12中之像素值之配置圖案PAT在水平方向(橫向)及垂直方向(縱向)上相互錯開2像素量。
圖13A、13B係表示藉由基於圖12A、12B所示之映射資料MG11、MG12進行內插處理A2而產生之映射資料MG21、MG22之一例者。內插處理部23基於例如配置於像素值缺失之位置往上2格之像素值、配置於往左2格之像素值、配置於往下2格之像素值、及配置於往右2格之像素值，進行內插處理A2，藉此可求出像素值缺失之位置處之像素值。
(條紋狀圖案) 圖14A、14B係表示將像素值之配置圖案PAT設為將存在像素值之位置與像素值缺失之位置在水平方向(橫向)上交替排列之條紋狀圖案時之映射資料MG11、MG12的一例者。映射資料MG11、MG12中之像素值之配置圖案PAT在水平方向上相互錯開1像素量。
圖15A、15B係表示藉由基於圖14A、14B所示之映射資料MG11、MG12進行內插處理A2而產生之映射資料MG21、MG22之一例者。內插處理部23基於配置於像素值缺失之位置往左1格之像素值、及配置於往右1格之像素值，進行內插處理A2，藉此可求出像素值缺失之位置處之像素值。
圖16A、16B係表示將像素值之配置圖案PAT設為將存在像素值之位置與像素值缺失之位置在垂直方向(縱向)上交替排列之條紋狀圖案時之映射資料MG11、MG12的一例者。映射資料MG11、MG12中之像素值之配置圖案PAT在垂直方向上相互錯開1像素量。
圖17A、17B係表示藉由基於圖16A、16B所示之映射資料MG11、MG12進行內插處理A2而產生之映射資料MG21、MG22之一例者。內插處理部23基於配置於像素值缺失之位置往上1格之像素值、及配置於往下1格之像素值，進行內插處理A2，藉此可求出像素值缺失之位置處之像素值。
(其他圖案) 於以上之例中，圖像分割處理部22例如基於1個圖像映射資料MPG進行圖像分割處理A1，藉此產生2個映射資料MG11、MG12，內插處理部23藉由對該等2個映射資料MG11、MG12進行內插處理A2，產生2個映射資料MG21、MG22，合成處理部24藉由基於該等2個映射資料MG21、MG22進行合成處理A3而產生映射資料MG3，但並非限定於此。亦可代替此，而為例如圖像分割處理部22例如藉由基於1個圖像映射資料MPG進行圖像分割處理A1而產生3個映射資料MG11、MG12、MG13，內插處理部23藉由對該等3個映射資料MG11、MG12、MG13進行內插處理A2而產生3個映射資料MG21、MG22、MG23，合成處理部24藉由基於該等3個映射資料MG21、MG22、MG23進行合成處理A3而產生映射資料MG3。
圖18A、18B、18C係表示將像素值之配置圖案PAT設為如所謂之拜耳(Bayer)排列之圖案的情形之映射資料MG11、MG12、MG13的一例者。具體而言，例如，於映射資料MG11中，如圖18A所示，於區域X中，於左上存在像素值，且於左下、右上及右下像素值缺失。於映射資料MG12中，如圖8B所示，於區域X中，於左下及右上存在像素值，且於左上及右下像素值缺失。又，於映射資料MG13中，如圖8C所示，於區域X中，於右下存在像素值，且於左上、左下及右上像素值缺失。映射資料MG11中之各位置之像素值與圖像映射資料MPG中之對應位置之像素值相同，映射資料MG12中之各位置之像素值與圖像映射資料MPG中之對應位置之像素值相同，映射資料MG13中之各位置之像素值與圖像映射資料MPG中之對應位置之像素值相同。
圖19A、19B、19C係表示藉由基於圖18A、18B、18C所示之映射資料MG11、MG12、MG13進行內插處理A2而產生之映射資料MG21、MG22、MG23之一例者。內插處理部23對於映射資料MG11、MG13(圖18A、18C)，於在像素值缺失之位置之上下配置有像素值之情形時，基於該等2個像素值進行內插處理A2，於在像素值缺失之位置之左右配置有像素值之情形時，基於該等2個像素值進行內插處理A2，於在像素值缺失之位置之左上、左下、右上及右下配置有像素值之情形時，基於該等4個像素值進行內插處理A2，藉此產生映射資料MG21、MG23。又，內插處理部23對於映射資料MG12(圖18B)，基於配置於像素值缺失之位置之上下左右的4個像素進行內插處理A2，藉此產生映射資料MG22。
圖20係表示藉由基於圖19A、19B、19C所示之映射資料MG21、MG22、MG23進行合成處理A3而產生之映射資料MG3的一例者。合成處理部24藉由將3個映射資料MG21、MG22、MG23中之相互對應之位置之像素值相加，而產生映射資料MG3中之該位置之像素值。於圖20中，“3G”表示藉由合成處理A3使像素值成為圖像映射資料MPG中之像素值之大約3倍的情況。
[變化例1-3] 於上述實施形態中，內插處理部23進行內插處理A2，但亦可變更該內插處理A2中之內插方法。以下，對本變化例詳細地進行說明。
圖21係表示本變化例之攝像裝置2之一構成例者。攝像裝置2具備圖像處理部30。圖像處理部30具有內插控制部36及內插處理部33。
內插控制部36係藉由基於圖像信號DT所含之圖像映射資料MPG、MPB、MPR進行內插控制處理B1，而決定內插處理部33中之內插處理A2之內插方法者。內插控制部36對應於本發明中之「內插控制部」之一具體例。
內插處理部33係藉由對自圖像分割處理部22供給之6個映射資料MG11、MG12、MB11、MB12、MR11、MR12之各者使用自內插控制部36指示之內插方法進行內插處理A2而產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22者。
圖22係模式性表示圖像處理部30中之圖像分割處理A1、內插控制處理B1、內插處理A2及合成處理A3之一例者。
內插控制部36首先藉由基於圖像信號DT所含之圖像映射資料MPG、MPB、MPR進行合成處理B2而產生映射資料MW。於該合成處理B2中，內插控制部36可將3個圖像映射資料MPR、MPB、MPR中相互對應之位置之像素值相加，藉此產生映射資料MW中該位置之像素值。
其次，內插控制部36藉由基於該映射資料MW進行空間頻率檢測處理B3而檢測空間頻率。於該空間頻率檢測處理B3中，內插控制部36將1圖框圖像劃分成複數個圖像區域，且在各圖像區域中，基於映射資料MW求出空間頻率。
其次，內插控制部36基於由空間頻率檢測處理B3求出之空間頻率進行內插方法決定處理B4，藉此決定內插處理A2之內插方法。
圖23A、23B、23C係表示內插處理A2之內插方法之例者。於該等圖中，示出藉由進行內插處理A2而產生之映射資料MG21。於圖23A所示之內插方法中，基於配置於像素值缺失之位置往上1格之像素值、及配置於往下1格之像素值，求出像素值缺失之位置處之像素值。即，於圖23A之例中，進行內插處理之方向(內插方向)為垂直方向(縱向)。於圖23B所示之內插方法中，基於配置於像素值缺失之位置往左1格之像素值、及配置於往右1格之像素值，求出像素值缺失之位置處之像素值。即，於圖23B之例中，進行內插處理之方向(內插方向)為水平方向(橫向)。又，於圖23C所示之內插方法中，基於配置於像素值缺失之位置往上1格之像素值、配置於往左1格之像素值、配置於往下1格之像素值及配置於往右1格之像素值，求出像素值缺失之位置處之像素值。即，於圖23C之例中，進行內插處理之方向(內插方向)為垂直方向及水平方向。再者，於圖23A～23C中，列舉3個例進行了說明，但並非限定於此。
內插控制部36於內插方法決定處理B4中，依每個圖像區域，基於空間頻率決定內插處理A2之內插方法。具體而言，內插控制部36在基於某圖像區域中之空間頻率判斷該圖像區域中之圖像為縱條紋狀之情形時，選擇內插方向為垂直方向之內插方法(圖23A)。又，例如，內插控制部36在基於某圖像區域中之空間頻率判斷該圖像區域中之圖像為橫條紋狀之情形時，選擇內插方向為水平方向之內插方法(圖23B)。然後，內插控制部36對內插處理部33依每個圖像區域指示內插方法。
內插處理部33對自圖像分割處理部22供給之6個映射資料MG11、MG12、MB11、MB12、MR11、MR12之各者，依每個圖像區域，使用自內插控制部36指示之內插方法進行內插處理A2，藉此產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22。分別產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22時之內插方法互為相同。
如此，於攝像裝置2中，由於構成為可變更內插處理A2中之內插方法，故可根據攝像像素使用最佳之內插方法，從而可提高攝像圖像之畫質。
尤其，於攝像裝置2中，基於圖像映射資料MPG、MPB、MPR，進行合成處理B2，藉此產生映射資料MW，並基於該映射資料MW檢測空間頻率。藉此，於攝像裝置2中，可高精度地檢測空間頻率，且由於基於如此獲得之空間頻率進行內插處理A2，故可提高內插處理A2之精度。其結果，於攝像裝置2中，可獲得更高之還原效果，故可提高攝像圖像之畫質。
再者，於該例中，基於圖像映射資料MPG、MPB、MPR，進行合成處理B2，藉此產生映射資料MW，並基於該映射資料MW檢測空間頻率，但並非限定於此。亦可代替此，而如例如圖24所示之圖像處理部30A，基於綠色(G)之圖像映射資料MPG進行空間頻率檢測處理B3，並基於藉由該空間頻率檢測處理B3獲得之每個圖像區域之空間頻率，依每個圖像區域，決定產生綠色(G)之映射資料MG21、MG22之內插處理A2中之內插方法。又，關於圖像映射資料MPB、MPR亦同樣。又，並非限定於此，亦可例如基於綠色(G)之圖像映射資料MPG進行空間頻率檢測處理B3，基於藍色(B)之圖像映射資料MPB進行空間頻率檢測處理B3，基於紅色(R)之圖像映射資料MPR進行空間頻率檢測處理B3，並基於藉由該等空間頻率檢測處理B3獲得之每個圖像區域之空間頻率，依每個圖像區域，決定產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22之內插處理A2中之內插方法。於該情形時，可將產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22時之內插方法設為互為相同。
[變化例1-4] 於上述實施形態中，圖像處理部20基於紅色(R)之圖像映射資料MPR、綠色(G)之圖像映射資料MPG及藍色(B)之圖像映射資料MPB，進行圖像分割處理A1、內插處理A2及合成處理A3，但並非限定於此，亦可代替此，而例如基於亮度信號進行圖像分割處理A1、內插處理A2及合成處理A3。於以下對本變化例詳細地進行說明。
圖25係表示本變化例之攝像裝置1D之一構成例者。該攝像裝置1D具備圖像處理部20D。圖像處理部20D具有：Y/C分離部29D、圖像分割處理部22D、內插處理部23D、合成處理部24D及信號處理部25D。
Y/C分離部29D係藉由進行Y/C分離處理C1而將圖像信號DT所含之RGB信號分離成亮度(Y)信號及顏色(C)信號，並將該等亮度信號及顏色信號作為圖像信號DT11輸出者。圖像信號DT11包含映射資料MY、MCr、MCb。映射資料MY包含亮度(Y)之1圖框圖像量之像素值，映射資料MCr包含R-Y色差(Cr)之1圖框圖像量之像素值，映射資料MCb包含B-Y色差(Cb)之1圖框圖像量之像素值。各像素值為以複數位元之數位碼表示者。Y/C分離部29D分別對應於本發明中之「產生部」之一具體例。
圖像分割處理部22D係基於自Y/C分離部29D經由切換部21供給之圖像信號DT11所含之映射資料MY進行圖像分割處理A1，藉此產生2個映射資料MY11、MY12者。又，圖像分割處理部22D直接輸出圖像信號DT11所含之映射資料MCr、MCb。
內插處理部23D係藉由對自圖像分割處理部22D供給之2個映射資料MY11、MY12之各者進行內插處理A2而產生2個映射資料MY21、MY22者。又，內插處理部23D直接輸出自圖像分割處理部22D供給之映射資料MCr、MCb。
合成處理部24D係基於自內插處理部23D供給之2個映射資料MY21、MY22進行合成處理A3，藉此產生1個映射資料MY3者。且，合成處理部24D將藉由合成處理A3產生之映射資料MY3、及自內插處理部23D供給之映射資料MCr、MCb作為圖像信號DT12供給至信號處理部25D。
信號處理部25D係基於自合成處理部24D供給之圖像信號DT12、或自Y/C分離部29D經由切換部21供給之圖像信號DT11進行特定之信號處理者。且，信號處理部25D將該等特定之信號處理之處理結果作為圖像信號DT13輸出。
圖26係模式性表示圖像處理部20D中之圖像分割處理A1、內插處理A2及合成處理A3之一例者。
Y/C分離部29D藉由進行Y/C分離處理C1將圖像信號DT所含之RGB信號分離成亮度(Y)信號及顏色(C)信號。具體而言，Y/C分離部29D基於圖像映射資料MPG、MPB、MPR產生映射資料MY、MCb、MCr。Y/C分離部29D基於3個圖像映射資料MPG、MPB、MPR中相互對應之位置之像素值，使用例如下式，產生亮度(Y)之像素值。 VY=VG×0.59+VB×0.11+VR×0.3 於該式中，“VY”係亮度(Y)之像素值，“VG”係綠色(G)之像素值，“VB”係藍色(B)之像素值，“VR”係紅色(R)之像素值。
圖像分割處理部22D藉由基於如此產生之映射資料MY進行圖像分割處理A1，產生2個映射資料MY11、MY12。內插處理部23D藉由對該等2個映射資料MY11、MY12之各者進行內插處理A2，產生2個映射資料MY21、MY22。合成處理部24D藉由基於2個映射資料MY21、MY22進行合成處理A3而產生1個映射資料MY3。具體而言，合成處理部24D將2個映射資料MY21、MY22中相互對應之位置之像素值相加，並將該相加後之像素值減半，藉此產生映射資料MY3中該位置之像素值。映射資料MY對應於本發明中之「第1圖像映射資料」之一具體例。映射資料MY11、MY12對應於本發明中之「複數個第1映射資料」之一具體例。映射資料MY21、MY22對應於本發明中之「複數個第2映射資料」之一具體例。映射資料MY3對應於本發明中之「第3映射資料」之一具體例。
藉此，於攝像裝置1D中，可提高亮度信號之信號雜訊比(S/N比)，故可提高攝像圖像之畫質。又，於該例中，由於僅對與亮度(Y)相關之映射資料MY進行圖像分割處理A1、內插處理A2及合成處理A3，故可抑制處理量。其結果，於攝像裝置1D中可減少例如消耗電力。
[其他變化例] 又，亦可將該等變化例中之2個以上加以組合。
＜2.第2實施形態＞ 接下來，對第2實施形態之攝像裝置3進行說明。本實施形態係攝像部中之藍色及紅色之光電轉換元件之構成與上述第1實施形態之情形不同者。再者，對與上述第1實施形態之攝像裝置1實質上相同之構成部分標註同一符號，適當省略說明。
圖27係表示本實施形態之攝像裝置3之一構成例者。攝像裝置3具備攝像部40及圖像處理部50。
圖28係模式性表示攝像部40之攝像像素P之剖面構造者。於半導體基板100，在對應於1個攝像像素P之像素區域形成有1個光電二極體PD。該光電二極體PD與上述第1實施形態之光電二極體PDB、PDR不同，為可接受對應於可見光之各種波長之光者。於半導體基板100之攝像面S側之表面形成有絕緣膜101，於該絕緣膜101之上形成有彩色濾光片111。具體而言，於絕緣膜101之上選擇性形成有彩色濾光片111B或彩色濾光片111R。彩色濾光片111B為使藍色(B)光透過且阻斷紅色(R)及綠色(G)光者。彩色濾光片111R為使紅色(R)光透過且阻斷藍色(B)及綠色(G)光者。彩色濾光片111B及光電二極體PD構成可接受藍色(B)光之光電轉換元件，彩色濾光片111R及光電二極體PD構成可接受紅色(R)光之光電轉換元件。於彩色濾光片111之上形成有絕緣膜112。該絕緣膜112使用例如二氧化矽(SiO 2)而構成。且，於該絕緣膜112之上依序形成有透明電極102、光電轉換膜103G、透明電極104及晶載透鏡105。
圖29係模式性表示配置有4個攝像像素P之區域X中之光電轉換元件之配置者。如此，於攝像部40中，於對應於1個攝像像素P之像素區域，於上層配置有綠色(G)之光電轉換元件，於下層配置有藍色(B)或紅色(R)之光電轉換元件。藍色(B)及紅色(R)之光電轉換元件配置成方格紋。即，於攝像部40中，彩色濾光片111B及彩色濾光片111R配置成方格紋。藉此，於攝像部40中，各攝像像素P之各者可產生綠色之像素信號、藍色或紅色之像素信號。
根據此種構成，攝像部40產生圖像信號DT21及增益信號SGAIN。圖像信號DT21包含2個圖像映射資料MPG、MPBR。圖像映射資料MPG包含綠色(G)之1圖框圖像量之像素值，圖像映射資料MPBR包含藍色(B)及紅色(R)之1圖框圖像量之像素值。於圖像映射資料MPBR中，藍色(B)之像素值及紅色(R)之像素值與彩色濾光片111B、111R之配置對應而配置成方格紋。
圖像處理部50(圖27)具有圖像分割處理部52、內插控制部56、內插處理部53、合成處理部54及信號處理部55。
圖像分割處理部52係藉由基於自攝像部40經由切換部21供給之圖像信號DT21所含之圖像映射資料MPG、MPBR進行圖像分割處理A1而產生4個映射資料MG11、MG12、MR11、MB12者。
內插控制部56係藉由基於圖像信號DT21所含之圖像映射資料MPG進行內插控制處理B1而決定內插處理部53中之內插處理A2的內插方法者。
內插處理部53係藉由對自圖像分割處理部52供給之4個映射資料MG11、MG12、MR11、MB12之各者使用自內插控制部56指示之內插方法進行內插處理A2而產生4個映射資料MG21、MG22、MR21、MB22者。
合成處理部54係藉由基於自內插處理部53供給之2個映射資料MG21、MG22進行合成處理A3而產生1個映射資料MG3者。且，合成處理部54將藉由合成處理A3產生之映射資料MG3及自內插處理部53供給之映射資料MR21、MB22作為圖像信號DT22供給至信號處理部55。
信號處理部55係基於自合成處理部54供給之圖像信號DT22、或自攝像部40經由切換部21供給之圖像信號DT21進行特定之信號處理者。且，信號處理部55將該等特定之信號處理之處理結果作為圖像信號DT23輸出。
圖30係模式性表示圖像處理部50中之圖像分割處理A1、內插控制處理B1、內插處理A2及合成處理A3之一例者。
圖像分割處理部52藉由基於圖像映射資料MPG進行圖像分割處理A1而產生2個映射資料MG11、MG12。又，圖像分割處理部52藉由基於圖像映射資料MPBR進行圖像分割處理A1而產生2個映射資料MR11、MB12。如圖30所示，於映射資料MR11中，於區域X，在左上及右下存在紅色(R)之像素值，且在左下及右上像素值缺失。又，於映射資料MB12中，於區域X，在左下及右上存在藍色(B)之像素值，且在左上及右下像素值缺失。即，於該例中，以與攝像部40中之彩色濾光片111B、111R之方格紋之配置對應之方式將圖像分割處理A1中之像素值之配置圖案PAT設為方格紋圖案。藉此，圖像映射資料MPBR所含之紅色(R)之像素值僅包含於映射資料MR11，圖像映射資料MPBR所含之藍色(B)之像素值僅包含於映射資料MB12。如圖30所示，映射資料MG11、MR11具有互為相同之配置圖案PAT，且映射資料MG12、MB12具有互為相同之配置圖案PAT。
內插控制部56藉由基於綠色(G)之圖像映射資料MPG進行空間頻率檢測處理B3而檢測空間頻率。然後，內插控制部56藉由進行內插方法決定處理B4而基於由空間頻率檢測處理B3求出之空間頻率，依每個圖像區域決定內插處理A2之內插方法。然後，內插控制部56對內插處理部53依每個圖像區域指示內插方法。
內插處理部53藉由對自圖像分割處理部52供給之4個映射資料MG11、MG12、MR11、MB12之各者，依每個圖像區域，使用自內插控制部56指示之內插方法進行內插處理A2，而產生4個映射資料MG21、MG22、MR21、MB22。分別產生4個映射資料MG21、MG22、MR21、MB22時之內插方法互為相同。
合成處理部54基於2個映射資料MG21、MG22進行合成處理A3，藉此產生1個映射資料MG3。具體而言，合成處理部54將2個映射資料MG21、MG22中相互對應之位置之像素值相加，並將相加後之像素值減半，藉此產生映射資料MG3中該位置之像素值。
圖像映射資料MPG、MPBR分別對應於本發明中之「第1圖像映射資料」及「第2圖像映射資料」之一具體例。映射資料MR11、MB12對應於本發明中之「複數個第4映射資料」之一具體例。映射資料MR21、MB22對應於本發明中之「複數個第5映射資料」之一具體例。
如以上，於攝像裝置3中，例如，藉由基於圖像映射資料MPG進行圖像分割處理A1產生映射資料MG11、MG12，藉由分別對該等映射資料MG11、MG12進行內插處理A2而產生映射資料MG21、MG22，並藉由基於該等映射資料MG21、MG22進行合成處理A3而產生映射資料MG3。藉此，於攝像裝置3中，與上述第1實施形態之情形同樣，可提高映射資料MG3中之信號雜訊比(S/N比)，可提高攝像圖像之畫質。
又，於攝像裝置3中，以與攝像部40中之彩色濾光片111B、111R之方格紋之配置對應之方式將圖像分割處理A1中之像素值的配置圖案PAT設為方格紋圖案。且，將映射資料MG11、MR11中之像素值之配置圖案PAT設為互為相同，且將映射資料MG12、MB12中之像素值之配置圖案PAT設為互為相同。藉此，圖像分割處理部52可基於2個圖像映射資料MPG、MPBR以相同之方法進行圖像分割處理A1，故可簡化圖像分割處理部52之電路構成。又，與攝像裝置1之情形同樣，可減少發生假色之虞，可提高攝像圖像之畫質。
又，於攝像裝置3中，於內插處理A2時，將產生映射資料MG21、MG22、MR21、MB22時之內插方法設為互為相同。藉此，內插處理部53可使用互為相同之內插方法產生4個映射資料MG21、MG22、MR21、MB22，故可簡化內插處理部53之電路構成。又，與攝像裝置1之情形同樣，可減少發生假色之虞，可提高攝像圖像之畫質。
又，於攝像裝置3中，基於整面配置有綠色(G)之像素值之圖像映射資料MPG檢測空間頻率，並基於該檢測出之空間頻率，決定內插處理A2中之內插方法。藉此，於攝像裝置3中，可高精度地檢測空間頻率，故可提高內插處理A2之精度。其結果，於攝像裝置3中，可獲得更高之還原效果，故可提高攝像圖像之畫質。
又，於攝像裝置3中，與上述第1實施形態之攝像裝置1同樣，可控制是否進行圖像分割處理、內插處理及合成處理。藉此，於攝像裝置3中，例如，於拍攝較暗之被攝體之情形時，進行圖像分割處理A1、內插處理A2及合成處理A3，藉此，可提高攝像圖像中之信號雜訊比(S/N比)。例如，於拍攝較亮之被攝體之情形時，不進行圖像分割處理A1、內插處理A2及合成處理A3，藉此，可提高攝像圖像中之解像度。其結果，於攝像裝置3中，可提高攝像圖像之畫質。
如上，於本實施形態中，由於進行圖像分割處理、內插處理及合成處理，故可提高攝像圖像中之信號雜訊比，從而可提高攝像圖像之畫質。
於本實施形態中，由於以與攝像部中之彩色濾光片之方格紋之配置對應之方式將圖像分割處理中之像素值之配置圖案設為方格紋圖案，故可簡化圖像分割處理部之電路構成，且可減少發生假色之虞，可提高攝像圖像之畫質。
本實施形態中，於內插處理中，由於產生4個映射資料時之內插方法設為互為相同，故可簡化內插處理部之電路構成，且可減少發生假色之虞，可提高攝像圖像之畫質。
於本實施形態中，基於整面配置有綠色(G)之像素值之圖像映射資料MPG檢測空間頻率，並基於該檢測出之空間頻率，決定內插處理中之內插方法，因此可高精度地檢測空間頻率，可提高攝像圖像之畫質。
於本實施形態中，由於可控制是否進行圖像分割處理、內插處理及合成處理，故可提高攝像圖像之畫質。
＜3.第3實施形態＞ 接下來，對第3實施形態之攝像裝置4進行說明。本實施形態係攝像部中之可接受藍色(B)及紅色(R)光之光電轉換元件之配置密度與上述第1實施形態之情形不同者。再者，對與上述第1實施形態之攝像裝置1實質上相同之構成部分標註同一符號，適當省略說明。
圖31係表示本實施形態之攝像裝置4之一構成例者。攝像裝置4具備攝像部60及圖像處理部70。
圖32係模式性表示攝像部60中之攝像像素P之剖面構造者。圖33係模式性表示配置有4個攝像像素P之區域X中之光電轉換元件的配置者。於半導體基板100，在對應於4個攝像像素P之區域X形成光電二極體PDR2、PDB2。光電二極體PDR2與光電二極體PDR同樣，為可接受紅色(R)光之光電轉換元件，光電二極體PDB2與光電二極體PDB同樣，為可接受藍色(B)光之光電轉換元件。光電二極體PDR2及光電二極體PDB2於半導體100中，於與4個攝像像素P對應的區域X以光電二極體PDB2成為攝像面S側之方式積層形成。即，於第1實施形態之攝像部10中，在對應於1個攝像像素P之像素區域，積層形成光電二極體PDB、PDR，但於本實施形態之攝像部60中，在對應於4個攝像像素P之區域X，積層形成光電二極體PDB2、PDR2。藉此，於攝像部60中，在對應於4個攝像像素P之區域X，積層形成4個綠色(G)之光電轉換元件、1個藍色(B)之光電轉換元件、1個紅色(R)之光電轉換元件。換言之，於攝像部60中，藍色(B)之光電轉換元件之配置密度為綠色(G)之光電轉換元件之配置密度的1/4，紅色(R)之光電轉換元件之配置密度為綠色(G)之光電轉換元件之配置密度的1/4。於彩色濾光片111之上形成有絕緣膜112。該絕緣膜112使用例如二氧化矽(SiO 2)而構成。於半導體基板100之上形成有絕緣膜101，於該絕緣膜101之上依序形成有透明電極102、光電轉換膜103G、透明電極104及晶載透鏡105。
根據此種構成，攝像部60產生圖像信號DT31及增益信號SGAIN。圖像信號DT31包含3個圖像映射資料MPG、MPB、MPR。圖像映射資料MPG包含綠色(G)之1圖框圖像量之像素值，圖像映射資料MPB包含藍色(B)之1圖框圖像量之像素值，圖像映射資料MPR包含紅色(R)之1圖框圖像量之像素值。圖像映射資料MPB中之像素值之數量為圖像映射資料MPG中之像素值之數量的1/4，圖像映射資料MPR中之像素值之數量為圖像映射資料MPG中之像素值之數量的1/4。圖像映射資料MPG中之4個像素值與圖像映射資料MPB中之1個像素值建立對應，且與圖像映射資料MPR中之1個像素值建立對應。
圖像處理部70(圖31)具有圖像分割處理部72、內插處理部73、合成處理部74及信號處理部75。
圖像分割處理部72係藉由基於自攝像部60經由切換部21供給之圖像信號DT31所含之圖像映射資料MPG、MPB、MPR進行圖像分割處理A1而產生6個映射資料MG11、MG12、MB11、MB12、MR11、MB12者。
內插處理部73係藉由對自圖像分割處理部72供給之6個映射資料MG11、MG12、MB11、MB12、MR11、MR12之各者進行內插處理A2而產生6個映射資料MG21、MG22、MB21、MB22、MR21、MB22者。
合成處理部74係藉由基於自內插處理部73供給之6個映射資料MG21、MG22、MB21、MB22、MR21、MR22進行合成處理A3而產生3個映射資料MG3、MB3、MR3者。且，合成處理部74將藉由合成處理A3產生之映射資料MG3、MB3、MR3作為圖像信號DT32供給至信號處理部75。
信號處理部75係基於自合成處理部74供給之圖像信號DT32、或自攝像部60經由切換部21供給之圖像信號DT31進行特定之信號處理者。且，信號處理部75將該等特定之信號處理之處理結果作為圖像信號DT33輸出。
圖34係模式性表示圖像處理部70中之圖像分割處理A1、內插處理A2及合成處理A3之一例者。
圖像分割處理部72藉由基於圖像映射資料MPG、MPB、MPR進行圖像分割處理A1而產生6個映射資料MG11、MG12、MB11、MB12、MR11、MR12。如圖34所示，映射資料MG11、MG12中之像素值之配置圖案PAT為以4個像素值為單位之方格紋圖案(圖12A、12B)。另一方面，映射資料MB11、MB12、MR11、MR12中之像素值之配置圖案PAT為以1個像素值為單位之方格紋圖案(圖8A、8B)。即，與攝像部60中之綠色(G)、藍色(B)及紅色(R)之光電轉換元件之配置密度對應地，將映射資料MG11、MG12中之方格紋圖案之單位設為映射資料MB11、MB12、MR11、MR12中之方格紋圖案之單位的4倍。
內插處理部73藉由對自圖像分割處理部22供給之6個映射資料MG11、MG12、MB11、MB12、MR11、MR12之各者進行內插處理A2，而產生6個映射資料MG21、MG22、MB21、MB22、MR21、MR22。於對映射資料MG11、MG12進行內插處理A2之情形時，內插處理部73可使用圖13A、13B所示之內插方法。分別產生映射資料MB21、MB22、MR21、MR22時之內插方法互為相同。又，可將分別產生映射資料MG21、MG22時之內插方法設為與分別產生映射資料MB21、MB22、MR21、MR22時之內插方法同樣之方法。具體而言，例如，可將該等2種內插方法中之內插方向設為相同。
合成處理部74基於6個映射資料MG21、MG22、MB21、MB22、MR21、MR22進行合成處理A3，藉此產生3個映射資料MG3、MB3、MR3。
如上，於攝像裝置4中，例如，藉由基於圖像映射資料MPG進行圖像分割處理A1而產生映射資料MG11、MG12，藉由分別對該等映射資料MG11、MG12進行內插處理A2而產生映射資料MG21、MG22，並藉由基於該等映射資料MG21、MG22進行合成處理A3而產生映射資料MG3。關於圖像映射資料MPB、MPR亦同樣。藉此，於攝像裝置4中，與上述第1實施形態之情形同樣，可提高映射資料MG3、MB3、MR3中之信號雜訊比(S/N比)，可提高攝像圖像之畫質。
又，於攝像裝置4中，以與攝像部60中之綠色(G)、藍色(B)及紅色(R)之光電轉換元件之配置密度對應之方式，將映射資料MG11、MG12中之方格紋圖案之單位設為映射資料MB11、MB12、MR11、MR12中之方格紋圖案之單位的4倍。藉此，圖像分割處理部72可基於3個圖像映射資料MPG、MPB、MPR，以相同之方法進行圖像分割處理A1，故可簡化圖像分割處理部72之電路構成。又，與攝像裝置1之情形同樣，可減少發生假色之虞，可提高攝像圖像之畫質。
又，於攝像裝置4中，於內插處理A2中，將產生映射資料MB21、MB22、MR21、MR22時之內插方法設為互為相同。藉此，內插處理部73可使用互為相同之內插方法產生4個映射資料MB21、MB22、MR21、MR22，故可簡化內插處理部73之電路構成。又，於內插處理A2中，將分別產生映射資料MG21、MG22時之內插方法設為與分別產生映射資料MB21、MB22、MR21、MR22時之內插方法相同之方法，故與攝像裝置1之情形同樣，可減少發生假色之虞，可提高攝像圖像之畫質。
又，於攝像裝置4中，與上述第1實施形態之攝像裝置1同樣，可控制是否進行圖像分割處理、內插處理及合成處理。藉此，於攝像裝置4中，例如，於拍攝較暗之被攝體之情形時，進行圖像分割處理A1、內插處理A2及合成處理A3，藉此，可提高攝像圖像中之信號雜訊比(S/N比)，例如，於拍攝較亮之被攝體之情形時，不進行圖像分割處理A1、內插處理A2及合成處理A3，藉此，可提高攝像圖像中之解像度。其結果，於攝像裝置4中，可提高攝像圖像之畫質。
如上，於本實施形態中，由於進行圖像分割處理、內插處理及合成處理，故可提高攝像圖像中之信號雜訊比，從而可提高攝像圖像之畫質。
於本實施形態中，由於以與攝像部中之綠色、藍色及紅色之光電轉換元件之配置密度對應之方式將映射資料MG11、MG12中之方格紋圖案之單位設為映射資料MB11、MB12、MR11、MR12中之方格紋圖案之單位的4倍，故可簡化圖像分割處理部之電路構成，可減少發生假色之虞，可提高攝像圖像之畫質。
於本實施形態中，由於在內插處理中，產生映射資料MB21、MB22、MR21、MR22時之內插方法設為互為相同，故可簡化內插處理部之電路構成，且可減少發生假色之虞。
於本實施形態中，由於在內插處理中，將分別產生映射資料MG21、MG22時之內插方法設為與分別產生映射資料MB21、MB22、MR21、MR22時之內插方法相同之方法，故可減少發生假色之虞，可提高攝像圖像之畫質。
於本實施形態中，由於可控制是否進行圖像分割處理、內插處理及合成處理，故可提高攝像圖像之畫質。
[變化例3-1] 於上述實施形態中，圖像處理部70基於紅色(R)之圖像映射資料MPR、綠色(G)之圖像映射資料MPG及藍色(B)之圖像映射資料MPB，進行圖像分割處理A1、內插處理A2及合成處理A3，但並非限定於此。亦可代替此，而與例如第1實施形態之變化例之攝像裝置1D之情形(圖25)同樣，基於亮度信號進行圖像分割處理A1、內插處理A2及合成處理A3。於以下對本變化例詳細地進行說明。
圖35係表示本變化例之攝像裝置4A之一構成例者。該攝像裝置4A具備圖像處理部70A。圖像處理部70A具有：Y/C分離部79A、圖像分割處理部72A、內插處理部73A、合成處理部74A及信號處理部75A。
Y/C分離部79A係藉由進行Y/C分離處理C1，將圖像信號DT31所含之RGB信號分離成亮度(Y)信號及顏色(C)信號，並將該等亮度信號及顏色信號作為圖像信號DT41輸出者。圖像信號DT41包含映射資料MY、MCr、MCb。映射資料MY包含亮度(Y)之1圖框圖像量之像素值，映射資料MCr包含R-Y色差(Cr)之1圖框圖像量之像素值，映射資料MCb包含B-Y色差(Cb)之1圖框圖像量之像素值。映射資料MCr中之像素值之數量為映射資料MY中之像素值之數量的1/4。同樣地，映射資料MCb中之像素值之數量為映射資料MY中之像素值之數量的1/4。
圖像分割處理部72A係基於自Y/C分離部79A經由切換部21供給之圖像信號DT41所含之映射資料MY進行圖像分割處理A1，藉此產生2個映射資料MY11、MY12者。又，圖像分割處理部72A直接輸出圖像信號DT41所含之映射資料MCr、MCb。
內插處理部73A係藉由對自圖像分割處理部72A供給之2個映射資料MY11、MY12之各者進行內插處理A2而產生2個映射資料MY21、MY22者。又，內插處理部73A直接輸出自圖像分割處理部72A供給之映射資料MCr、MCb。
合成處理部74A係基於自內插處理部73A供給之2個映射資料MY21、MY22進行合成處理A3，藉此產生1個映射資料MY3者。且，合成處理部74A將藉由合成處理A3產生之映射資料MY3、及自內插處理部73A供給之映射資料MCr、MCb作為圖像信號DT42供給至信號處理部75A。
信號處理部75A係基於自合成處理部74A供給之圖像信號DT42、或自Y/C分離部79A經由切換部21供給之圖像信號DT41進行特定之信號處理者。且，信號處理部75A將該等特定之信號處理之處理結果作為圖像信號DT43輸出。
圖36係模式性表示圖像處理部70A中之圖像分割處理A1、內插處理A2及合成處理A3之一例者。
Y/C分離部79A藉由進行Y/C分離處理C1而將圖像信號DT31所含之RGB信號分離成亮度(Y)信號及顏色(C)信號。具體而言，Y/C分離部79A基於圖像映射資料MPG、MPB、MPR產生映射資料MY、MCb、MCr。Y/C分離部79A基於3個圖像映射資料MPG、MPB、MPR中相互對應之位置之像素值，使用例如下式，產生亮度(Y)之像素值。 VY1=VG1×0.59+VB/4×0.11+VR/4×0.3 VY2=VG2×0.59+VB/4×0.11+VR/4×0.3 VY3=VG3×0.59+VB/4×0.11+VR/4×0.3 VY4=VG4×0.59+VB/4×0.11+VR/4×0.3 於該等式中，“VY1～VY4”係亮度(Y)之像素值，“VG1～VG4”係綠色(G)之像素值，“VB”係藍色(B)之像素值，“VR”係紅色(R)之像素值。“VY1”、“VG1”表示區域X中之左上之像素值，“VY2”、“VG2”表示區域X中之右上之像素值，“VY3”、“VG3”表示區域X中之左下之像素值，“VY4”、“VG4”表示區域X中之右下之像素值。
圖像分割處理部72A藉由基於如此產生之映射資料MY進行圖像分割處理A1，而產生2個映射資料MY11、MY12。內插處理部73A藉由對該等2個映射資料MY11、MY12之各者進行內插處理A2，而產生2個映射資料MY21、MY22。合成處理部74A藉由基於2個映射資料MY21、MY22進行合成處理A3而產生1個映射資料MY3。
藉此，於攝像裝置4A中，可提高關於亮度信號之信號雜訊比(S/N比)，故可提高攝像圖像之畫質。又，於該例中，由於僅對與亮度(Y)相關之映射資料MY進行圖像分割處理A1、內插處理A2及合成處理A3，故可抑制處理量。其結果，於攝像裝置4A中可減少例如消耗電力。
[變化例3-2] 可對上述實施形態之攝像裝置4應用上述第1實施形態之各變化例。具體而言，例如，可與上述第1實施形態之變化例之攝像裝置2(圖21)同樣，藉由基於圖像信號DT31所含之圖像映射資料MPG、MPB、MPR進行內插控制處理B1，而控制內插處理部73中之內插處理A2之內插方法。
＜4.第4實施形態＞ 接下來，對第4實施形態之攝像裝置5進行說明。本實施形態係於攝像部設置可接受綠色(G)、藍色(B)及紅色(R)光之光電轉換元件外，還設置有可接受紅外(IR)光之光電轉換元件者。再者，對與上述第1實施形態之攝像裝置1實質上相同之構成部分標註同一符號，適當省略說明。
圖37係表示本實施形態之攝像裝置5之一構成例者。攝像裝置5具備攝像部80及圖像處理部90。
圖38係模式性表示攝像部80中之攝像像素P之剖面構造者。圖39係模式性表示配置有4個攝像像素P之區域X中之光電轉換元件的配置者。於半導體基板100，在對應於1個攝像像素P之像素區域形成光電二極體PD。該光電二極體PD為可接受與可見光對應之各種波長之光者。於半導體基板100之攝像面S側之表面形成有絕緣膜101，於該絕緣膜101之上形成有彩色濾光片111。具體而言，於絕緣膜101之上，在對應於4個攝像像素P之區域X，於該例中，在左上形成有紅色(R)之彩色濾光片111R，在左下及右上形成有綠色(G)之彩色濾光片111G，在右下形成有藍色(B)之彩色濾光片111B。彩色濾光片111R為使紅色(R)光透過且阻斷藍色(B)及綠色(G)光者。彩色濾光片111G為使綠色(G)光透過且阻斷紅色(R)及藍色(B)光者。彩色濾光片111B為使藍色(B)光透過且阻斷紅色(R)及綠色(G)光者。彩色濾光片111R及光電二極體PD構成可接受紅色(R)光之光電轉換元件，彩色濾光片111G及光電二極體PD構成可接受綠色(G)光之光電轉換元件，彩色濾光片111B及光電二極體PD構成可接受藍色(B)光之光電轉換元件。彩色濾光片111R、111G、111B之排列為所謂之拜耳排列。
於彩色濾光片111之上形成有絕緣膜112。且，於該絕緣膜112之上依序形成有透明電極102、光電轉換膜103IR及透明電極104。透明電極102、104為可使紅色光、綠色光、藍色光及紅外光透過之電極。光電轉換膜103IR為可接受綠色(G)光之光電轉換膜，且構成為可使紅色光、綠色光及藍色光透過。該光電轉換膜103IR及透明電極102、104構成可接受紅外(IR)光之光電轉換元件。於透明電極104之上形成有晶載透鏡105。
如此，於攝像部80中，如圖39所示，於對應於1個攝像像素P之像素區域中，於上層配置有紅外(IR)之光電轉換元件，於下層配置有紅色(R)、綠色(G)或藍色(B)之光電轉換元件。紅色(R)、綠色(G)及藍色(B)之光電轉換元件以拜耳排列配置。藉此，於攝像部80中，各攝像像素P之各者可產生紅外之像素信號、與紅色、綠色或藍色之像素信號。
根據此種構成，攝像部80產生圖像信號DT51及增益信號SGAIN。圖像信號DT51包含2個圖像映射資料MPIR、MPRGB。圖像映射資料MPIR包含紅外(IR)之1圖框圖像量之像素值，圖像映射資料MPRGB包含紅色(R)、綠色(G)及藍色(B)之1圖框圖像量之像素值。
圖像處理部90(圖37)具有圖像分割處理部92、內插處理部93、合成處理部94及信號處理部95。
圖像分割處理部92藉由基於自攝像部80經由切換部21供給之圖像信號DT51所含之圖像映射資料MPIR進行圖像分割處理A1而產生3個映射資料MIR12、MIR11、MIR13，且藉由基於圖像信號DT51所含之圖像映射資料MPRGB進行圖像分割處理A1而產生3個映射資料MG12、MR11、MB13者。
內插處理部93係藉由對自圖像分割處理部92供給之6個映射資料MIR12、MIR11、MIR13、MG12、MR11、MB13之各者進行內插處理A2而產生6個映射資料MIR22、MIR21、MIR23、MG22、MR21、MB23者。
合成處理部94係藉由基於自內插處理部93供給之3個映射資料MIR22、MIR21、MIR23進行合成處理A3而產生映射資料MIR3者。且，合成處理部94將藉由合成處理A3產生之映射資料MIR3及自內插處理部93供給之映射資料MG22、MR21、MB23作為圖像信號DT52供給至信號處理部95。
信號處理部95係基於自合成處理部94供給之圖像信號DT52、或自攝像部60經由切換部21供給之圖像信號DT51進行特定之信號處理者。且，信號處理部95將該等特定之信號處理之處理結果作為圖像信號DT53輸出。
圖40係模式性表示圖像處理部90中之圖像分割處理A1、內插處理A2及合成處理A3之一例者。
圖像分割處理部92藉由基於圖像映射資料MPIR進行圖像分割處理A1而產生3個映射資料MIR12、MIR11、MIR13，且藉由基於圖像映射資料MPRGB進行圖像分割處理A1而產生3個映射資料MG12、MR11、MB13。如圖40所示，映射資料MIR12、MIR11、MIR13中之像素值之配置圖案PAT為對應於拜耳排列之圖案(圖18A～18C)。關於映射資料MG12、MR11、MB13中之像素值之配置圖案PAT亦同樣。即，於該例中，將圖像分割處理A1中之像素值之配置圖案PAT設為與表示攝像部80中之彩色濾光片111R、111G、111B之配置的拜耳排列對應之圖案。藉此，圖像映射資料MPRGB所含之紅色(R)之像素值僅包含於映射資料MR11，圖像映射資料MPRGB所含之綠色(G)之像素值僅包含於映射資料MG12，圖像映射資料MPRGB所含之藍色(B)之像素值僅包含於映射資料MB13。如圖40所示，映射資料MIR12、MG12具有互為相同之配置圖案PAT，映射資料MIR11、MG11具有互為相同之配置圖案PAT，映射資料MIR13、MB13具有互為相同之配置圖案PAT。
內插處理部93藉由對自圖像分割處理部92供給之6個映射資料MIR12、MIR11、MIR13、MG12、MR11、MB13之各者進行內插處理A2，而產生6個映射資料MIR22、MIR21、MIR23、MG22、MR21、MB23。於對映射資料MIR12、MIR11、MIR13進行內插處理A2之情形時，內插處理部93可使用例如圖19A～19C所示之內插方法。關於對映射資料MG12、MR11、MB13之內插處理A2亦同樣。分別產生映射資料MIR22、MG22時之內插方法互為相同，分別產生映射資料MIR21、MR21時之內插方法互為相同，分別產生映射資料MIR23、MB23時之內插方法互為相同。
合成處理部94基於3個映射資料MIR22、MIR21、MIR23進行合成處理A3，藉此產生映射資料MIR3。
圖像映射資料MPIR、MPRGB分別對應於本發明中之「第1圖像映射資料」及「第2圖像映射資料」之一具體例。映射資料MIR12、MIR11、MIR13對應於本發明中之「複數個第1映射資料」之一具體例。映射資料MIR22、MIR21、MIR23對應於本發明中之「複數個第2映射資料」之一具體例。映射資料MIR3對應於本發明中之「第3映射資料」之一具體例。映射資料MG12、MR11、MB13對應於本發明中之「複數個第4映射資料」之一具體例。映射資料MG22、MR21、MB23對應於本發明中之「複數個第5映射資料」之一具體例。
如以上，於攝像裝置5中，例如，藉由基於圖像映射資料MPIR進行圖像分割處理A1而產生映射資料MIR12、MIR11、MIR13，藉由分別對該等映射資料MIR12、MIR11、MIR13進行內插處理A2而產生映射資料MIR22、MIR21、MIR23，且藉由基於該等映射資料MIR22、MIR21、MIR23進行合成處理A3而產生映射資料MIR3。藉此，於攝像裝置5中，與上述第1實施形態之情形同樣地，可提高映射資料MIR3中之信號雜訊比(S/N比)，可提高攝像圖像之畫質。
又，於攝像裝置5中，以與攝像部80中之彩色濾光片111R、111G、111B之配置對應之方式，將圖像分割處理A1中之像素值之配置圖案PAT設為與拜耳排列對應的圖案。且，將映射資料MIR12、MG12中之像素值之配置圖案PAT設為互為相同，將映射資料MIR11、MR11中之像素值之配置圖案PAT設為互為相同，將映射資料MIR13、MB13中之像素值之配置圖案PAT設為互為相同。其結果，圖像分割處理部92可基於2個圖像映射資料MPIR、MPRGB以相同之方法進行圖像分割處理A1，故可簡化圖像分割處理部92之電路構成。
又，於攝像裝置5中，於內插處理A2中，將產生映射資料MIR22、MG22時之內插方法設為互為相同，將產生映射資料MIR21、MR21時之內插方法設為互為相同，將產生映射資料MIR23、MB23時之內插方法設為互為相同，故可簡化內插處理部93之電路構成。
又，於攝像裝置5中，與上述第1實施形態之攝像裝置1同樣，可控制是否進行圖像分割處理、內插處理及合成處理。藉此，於攝像裝置3中，例如，於拍攝較暗之被攝體之情形時，進行圖像分割處理A1、內插處理A2及合成處理A3，藉此，可提高攝像圖像中之信號雜訊比(S/N比)，例如，於拍攝較亮之被攝體之情形時，不進行圖像分割處理A1、內插處理A2及合成處理A3，藉此，可提高攝像圖像中之解像度。其結果，於攝像裝置5中，可提高攝像圖像之畫質。
如上，於本實施形態中，由於進行圖像分割處理、內插處理及合成處理，故可提高攝像圖像中之信號雜訊比，從而可提高攝像圖像之畫質。
於本實施形態中，由於以與攝像部中之彩色濾光片之配置對應之方式將圖像分割處理中之像素值之配置圖案設為與拜耳排列對應之圖案，故可簡化圖像分割處理部之電路構成。
於本實施形態中，由於在內插處理中，使產生映射資料MIR22、MG22時之內插方法互為相同，使產生映射資料MIR21、MR21時之內插方法互為相同，使產生映射資料MIR23、MB23時之內插方法互為相同，故可簡化內插處理部93之電路構成。
於本實施形態中，由於可控制是否進行圖像分割處理、內插處理及合成處理，故可提高攝像圖像之畫質。
[變化例4-1] 可對上述實施形態之攝像裝置5應用上述第1實施形態之各變化例。具體而言，例如，可與上述第1實施形態之變化例之攝像裝置2(圖21)同樣，藉由基於圖像信號DT51所含之圖像映射資料MPRGB進行內插控制處理B1，而控制內插處理部93中之內插處理A2之內插方法。
＜5.攝像裝置之使用例＞ 圖41係表示上述實施形態之攝像裝置1等之使用例者。上述之攝像裝置1等例如可如下般用於感測可見光、或紅外光、紫外光、X射線等光之各種實例。
·數位相機、或附相機功能之行動機器等拍攝供鑒賞用之圖像之裝置 ·為了自動停止等安全駕駛、或識別駕駛者之狀態等而拍攝汽車之前方或後方、周圍、車內等之車載用感測器、監視行駛車輛或道路之監視相機、進行車輛間等之測距之測距感測器等供交通用的裝置 ·為了拍攝使用者之手勢並進行依循該手勢之機器操作而供電視、或冰箱、空調等家電用之裝置 ·內視鏡、或利用紅外光之受光進行血管拍攝之裝置等供醫療或保健用之裝置 ·預防犯罪用之監視相機、或人物認證用之相機等供安全用之裝置 ·拍攝皮膚之皮膚檢測器、或拍攝頭皮之顯微鏡等供美容用之裝置 ·用於運動用途等之運動相機或穿戴式相機等供運動用之裝置 ·用於監視農田或作物之狀態之相機等供農業用之裝置
＜6.應用例＞ 再者，本發明之技術(本技術)可應用於各種製品。例如，本發明之技術可應用於內視鏡手術系統。
圖42係表示可應用本發明之技術(本技術)之使用膠囊型內視鏡之患者之體內資訊取得系統之概略構成之一例的方塊圖。
體內資訊取得系統10001由膠囊型內視鏡10100及外部控制裝置10200構成。
膠囊型內視鏡10100於檢查時由患者吞下。膠囊型內視鏡10100具有攝像功能及無線通信功能，於患者自然排出前之期間，藉由蠕動運動等於胃或腸等臟器之內部移動，且以特定之間隔依序拍攝該臟器內部之圖像(以下亦稱為體內圖像)，並將該體內圖像相關之資訊依序無線發送至體外之外部控制裝置10200。
外部控制裝置10200總括地控制體內資訊取得系統10001之動作。又，外部控制裝置10200接收自膠囊型內視鏡10100發送來之體內圖像相關之資訊，並基於接收到之體內圖像相關之資訊產生用以將該體內圖像顯示於顯示裝置(未圖示)之圖像資料。
於體內資訊取得系統10001中，如此，可在膠囊型內視鏡10100自吞入起至排出為止之期間，隨時獲得拍攝患者體內之狀況所得的體內圖像。
就膠囊型內視鏡10100與外部控制裝置10200之構成及功能更詳細地進行說明。
膠囊型內視鏡10100具有膠囊型之殼體10101，且於該殼體10101內收納有光源部10111、攝像部10112、圖像處理部10113、無線通信部10114、供電部10115、電源部10116及控制部10117。
光源部10111例如包含LED(light emitting diode：發光二極體)等光源，且對攝像部10112之攝像視野照射光。
攝像部10112包括攝像元件、及包含設置於該攝像元件前段之複數個透鏡之光學系統。照射至觀察對象即生物體組織之光之反射光(以下稱為觀察光)由該光學系統聚光，並入射至該攝像元件。攝像部10112中，於攝像元件中，入射至此處之觀察光進行光電轉換，產生對應於該觀察光之圖像信號。由攝像部10112產生之圖像信號被提供至圖像處理部10113。
圖像處理部10113包含CPU(Central Processing Unit：中央處理單元)或GPU(Graphics Processing Unit：圖形處理單元)等處理器，且對由攝像部10112產生之圖像信號進行各種信號處理。圖像處理部10113將實施信號處理後之圖像信號作為RAW資料提供至無線通信部10114。
無線通信部10114對由圖像處理部10113實施信號處理後之圖像信號進行調變處理等特定之處理，並將該圖像信號經由天線10114A發送至外部控制裝置10200。又，無線通信部10114自外部控制裝置10200經由天線10114A接收與膠囊型內視鏡10100之驅動控制相關之控制信號。無線通信部10114將自外部控制裝置10200接收到之控制信號提供至控制部10117。
供電部10115包含受電用之天線線圈、自該天線線圈所產生之電流再生電力之電力再生電路及升壓電路等。於供電部10115中，使用所謂之非接觸充電之原理產生電力。
電源部10116包含二次電池，並蓄積由供電部10115產生之電力。於圖42中，為了避免圖式變得繁瑣，省略表示來自電源部10116之電力之供給目的地之箭頭等之圖示，但蓄積於電源部10116之電力被供給至光源部10111、攝像部10112、圖像處理部10113、無線通信部10114及控制部10117，且可用於其等之驅動。
控制部10117包含CPU等處理器，且根據自外部控制裝置10200發送之控制信號適當地控制光源部10111、攝像部10112、圖像處理部10113、無線通信部10114及供電部10115之驅動。
外部控制裝置10200包含CPU、GPU等處理器、或混合載置有處理器與記憶體等記憶元件之微電腦或控制基板等。外部控制裝置10200對膠囊型內視鏡10100之控制部10117經由天線10200A發送控制信號，藉此控制膠囊型內視鏡10100之動作。於膠囊型內視鏡10100中，例如，可根據來自外部控制裝置10200之控制信號變更光源部10111中之對觀察對象照射光之條件。又，可根據來自外部控制裝置10200之控制信號，變更攝像條件(例如攝像部10112中之圖框率、曝光值等)。又，可根據來自外部控制裝置10200之控制信號，變更圖像處理部10113中之處理內容、或由無線通信部10114發送圖像信號之條件(例如發送間隔、發送圖像數等)。
又，外部控制裝置10200對自膠囊型內視鏡10100發送之圖像信號實施各種圖像處理，並產生用以將拍攝到之體內圖像顯示於顯示裝置之圖像資料。作為該圖像處理，可進行例如顯影處理(去馬賽克處理)、高畫質化處理(頻帶增強處理、超解像處理、NR(Noise reduction：噪音降低)處理及/或手抖修正處理等)、以及/或者放大處理(電子變焦處理)等各種信號處理。外部控制裝置10200控制顯示裝置之驅動，並基於產生之圖像資料顯示拍攝到之體內圖像。或，外部控制裝置10200將產生之圖像資料記錄於記錄裝置(未圖示)、或印刷輸出至印刷裝置(未圖示)。
以上，對可應用本發明之技術之體內資訊取得系統之一例進行了說明。本發明之技術可應用於以上說明之構成中之例如攝像部10112及圖像處理部10113。藉此，由於可提高攝像圖像之畫質，故醫師可更準確地掌握患者體內之狀況。
＜4.對內視鏡手術系統之應用例＞ 本發明之技術(本技術)可應用於各種製品。例如，本發明之技術可應用於內視鏡手術系統。
圖43係表示可應用本發明之技術(本技術)之內視鏡手術系統之概略構成之一例的圖。
於圖43中，圖示施術者(醫師)11131使用內視鏡手術系統11000，對病床11133上之患者11132進行手術之狀況。如圖所示，內視鏡手術系統11000包含內視鏡11100、氣腹管11111或能量處理器械11122等其他手術器械11110、支持內視鏡11100之支持臂裝置11120、及搭載有用於內視鏡下手術之各種裝置之台車11200。
內視鏡11100包含將距末端特定長度之區域插入至患者11132之體腔內之鏡筒11101、及連接於鏡筒11101之基端之相機頭11102。於圖示之例中，圖示作為具有硬性鏡筒11101之所謂硬性鏡構成之內視鏡11100，但內視鏡11100亦可作為具有軟性鏡筒之所謂軟性鏡構成。
於鏡筒11101之末端，設有嵌入有物鏡之開口部。於內視鏡11100連接有光源裝置11203，由該光源裝置11203產生之光藉由延設於鏡筒11101內部之導光件而被導光至該鏡筒之末端，並經由物鏡向患者11132體腔內之觀察對象照射。再者，內視鏡11100可為直視鏡，亦可為斜視鏡或側視鏡。
於像機頭11102之內部設有光學系統及攝像元件，來自觀察對象之反射光(觀察光)藉由該光學系統而聚光於該攝像元件。藉由該攝像元件將觀察光進行光電轉換，產生對應於觀察光之電氣信號，即對應於觀察圖像之圖像信號。該圖像信號作為RAW資料發送至相機控制器單元(CCU：Camera Contral Unit)11201。
CCU11201包含CPU(Central Processing Unit)或GPU(Graphics Processing Unit)等，且總括性控制內視鏡11100及顯示裝置11202之動作。進而，CCU11201自相機頭11102接收圖像信號，對該圖像信號實施例如顯影處理(去馬賽克處理)等用以顯示基於該圖像信號之圖像之各種圖像處理。
顯示裝置11202藉由來自CCU11201之控制，顯示基於由該CCU11201實施圖像處理後之圖像信號之圖像。
光源裝置11203例如包含LED(Light Emitting Diode)等光源，並將拍攝手術部等時之照射光供給至內視鏡11100。
輸入裝置11204為針對內視鏡手術系統11000之輸入介面。使用者可經由輸入裝置11204，對內視鏡手術系統11000進行各種資訊之輸入或指示輸入。例如，使用者輸入變更內視鏡11100之攝像條件(照射光之種類、倍率及焦點距離等)之主旨的指示等。
處理器械控制裝置11205控制用於組織之燒灼、切開或血管之密封之能量處理器械11112之驅動。氣腹裝置11206基於確保內視鏡11100之視野及確保施術者之作業空間之目的，為了使患者11132之體腔鼓起，而經由氣腹管11111對該體腔內送入空氣。記錄器11207係可記錄手術相關之各種資訊之裝置。印表機11208係可以文本、圖像或圖表等各種形式印刷手術相關之各種資訊之裝置。
再者，對內視鏡11100供給拍攝手術部時之照射光之光源裝置11203例如可包含LED、雷射光源或由其等之組合構成之白色光源。藉由RGB雷射光源之組合構成白色光源之情形時，由於可高精度地控制各色(各波長)之輸出強度及輸出時序，故光源裝置11203中可進行攝像圖像之白平衡之調整。又，於該情形時，亦可藉由分時對觀察對象照射來自RGB雷射光源各者之雷射光，與該照射時序同步控制相機頭11102之攝像元件之驅動，而分時拍攝對應於RGB各者之圖像。根據該方法，即便不於該攝像元件設置彩色濾光片，亦可獲得彩色圖像。
又，光源裝置11203亦可以每隔特定時間變更要輸出之光的強度之方式控制其驅動。與該光之強度之變更時序同步地，控制相機頭11102之攝像元件之驅動，分時取得圖像，並合成該圖像，藉此可產生不存在所謂欠曝及暈光之高動態範圍之圖像。
又，光源裝置11203亦可構成為能夠供給對應於特殊光觀察之特定波長頻帶之光。於特殊光觀察中，例如進行所謂窄頻帶光觀察(Narrow Band Imaging)，即，利用生物體組織之光吸收之波長依存性，照射與通常觀察時之照射光(即白色光)相比更窄頻帶之光，藉此以高對比度拍攝黏膜表層之血管等特定組織。或，於特殊光觀察中，亦可進行藉由因照射激發光產生之螢光獲得圖像之螢光觀察。於螢光觀察中，可進行對生物體組織照射激發光，觀察來自該生物體組織之螢光(自螢光觀察)，或將吲哚青綠(ICG)等試劑局部注射於生物體組織，且對該生物體組織照射對應於該試劑之螢光波長之激發光，獲得螢光像等。光源裝置11203可構成為能供給對應於如此之特殊光觀察之窄頻帶及/或激發光。
圖44係表示圖43所示之相機頭11102及CCU11201之功能構成之一例之方塊圖。
相機頭11102具有透鏡單元11401、攝像部11402、驅動部11403、通信部11404及相機頭控制部11405。CCU11201具有通信部11411、圖像處理部11412及控制部11413。相機頭11102與CCU11201可藉由傳輸纜線11400可相互通信地連接。
透鏡單元11401係設置於與鏡筒11101之連接部之光學系統。將自鏡筒11101之末端取入之觀察光導光至相機頭11102，並入射至該透鏡單元11401。透鏡單元11401係組合包含變焦透鏡及聚焦透鏡之複數個透鏡而構成。
構成攝像部11402之攝像元件可為1個(所謂單板式)，亦可為複數個(所謂多板式)。於攝像部11402以多板式構成之情形時，亦可例如藉由各攝像元件產生對應於RGB各者之圖像信號，藉由將其等合成而獲得彩色圖像。或，攝像部11402亦可構成為具有用以分別取得對應於3D(dimensional：維)顯示之右眼用及左眼用圖像信號之1對攝像元件。藉由進行3D顯示，施術者11131可更準確地掌握手術部之生物組織之深度。再者，於攝像部11402以多板式構成之情形時，亦可對應於各攝像元件，設置複數個透鏡單元11401。
又，攝像部11402亦可不必設置於相機頭11102。例如，攝像部11402亦可於鏡筒11101之內部設置於物鏡之正後方。
驅動部11403包含致動器，且根據來自相機頭控制部11405之控制，使透鏡單元11401之變焦透鏡及聚焦透鏡沿光軸移動特定距離。藉此，可適當調整攝像部11402之攝像圖像之倍率及焦點。
通信部11404包含用以與CCU11201之間收發各種資訊之通信裝置。通信部11404將自攝像部11402獲得之圖像信號作為RAW資料經由傳輸纜線11400發送至CCU11201。
又，通信部11404自CCU11201接收用以控制相機頭11102之驅動的控制信號，並供給至相機頭控制部11405。該控制信號中包含例如指定攝像圖像之圖框率之主旨之資訊、指定攝像時之曝光值之主旨之資訊、及/或指定攝像圖像之倍率及焦點之主旨之資訊等攝像條件相關之資訊。
再者，上述圖框率或曝光值、倍率、焦點等攝像條件可由使用者適當設定，亦可基於取得之圖像信號由CCU11201之控制部11413自動設定。於後者之情形時，將所謂之AE(Auto Exposure：自動曝光)功能、AF(Auto Focus：自動聚焦)功能及AWB(Auto White Balance：自動白平衡)功能搭載於內視鏡11100。
相機頭控制部11405基於經由通信部11404接收之來自CCU11201之控制信號，控制相機頭11102之驅動。
通信部11411包含用以於與相機頭11102之間收發各種資訊之通信裝置。通信部11411自相機頭11102接收經由傳輸纜線11400發送之圖像信號。
又，通信部11411對相機頭11102發送用以控制相機頭11102之驅動的控制信號。圖像信號或控制信號可藉由電性通信或光通信等發送。
圖像處理部11412對自相機頭11102發送之RAW資料即圖像信號實施各種圖像處理。
控制部11413進行利用內視鏡11100之手術部等之攝像、及由手術部等之攝像獲得之攝像圖像之顯示相關之各種控制。又，控制部11413產生用以控制相機頭11102之驅動之控制信號。
又，控制部11413基於由圖像處理部11412實施圖像處理之圖像信號，使顯示裝置11202顯示拍到手術部等之攝像圖像。此時，控制部11413亦可使用各種圖像識別技術識別攝像圖像內之各種物體。例如，控制部11413藉由檢測攝像圖像所含之物體之邊緣形狀或顏色等，而可識別使用鉗子等手術器械、特定之生物部位、出血、能量處理器械11122時之霧等。控制部11413於使顯示裝置11202顯示攝像圖像時，亦可使用該識別結果，使各種手術支援資訊與該手術部之圖像重疊顯示。藉由重疊顯示手術支援資訊，並對施術者11131提示，而可減輕施術者11131之負擔，施術者11131可確實進行手術。
連接相機頭11102及CCU11201之傳輸纜線11400為對應於電氣信號通信之電氣信號纜線、對應於光通信之光纜或其等之複合纜線。
此處，於圖示之例中，使用傳輸纜線11400以有線進行通信，但亦可以無線進行相機頭11102與CCU11201之間的通信。
以上，已對可應用本發明之技術之內視鏡手術系統之一例進行說明。本發明之技術可應用於以上說明之構成中之攝像部11402及圖像處理部11412。藉此，可提高攝像圖像之畫質，故醫師可更準確地掌握患者體內之狀況。
再者，此處，作為一例，已對內視鏡手術系統進行說明，但本發明之技術亦可應用於除此以外之例如顯微鏡手術系統等。
(對移動體之應用例) 本發明之技術可應用於各種製品。例如，本發明之技術亦可作為搭載於汽車、電動汽車、油電混合汽車、機車、腳踏車、個人行動車、飛機、無人機、船舶、機器人、建設機械、農業機械(拖拉機)等任一種類之移動體之裝置實現。
圖45係表示可應用本發明之技術之移動體控制系統之一例即車輛控制系統之概略構成例的方塊圖。
車輛控制系統12000具備經由通信網路12001連接之複數個電子控制單元。於圖45所示之例中，車輛控制系統12000具備驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040及綜合控制單元12050。又，作為綜合控制單元12050之功能構成，圖示微電腦12051、聲音圖像輸出部12052、及車載網路I/F(Interface：介面)12053。
驅動系統控制單元12010根據各種程式控制與車輛之驅動系統關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等用以產生車輛之驅動力之驅動力產生裝置、用以將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛舵角之轉向機構、及產生車輛之制動力之控制裝置等控制裝置發揮功能。
車體系統控制單元12020根據各種程式控制車體裝備之各種裝置之動作。例如，車體系統控制單元12020作為無鑰匙門禁系統、智慧型鑰匙系統、電動窗裝置、或頭燈、尾燈、剎車燈、方向燈或霧燈等各種燈之控制裝置發揮功能。該情形時，可對車體系統控制單元12020輸入自代替鑰匙之可攜帶式機器發送之電波或各種開關之信號。車體系統控制單元12020受理該等電波或信號之輸入，並控制車輛之門鎖裝置、電動窗裝置、燈等。
車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛外部之資訊。例如，於車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收拍攝後之圖像。車外資訊檢測單元12030亦可基於接收到之圖像，進行人、車、障礙物、標識或路面上之文字等物體檢測處理或距離檢測處理。
攝像部12031係接受光並輸出對應於該光之受光量之電氣信號的光感測器。攝像部12031可將電氣信號作為圖像輸出，亦可作為測距之資訊輸出。又，攝像部12031接受之光可為可見光，亦可為紅外線等非可見光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040連接有例如檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機，車內資訊檢測單元12040可基於自駕駛者狀態檢測部12041輸入之檢測資訊，算出駕駛者之疲勞程度或注意力集中程度，亦可判斷駕駛者是否未打瞌睡。
微電腦12051可基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外之資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含避免車輛碰撞或緩和衝擊、基於車輛距離之追隨行駛、車速維持行駛、車輛之碰撞警告或車輛之車道偏離警告等之ADAS(Advanced Driver Assistance System：先進駕駛輔助系統)之功能為目的之協調控制。
又，微電腦12051可藉由基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛周圍之資訊，控制驅動力產生裝置、轉向機構或制動裝置等，而進行以不拘於駕駛者之操作而自動行駛之自動駕駛為目的之協調控制。
又，微電腦12051可基於由車外資訊檢測單元12030取得之車外之資訊，對車體系統控制單元12020輸出控制指令。例如，微電腦12051可根據由車外資訊檢測單元12030檢測出之前方車或對向車之位置控制頭燈，進行以謀求將遠光切換成近光等防眩為目的之協調控制。
聲音圖像輸出部12052對車輛之搭乘者或車外發送向可視覺性或聽覺性通知資訊之輸出裝置之聲音及圖像中之至少一者之輸出信號。於圖45之例中，作為輸出裝置，例示有擴音器12061、顯示部12062及儀表板12063。顯示部12062亦可包含例如車載顯示器及抬頭顯示器之至少一者。
圖46係表示攝像部12031之設置位置之例之圖。
於圖46中，作為攝像部12031，具有攝像部12101、12102、12103、12104、12105。
攝像部12101、12102、12103、12104、12105設置於例如車輛12100之前鼻、側視鏡、後保險桿、後門及車廂內之擋風玻璃之上部等位置。前鼻所具備之攝像部12101及車廂內之擋風玻璃之上部所具備之攝像部12105主要取得車輛12100前方之圖像。側視鏡所具備之攝像部12102、12103主要取得車輛12100側方之圖像。後保險桿或後門所具備之攝像部12104主要取得車輛12100後方之圖像。車廂內之擋風玻璃之上部所具備之攝像部12105主要使用於前方車輛或行人、障礙物、信號機、交通標識或車道線等之檢測。
再者，於圖46表示攝像部12101至12104之攝像範圍之一例。攝像範圍12111表示設置於前鼻之攝像部12101之攝像範圍，攝像範圍12112、12113分別表示設置於側視鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設置於後保險桿或後門之攝像部12104之攝像範圍。例如，藉由使攝像部12101至12104所拍攝之圖像資料重疊，而獲得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104之至少一者亦可具有取得距離資訊之功能。例如，攝像部12101至12104之至少一者可為包含複數個攝像元件之攝影機，亦可為具有相位差檢測用像素之攝像元件。
例如，微電腦12051基於自攝像部12101至12104取得之距離資訊，求得攝像範圍12111至12114內之至各立體物之距離，與該距離之時間變化(相對於車輛12100之相對速度)，藉此可提取尤其於車輛12100之行進路上某最近之立體物且在與車輛12100大致相同之方向以特定速度(例如為0 km/h以上)行駛之立體物，作為前方車。進而，微電腦12051可設定前方車之近前應預先確保之車間距離，進行自動剎車控制(亦包含追隨停止控制)或自動加速控制(亦包含追隨起動控制)等。可如此地進行以不拘於駕駛者之操作而自動行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051基於自攝像部12101至12104獲得之距離資訊，將立體物相關之立體物資訊分類成二輪車、普通車輛、大型車輛、行人、電線桿等其他立體物並提取，用於障礙物之自動避開。例如，微電腦12051可將車輛12100周邊之障礙物識別為車輛12100之駕駛員可視認之障礙物與難以視認之障礙物。且，微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞危險性，碰撞危險性為設定值以上，有可能碰撞之狀況時，經由擴音器12061或顯示部12062對駕駛員輸出警報，或經由驅動系統控制單元12010進行強制減速或避開轉向，藉此可進行用以避免碰撞之駕駛支援。
攝像部12101至12104之至少一者亦可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判斷攝像部12101至12104之攝像圖像中是否存在行人而識別行人。該行人之識別係根據例如提取作為紅外線相機之攝像部12101至12104之攝像圖像之特徵點之順序、及對表示物體輪廓之一連串特徵點進行圖案匹配處理而判別是否為行人之順序進行。若微電腦12051判斷攝像部12101至12104之攝像圖像中存在行人，識別行人，則聲音圖像輸出部12052以對該經識別出之行人重疊顯示用以強調之方形輪廓線之方式，控制顯示部12062。又，聲音圖像輸出部12052亦可以將表示行人之圖標等顯示於期望之位置之方式控制顯示部12062。
以上，已對可應用本發明之技術之車輛控制系統之一例進行說明。本發明之技術可應用於以上說明之構成中之攝像部12031等。藉此，可提高攝像圖像之畫質，故車輛控制系統12000例如可更準確地掌握車外環境，從而可進行更準確之駕駛支援等。
以上，已列舉若干實施形態及變化例、以及其等之具體之應用例說明本技術，但本技術並非限定於該等實施形態等，而可有各種變化。
例如，於上述各實施形態中，使用攝像部10及圖像處理部20構成攝像裝置1，但並非限定於此。亦可代替此而例如使與攝像裝置1不同之運算裝置具有圖像處理部20之功能。於該情形時，對運算裝置供給例如包含圖像映射資料MPR、MPG、MPB及轉換增益GC相關之資訊之圖像資料檔案。然後，該運算裝置可基於該圖像資料檔案進行圖像分割處理A1、內插處理A2及合成處理A3。該運算裝置可為執行圖像處理程式之個人電腦。
又，於上述各實施形態中，例如，圖像處理部20基於增益信號SGAIN所示之轉換增益GC控制是否進行圖像分割處理A1、內插處理A2及合成處理A3，但並非限定於此。亦可代替此而由例如攝像部10決定是否進行圖像分割處理A1、內插處理A2及合成處理A3，並產生表示該決定結果之模式信號。於該情形時，圖像處理部20可根據該模式信號進行動作。
再者，本說明書記載之效果僅為例示而並非限定者，亦可存在其他之效果。
再者，本技術可設為如下之構成。
(1)一種圖像處理裝置，其具備： 圖像分割處理部，其可基於包含複數個像素值之第1圖像映射資料，產生像素值之配置圖案互不相同且於互不相同之位置配置像素值的複數個第1映射資料； 內插處理部，其可於上述複數個第1映射資料各者中，使用內插處理，求出像素值缺失之位置處之像素值，藉此產生與上述複數個第1映射資料對應的複數個第2映射資料；及 合成處理部，其可基於上述複數個第2映射資料中之相互對應之位置之像素值，產生該位置之像素值，藉此產生第3映射資料。 (2)如上述(1)記載之圖像處理裝置，其中 上述配置圖案為方格紋圖案。 (3)如上述(1)或(2)記載之圖像處理裝置，其進而具備： 可基於上述第1圖像映射資料決定上述內插處理之處理方法的內插控制部。 (4)如上述(3)記載之圖像處理裝置，其中 上述內插控制部可藉由基於上述第1圖像映射資料決定上述內插處理中之內插方向，而決定上述處理方法。 (5)如上述(3)或(4)記載之圖像處理裝置，其中 上述內插控制部可基於上述第1圖像映射資料求出空間頻率資訊，且基於該空間頻率資訊決定上述處理方法。 (6)如上述(3)至(5)中任一項記載之圖像處理裝置，其中 上述內插控制部可基於上述第1圖像映射資料、第2圖像映射資料、及第3圖像映射資料產生合成映射資料，且基於上述合成映射資料決定上述內插處理之處理方法。 (7)如上述(1)至(6)中任一項記載之圖像處理裝置，其中 上述圖像分割處理部可進而基於包含複數個像素值之第2圖像映射資料，產生像素值之配置圖案互不相同且於互不相同之位置配置像素值的複數個第4映射資料， 上述內插處理部可於上述複數個第4映射資料各者中，使用上述內插處理，求出像素值缺失之位置處之像素值，藉此產生與上述複數個第4映射資料對應的複數個第5映射資料， 上述複數個第1映射資料中之像素值之上述配置圖案包含第1配置圖案及第2配置圖案， 上述複數個第4映射資料中之像素值之上述配置圖案包含上述第1配置圖案及上述第2配置圖案。 (8)如上述(7)記載之圖像處理裝置，其中 針對上述複數個第1映射資料之上述內插處理之內插方法與針對上述複數個第4映射資料之上述內插處理的內插方法相同。 (9)如上述(7)或(8)記載之圖像處理裝置，其中 上述第1圖像映射資料之上述複數個像素值包含第1顏色之複數個像素值， 上述第2圖像映射資料之上述複數個像素值包含第2顏色之複數個像素值及第3顏色之複數個像素值。 (10)如上述(7)或(8)記載之圖像處理裝置，其中 上述第1圖像映射資料之上述複數個像素值包含第1顏色之複數個像素值， 上述第2圖像映射資料之上述複數個像素值包含第2顏色之複數個像素值、第3顏色之複數個像素值及第4顏色之複數個像素值。 (11)如上述(7)記載之圖像處理裝置，其中 上述合成處理部可基於上述複數個第5映射資料中之相互對應之位置之像素值，產生該位置之像素值，藉此產生第6映射資料， 上述圖像分割處理部可進而基於包含複數個像素值之第3圖像映射資料，產生像素值之配置圖案互不相同且於互不相同之位置配置像素值的複數個第7映射資料， 上述內插處理部可於上述複數個第7映射資料各者中，使用上述內插處理，求出像素值缺失之位置處之像素值，藉此產生與上述複數個第7映射資料對應的複數個第8映射資料， 上述合成處理部可基於上述複數個第8映射資料中之相互對應之位置之像素值，產生該位置之像素值，藉此產生第9映射資料， 上述複數個第7映射資料中之像素值之上述配置圖案包含上述第1配置圖案及上述第2配置圖案。 (12)如上述(11)記載之圖像處理裝置，其中 針對上述複數個第1映射資料之上述內插處理之內插方法與針對上述複數個第4映射資料之上述內插處理的內插方法及針對上述複數個第7映射資料之上述內插處理的內插方法相同。 (13)如上述(11)或(12)記載之圖像處理裝置，其中 上述第1圖像映射資料之上述複數個像素值包含第1顏色之複數個像素值， 上述第2圖像映射資料之上述複數個像素值包含第2顏色之複數個像素值， 上述第3圖像映射資料之上述複數個像素值包含第3顏色之複數個像素值。 (14)如上述(11)至(13)中任一項記載之圖像處理裝置，其中 上述第1圖像映射資料中之上述複數個像素值之數與上述第2圖像映射資料中之上述複數個像素值之數不同。 (15)如上述(14)記載之圖像處理裝置，其中 上述第1圖像映射資料中之上述複數個像素值包含綠色之複數個像素值， 上述第1圖像映射資料中之2個以上之像素值與上述第2圖像映射資料中之1個像素值建立對應。 (16)如上述(1)至(5)記載之圖像處理裝置，其進而具備： 基於圖像信號產生上述第1圖像映射資料之產生部，且 上述第1圖像映射資料為亮度映射資料。 (17)如上述(1)至(16)記載之圖像處理裝置，其進而具備： 可控制上述圖像分割處理部、上述內插處理部及上述合成處理部是否進行處理之處理控制部。 (18)如上述(17)記載之圖像處理裝置，其進而具備： 可基於上述第1圖像映射資料或上述第3映射資料進行特定之信號處理之處理部，且 上述處理控制部可在第1動作模式中，基於上述第1圖像映射資料使上述處理部進行上述特定之信號處理，在第2動作模式中，基於上述第3映射資料使上述處理部進行上述特定之信號處理。 (19)如上述(18)記載之圖像處理裝置，其中 上述處理控制部可基於參數而控制上述圖像分割處理部、上述內插處理部及上述合成處理部是否進行處理。 (20)如上述(19)記載之圖像處理裝置，其中 上述第1圖像映射資料係自攝像部供給， 上述參數為上述攝像部中之增益值， 上述處理控制部係以於上述增益值高於特定增益值之情形時，上述圖像分割處理部、上述內插處理部及上述合成處理部進行處理之方式進行控制。 (21)一種圖像處理方法，其包含： 圖像分割處理，其基於包含複數個像素值之第1圖像映射資料，產生像素值之配置圖案互不相同且於互不相同之位置配置像素值的複數個第1映射資料； 內插處理，其於上述複數個第1映射資料各者中，使用內插處理，求出像素值缺失之位置處之像素值，藉此產生與上述複數個第1映射資料對應的複數個第2映射資料；及 合成處理，其基於上述複數個第2映射資料中之相互對應之位置之像素值，產生該位置之像素值，藉此產生第3映射資料。 (22)一種攝像裝置，其具備： 攝像部，其產生包含複數個像素值之第1圖像映射資料； 圖像分割處理部，其可基於上述第1圖像映射資料，產生像素值之配置圖案互不相同且於互不相同之位置配置像素值的複數個第1映射資料； 內插處理部，其可於上述複數個第1映射資料各者中，使用內插處理，求出像素值缺失之位置處之像素值，藉此產生與上述複數個第1映射資料對應的複數個第2映射資料；及 合成處理部，其可基於上述複數個第2映射資料中之相互對應之位置之像素值，產生該位置之像素值，藉此產生第3映射資料。 (23)如上述(22)記載之攝像裝置，其中 上述攝像部具有以特定之顏色排列進行排列之複數個像素，且 上述配置圖案具有與上述顏色排列對應之圖案。
本申請案以於日本專利廳2018年2月9日申請之日本專利申請案第2018-022143號為基礎並主張優先權，該申請案之所有內容以參照之形式併入本申請案中。
若為業者，則可根據設計上之要件或其他要因，而想到各種修正、組合、子組合及變更，但應理解其等皆為包含於隨附之申請專利範圍或與其均等之範圍內者。
1:攝像裝置 1D:攝像裝置 2:攝像裝置 3:攝像裝置 4:攝像裝置 4A:攝像裝置 5:攝像裝置 9:光學系統 10:攝像部 11:像素陣列 13:讀出部 12:掃描部 14:攝像控制部 20:圖像處理部 20D:圖像處理部 21:切換部 22:圖像分割處理部 22D:圖像分割處理部 23:內插處理部 23D:內插處理部 24:合成處理部 24D:合成處理部 25:信號處理部 25D:信號處理部 29D:Y/C分離部 30:圖像處理部 30A:圖像處理部 33:內插處理部 36:內插控制部 40:攝像部 50:圖像處理部 52:圖像分割處理部 53:內插處理部 54:合成處理部 55:信號處理部 56:內插控制部 60:攝像部 70:圖像處理部 70A:圖像處理部 72:圖像分割處理部 72A:圖像分割處理部 73:內插處理部 73A:內插處理部 74:合成處理部 74A:合成處理部 75:信號處理部 75A:信號處理部 79A:Y/C分離部 80:攝像部: 90:圖像處理部 92:圖像分割處理部 93:內插處理部 94:合成處理部 95:信號處理部 100:半導體基板 101:絕緣膜 102:透明電極 103G:光電轉換膜 103IR:光電轉換膜 104:透明電極 105:晶載透鏡 111B:彩色濾光片 111G:彩色濾光片 111R:彩色濾光片 112:絕緣膜 10001:體內資訊取得系統 10100:膠囊型內視鏡 10101:殼體 10111:光源部 10112:攝像部 10113:圖像處理部 10114:無線通信部 10114A:天線 10115:供電部 10116:電源部 10117:控制部 10200:外部控制裝置 10200A:天線 11000:內視鏡手術系統 11100:內視鏡 11101:鏡筒 11102:相機頭 11110:其他手術器械 11111:氣腹管 11112:能量處理器械 11120:支持臂裝置 11131:施術者(醫師) 11132:患者 11133:病床 11200:台車 11201:CCU 11202:顯示裝置 11203:光源裝置 11204:輸入裝置 11205:處理器械控制裝置 11206:氣腹裝置 11207:記錄器 11208:印表機 11400:傳輸纜線 11401:透鏡單元 11402:攝像部 11403:驅動部 11404:通信部 11405:相機頭控制部 11411:通信部 11412:圖像處理部 11413:控制部 12000:車輛控制系統 12001:通信網路 12010:驅動系統控制單元 12020:車體系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:綜合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:擴音器 12062:顯示部 12063:儀表板 12100:車輛 12101:攝像部 12102:攝像部 12103:攝像部 12104:攝像部 12105:攝像部 12111:攝像範圍 12112:攝像範圍 12113:攝像範圍 12114:攝像範圍 A1:圖像分割處理 A2:內插處理 A3:合成處理 B:藍色 B1:內插控制處理 B2:合成處理 B3:空間頻率檢測處理 B4:內插方法決定處理 C1:Y/C分離處理 Cb:B-Y色差 Cr:R-Y色差 DT:圖像信號 DT2:圖像信號 DT3:圖像信號 DT11:圖像信號 DT12:圖像信號 DT13:圖像信號 DT21:圖像信號 DT22:圖像信號 DT23:圖像信號 DT31:圖像信號 DT32:圖像信號 DT33:圖像信號 DT41:圖像信號 DT42:圖像信號 DT43:圖像信號 DT51:圖像信號 DT52:圖像信號 DT53:圖像信號 G:綠色 IR:紅外 MB3:映射資料 MB11:映射資料 MB12:映射資料 MB21:映射資料 MB22:映射資料 MB23:映射資料 MCb:映射資料 MCr:映射資料 MG3:映射資料 MG11:映射資料 MG12:映射資料 MG13:映射資料 MG21:映射資料 MG22:映射資料 MG23:映射資料 MIR3:映射資料 MIR11:映射資料 MIR12:映射資料 MIR13:映射資料 MIR21:映射資料 MIR22:映射資料 MIR33:映射資料 MPB:圖像映射資料 MPBR:圖像映射資料 MPIR:圖像映射資料 MPG:圖像映射資料 MPR:圖像映射資料 MPRGB:圖像映射資料 MR3:映射資料 MR11:映射資料 MR12:映射資料 MR21:映射資料 MR22:映射資料 MW:映射資料 MY:映射資料 MY3:映射資料 MY11:映射資料 MY12:映射資料 MY21:映射資料 MY22:映射資料 P:攝像像素 PD:光電二極體 PDB:光電二極體 PDB2:光電二極體 PDR:光電二極體 PDR2:光電二極體 R:紅色 S:攝像面 SGAIN:增益信號 S101～S105:步驟 X:區域 Y:亮度
圖1係表示本發明之第1實施形態之攝像裝置之一構成例的方塊圖。 圖2係表示圖1所示之攝像部之一構成例之方塊圖。 圖3係表示圖2所示之攝像像素之一構成例之說明圖。 圖4係表示圖2所示之攝像像素之一構成例之模式圖。 圖5係表示圖1所示之圖像處理部之一動作例之流程圖。 圖6係表示圖1所示之圖像處理部之一動作例之說明圖。 圖7係表示圖6所示之圖像映射資料之一例之說明圖。 圖8A係表示圖6所示之映射資料之一例之說明圖。 圖8B係表示圖6所示之映射資料之一例之另一說明圖。 圖9A係表示圖6所示之映射資料之一例之另一說明圖。 圖9B係表示圖6所示之映射資料之一例之另一說明圖。 圖10係表示圖6所示之映射資料之一例之另一說明圖。 圖11係表示變化例之圖像處理部之一動作例之說明圖。 圖12A係表示另一變化例之映射資料之一例之另一說明圖。 圖12B係表示另一變化例之映射資料之一例之另一說明圖。 圖13A係表示另一變化例之映射資料之一例之另一說明圖。 圖13B係表示另一變化例之映射資料之一例之另一說明圖。 圖14A係表示另一變化例之映射資料之一例之另一說明圖。 圖14B係表示另一變化例之映射資料之一例之另一說明圖。 圖15A係表示另一變化例之映射資料之一例之另一說明圖。 圖15B係表示另一變化例之映射資料之一例之另一說明圖。 圖16A係表示另一變化例之映射資料之一例之另一說明圖。 圖16B係表示另一變化例之映射資料之一例之另一說明圖。 圖17A係表示另一變化例之映射資料之一例之另一說明圖。 圖17B係表示另一變化例之映射資料之一例之另一說明圖。 圖18A係表示另一變化例之映射資料之一例之另一說明圖。 圖18B係表示另一變化例之映射資料之一例之另一說明圖。 圖18C係表示另一變化例之映射資料之一例之另一說明圖。 圖19A係表示另一變化例之映射資料之一例之另一說明圖。 圖19B係表示另一變化例之映射資料之一例之另一說明圖。 圖19C係表示另一變化例之映射資料之一例之另一說明圖。 圖20係表示另一變化例之映射資料之一例之另一說明圖。 圖21係表示另一變化例之攝像裝置之一構成例之方塊圖。 圖22係表示圖21所示之圖像處理部之一動作例之說明圖。 圖23A係表示圖21所示之圖像處理部之一動作例之說明圖。 圖23B係表示圖21所示之圖像處理部之一動作例之說明圖。 圖23C係表示圖21所示之圖像處理部之一動作例之說明圖。 圖24係表示另一變化例之圖像處理部之一動作例之說明圖。 圖25係表示另一變化例之攝像裝置之一構成例之方塊圖。 圖26係表示圖25所示之圖像處理部之一動作例之說明圖。 圖27係表示第2實施形態之攝像裝置之一構成例的方塊圖。 圖28係表示圖27所示之攝像部中之攝像像素之一構成例的說明圖。 圖29係表示圖27所示之攝像部中之攝像像素之一構成例的模式圖。 圖30係表示圖27所示之圖像處理部之一動作例之說明圖。 圖31係表示第3實施形態之攝像裝置之一構成例之方塊圖。 圖32係表示圖31所示之攝像部中之攝像像素之一構成例的說明圖。 圖33係表示圖31所示之攝像部中之攝像像素之一構成例的模式圖。 圖34係表示圖31所示之圖像處理部之一動作例之說明圖。 圖35係表示變化例之攝像裝置之一構成例之方塊圖。 圖36係表示圖35所示之圖像處理部之一動作例之說明圖。 圖37係表示第4實施形態之攝像裝置之一構成例之方塊圖。 圖38係表示圖37所示之攝像部中之攝像像素之一構成例的說明圖。 圖39係表示圖37所示之攝像部中之攝像像素之一構成例的模式圖。 圖40係表示圖37所示之圖像處理部之一動作例之說明圖。 圖41係表示攝像裝置之使用例之說明圖。 圖42係表示體內資訊取得系統之概略構成之一例之方塊圖。 圖43係表示內視鏡手術系統之概略構成之一例之圖。 圖44係表示相機頭及CCU之功能構成之一例之方塊圖。 圖45係表示車輛控制系統之概略構成例之方塊圖。 圖46係表示攝像部之設置位置之一例的說明圖。
20:圖像處理部
A1:圖像分割處理
A2:內插處理
A3:合成處理
B:藍色
G:綠色
MB3:映射資料
MB11:映射資料
MB12:映射資料
MB21:映射資料
MB22:映射資料
MG3:映射資料
MG11:映射資料
MG12:映射資料
MG21:映射資料
MG22:映射資料
MPB:圖像映射資料
MPG:圖像映射資料
MPR:圖像映射資料
MR3:映射資料
MR11:映射資料
MR12:映射資料
MR21:映射資料
MR22:映射資料
R:紅色

Claims (17)

  1. 一種圖像處理裝置，其具備： 圖像分割處理部，其可基於包含複數個像素值之第1圖像映射資料，產生複數個第1映射資料，且可基於包含複數個像素值之第2圖像映射資料，產生複數個第4映射資料；及 內插處理部，其可產生與上述複數個第1映射資料對應之複數個第2映射資料，且可產生與上述複數個第4映射資料對應之複數個第5映射資料；且 上述第1圖像映射資料之上述複數個像素值包含第1顏色之複數個像素值， 上述第2圖像映射資料之上述複數個像素值包含第2顏色之複數個像素值及第3顏色之複數個像素值。
  2. 如請求項1之圖像處理裝置，其中 上述複數個第1映射資料係：像素值之配置圖案互不相同，且於互不相同之位置配置像素值； 上述複數個第4映射資料係：像素值之配置圖案互不相同，且於互不相同之位置配置像素值； 上述內插處理部係： 可於上述複數個第1映射資料各者中，使用內插處理，求出像素值缺失之位置處之像素值，藉此產生上述複數個第2映射資料，且 可於上述複數個第4映射資料各者中，使用內插處理，求出像素值缺失之位置處之像素值，藉此產生上述複數個第5映射資料。
  3. 如請求項1之圖像處理裝置，其進而具備： 合成處理部，其可基於上述複數個第2映射資料中之相互對應之位置之像素值，產生該位置之像素值，藉此產生第3映射資料。
  4. 如請求項2之圖像處理裝置，其中 上述複數個第4映射資料中，僅包含第2顏色之複數個像素值的至少1個第4映射資料與上述複數個第1映射資料之至少一個之像素值之配置圖案相同， 上述複數個第4映射資料中，僅包含第3顏色之複數個像素值的至少1個第4映射資料與上述複數個第1映射資料之至少一個之像素值之配置圖案相同。
  5. 如請求項1之圖像處理裝置，其中 上述內插處理部藉相同之內插方法而產生上述複數第2及第5映射資料。
  6. 如請求項2之圖像處理裝置，其中 上述配置圖案為方格紋圖案。
  7. 如請求項1之圖像處理裝置，其進而具備： 內插控制部，其可基於上述第1圖像映射資料決定上述內插處理之處理方法。
  8. 如請求項7之圖像處理裝置，其中 上述內插控制部可基於上述第1圖像映射資料而決定上述內插處理中之內插方向，藉而決定上述處理方法。
  9. 如請求項7之圖像處理裝置，其中 上述內插控制部可基於上述第1圖像映射資料求出空間頻率資訊，且基於該空間頻率資訊決定上述處理方法。
  10. 如請求項5之圖像處理裝置，其中 上述第1顏色係：綠色， 上述第2及第3顏色係：藍色及紅色。
  11. 如請求項3之圖像處理裝置，其進而具備： 處理控制部，其可控制上述圖像分割處理部、上述內插處理部及上述合成處理部是否進行處理。
  12. 如請求項11之圖像處理裝置，其進而具備： 處理部，其可基於上述第1及第2圖像映射資料或上述第3及第5映射資料進行特定之信號處理；且 上述處理控制部可在第1動作模式中，基於上述第1及第2圖像映射資料使上述處理部進行上述特定之信號處理，在第2動作模式中，基於上述第3及第5映射資料使上述處理部進行上述特定之信號處理。
  13. 如請求項11之圖像處理裝置，其中 上述處理控制部可基於參數而控制上述圖像分割處理部、上述內插處理部及上述合成處理部是否進行處理。
  14. 如請求項3之圖像處理裝置，其中 上述合成處理部將上述複數個第2映射資料中相互對應之位置之像素值相加，且將該相加後之像素值減半，藉此產生上述第3映射資料中該位置之像素值。
  15. 如請求項13之圖像處理裝置，其中 上述第1及第2圖像映射資料係自攝像部供給， 上述參數係上述攝像部中之增益值， 上述處理控制部係以於上述增益值高於特定增益值之情形時，上述圖像分割處理部、上述內插處理部及上述合成處理部進行處理之方式進行控制。
  16. 一種攝像裝置，其具備： 如請求項1至15中任一項之圖像處理裝置；及 攝像部，其產生上述第1及第2圖像映射資料。
  17. 一種圖像處理方法，其包含： 圖像分割處理，其基於包含複數個像素值之第1圖像映射資料，產生像素值之配置圖案互不相同且於互不相同之位置配置像素值的複數個第1映射資料，基於包含複數個像素值之第2圖像映射資料，產生像素值之配置圖案互不相同且於互不相同之位置配置像素值的複數個第4映射資料； 內插處理，其於上述複數個第1映射資料各者中，使用內插處理，求出像素值缺失之位置處之像素值，藉此產生與上述複數個第1映射資料對應之複數個第2映射資料，且於上述複數個第4映射資料各者中，使用內插處理，求出像素值缺失之位置處之像素值，藉此產生與上述複數個第4映射資料對應之複數個第5映射資料；及 合成處理，其基於上述複數個第2映射資料中之相互對應之位置之像素值，產生該位置之像素值，藉此產生第3映射資料；且 上述第1圖像映射資料之上述複數個像素值包含第1顏色之複數個像素值， 上述第2圖像映射資料之上述複數個像素值包含第2顏色之複數個像素值及第3顏色之複數個像素值。
TW111141179A 2018-02-09 2019-01-25 圖像處理裝置、圖像處理方法、及攝像裝置 TW202310606A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018022143 2018-02-09
JP2018-022143 2018-02-09

Publications (1)

Publication Number Publication Date
TW202310606A true TW202310606A (zh) 2023-03-01

Family

ID=67549406

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108102829A TWI785193B (zh) 2018-02-09 2019-01-25 圖像處理裝置、圖像處理方法、及攝像裝置
TW111141179A TW202310606A (zh) 2018-02-09 2019-01-25 圖像處理裝置、圖像處理方法、及攝像裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108102829A TWI785193B (zh) 2018-02-09 2019-01-25 圖像處理裝置、圖像處理方法、及攝像裝置

Country Status (6)

Country Link
US (2) US11665440B2 (zh)
JP (2) JP7225131B2 (zh)
CN (4) CN111543053B (zh)
DE (1) DE112019000735T5 (zh)
TW (2) TWI785193B (zh)
WO (1) WO2019155944A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7437957B2 (ja) 2020-02-06 2024-02-26 ソニーセミコンダクタソリューションズ株式会社 受光素子、固体撮像装置及び電子機器
JP2023010159A (ja) * 2021-07-09 2023-01-20 株式会社ソシオネクスト 画像処理装置および画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111586A (ja) * 1993-10-08 1995-04-25 Fuji Xerox Co Ltd 画像処理装置
JP4638361B2 (ja) * 2006-02-16 2011-02-23 パナソニック株式会社 撮像装置
JP2009182733A (ja) * 2008-01-30 2009-08-13 Kyocera Corp 画像データ生成方法および画像データ生成装置、並びに情報コード読取装置
CN101369308B (zh) * 2008-10-09 2011-06-22 上海交通大学 基于视觉选择注意和像素依赖的无监督变化检测方法
DE112009005418B4 (de) 2009-12-04 2018-09-13 Canon Kabushiki Kaisha Bildverarbeitungsgerät
JP5509846B2 (ja) 2009-12-28 2014-06-04 ソニー株式会社 固体撮像装置とその製造方法、及び電子機器
US9007488B2 (en) * 2012-03-08 2015-04-14 Semiconductor Components Industries, Llc Systems and methods for generating interpolated high-dynamic-range images
CN102663719B (zh) 2012-03-19 2014-06-04 西安电子科技大学 基于非局部均值的Bayer型CFA图像去马赛克方法
JP2014030073A (ja) 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2014046037A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 撮像装置及びその制御方法
JP2014086889A (ja) * 2012-10-24 2014-05-12 Toshiba Corp 固体撮像装置
CN103793904B (zh) * 2012-10-29 2016-12-21 深圳先进技术研究院 图像配准装置及其图像配准的方法
JP2015019293A (ja) 2013-07-11 2015-01-29 ソニー株式会社 固体撮像装置および方法、並びに、電子機器
CN105744256B (zh) * 2016-03-31 2017-12-05 天津大学 基于图谱视觉显著的立体图像质量客观评价方法
JP6421992B2 (ja) 2016-05-01 2018-11-14 株式会社コンフォートビジョン研究所 高解像度立体撮像装置

Also Published As

Publication number Publication date
CN111543053B (zh) 2022-09-16
CN115460387A (zh) 2022-12-09
WO2019155944A1 (ja) 2019-08-15
KR20200120608A (ko) 2020-10-21
TW201937916A (zh) 2019-09-16
CN115460385A (zh) 2022-12-09
US20210029331A1 (en) 2021-01-28
CN115460387B (zh) 2024-04-19
TWI785193B (zh) 2022-12-01
DE112019000735T5 (de) 2020-10-22
JPWO2019155944A1 (ja) 2021-01-28
JP7225131B2 (ja) 2023-02-20
US11665440B2 (en) 2023-05-30
CN115460384A (zh) 2022-12-09
CN111543053A (zh) 2020-08-14
US20230254596A1 (en) 2023-08-10
JP2023061999A (ja) 2023-05-02

Similar Documents

Publication Publication Date Title
CN110431668B (zh) 固态摄像装置和电子设备
US11930287B2 (en) Imaging element and electronic device
US11936979B2 (en) Imaging device
US20230254596A1 (en) Image processor, image processing method, and imaging device
JP2018064758A (ja) 半導体装置、製造方法、および電子機器
US20220345651A1 (en) Solid-state imaging device and electronic device
CN110169051B (zh) 固态摄像元件和电子设备
US11218658B2 (en) Solid-state imaging device, method of controlling the solid-state imaging device, and electronic apparatus to generate high dynamic range image
WO2019188131A1 (ja) 半導体装置および半導体装置の製造方法
JP7034925B2 (ja) 固体撮像装置および撮像方法
WO2017150168A1 (ja) 撮像素子及び電子機器
KR102666651B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 촬상 장치
WO2022196210A1 (ja) 撮像装置、撮像方法及び電子機器
CN114556906A (zh) 摄像装置和电子设备