TW202130163A - 攝像裝置 - Google Patents

攝像裝置 Download PDF

Info

Publication number
TW202130163A
TW202130163A TW109132069A TW109132069A TW202130163A TW 202130163 A TW202130163 A TW 202130163A TW 109132069 A TW109132069 A TW 109132069A TW 109132069 A TW109132069 A TW 109132069A TW 202130163 A TW202130163 A TW 202130163A
Authority
TW
Taiwan
Prior art keywords
pixel
unit
imaging
processing
image
Prior art date
Application number
TW109132069A
Other languages
English (en)
Inventor
佐藤泰史
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202130163A publication Critical patent/TW202130163A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本發明提供一種可配合攝像條件，適應性取得攝像圖像之攝像裝置。攝像裝置(1)具備：攝像部(10)，其包含具有分別包含N個×N個(N為2以上之整數)之像素(100)之複數個像素組之像素陣列(110)，且輸出自各像素讀取之像素信號；及切換部(14)，其切換攝像部之自像素各者讀取像素信號之讀取模式；且切換部將讀取模式以下述模式切換：相加模式，其將自像素組所包含之N個×N個之各像素讀取之像素信號各者相加，並設為1個像素信號；及個別模式，其將自像素組所包含之N個×N個之各像素讀取之像素信號各者個別地輸出。

Description

攝像裝置
本揭示係關於一種攝像裝置。
自先前以來，於攝像裝置中，已知有一種基於由攝像元件檢測之被攝體或攝像環境之明亮度等控制曝光時間、相對於像素信號之增益等而進行攝像的技術。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2013-066146號公報
[發明所欲解決之問題]
然而，於先前，即便為未要求例如解析度之攝像對象，亦以與通常同樣之解析度進行攝像，而難以使消耗電力或圖像處理之資源最佳化。
本揭示之目的在於提供一種可根據攝像條件適應性取得攝像圖像之攝像裝置。 [解決問題之技術手段]
本揭示之攝像裝置具備：攝像部，其包含具有分別包含N個×N個(N為2以上之整數)之像素之複數個像素組之像素陣列，且輸出自各像素讀取之像素信號；及切換部，其切換攝像部之自像素讀取像素信號之讀取模式；且切換部將讀取模式於以下模式切換：相加模式，其將自像素組所包含之N個×N個之各像素讀取之像素信號各者相加並設為1個像素信號；及個別模式，其將自像素組所包含之N個×N個之各像素讀取之像素信號各者個別地輸出。
以下，對本揭示之實施形態，基於圖式詳細地進行說明。另，於以下實施形態中，藉由對相同部位標註相同符號，而省略重複之說明。
以下，對本揭示之實施形態，按照下述順序進行說明。 1.可應用於本揭示之各實施形態之技術 1-1.可應用於各實施形態之構成 1-2.對像素重排(Remosaic)處理之概略性說明 1-3.像素讀取方法之例 2.第1實施形態 2-1.第1實施形態之第1變化例 2-2.第1實施形態之第2變化例 2-3.第1實施形態之第3變化例 3.第2實施形態 3-1.第2實施形態之變化例 4.第3實施形態 4-0.對移動體之應用例
[1.可應用於本揭示之各實施形態之技術] (1-1.可應用於各實施形態之構成) 首先，對可應用於本揭示之各實施形態之技術進行說明。圖1係用以說明可應用於各實施形態之攝像裝置之功能之一例之功能方塊圖。
於圖1中，攝像裝置1包含攝像部10、光學部11、圖像處理部12、輸出處理部13、及控制部14。又，於攝像裝置1為車載用途之情形時，攝像裝置1進而包含車輛資訊取得部15。
攝像部10具有分別包含1個以上之受光元件之複數個像素排列成矩陣狀之像素陣列。又，光學部11包含透鏡或光圈機構、聚焦機構等，且將來自被攝體之光引導至像素陣列之受光面。
攝像部10自於指定之曝光時間曝光之各像素讀取像素信號，並對讀取之像素信號實施雜訊去除或增益調整之所謂之信號處理且轉換成數位方式之像素資料。攝像部10輸出基於該像素信號之像素資料。將該利用攝像部10進行之曝光及自曝光之像素讀取像素信號並作為像素資料輸出之一連串動作稱為攝像。
圖像處理部12對自攝像部10輸出之像素資料實施特定之圖像處理，並作為例如訊框單位之圖像資料輸出。圖像處理部12對像素資料實施之圖像處理包含例如像素資料之合成、轉換處理、白平衡處理之所謂之顏色調整處理。
輸出處理部13將自圖像處理部12輸出之圖像資料轉換成適於自攝像裝置1輸出之形式。自輸出處理部13輸出之輸出圖像資料例如供給至未圖示之顯示器，並作為圖像顯示。不限於此，輸出圖像資料亦可供給至其他裝置，例如對輸出圖像資料進行辨識處理之裝置、或基於輸出圖像資料進行控制之控制裝置。
控制部14控制該攝像裝置1之整體之動作。控制部14包含例如CPU(Central Processing Unit：中央處理單元)、及用以與攝像裝置1之各部進行通信之介面電路，且藉由CPU按照特定之程式進行動作而產生各種控制信號，並藉由產生之控制信號而控制攝像裝置1之各部。
另，上述之圖像處理部12及輸出處理部13可藉由例如按照特定之程式進行動作之DSP(Digital Signal Processor：數位信號處理器)或ISP(Image Signal Processor：圖像信號處理器)而構成。不限於此，亦可將圖像處理部12及輸出處理部13中之一者或兩者與控制部14一起藉由於CPU上進行動作之程式而實現。該等程式可預先記憶於攝像裝置1具有之非揮發性之記憶體，亦可自外部供給至攝像裝置1而寫入至該記憶體。
車輛資訊取得部15於該攝像裝置1搭載於車輛而使用之情形時，自該車輛取得車輛資訊。車輛資訊取得部15取得車輛之速度、車輛前方之明亮度等作為車輛資訊。藉由車輛資訊取得部15取得之車輛資訊傳遞至控制部14。控制部14可對攝像部10或圖像處理部12指示與傳遞之車輛資訊相應之處理。
攝像部10具有之像素陣列所包含之各像素分別設置使特定波長區域之光透過之光學濾光片。只要無特別記載，將使該特定波長區域之光透過之光學濾光片作為彩色濾光片進行說明。獲得全彩之圖像資料之情形時，一般使用使R(紅)色之波長頻帶之光透過之彩色濾光片(以下為R色之彩色濾光片)、使G(綠)色之波長頻帶之光透過之彩色濾光片(以下為G色之彩色濾光片)、及使B(藍)色之波長頻帶之光透過之彩色濾光片(以下為B色之彩色濾光片)之3種彩色濾光片。該等R色、G色及B色各者之彩色濾光片之排列雖可作多種考慮，但一般使用稱為拜爾(Bayer)排列之排列。
圖2係顯示拜爾排列之例之圖。於圖2中，拜爾排列120分別包含配置G色之彩色濾光片之2個像素100G、配置R色之彩色濾光片之1個像素100R、及配置B色之彩色濾光片之像素100B。於拜爾排列中，該等4個像素以2個像素100G不相鄰之方式，排列成2像素×2像素之格子狀而構成。換言之，拜爾排列為配置有使同一波長頻帶之光透過之彩色濾光片之像素100不相鄰般之排列。
另，於以下，只要無特別記載，則將「配置R色之彩色濾光片之像素100R」稱為「R色之像素100R」、或簡稱為「像素100R」。關於配置G色之彩色濾光片之像素100G、及配置B色之彩色濾光片之像素100B，亦同樣。又，彩色濾光片無特別問題之情形時，以像素100代表各像素100R、100G及100B而記述。
圖3係顯示可應用於各實施形態之彩色濾光片排列之例之圖。於圖3之排列中，以同一色之2像素×2像素排列成格子狀之像素區塊為單位，4個R色之像素100R、4個G色之像素100G、及4個B色之像素100B之各像素區塊以依據拜爾排列之像素排列配置而構成。以下，只要無特別記載，則將此種像素排列稱為4分割拜爾型RGB排列。
更具體而言，4分割拜爾型RGB排列以R色之像素100R、G色之像素100G、及B色之像素100B之各像素區塊之像素100R、像素100G及像素100B之數量為1：2：1之比例，且同一色之像素之像素區塊不相鄰之方式，排列成2×2之格子狀。於圖3之例，於R色之像素100R之像素區塊之左側及下方配置G色之像素100G之像素區塊，於R色之像素100R之像素區塊之對角，配置有B色之像素100B之像素區塊。
圖4係顯示可應用於各實施形態之攝像部10之一例之構成之方塊圖。於圖4中，攝像部10包含像素陣列部110、垂直掃描部20、水平掃描部21、及控制部22。
像素陣列部110分別包含具有產生與接收之光相應之電壓之受光元件的複數個像素100。作為受光元件，可使用光電二極體。於像素陣列部110中，複數個像素100於水平方向(列方向)及垂直方向(行方向)排列成矩陣狀。於像素陣列部110中，將像素100之列方向之排列稱為線(line)。基於該像素陣列部110中自特定數量之線(line)讀取之像素信號，形成1訊框之圖像(圖像資料)。例如，以3000像素×2000線(line)形成1訊框之圖像之情形時，像素陣列部110包含至少2000線(line)之至少包含3000個像素100之線(line)。
又，於像素陣列部110，相對於各像素100之列及行，於每列連接像素信號線HCTL，於每行連接垂直信號線VSL。
像素信號線HCTL之未與像素陣列部110連接之端部連接於垂直掃描部20。垂直掃描部20按照自例如控制部14供給之控制信號，將自像素100讀取像素信號時之驅動脈衝等複數個控制信號，經由像素信號線HCTL傳輸向像素陣列部110。垂直信號線VSL之未與像素陣列部110連接之端部連接於水平掃描部21。
水平掃描部21包含AD(Analog to Digital：類比-數位)轉換部、輸出部、及信號處理部。自像素100讀取之像素信號經由垂直信號線VSL傳輸至水平掃描部21之AD轉換部。
對來自像素100之像素信號之讀取控制，概略性說明。來自像素100之像素信號之讀取藉由將利用曝光蓄積於受光元件之電荷傳送至浮動擴散層(FD；Floating Diffusion)，並於浮動擴散層中將傳送之電荷轉換成電壓而進行。於浮動擴散層中電荷轉換成之電壓經由放大器輸出至垂直信號線VSL。
更具體而言，於像素100中，曝光中將受光元件與浮動擴散層之間設為斷開(開)狀態，於受光元件中，使根據藉由光電轉換入射之光產生之電荷蓄積。曝光結束後，根據經由像素信號線HCTL供給之選擇信號連接浮動擴散層與垂直信號線VSL。再者，根據經由像素信號線HCTL供給之重設脈衝將浮動擴散層與電源電壓VDD或黑位準電壓之供給線於短期間連接，而重設浮動擴散層。對垂直信號線VSL，輸出浮動擴散層之重設位準之電壓(設為電壓P)。其後，藉由經由像素信號線HCTL供給之傳送脈衝而將受光元件與浮動擴散層之間設為接通(閉)狀態，而將蓄積於受光元件之電荷傳送至浮動擴散層。對垂直信號線VSL，輸出與浮動擴散層之電荷量相應之電壓(設為電壓Q)。
於水平掃描部21中，AD轉換部包含對每條垂直信號線VSL設置之AD轉換器，且經由垂直信號線VSL自像素100供給之像素信號藉由AD轉換器實施AD轉換處理，而產生進行雜訊減少之相關二重取樣(CDS：Correlated Double Sampling)處理用之2個數位值(分別對應於電壓P及電壓Q之值)。
由AD轉換器產生之2個數位值藉由信號處理部實施CDS處理，而產生數位信號之像素信號(像素資料)。產生之像素資料自攝像部10輸出。
水平掃描部21藉由於控制部22之控制之下，進行以特定順序選擇每條垂直信號線VSL之AD轉換器之選擇掃描，而使各AD轉換器暫時保持之各數位值依序向信號處理部輸出。水平掃描部21藉由包含例如移位暫存器或位址解碼器等之構成，而實現該動作。
控制部22進行垂直掃描部20、水平掃描部21等驅動控制。控制部22產生成為垂直掃描部20及水平掃描部21之動作基準之各種驅動信號。控制部22基於自外部(例如控制部14)供給之垂直同步信號或外部觸發信號、與水平同步信號，而產生垂直掃描部20經由像素信號線HCTL供給至各像素100用之控制信號。控制部22將產生之控制信號供給至垂直掃描部20。
垂直掃描部20基於自控制部22供給之控制信號，以像素陣列部110之選擇之像素列之像素信號線HCTL將包含驅動脈衝之各種信號按每條線(line)供給至各像素100，且使像素信號自各像素100輸出至垂直信號線VSL。垂直掃描部20使用例如移位暫存器或位址解碼器等而構成。
如此構成之攝像部10係於每行配置有AD轉換器之行AD方式之CMOS(Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)影像感測器。
圖5係顯示可應用於各實施形態之攝像裝置1之硬體構成之例之方塊圖。於圖5中，攝像裝置1包含分別藉由匯流排2020連接之CPU2000、ROM(Read Only Memory：唯讀記憶體)2001、RAM(Random Access Memory：隨機存取記憶體)2002、攝像部2003、儲存器2004、資料I/F2005、操作部2006、及顯示控制部2007。又，攝像裝置1包含分別藉由匯流排2020連接之圖像處理部2010、及輸出I/F2012。
CPU2000按照預先記憶於ROM2001之程式，將RAM2002用作工作記憶體，並控制該攝像裝置1之整體之動作。
攝像部2003對應於圖1之攝像部10，進行攝像並輸出像素資料。自攝像部2003輸出之像素資料供給至圖像處理部2010。圖像處理部2010使用訊框記憶體2011，對自攝像部10供給之像素資料實施特定之圖像處理，並產生訊框單位之圖像資料。
輸出I/F2012為用以將由圖像處理部2010產生之圖像資料輸出至外部之介面。輸出I/F2012可將自圖像處理部2010供給之圖像資料轉換成特定形式之圖像資料並輸出。
儲存器2004為例如快閃記憶體，可記憶、蓄積自圖像處理部2010輸出之圖像資料。又，儲存器2004亦可記憶用以使CPU2000動作之程式。再者，儲存器2004不限於內置於攝像裝置1之構成，亦可設為可相對於攝像裝置1裝卸之構成。
資料I/F2005為攝像裝置1與外部機器進行資料之收發用之介面。作為資料I/F2005，可應用例如USB(Universal Serial Bus：通用串列匯流排)。又，作為資料I/F2005，亦可應用Bluetooth(藍芽)(註冊商標)之所謂之進行近距離無線通信之介面。
操作部2006受理對於攝像裝置1之使用者操作。操作部2006包含撥盤或按鈕等操作單元作為受理使用者輸入之輸入器件。操作部2006亦可包含輸出與接觸之位置相應之信號之觸控面板作為輸入器件。
顯示控制部2007基於藉由CPU2000傳遞之顯示控制信號，產生顯示器2008可顯示之顯示信號。顯示器2008將例如LCD(Liquid Crystal Display：液晶顯示器)用作顯示器件，使遵從藉由顯示控制部2007產生之顯示信號之畫面顯示。另，根據攝像裝置1之用途，可省略顯示控制部2007及顯示器2008。
(1-2.對像素重排處理之概略性說明) 此處，對上述之像素重排處理概略性說明。作為4分割拜爾型RGB排列之各像素之像素信號之處理模式，有將像素組所包含之4個像素之像素信號相加而作為1個像素信號處理之模式(稱為相加模式)、與分別處理該4個像素之像素信號之模式(稱為個別模式)。於該等中之個別模式中，可藉由像素重排處理，將4分割拜爾型RGB排列之各像素之像素值轉換成例如拜爾型排列之各像素之像素值。
圖像處理部12對各方向檢測關注像素之位置之像素值之傾斜(梯度)，並判定檢測出之梯度最小之方向。圖像處理部12基於檢測出之方向之像素之像素值，預測與關注像素之位置對應之拜爾排列上之像素之像素值，並藉由預測之像素值而置換該關注像素之像素值。藉此，4分割拜爾型RGB排列之各像素之像素值轉換成拜爾型排列之各像素之像素值。
更具體而言，圖像處理部12檢測如圖6所示之同一色像素間之梯度(同色間梯度)、與如圖7所示之不同色像素間之梯度(異色間梯度)。
另，於圖6及圖7、以及以下之同樣之圖式中，各方塊表示像素，各方塊內之文字(R、G及B)表示對應於該像素之彩色濾光片之顏色(R色、G色及B色)。此處，將設置R色、G色及B色之彩色濾光片之各像素分別稱為像素R、像素G及像素B。又，將格子之左上方塊設為原點，將圖式之橫向設為x方向，縱向設為y方向，並以像素單位表示座標(x，y)。例如，於圖6中，原點之像素為座標(0，0)之像素R，如像素(0，0)般記述。
於圖6之例，關於像素G，沿x方向對像素G(0，2)及(1，2)、像素G(4，2)及(5，2)、像素G(0，3)及(1，3)、以及像素G(4，3)及(5，3)之同色之各組，分別檢測梯度。又，關於像素B，對像素B(2，2)及(3，2)、以及像素B(2，3)及(3，3)之同色之各組，檢測梯度。
另一方面，於圖7之例，沿x方向對像素G(1，2)及像素B(2，2)、像素G(1，3)及像素B(2，3)、像素B(3，2)及像素G(4，2)、以及像素B(3，3)及像素G(4，3)之不同色之各組，分別檢測梯度。
此處，同色間梯度之檢測為算出感度相同之像素彼此之梯度。與此相對，異色間梯度之檢測直接算出感度不同之像素彼此之梯度，且算出依存於像素之每種顏色之感度差之梯度。因此，圖像處理部12對輸入圖像信號所包含之像素R及像素B之各像素值，分別乘以特定之係數而進行梯度之檢測。
對可應用於各實施形態之圖像處理部12之方向判定處理更詳細地進行說明。圖像處理部12於局部區域，對複數個方向算出梯度。圖8及圖9係顯示可應用於實施形態之梯度算出之方向之例之圖。於圖8及圖9、以及以下之同樣之圖中，將局部區域之尺寸設為6像素×6像素。
圖像處理部12如圖8所示，沿水平方向(H)、垂直方向(V)、右上45°方向(A)、右下45°方向(D)之4個方向進行梯度算出。再者，圖像處理部12如圖9所示，沿右上22.5°方向(A2)、右上67.5°方向(A3)、右下22.5°方向(D2)及右下67.5°方向(D3)之4個方向進行梯度算出。即，於實施形態中，圖像處理部12沿角度各差22.5°之8個方向，進行梯度算出。
使用圖3說明之4分割拜爾型RGB排列與圖2所示之拜爾型排列比較，同色成分之取樣間隔較為稀疏，故於1/2奈奎斯特頻率產生混疊。如圖8及圖9所示，藉由沿8個方向分別進行梯度算出，可高精度地檢測此種頻率之重複圖案。
圖像處理部12基於梯度之判定結果，預測拜爾排列之與關注像素之位置對應之像素之像素值，並藉由預測之像素值而置換關注像素之像素值。
(1-3.像素讀取方法之例) 接著，對4分割拜爾型RGB排列之像素信號之讀取之例進行說明。圖10係用以說明分割拜爾型RGB排列之像素信號之讀取方法之例之模式圖。於圖10中，排列121顯示4分割拜爾型RGB排列之像素排列。排列130顯示對該排列121進行上述之個別模式之讀取並實施像素重排處理，且將各像素之像素值轉換成依據拜爾排列之像素值之像素資料之排列之例。
排列131顯示對排列121進行上述之相加模式之讀取之排列之例。如此，於相加模式中，將像素組所包含之4個像素集中作為1個像素處理。於圖10之例，如排列131所示，4分割拜爾型RGB排列(排列121)之像素R之像素組所包含之4個像素R藉由像素值之相加而作為1個像素R(+)處理。同樣，排列121之像素G之像素組所包含之4個像素G藉由像素值之相加而作為1個像素G(+)處理，像素B之像素組所包含之4個像素B藉由像素值之相加而作為1個像素B(+)處理。
排列132顯示使排列121所示之像素組所包含之4個像素中之至少1個像素之曝光時間與該像素組所包含之其他像素之曝光時間不同之排列之例。於圖10之例，將像素組所包含之4個像素中之1個像素之曝光時間設為第1曝光時間，2個像素之曝光時間設為較第1曝光時間長之第2曝光時間，剩餘之1個像素設為較第2曝光時間長之第3曝光時間。以下，將第1曝光時間中之讀取稱為短蓄，第2曝光時間中之讀取稱為中蓄，第3曝光時間中之讀取稱為長蓄。
於圖10中，若取例如像素R之像素組為例，則左上設為長蓄之像素R(L)，右上及左下設為中蓄之像素R(M)，右下設為短蓄之像素R(S)。像素G之像素組亦同樣，左上設為長蓄之像素G(L)，右上及左下設為中蓄之像素G(M)，右下設為短蓄之像素G(S)，像素B之像素組亦為左上設為長蓄之像素B(L)，右上及左下設為中蓄之像素B(M)，右下設為短蓄之像素B(S)。
排列132之情形，將藉由短蓄、中蓄及長蓄讀取之像素資料(圖像資料)合成，而產生1個圖像資料。藉由將基於於不同之曝光時間曝光之像素資料之圖像資料合成，可產生動態範圍更廣之圖像資料。將如此產生之廣動態範圍之圖像之圖像資料稱為HDR(High Dynamic Range：高動態範圍)圖像。又，將此種攝像方法稱為HDR攝像。
於圖10之例，如排列131HDR所示，藉由HDR攝像，於例如像素R之像素組之情形，將像素R(L)、2個像素R(M)、及像素R(S)合成，而產生具有像素組之尺寸之像素R(HDR)。像素G及B之各像素組之情形亦同樣，產生具有像素組之尺寸之像素G(HDR)及B(HDR)。
圖11係用以說明HDR攝像之第1例之模式圖。於圖11及後述之圖12中，於右方向顯示有時間之經過。又，顯示有於縱向顯示線(line)，將訊框之上端之線(line)設為線(line)Ln#1，且自線(line)Ln#1朝向訊框之下端側按線(line)依序進行讀取(滾動快門方式)。
於HDR攝像之第1例，並列執行長蓄、中蓄及短蓄之曝光，且同時執行自長蓄、中蓄及短蓄各者之像素之讀取。
例如，於線(line)Ln#1，於1訊框時間中之時間t0 開始長蓄之曝光，於自時間t0 經過特定時間之時間t1 開始中蓄之曝光。進而於自時間t1 經過特定時間之時間t2 開始短蓄之曝光。於自時間t2 經過特定時間後之時間t3 ，結束長蓄、中蓄及短蓄各者之曝光，並進行自長蓄、中蓄及短蓄各者之像素之讀取。
圖12係用以說明HDR攝像之第2例之模式圖。於HDR攝像之第2例，有序地執行長蓄、中蓄及短蓄之曝光，並於各曝光各者執行自像素之讀取。
例如，於線(line)Ln#1，於1訊框時間中之時間t0 開始長蓄之曝光，於自時間t0 經過特定時間之時間t1 結束長蓄之曝光，並自長蓄之像素進行讀取。接著，於時間t1 開始中蓄之曝光，於自時間t1 經過特定時間之時間t2 結束中蓄之曝光，並自中蓄之像素進行讀取。再者，於時間t2 開始短蓄之曝光，於自時間t2 經過特定時間之時間t3 結束短蓄之曝光，並自短蓄之像素進行讀取。即，於該HDR攝像之第2例，於各線(line)，於1訊框時間內進行長蓄、中蓄及短蓄之3次曝光。
於該HDR攝像之第2例，亦可應用上述之相加模式與個別模式之任一者。圖13係用以說明對HDR攝像之第2例應用相加模式之情形之例之模式圖。
於圖13中，上段所示之排列131L、131M及131S分別顯示對排列121藉由長蓄、中蓄及短蓄進行曝光，且進行利用相加模式之讀取之排列之例。排列131L、131M及131S分別顯示藉由長蓄、中蓄及短蓄進行曝光且進行利用相加模式之讀取之排列之例。作為一例，若對像素R之像素組進行說明，則於排列131L中，藉由長蓄曝光之4個像素R(L)藉由像素值之相加而作為1個像素R(L+)處理。於排列131M中，藉由中蓄曝光之4個像素R(M)藉由像素值之相加而作為1個像素R(M+)處理。又，於排列131S中，藉由短蓄曝光之4個像素R(S)藉由像素值之相加而作為1個像素R(S+)處理。關於其他像素G及B之像素組，亦為同樣。
排列131HDR+顯示將該等排列131L、131M及131S之各像素合成之例。於排列131HDR+中，將各像素R(L+)、R(M+)及R(S+)合成，而獲得廣動態範圍之像素R(HDR+)。同樣，將各像素G(L+)、G(M+)及G(S+)、以及各像素B(L+)、B(M+)及B(S+)分別合成，而獲得高動態範圍之像素G(HDR+)及B(HDR+)。即，排列131HDR+成為將排列131L、131M及131S之各像素以各像素組單位合成之排列。
圖14係用以說明對HDR攝像之第2例應用個別模式並實施像素重排處理之情形之例之模式圖。排列133L、133M及133S為分別對應於圖13之排列131L、131M及131S者，分離顯示各像素組所包含之4個像素。排列134L、134M及134S顯示對該等排列133L、133M及133S之各像素實施像素重排處理，且將各像素組所包含之4個像素之像素值轉換成拜爾排列之各像素之像素值之例。該情形時，排列134L僅包含基於長蓄之像素資料之各像素值，同樣，排列134M及134S僅包含分別基於中蓄及短蓄之像素資料之各像素值。
圖14之下段所示之排列135HDR為將該等排列134L、134M及134S以位置對應之像素彼此合成者。如此，於HDR攝像之第2例，可於對應於拜爾排列之各像素，獲得高動態範圍。
此處，使用圖10、圖13及圖14，對上述之HDR攝像之第1例與第2例之差異進行說明。於HDR攝像之第1例，分配為例如長蓄(或中蓄、短蓄)之像素為4分割拜爾型RGB排列所包含之16像素中之4像素(參照圖10之排列132)。與此相對，於HDR攝像之第2例，所有16像素分配為長蓄(或中蓄、短蓄)(參照圖13之排列131L、131M及131S)。因此，使解析度相同之情形，於SNR(Signal-Noise Ratio：信噪比)之點，第2例係相對於第1例有利。
又，於HDR攝像之第1例，由於像素組所包含之4像素之曝光時間不同(參照圖10之排列132)，故難以應用像素重排處理。與此相對，於HDR攝像之第2例，由於4分割拜爾型RGB排列所包含之16像素之曝光時間相同，故可容易應用像素重排處理(參照圖14)。因此，於解析度之點，第2例係相對於第1例有利。
另一方面，於比較相加模式與個別模式之情形，相加模式係與個別模式相比，可進行像素之高速讀取，且於SNR之點有利。又，於個別模式中由於可進行像素重排處理，故相對於相加模式於解析度之點為有利。於各實施形態中，適應性地切換相加模式與個別模式來執行攝像部10之像素之讀取。藉此，可執行適應攝像目的或攝像環境等攝像條件之攝像。
[2.第1實施形態] 接著，就本揭示之第1實施形態進行說明。第1實施形態為藉由圖像處理實現相加模式與個別模式之切換之情形之例。圖15係用於說明第1實施形態之攝像裝置1之功能之一例之功能方塊圖。
圖15所示之攝像裝置1進行上述之HDR攝像之第2例之攝像。即，於攝像部10中，對像素陣列部110之各像素100，按照4分割拜爾型RGB排列設置R色、G色及B色之彩色濾光片。控制部14如進行使用圖12說明之長蓄、中蓄及短蓄之各攝像之方式，控制攝像部10。攝像部10將藉由長蓄、中蓄及短蓄各者之曝光拍攝，且自各像素100讀取之像素資料供給至圖像處理部12。
於第1實施形態之攝像裝置1中，圖像處理部12包含像素處理部1200、HDR合成處理部1201、WB(白平衡)處理部1202、灰階壓縮處理部1203、去馬賽克處理部1204、伽馬修正處理部1205、及輸出處理部1206。
該等像素處理部1200、HDR合成處理部1201、WB處理部1202、灰階壓縮處理部1203、去馬賽克處理部1204、伽馬修正處理部1205及輸出處理部1206，係藉由於例如DSP、ISP、CPU等所謂之處理器上執行特定之程式而實現。不限於此，亦可藉由相互協動動作之硬體電路來實現像素處理部1200、HDR合成處理部1201、WB處理部1202、灰階壓縮處理部1203、去馬賽克處理部1204、伽馬修正處理部1205及輸出處理部1206之一部分或全部。
像素處理部1200對自攝像部10供給之像素資料，執行利用相加模式之將像素組所包含之4像素之像素值相加之相加處理、與利用個別模式之基於各像素資料之像素重排處理。像素處理部1200按照自控制部14供給之切換控制信號CNG，來切換執行該相加處理及像素重排處理。像素處理部1200對自攝像部10供給之長蓄、中蓄及短蓄各者之像素資料，執行相加處理或像素重排處理。
由像素處理部1200進行相加處理或像素重排處理之長蓄、中蓄及短蓄各者之像素資料被供給至HDR合成處理部1201。另，該時點之各像素資料係與位置對應之彩色濾光片之顏色、或與經像素重排處理之位置之顏色對應的RAW(原始)資料。
HDR合成處理部1201執行將自像素處理部1200供給之長蓄、中蓄及短蓄各者之像素資料合成而產生HDR圖像的HDR合成處理。實施HDR合成處理之像素資料之位元深度設為20～24位元左右，具有相對於例如位元深度為8～10位元左右之通常之像素資料更廣之動態範圍。
HDR合成處理部1201若對例如1訊框量之像素資料執行HDR合成處理，則將藉由HDR合成處理產生之1訊框量之像素資料作為訊框單位之圖像資料輸出。自HDR合成處理部1201輸出之圖像資料(HDR圖像資料)被供給至WB處理部1202，藉由WB處理部1202實施已知之白平衡處理，並供給至灰階壓縮處理部1203。灰階壓縮處理部1203壓縮供給之圖像資料之灰階，並產生具有適於後段中之處理之灰階之圖像資料。例如，灰階壓縮處理部1203將圖像資料所包含之各像素資料之位元深度自HDR合成處理之20～24位元之位元深度轉換成例如8位元～10位元左右之位元深度，並進行灰階之壓縮。
灰階壓縮處理部1203將經灰階壓縮處理之圖像資料供給至去馬賽克處理部1204。去馬賽克處理部1204對供給之圖像資料實施已知之去馬賽克處理，並對各像素賦予R色、G色及B色各者之像素值。去馬賽克處理部1204執行之去馬賽克處理成為例如使用關注像素之像素值、與關注像素附近之各像素之像素值，對1個關注像素賦予R色、G色及B色各者之像素值之處理。
去馬賽克處理部1204將實施去馬賽克處理之圖像資料之R色、G色及B色之各成分之資料供給至伽馬修正處理部1205。伽馬修正處理部1205基於供給之各資料執行伽馬修正處理，並將經伽馬修正之R色、G色及B色之各成分之資料供給至輸出處理部13。輸出處理部13將自伽馬修正處理部1205供給之R色、G色及B色之各成分之資料轉換成適於後段之處理之形式之資料。於圖15之例，輸出處理部13將R色、G色及B色之各成分之資料轉換成亮度成分Y、與各色差成分R-Y、B-Y之圖像資料並輸出。
圖16係用以說明第1實施形態之像素處理部1200之功能之一例之功能方塊圖。於圖16之例，像素處理部1200包含像素切換開關210、訊框記憶體200L、200M及200S、處理切換開關201L、201M及201S、像素相加部202L、202M及202S、像素重排處理部203L、203M及203S、以及選擇器204L、204M及204S。
該等中之訊框記憶體200L、處理切換開關201L、像素相加部202L、像素重排處理部203L及選擇器204L為長蓄之像素資料之處理相關之構成。同樣，訊框記憶體200M及200S、處理切換開關201M及201S、像素相加部202M及202S、像素重排處理部203M及203S、以及選擇器204M及204S分別為中蓄及短蓄之像素資料之處理相關之構成。
自攝像部10輸出之像素資料輸入至像素切換開關210。像素切換開關210根據自例如控制部14供給之控制信號(未圖示)，切換第1、第2及第3輸出端。此處，第1輸出端為選擇長蓄之構成者，連接於訊框記憶體200L。第2輸出端為選擇中蓄之構成者，連接於訊框記憶體200M。又，第3輸出端為選擇短蓄之構成者，連接於訊框記憶體200S。
更具體而言，例如控制部14與攝像部10之長蓄、中蓄及短蓄各者之讀取時序同步，將像素切換開關210之輸出目的地切換成第1、第2及第3輸出端中對應於讀取之輸出端。像素切換開關210對每條線(line)，於分別對應於例如圖12所示之時間t1 、t2 及t3 之時序，切換第1、第2及第3輸出端。
關於像素處理部1200之動作，取長蓄之像素資料相關之處理為例進行說明。若於像素切換開關210切換成第1輸出端，則於訊框記憶體200L寫入長蓄之1線(line)量之像素資料。處理切換開關201L按照自控制部14供給之切換控制信號CNG，將自訊框記憶體200L讀取之像素資料之供給目的地切換成像素相加部202L及像素重排處理部203L之任一者。
另，中蓄及短蓄相關之各構成之處理切換開關201M及201S按照切換控制信號CNG，與處理切換開關201L同步，切換像素相加部202M及像素重排處理部203M之任一者、以及像素相加部202S及像素重排處理部203S之任一者。
首先，針對於訊框記憶體200L寫入1訊框量之像素資料，且於處理切換開關201L切換成第1輸出端之情形進行說明。該情形時，像素相加部202L經由像素切換開關210自訊框記憶體200L以像素組單位讀取像素資料，並將讀取之各像素資料之像素值於每個像素組相加。像素相加部202L將於該每個像素組相加之像素值之像素資料之1訊框量作為利用相加模式之圖像資料輸出。自像素相加部202L輸出之利用該相加模式之圖像資料被供給至選擇器204L之第1輸入端。
接著，針對於訊框記憶體200L寫入1訊框量之像素資料，且於處理切換開關201L切換成第1輸出端之情形進行說明。該情形時，像素重排處理部203L自訊框記憶體200L以像素重排處理之處理單位(例如6像素×6像素)讀取像素資料，並基於讀取之各像素資料如上所述執行像素重排處理。像素重排處理部203L將分別經像素重排處理之1訊框量之像素資料作為利用個別模式之圖像資料輸出。自像素重排處理部203L輸出之利用該個別模式之圖像資料被供給至選擇器204L之第2輸入端。
選擇器204L、以及選擇器204M及204S按照切換控制信號CNG，與上述之處理切換開關201L、201M及201S同步，選擇第1及第2輸入端中之一者。選擇器204L、選擇器204M及204S之輸出作為長蓄、中蓄及短蓄之圖像資料，分別自圖像處理部1200輸出。
另，訊框記憶體200M及200S、處理切換開關201M及201S、像素相加部202M及202S、以及像素重排處理部203M及203S之中蓄及短蓄之像素資料相關之處理由於與上述之訊框記憶體200L、處理切換開關201L、像素相加部202L、以及像素重排處理部203L之處理同等，故省略此處之說明。
控制部14根據例如特定之攝像條件，產生用以指示執行利用相加模式之處理、與利用個別模式之處理中之何者之切換控制信號CNG，並供給至像素處理部1200。控制部14例如作為用以產生切換控制信號CNG之攝像條件，可應用攝像裝置1之相對於被攝體之速度。作為另一例，控制部14可將被攝體之明亮度、或攝像環境之明亮度，應用於用以產生切換控制信號CNG之攝像條件。
以攝像裝置1搭載於車輛而使用之情形為例，更具體地進行說明之攝像裝置1藉由車輛資訊取得部15(參照圖1)，自該車輛取得包含車輛之行駛相關之資訊之車輛資訊。於攝像裝置1中，控制部14自取得之車輛資訊擷取表示行駛速度之資訊，並比較擷取之行駛速度與閾值vth 。若行駛速度為閾值vth 以上，則控制部14產生用以指示個別模式之切換控制信號CNG，並供給至像素處理部1200。
另一方面，若行駛速度未達閾值vth ，則控制部14產生用以指示相加模式之切換控制信號CNG，並供給至像素處理部1200。於相加模式中，由於像素處理部1200、或像素處理部1200之後段之各部之處理量相對於個別模式較少，故可實現省電力化。
又，攝像裝置1基於本攝像裝置1、或搭載於車輛之例如其他感測器之輸出而取得表示攝像環境之明亮度之資訊(例如亮度值)。於攝像裝置1中，控制部14比較取得之明亮度與閾值Yth 。若明亮度為閾值Yth 以上，則控制部14產生用以指示個別模式之切換控制信號CNG，並供給至像素處理部1200。另一方面，若明亮度未達閾值Yth ，則控制部14產生用以指示相加模式之切換控制信號CNG，並供給至像素處理部1200。
於上述，控制部14按照1個攝像條件產生切換控制信號CNG，但其未限定於該例。控制部14亦可按照複數個攝像條件產生切換控制信號CNG。
圖17係用以說明第1實施形態之按照2個攝像條件產生切換控制信號CNG之例之模式圖。於圖17之例，基於上述之車輛之行駛速度、與攝像環境之明亮度，切換相加模式與個別模式。即，控制部14於行駛速度為閾值vth 以上且明亮度為閾值Yth 以上之情形時，產生用以指示個別模式之切換控制信號CNG，並供給至像素處理部1200。另一方面，控制部14於行駛速度未達閾值vth 或明亮度未達閾值Yth 之情形時，產生用以指示相加模式之切換控制信號CNG，並供給至像素處理部1200。
如此，藉由基於攝像條件產生用以指示個別模式之切換控制信號CNG、與用以指示相加模式之切換控制信號CNG，可使基於攝像圖像之感測之性能最佳化。又，藉由基於複數個攝像條件產生切換控制信號CNG，可進行更精細之控制。
另，於個別模式中，與相加模式相比，需要相對於像素資料4倍之處理。此時，考慮將個別模式中之自攝像部10之讀取、與成為圖像處理之對象之區域於水平及垂直皆設為例如1/2。藉此，可省電力化，又，可抑制圖像處理部12中之運算資源之消耗。
於上述，說明應用於第1實施形態之攝像方式為滾動快門方式，但其未限定於該例。即，亦可對第1實施形態應用於所有線(line)同時執行曝光之攝像方式即全域快門方式。
又，於上述，說明於像素處理部1200中進行像素重排處理之長蓄、中蓄及短蓄之各像素資料被供給至HDR合成處理部1201，但其未限定於此。例如，亦可於HDR合成處理部1201中之HDR合成處理後，執行像素處理部1200之像素重排處理。更具體而言，對自攝像部10輸出之長蓄、中蓄及短蓄之各像素資料執行HDR合成處理，並對實施HDR合成處理之例如1訊框量之像素資料執行像素重排處理。
[2-1.第1實施形態之第1變化例] 接著，對第1實施形態之第1變化例進行說明。於上述第1實施形態中，對相加模式及個別模式中之訊框之整面進行利用單一模式之讀取處理。與此相對，於第1實施形態之第1變化例中，於訊框內設定執行利用個別模式之處理之處理區域、與執行利用相加模式之處理之處理區域。
圖18A及圖18B係用以對第1實施形態之第1變化例之處理區域進行說明之模式圖。如圖18A所示，於第1實施形態之第1變化例中，於例如訊框300之中央部分設定執行個別模式之處理之第1處理區域301，將訊框300中之第1處理區域301以外之區域(訊框300之周邊部)設定為執行相加模式之處理之第2處理區域302。第1處理區域301例如考慮將水平及垂直方向之尺寸分別設為訊框300之水平及垂直方向之尺寸之1/2。
如圖18B所示，於自搭載例如第1實施形態之第1變化例之攝像裝置1之車輛304觀察時，訊框300之中央部分之第1處理區域301包含朝向例如車輛304之行駛方向之車輛之駕駛者應注視之更遠方之注視區域303之圖像。因此，第1處理區域301較佳執行更高解析度之個別模式之圖像處理。另一方面，第1處理區域301外之第2處理區域302執行較第1處理區域301低之解析度之相加模式之圖像處理。
如此，第1實施形態之第1變化例將訊框內之區域作為攝像條件而產生切換控制信號CNG。藉由於訊框300之中央部與周邊部，分開設定個別模式與相加模式，可包含輸出之圖像所需之資訊，且省電力化。
圖19係用以說明可應用於第1實施形態之第1變化例之像素處理部1200a之功能之一例之功能方塊圖。另，圖19為與上述之圖16對應之圖，選取顯示長蓄相關之構成，省略中蓄及短蓄相關之構成。
圖19所示之像素處理部1200a對上述之圖16所示之像素處理部1200追加有連接於像素相加部202L之訊框記憶體2020L、及連接於像素重排處理部203L之訊框記憶體2030L。
控制部14以藉由將切換控制信號CNG於第1處理區域301與第2處理區域302之邊界切換，而於第1處理區域301中執行利用個別模式之處理，於第2處理區域302中執行利用相加模式之處理之方式控制。
作為更具體之例，控制部14設為將切換控制信號CNG按線(line)依序供給至像素處理部1200，且於各線(line)，自訊框300之左端朝向右端將切換控制信號CNG供給至像素處理部1200者。
控制部14自訊框300之上端至第1處理區域301之上端之前之線(line)，產生用以指示相加模式之切換控制信號CNG，並供給至像素處理部1200。控制部14於自第1處理區域301之上端至下端之線(line)，於每條線(line)，自訊框300之左端至第1處理區域301之左端之前，產生用以指示相加模式之切換控制信號CNG，並供給至像素處理部1200。控制部14自第1處理區域301之左端至右端，產生用以指示個別模式之切換控制信號CNG，並供給至像素處理部1200。控制部14自第1處理區域301之右端之後至訊框300之右端，產生用以指示相加模式之切換控制信號CNG，並供給至像素處理部1200。又，控制部14自第1處理區域301之下端之後之線(line)至訊框300之下端之線(line)，產生用以指示相加模式之切換控制信號CNG，並供給至像素處理部1200。
像素相加部202L於供給有用以指示相加模式之切換控制信號CNG之期間，自訊框記憶體200L例如按線(line)依序讀取對應於第2處理區域302之像素資料，並將讀取之像素資料寫入至訊框記憶體2020L。此時，像素相加部202L於包含第1處理區域301之線(line)中，跳過例如該第1處理區域301之內部之像素資料。像素相加部202L對寫入至訊框記憶體2020L之像素資料以像素組單位執行相加處理，並藉由相加處理結果之像素值，更新訊框記憶體2020L。
像素重排處理部203L亦同樣，於供給有用以指示個別模式之切換控制信號CNG之期間，自訊框記憶體200L讀取對應於第1處理區域301之像素資料，並將讀取之像素資料寫入至訊框記憶體2030L。此時，由於於像素重排處理中對關注像素使用數像素量之周邊像素，故像素重排處理部203L預測周邊像素量，並自訊框記憶體200L讀取像素資料。像素重排處理部203L使用寫入至訊框記憶體2030L之像素資料而執行像素重排處理，並藉由像素重排處理結果之像素值，更新訊框記憶體2030L。
執行像素相加部202L之相加處理、及像素重排處理部203L之像素重排處理並分別寫入至訊框記憶體2020L及2030L之像素資料，藉由經由根據切換控制信號CNG切換第1及第2輸入端之選擇器204L輸出而合成，並作為長蓄之訊框圖像輸出。
[2-2.第1實施形態之第2變化例] 接著，對第1實施形態之第2變化例進行說明。於上述之第1實施形態之第1變化例中，分別固定地設定執行個別模式之處理之處理區域、與執行相加模式之處理之處理區域。與此相對，第1實施形態之第2變化例適應性設定執行個別模式之處理之處理區域、與執行相加模式之處理之處理區域。
圖20係用以對第1實施形態之第2變化例之處理區域進行說明之模式圖。於第1實施形態之第2變化例中，檢測自攝像部10讀取之像素資料之圖像所包含之特定之目標物，並基於檢測出之特定之目標物，設定執行個別模式之處理之處理區域、與執行相加模式之處理之處理區域。
於圖20之例，由自攝像部10讀取之像素資料之圖像310，分別檢測2個信號機、標識及2台對向車作為特定之目標物。作為特定之目標物，亦包含例如於路上步行之步行者。包含檢測出之標識之區域320、分別包含檢測出之2個信號機之區域321及322、分別包含檢測出之2台對向車之區域323及324設為執行個別模式之處理之處理區域，圖像310中之該等區域320～324以外之區域設為執行相加模式之處理之處理區域。
如此，第1實施形態之第2變化例將訊框之圖像所包含之目標物及包含該目標物之區域作為攝像條件而產生切換控制信號CNG。對包含例如對於車輛之行駛較為重要之目標物之區域執行利用個別模式之處理，而產生高解析度之圖像。另一方面，對例如對於車輛之行駛重要性較低之區域，藉由相加模式產生較個別模式低解析度之圖像。藉此，容易辨識對於車輛之行駛較為重要之目標物，可提高行駛之安全性。又，利用相加模式之處理於產生之圖像之解析度之點劣於個別模式，但處理之負荷較個別模式小。藉此，可整體上抑制運算資源及消耗電力。
圖21係用以說明可應用於第1實施形態之第2變化例之像素處理部1200b之功能之一例之功能方塊圖。另，圖21所示之像素處理部1200b構成為對上述之圖16之構成追加檢測部220，且按照自檢測部220輸出之切換控制信號CNG而切換處理切換開關201L、201M及201S、以及選擇器204L、204M及204S。
更具體而言，檢測部220基於寫入例如訊框記憶體200L之圖像資料之1訊框之圖像資料，檢測該圖像資料之圖像所包含之特定之目標物。檢測部220可藉由基於例如預先登記之圖案之圖案辨識而進行目標物之檢測。不限於此，檢測部220亦可藉由使用利用特定之教師資料預先學習之學習模組之機械學習處理而進行目標物之辨識。
另，利用切換控制信號CNG之處理切換開關201L、201M及201S、以及選擇器204L、204M及204S之切換控制由於與上述之第1實施形態之第1變化例中使用圖19說明之控制同樣，故省略此處之說明。
又，此處，說明為檢測部220基於訊框記憶體200L之圖像資料而檢測特定之目標物，但其未限定於該例。例如，檢測部220亦可基於寫入至訊框記憶體200L、200M及200S中之至少1者之圖像資料而進行特定之目標物之檢測。又，於圖21中，顯示為像素處理部1200b具有檢測部220之功能，但其未限定於該例。例如，控制部14亦可具有檢測部220之功能。
[2-3.第1實施形態之第3變化例] 接著，對第1實施形態之第3變化例進行說明。於上述之第1實施形態、及第1實施形態之第1及第2變化例中，說明為攝像部10之像素排列為4分割拜爾型RGB排列，但可應用於本揭示之像素排列未限定於4分割拜爾型RGB排列。即，若使同一波長頻帶之光透過之光學濾光片為以2像素×2像素排列之像素排列，則本揭示亦可應用於4分割拜爾型RGB排列以外之像素排列。
圖22A～圖22E係顯示可應用於本揭示之像素排列之例之模式圖。圖22A係替代4分割拜爾型RGB排列之像素G，配置設置有使可視光區域全域之光透過之濾光片之像素W之像素排列之例。圖22B係替代4分割拜爾型RGB排列之像素G，配置設置有黃色之彩色濾光片之像素Ye之像素排列之例。又，圖22C係對圖22B之像素排列，進而替代像素B而配置設置有青(Cyan)色之彩色濾光片之像素Cy之像素排列之例。
該等圖22A、圖22B及圖22C所示之像素排列可獲得較4分割拜爾型RGB排列更高之感度。又，包含像素Ye之圖22B及圖22C所示之像素排列具有不易受到透鏡像差之影響之特性。另一方面，圖22A～圖22C之任一者之像素排列皆不包含加法混合之三原色中之G(綠)色，而無法再現全彩。因此，圖22A～圖22C所示之各像素排列較佳用於感測用途。
圖22D顯示將2像素×2像素之像素組配置成4行×4列之像素排列之例。於圖22D所示之像素排列中，像素R之2個像素組、像素B之2個像素組、像素G之4個像素組、及像素W之8個像素組以同色像素之像素組相互不相鄰之方式配置。於圖22D之像素排列中，可藉由像素W之8個像素組而獲得感度，且可藉由以1：2：1之比例配置之像素R、像素G及像素B各者之像素組而再現全彩。另一方面，由於與例如4分割拜爾型RGB排列比較各色之像素組之間隔較寬，故於解析度之點不利。
圖22E係包含設置有使紅外區域之光透過之IR(Infrared：紅外線)濾光片之像素IR之像素排列之例。藉由使用像素IR，可進行利用紅外光之反射之測距等。於圖22E之例，為替代4分割拜爾型RGB排列之像素B而配置像素IR之例。另，於圖22E中，將4分割拜爾型RGB排列中之像素B之像素組所包含之4個像素B全部置換成像素IR，但其未限定於該例。例如，亦可為將該像素B(或像素R、或像素G)之像素組所包含之4個像素中之1～3個像素與像素IR置換之像素排列。
該圖22E所示之像素排列可與例如4分割拜爾型RGB排列組合而使用。例如，考慮對與訊框對應而重複配置之4分割拜爾型RGB排列，以特定間隔插入圖22E之像素排列。又，亦考慮對與訊框對應而重複配置之4分割拜爾型RGB排列，配置特定數量之圖22E之像素排列。
[3.第2實施形態] 接著，對本揭示之第2實施形態進行說明。於上述之第1實施形態及其各變化例中，於圖像處理部12中執行利用相加模式之像素組所包含之各像素之像素值之相加處理。其未限定於該例，亦可於攝像部10中於各像素陣列部110之內部執行該相加處理。
圖23A、圖23B及圖23C係用以說明第2實施形態之像素組內之個別模式及相加模式之切換方法之例之模式圖。
圖23A係用以說明第2實施形態之自像素區塊所包含之各像素100讀取信號之方法之模式圖。此處，以像素G之像素區塊為例進行說明。如圖23A所示，該像素區塊所包含之像素100G1 、100G2 、100G3 及100G4 構成為共用1個浮動擴散層。
首先，對藉由切換控制信號CNG而指示相加模式之情形之讀取方法之例，一面參照圖23B之時序圖一面進行說明。另，於圖23B及後述之圖23C中，於右方向顯示時間之經過，且將像素100G1 ～100G4 分別顯示為像素G1 、G2 、G3 及G4 。
於相加模式中，將像素組所包含之像素100G1 、100G2 、100G3 及100G4 中蓄積於各受光元件之電荷於該像素區塊內部相加並讀取。
例如，按照控制部22之控制，垂直掃描部20於圖23B之時間t00 ，於像素區塊中進行浮動擴散層之重設，其後，於像素100G1 ～100G4 中自各受光元件進行電荷之讀取，並將讀取之電荷傳送至浮動擴散層。於浮動擴散層中，自各受光元件傳送之電荷於相加部140中相加。該情形時，相加部140與於像素100G1 ～100G4 共通之浮動擴散層對應。於浮動擴散層中，自各受光元件傳送並相加之電荷轉換成與電荷量相應之電壓，並作為各像素100G1 ～100G4 之合計之像素信號輸出至垂直信號線VSL。
各像素100G1 ～100G4 之合計之像素信號藉由水平掃描部21具有之AD轉換器而轉換成像素資料並供給至像素處理部1200c。
接著，對藉由切換控制信號CNG而指示個別模式之情形之讀取方法之例，一面參照圖23C之時序圖一面進行說明。
例如，按照控制部22之控制，垂直掃描部20於圖23C之時間t10 ，於像素區塊中進行浮動擴散層之重設，其後，於像素100G1 中自受光元件進行電荷之讀取，並將讀取之電荷傳送至浮動擴散層。於浮動擴散層中，傳送之電荷轉換成與電荷量相應之電壓，並作為自像素100G1 讀取之像素信號輸出至垂直信號線VSL。另，不進行利用相加部140之相加處理。
接著，垂直掃描部20於圖23C之時間t11 ，於像素區塊中進行浮動擴散層之重設，其後，於像素100G2 中自受光元件進行電荷之讀取，並將讀取之電荷傳送至浮動擴散層。於浮動擴散層中，傳送之電荷轉換成與電荷量相應之電壓，並作為自像素100G2 讀取之像素信號輸出至垂直信號線VSL。另，不進行利用相加部140之相加處理。
垂直掃描部20亦同樣讀取來自像素100G3 及100G4 之像素信號，且於分別進行浮動擴散層之重設後，執行來自受光元件之電荷之讀取、與向浮動擴散層傳送讀取之電荷(圖23C之時間t12 及t13 )。另，分別未進行相加部140之相加處理。
自各像素100G1 ～100G4 讀取之各像素信號分別藉由水平掃描部21具有之AD轉換器而轉換成像素資料並供給至像素處理部1200c。
圖24係用以說明可應用於第2實施形態之像素處理部1200c之功能之一例之功能方塊圖。另，圖24為與上述之圖16對應之圖，選取顯示長蓄相關之構成，省略中蓄及短蓄相關之構成。
圖24所示之像素處理部1200c對上述之圖16所示之像素處理部1200替代像素相加部202L而設置有訊框記憶體240L。又，處理切換開關230L按照切換控制信號CNG，於自攝像部10藉由相加模式輸出像素資料之情形時，將該像素資料之輸出目的地切換成訊框記憶體240L。自攝像部10輸出之像素資料寫入至訊框記憶體240L。
另一方面，於自攝像部10藉由個別模式輸出像素資料之情形時，將該像素資料之輸出目的地切換成像素重排處理部203L。自攝像部10輸出之像素資料供給至像素重排處理部203L，寫入至訊框記憶體2030L。像素重排處理部203L基於寫入至訊框記憶體2030L之像素資料而執行像素重排處理，並藉由經像素重排處理之像素資料，更新例如訊框記憶體2030L。
如此，藉由於攝像部10中於各像素陣列部110之內部執行相加模式中之像素值之相加處理，可減輕圖像處理部12(像素處理部1200c)之構成。
[3-1.第2實施形態之變化例] 接著，對第2實施形態之變化例進行說明。第2實施形態之變化例係於可於攝像部10中於各像素陣列部110之內部執行利用相加模式之像素值之相加處理之構成中，可於訊框內設定執行利用個別模式之處理之處理區域、與執行利用相加模式之處理之處理區域者。
圖25係顯示第2實施形態之變化例之攝像部10之一例之構成之方塊圖。於圖25中，像素陣列部110a對圖4所說明之像素陣列部110追加有切換控制信號產生部(V)151V、與切換控制信號產生部(H)151H。又，於圖25中，各像素於包含像素1001 、1002 、1003 及1004 之4像素之每個像素組集中顯示。再者，於每個像素組設置有AND電路150。
另，於圖25中，顯示為按每個像素組連接於垂直信號線VSL，但實際上，各像素組之像素1001 、1002 、1003 及1004 分別連接於垂直信號線VSL。
切換控制信號產生部(V)151V基於自例如控制部22供給之控制信號，於像素陣列部110a所包含之各像素組之每行產生用以指示相加模式及個別模式之切換控制信號CNGV。又，切換控制信號產生部(H)151H基於自例如控制部22供給之控制信號，於像素陣列部110a所包含之各像素組之每列產生用以指示相加模式及個別模式之切換控制信號CNGH。
於各像素組中，於AND電路之一輸入端輸入切換控制信號CNGV，於另一輸入端輸入切換控制信號CNGH。於AND電路150中，獲取切換控制信號CNGV及CNGH之邏輯積。AND電路150將切換控制信號CNGV及CNGH之邏輯積之結果作為切換控制信號CNG輸出，並供給至包含該AND電路150之像素組。
藉由將像素陣列部110a設為此種構成，可與上述之第1實施形態之第1及第2變化例同樣，於包含1個以上之像素組之矩形區域切換指示像素陣列部110a所包含之各像素組之利用相加模式之讀取、與利用個別模式之讀取。
[4.第3實施形態] 接著，對應用本揭示之技術之攝像裝置之使用例進行說明。圖26係顯示上述之本揭示之攝像裝置1之使用例之圖。
上述之攝像裝置1例如如下所示，可使用於感測可視光、或紅外光、紫外光、X射線等光之各種情況。
·數位相機、或附攝影功能之可攜式機器等、拍攝供鑑賞用之圖像之裝置。 ·為了自動停止等安全駕駛、或辨識駕駛者之狀態等，而拍攝汽車之前方或後方、周圍、車內等之車載用感測器、監視行駛車輛或道路之監視相機、進行車輛間等之測距之測距感測器等、供交通用之裝置。 ·為了拍攝使用者之手勢並進行遵從該手勢之機器操作，而供TV、或冰箱、空調等家電用之裝置。 ·內視鏡、或利用紅外光之受光進行血管攝影之裝置等、供醫療或保健用之裝置。 ·預防犯罪用途之監視相機、或人物認證用途之相機等、供安全用之裝置。 ·拍攝肌膚之肌膚測定器、或拍攝頭皮之顯微鏡等、供美容用之裝置。 ·適於運動用途等之行動相機或穿戴式相機等、供運動用之裝置。 ·用於監視農田或作物之狀態之相機等、供農業用之裝置。
(4-0.對移動體之應用例) 本揭示之技術(本技術)如上所述可對各種產品應用。例如，本揭示之技術亦可作為搭載於汽車、電動汽車、混合動力汽車、機車、自行車、個人移動工具、飛機、無人機、船舶、機器人等任一種移動體的裝置而實現。
(將本揭示之攝像裝置搭載於車輛之情形之更具體之例) 作為本揭示之攝像裝置1之應用例，就將該攝像裝置1搭載於車輛使用之情形之更具體之例進行說明。
(第1搭載例) 首先，就本揭示之攝像裝置1之第1搭載例進行說明。圖27係顯示可搭載本揭示之攝像裝置1之車輛之系統構成例之方塊圖。於圖27中，車輛系統13200包含對相對於車輛13000設置之CAN(Controller Area Network：控制器區域網路)連接之各單元。
前感測相機(Front Sensing camera)13001為拍攝車輛行進方向之前方之相機。一般而言，不用於圖像顯示用，而為專用於感測之相機。前感測相機13001配置於例如擋風玻璃之內側之車內後視鏡附近。
前相機ECU(Front camera ECU)13002接收由前感測相機13001拍攝之圖像資料，並執行包含畫質之提高、及物體檢測等圖像辨識處理之圖像信號處理。前相機ECU之圖像辨識結果會發送至CAN通信。
另，ECU為「Electronic Control Unit：電子控制單元」之縮寫。
自動駕駛ECU(Self-driving ECU)13003為掌管自動駕駛之ECU，由例如CPU、ISP、GPU(Graphics Processing Unit：圖形處理單元)等構成。將由GPU進行圖像辨識之結果發送至伺服器，伺服器將執行深度神經網路等深度學習而學習之結果，送回至該自動駕駛ECU13003。
GPS(Global Positioning System：全球定位系統)13004為接收GPS之電波而求出當前位置之位置資訊取得部。由GPS13004取得之位置資訊會發送至CAN通信。
顯示器(Display)13005為配置於車體13000內之顯示裝置。顯示器13005配置於車體13000之儀表面板之中央部、或車內後視鏡內部等。顯示器13005亦可與車輛13000搭載之汽車導航裝置一體地構成。
通信單元(Communication Unit)13006於車與車間通信、步行者與車間通信、路與車間通信中，擔負資料之收發。通信單元13006亦進行與伺服器之收發。通信單元13006可應用各種無線通信。
整合型ECU(Integrated ECU)13007為匯集有各種ECU之綜合ECU。於該例中，整合型ECU13007包含ADAS ECU13008、自動駕駛ECU13003、及電池ECU(Battery ECU)13010。電池ECU13010係控制電池(200 V電池13023、12 V電池13024等)。整合型ECU13007配置於例如車體13000之中央部。
轉向信號(Turn Signal)13009為方向指示器，藉由整合型ECU13007而控制點亮。
ADAS ECU(Advanced Driver Assistance System(先進駕駛輔助系統) ECU)13008根據駕駛員操作或圖像辨識結果等，產生用以控制車輛系統13200之組件之控制信號。ADAS ECU13008通過CAN通信，與各部進行信號之收發。
於車輛系統13200中，驅動源(引擎、馬達)之控制藉由未圖示之動力傳動系ECU(Power Train ECU)進行。動力傳動系ECU於巡航控制時，根據圖像辨識結果控制驅動源。
若藉由圖像辨識而發現即將偏離白線，則轉向器(Steering)13011根據藉由ADAS ECU13008產生之控制信號而驅動電子動力轉向馬達。
速度感測器(Speed sensor)13012檢測車輛13000之行駛速度。速度感測器13012根據行駛速度算出加速度或加速度之微分(急衝度)。加速度資訊用於算出至與物體碰撞之推定時間。急衝度為對乘客之乘坐舒適感造成影響之指數。
雷達(Radar)13013為使用毫米波等長波長之電磁波而進行測距之感測器。光達(Lidar)13014為使用光進行測距之感測器。
頭燈(Head lamp)13015包含燈與燈之驅動電路，且根據藉由圖像辨識檢測出之對向車之頭燈之有無，進行遠光束與近光束之切換。或，頭燈13015照射如避開對向車般之遠光束。
側視相機(Side View camera)13016為配置於側視鏡之框體內或側視鏡附近之相機。自側視相機13016輸出之圖像資料用於圖像顯示用。側視相機13016拍攝例如駕駛者之盲區。又，側視相機13016拍攝用於環視監視器之左右區域之圖像。
側視相機ECU(Side View camera ECU)13017進行由側視相機13016拍攝之圖像之信號處理。側視相機ECU13017提高白平衡等之畫質。由側視相機ECU13017進行信號處理之圖像資料以與CAN不同之纜線發送。
前視相機(Front View camera)13018為配置於前格柵附近之相機。由前視相機13018拍攝之圖像資料用於圖像顯示用。前視相機13018拍攝車輛前方之盲區。又，前視相機13018拍攝用於環視監視器之上方區域之圖像。前視相機13018與上述之前感測相機13001幀分配不同。
前視相機ECU(Front View camera ECU)13019進行由前視相機13018拍攝之圖像之信號處理。前視相機ECU13019提高白平衡等之畫質。由前視相機ECU13019進行信號處理之圖像資料以與CAN不同之纜線發送。
車體13000包含引擎(ENG)13020、發電機(GEN)13021及驅動用馬達(MOT)13022。引擎13020、發電機13021及驅動用馬達13022藉由未圖示之動力傳動系ECU控制。
200 V電池(200 V Battery)13023為驅動用及空調用之電源。12 V電池(12 V Battery)13024為驅動用與空調用以外之電源。12 V電池13024供給搭載於車體13000之各相機或各ECU之電源。
後視相機(Rear View camera)13025為配置於例如尾門之車牌附近之相機。由後視相機13025拍攝之圖像資料用於圖像顯示用。後視相機13025拍攝後方之盲區。又，後視相機13025拍攝用於環視監視器之下方區域之圖像。後視相機13025藉由將例如變速桿置於「R(後退)」而啟動。
後視相機ECU(Rear View camera ECU)13026進行由後視相機13025拍攝之圖像之信號處理。後視相機ECU13026提高白平衡等之畫質。由後視相機ECU13026進行信號處理之圖像資料以與CAN不同之纜線發送。
圖28係顯示車輛系統13200之前感測相機13001之一例之構成之方塊圖。
前相機模組(Front Camera Module)13100包含透鏡(Lens)13101、成像器(Imager)13102、前相機ECU13002、及MCU(Micro Controller Unit：微控制器單元)13103。藉由透鏡13101及成像器13102，構成上述之前感測相機13001。前相機模組13100配置於例如擋風玻璃之內側之室內鏡附近。
成像器13102可應用本揭示之攝像部10，藉由像素所包含之受光元件拍攝前方圖像，並輸出像素資料。像素之彩色濾光片排列使用例如拜爾排列。成像器13102可由單層之晶片形成，亦可為使2個以上晶片積層之積層型成像器。成像器13102將像素資料作為例如RAW資料輸出。前相機ECU13002包含例如本揭示之圖像處理部12、輸出處理部13及控制部14。即，包含成像器13102與前相機ECU13002，構成本揭示之攝像裝置1。
另，成像器13102、與前相機ECU13002之間之資料傳輸亦可應用串列傳輸及並列傳輸之任一者。又，成像器13102較佳具有檢測成像器13102自身之故障之功能。
MCU13103具有與CAN匯流排(CAN Bus)13040介接之功能。對CAN匯流排13040，連接圖27所示之各部(自動駕駛ECU13003、通信單元13006、ADAS ECU13008、轉向器13011、頭燈13015、引擎13020、驅動用馬達13022、…)。又，對CAN匯流排13040，亦連接剎車系統(Brake)13030。
前相機模組13100可自CAN匯流排13040取得車輛13000之車輛資訊(行駛速度、周圍之明亮度等)。例如，於前相機模組13100中，前相機ECU13002可基於取得之車輛資訊，指示以相加模式及個別模式之何者執行成像器13102之像素之讀取。藉此，可輸出與行駛速度或明亮度等相應之圖像資料，又，可省電力化。
另，於上述，說明為本揭示之攝像裝置1應用於前感測相機13001，但其未限定於該例。例如，亦可將本揭示之攝像裝置1應用於前視相機13018或側視相機13016、後視相機13025。
(第2搭載例) 接著，對本揭示之攝像裝置1之第2搭載例進行說明。圖29係顯示可應用本揭示之技術之移動體控制系統之一例即車輛控制系統之概略性構成例之方塊圖。
車輛控制系統12000具備經由通信網路12001連接之複數個電子控制單元。於圖29所示之例中，車輛控制系統12000具備驅動系統控制單元12010、車身系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040、及綜合控制單元12050。又，作為綜合控制單元12050之功能構成，圖示有微電腦12051、聲音圖像輸出部12052、及車載網路I/F(interface：介面)12053。
驅動系統控制單元12010根據各種程式而控制與車輛之驅動系統關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等用以產生車輛之驅動力之驅動力產生裝置、用以將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛之舵角之轉向機構、及產生車輛之制動力之制動裝置等之控制裝置發揮功能。
車身系統控制單元12020根據各種程式而控制車體所裝備之各種裝置之動作。例如，車身系統控制單元12020作為無鑰匙進入系統、智慧鑰匙系統、電動車窗裝置、或頭燈、尾燈、剎車燈、轉向燈或霧燈等各種燈之控制裝置發揮功能。於該情形時，可對車身系統控制單元12020輸入自代替鑰匙之行動機發出之電波或各種開關之信號。車身系統控制單元12020受理該等電波或信號之輸入，並控制車輛之門鎖裝置、電動車窗裝置、燈等。
車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛之外部資訊。例如，於車外資訊檢測單元12030連接攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收拍攝到之圖像。車外資訊檢測單元12030可基於接收到之圖像進行人、車、障礙物、標識或路面上之文字等之物體檢測處理或距離檢測處理。
攝像部12031係接收光並輸出與該光之接收量相應之電信號之光感測器。攝像部12031亦可將電信號輸出為圖像，又可輸出為測距之資訊。又，攝像部12031接收之光可為可視光，亦可為紅外線等非可視光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040，例如連接檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機，車內資訊檢測單元12040基於自駕駛者狀態檢測部12041輸入之檢測資訊，可算出駕駛者之疲勞程度或集中程度，亦可判別駕駛者有無打瞌睡。
微電腦12051可基於以車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，並對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含避開車輛之碰撞或緩和碰撞、基於車間距離之追隨行駛、車速維持行駛、車輛之碰撞警告、或車輛之車道偏離警告等之ADAS(Advanced Driver Assistance System：先進駕駛輔助系統)之功能為目的之協調控制。
又，微電腦12051基於以車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛周圍之資訊而控制驅動力產生裝置、轉向機構或制動裝置等，藉此可進行以不依據駕駛者之操作而自主行駛之自動駕駛等為目的之協調控制。
又，微電腦12051可基於以車外資訊檢測單元12030取得之車外資訊，對車身系統控制單元12020輸出控制指令。例如，微電腦12051可根據車外資訊檢測單元12030檢測出之前車或對向車之位置控制頭燈，而進行以將遠光束切換為近光束等謀求防眩為目的之協調控制。
聲音圖像輸出部12052向可對車輛之搭乘者或車外視覺性或聽覺性通知資訊之輸出裝置發送聲音及圖像中之至少一者之輸出信號。於圖29之例中，作為輸出裝置，例示有音頻揚聲器12061、顯示部12062及儀表面板12063。顯示部12062例如可包含車載顯示器及平視顯示器之至少一者。
圖30係顯示攝像部12031之設置位置之例之圖。
於圖30中，車輛12100具有攝像部12101、12102、12103、12104、12105作為攝像部12031。
攝像部12101、12102、12103、12104、12105例如設置於車輛12100之前鼻、側視鏡、後保險桿、後車門及車內之擋風玻璃之上部等位置。前鼻所具備之攝像部12101及車內之擋風玻璃之上部所具備之攝像部12105主要取得車輛12100前方之圖像。側視鏡所具備之攝像部12102、12103主要取得車輛12100側方之圖像。後保險桿或後車門所具備之攝像部12104主要取得車輛12100後方之圖像。由攝像部12101及12105取得之前方之圖像主要用於檢測前方車輛、或步行者、障礙物、信號機、交通標識或車線等。
另，於圖30顯示有攝像部12101至12104之攝影範圍之一例。攝像範圍12111表示設置於前鼻之攝像部12101之攝像範圍，攝像範圍12112、12113分別表示設置於側視鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設置於後保險桿或後車門之攝像部12104之攝像範圍。例如，可藉由使攝像部12101至12104所拍攝之圖像資料重疊，而獲得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104之至少1者可具有取得距離資訊之功能。例如，攝像部12101至12104之至少1者可為包含複數個攝像元件之立體相機，亦可為具有相位差檢測用之像素之攝像元件。
例如，微電腦12051可藉由基於自攝像部12101至12104獲得之距離資訊，求出至攝像範圍12111至12114內之各立體物之距離、與該距離之時間變化(相對於車輛12100之相對速度)，而尤其將位於車輛12100之行進路上之最近之立體物，且於與車輛12100大致相同方向以特定之速度(例如0 km/h以上)行駛之立體物作為前車而擷取。再者，微電腦12051可設定應與前車之近前側預先確保之車間距離，而進行自動剎車控制(亦包含追隨停止控制)或自動加速控制(亦包含追隨出發控制)等。如此可進行以不依據駕駛者之操作而自主行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051可基於能自攝像部12101至12104獲得之距離資訊，將立體物相關之立體物資料分類成2輪車、普通車輛、大型車輛、步行者、電線桿等其他立體物而擷取，並用於障礙物之自動避開。例如，微電腦12051將車輛12100周邊之障礙物識別為車輛12100之駕駛員可視認之障礙物與難以視認之障礙物。且，微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞風險，於碰撞風險為設定值以上而有碰撞可能性之情況時，可經由音頻揚聲器12061或顯示部12062對駕駛員輸出警報或經由驅動系統控制單元12010進行強制減速或避開轉向，藉此進行用以避開碰撞之駕駛支援。
攝像部12101至12104之至少1者可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判定攝像部12101至12104之攝像圖像中是否存在步行者而辨識步行者。該步行者之辨識係根據例如擷取作為紅外線相機之攝像部12101至12104之攝像圖像之特徵點之順序、及對表示物體輪廓之一連串特徵點進行圖案匹配處理而判別是否為步行者之順序進行。若微電腦12051判定攝像部12101至12104之攝像圖像中存在步行者且辨識為步行者，則聲音圖像輸出部12052以對該辨識到之步行者重疊顯示用以強調之方形輪廓線之方式控制顯示部12062。又，聲音圖像輸出部12052亦可以將表示步行者之圖標等顯示於所期望之位置之方式控制顯示部12062。
以上，對可應用本揭示之技術之車輛控制系統之一例進行說明。本揭示之技術可應用於以上說明之構成中之例如攝像部12031。具體而言，作為攝像部12031，可將本揭示之第1及第2實施形態、以及其等之各變化例之任一者之攝像裝置1應用於攝像部12031。
該情形時，攝像部12031可自通信網路12001取得車輛之車輛資訊(行駛速度、周圍之明亮度等)。例如，攝像部12031可基於取得之車輛資訊，指示以相加模式及個別模式之何者執行攝像部12031具有之像素陣列中之像素之讀取。藉此，可輸出與行駛速度或明亮度等相應之圖像資料，又，可省電力化。
(4-1.對內視鏡手術系統之應用例) 作為本揭示之攝像裝置1之另一應用例，對將該攝像裝置1應用於內視鏡手術系統之情形之更具體之例進行說明。
圖31係顯示可應用本揭示之技術(本技術)之內視鏡手術系統之概略性構成之一例之圖。
於圖31中，圖示有施術者(醫師)11131使用內視鏡手術系統11000對病床11133上之患者11132進行手術之情況。如圖示般，內視鏡手術系統11000由內視鏡11100、氣腹管11111或能量處置具11112等其他手術器械11110、支持內視鏡11100之支持臂裝置11120、及供搭載用於內視鏡下手術之各種裝置之推車11200而構成。
內視鏡11100包含：鏡筒11101，其自前端將特定長度之區域插入至患者11132之體腔內；及相機頭11102，其連接於鏡筒11101之基端。於圖示之例中，圖示作為具有硬性之鏡筒11101之所謂硬性鏡構成之內視鏡11100，但內視鏡11100亦可作為具有軟性鏡筒之所謂軟性鏡構成。
於鏡筒11101之前端設置有供嵌入對物透鏡之開口部。於內視鏡11100連接有光源裝置11203，由該光源裝置11203產生之光藉由於鏡筒11101之內部延設之光導而導光至該鏡筒之前端，並經由對物透鏡向患者11132體腔內之觀察對象照射。另，內視鏡11100可為直視鏡，亦可為斜視鏡或側視鏡。
於相機頭11102之內部設置有光學系統及攝像元件，來自觀察對象之反射光(觀察光)藉由該光學系統而聚光於該攝像元件。藉由該攝像元件將觀察光進行光電轉換，產生對應於觀察光之電信號，即對應於觀察圖像之圖像信號。該圖像信號作為RAW資料發送至相機控制單元(CCU：Camera Control Unit)11201。
CCU11201由CPU(Central Processing Unit)或GPU(Graphics Processing Unit：圖形處理單元)等構成，且總括性地控制內視鏡11100及顯示裝置11202之動作。再者，CCU11201自相機頭11102接收圖像信號，並對該圖像信號實施例如顯影處理(去馬賽克處理)等用以顯示基於該圖像信號之圖像之各種圖像處理。
顯示裝置11202藉由來自CCU11201之控制，顯示基於由該CCU11201實施圖像處理後之圖像信號之圖像。
光源裝置11203包含例如LED(Light Emitting Diode：發光二極體)等光源，且將拍攝術部等時之照射光供給至內視鏡11100。
輸入裝置11204係針對內視鏡手術系統11000之輸入介面。使用者可經由輸入裝置11204對內視鏡手術系統11000進行各種資訊之輸入或指示輸入。例如，使用者輸入變更內視鏡11100之攝像條件(照射光之種類、倍率及焦點距離等)之主旨之指示等。
處置具控制裝置11205控制用於組織之燒灼、切開或血管之密封等能量處置具11112之驅動。氣腹裝置11206出於確保內視鏡11100之視野及確保施術者之作業空間之目的，為了使患者11132之體腔鼓起，而經由氣腹管11111將氣體送入至該體腔內。記錄器11207係可記錄手術相關之各種資訊之裝置。印表機11208係可以文字、圖像或圖表等各種形式印刷手術相關之各種資訊之裝置。
另，對內視鏡11100供給拍攝術部時之照射光之光源裝置11203可包含例如LED、雷射光源或藉由其等之組合構成之白色光源。於藉由RGB雷射光源之組合構成白色光源之情形時，由於可高精度地控制各色(各波長)之輸出強度及輸出時序，故可於光源裝置11203中進行攝像圖像之白平衡之調整。又，於該情形時，亦可藉由將來自RGB雷射光源各者之雷射光分時地照射至觀察對象，且與該照射時序同步地控制相機頭11102之攝像元件之驅動，而分時地拍攝與RGB各者對應之圖像。根據該方法，即便不於該攝像元件設置彩色濾光片，亦可獲得彩色圖像。
又，光源裝置11203亦可以每隔特定之時間變更輸出之光之強度之方式控制其驅動。與該光之強度之變更時序同步地控制相機頭11102之攝像元件之驅動而分時取得圖像，並合成該等圖像，藉此可產生所謂之不存在欠曝及過曝之高動態範圍之圖像。
又，光源裝置11203亦可構成為能供給對應於特殊光觀察之特定波長頻帶之光。於特殊光觀察中，例如進行所謂窄頻帶光觀察(Narrow Band Imaging：窄頻帶成像)，即，利用身體組織之光吸收之波長依存性，照射與通常觀察時之照射光(即，白色光)相比頻帶更窄之光，藉此以高對比度拍攝黏膜表層之血管等特定組織。或，於特殊光觀察中，亦可進行藉由因照射激發光產生之螢光而獲得圖像之螢光觀察。於螢光觀察中，可進行對身體組織照射激發光，觀察來自該身體組織之螢光(自體螢光觀察)，或將吲哚青綠(ICG：Indocyanine Green)等試劑局部注射至身體組織且對該身體組織照射該試劑之螢光波長所對應之激發光而獲得螢光圖像等。光源裝置11203可構成為能供給此種特殊光觀察所對應之窄頻帶光及/或激發光。
圖32係顯示圖31所示之相機頭11102及CCU11201之功能構成之一例之方塊圖。
相機頭11102具有透鏡單元11401、攝像部11402、驅動部11403、通信部11404、及相機頭控制部11405。CCU11201具有通信部11411、圖像處理部11412、及控制部11413。相機頭11102與CCU11201可藉由傳輸纜線11400相互通信地連接。
透鏡單元11401係設置於與鏡筒11101之連接部之光學系統。自鏡筒11101之前端提取之觀察光被導光至相機頭11102，並入射至該透鏡單元11401。透鏡單元11401將包含變焦透鏡及聚焦透鏡之複數個透鏡組合而構成。
攝像部11402由攝像元件構成。構成攝像部11402之攝像元件可為1個(所謂之單板式)，亦可為複數個(所謂之多板式)。於以多板式構成攝像部11402之情形時，可例如藉由各攝像元件產生與RGB各者對應之圖像信號，並藉由將其等合成而獲得彩色圖像。或，攝像部11402亦可構成為具有用以分別取得3D(Dimensional：維度)顯示所對應之右眼用及左眼用之圖像信號之1對攝像元件。藉由進行3D顯示，施術者11131可更準確地掌握術部之身體組織之深處。另，於以多板式構成攝像部11402之情形時，亦可對應於各攝像元件而設置複數個系統之透鏡單元11401。
又，攝像部11402亦可不設置於相機頭11102。例如，攝像部11402亦可於鏡筒11101之內部，設置於對物透鏡之後方。
驅動部11403由致動器構成，且藉由來自相機頭控制部11405之控制，使透鏡單元11401之變焦透鏡及聚焦透鏡沿著光軸移動特定之距離。藉此，可適當地調整攝像部11402之攝像圖像之倍率及焦點。
通信部11404由用以於與CCU11201之間收發各種資訊之通信裝置構成。通信部11404將自攝像部11402獲得之圖像信號作為RAW資料而經由傳輸纜線11400發送至CCU11201。
又，通信部11404自CCU11201接收用以控制相機頭11102之驅動之控制信號，並供給至相機頭控制部11405。於該控制信號例如包含指定攝像圖像之訊框率之主旨之資訊、指定攝像時之曝光值之主旨之資訊、以及/或指定攝像圖像之倍率及焦點之主旨之資訊等攝像條件相關之資訊。
另，上述訊框率或曝光值、倍率、焦點等攝像條件可藉由使用者適當指定，亦可基於取得之圖像信號而由CCU11201之控制部11413自動地設定。於後者之情形時，將所謂之AE(Auto Exposure：自動曝光)功能、AF(Auto Focus：自動聚焦)功能及AWB(Auto White Balance：自動白平衡)功能搭載於內視鏡11100。
相機頭控制部11405基於經由通信部11404接收之來自CCU11201之控制信號，控制相機頭11102之驅動。
通信部11411由用以於與相機頭11102之間收發各種資訊之通信裝置構成。通信部11411自相機頭11102接收經由傳輸纜線11400發送之圖像信號。
又，通信部11411對相機頭11102發送用以控制相機頭11102之驅動之控制信號。圖像信號或控制信號可藉由電通信或光通信等發送。
圖像處理部11412對自相機頭11102發送之RAW資料即圖像信號實施各種圖像處理。
控制部11413進行內視鏡11100之術部等之攝像、及藉由術部等之攝像獲得之攝像圖像之顯示相關之各種控制。例如，控制部11413產生用以控制相機頭11102之驅動之控制信號。
又，控制部11413基於藉由圖像處理部11412實施圖像處理後之圖像信號，使反映術部等之攝像圖像顯示於顯示裝置11202。此時，控制部11413亦可使用各種圖像辨識技術而辨識攝像圖像內之各種物體。例如，控制部11413可藉由檢測攝像圖像所包含之物體之邊緣形狀或顏色等，而辨識鉗子等手術器械、特定之身體部位、出血、使用能量處置具11112時之霧等。控制部11413亦可於使攝像圖像顯示於顯示裝置11202時，使用其辨識結果將各種手術支援資訊重疊顯示於該術部之圖像。藉由重疊顯示手術支援資訊，並對施術者11131提示，可減輕施術者11131之負擔、或使施術者11131確實地進行手術。
連接相機頭11102及CCU11201之傳輸纜線11400係對應於電信號之通信之電信號纜線、對應於光通信之光纖、或其等之複合纜線。
此處，於圖示之例中，使用傳輸纜線11400以有線進行通信，但相機頭11102與CCU11201之間之通信亦可以無線進行。
以上，對可應用本揭示之技術之內視鏡手術系統之一例進行說明。本揭示之技術可應用於以上說明之構成中之例如內視鏡11100、或相機頭11102之攝像部11402。具體而言，可將上述之攝像元件應用於攝像部10112。
應用本揭示之攝像元件之攝像部10112可指示以可高速讀取且SNR優異之相加模式、與於解析度之點優異之個別模式之何者，執行攝像部12031具有之像素陣列之像素之讀取。藉此，例如施術者11131可獲得與術部及術部之狀況相應之攝像圖像。藉此，例如施術者11131可更確實地進行手術，又，可省電力化。
另，此處，作為一例對內視鏡手術系統進行說明，但本揭示之技術除此以外還可應用於例如顯微鏡手術系統等。
另，本說明書所記載之效果僅為例示而非限定者，又，亦可有其他效果。
另，本技術亦可採取如以下之構成。 (1) 一種攝像裝置，其具備： 攝像部，其包含具有分別包含N個×N個(N為2以上之整數)之像素之複數個像素組之像素陣列，且輸出自各像素讀取之像素信號；及 切換部，其切換上述攝像部之自上述像素各者讀取上述像素信號之讀取模式；且 上述切換部將上述讀取模式於以下模式切換： 相加模式，其將自上述像素組所包含之上述N個×N個之各像素讀取之上述像素信號各者相加並設為1個像素信號；及 個別模式，其將自上述像素組所包含之上述N個×N個之各像素讀取之上述像素信號各者個別地輸出。 (2) 如上述(1)記載之攝像裝置，其中 該攝像裝置搭載於車輛；且 上述切換部基於自上述車輛取得之車輛資訊而切換上述讀取模式。 (3) 如上述(2)記載之攝像裝置，其中 上述切換部根據作為上述車輛資訊取得之上述車輛之速度而切換上述讀取模式。 (4) 如上述(2)或(3)記載之攝像裝置，其中 上述切換部根據作為上述車輛資訊取得之上述車輛之周邊之明亮度而切換上述讀取模式。 (5) 如上述(2)至(4)中任一項記載之攝像裝置，其中 上述切換部係於作為上述車輛資訊取得之上述車輛之速度為特定以上，且作為上述車輛資訊取得之上述車輛之周邊之明亮度為特定以上之情形時，將上述讀取模式切換成上述個別模式。 (6) 如上述(1)至(5)中任一項記載之攝像裝置，其中 上述切換部根據上述像素信號之訊框圖像之區域而切換上述讀取模式。 (7) 如上述(6)記載之攝像裝置，其中 上述切換部將上述讀取模式於上述訊框圖像之中央部之特定區域設為上述個別模式，於該訊框圖像之該特定區域以外設為上述相加模式。 (8) 如上述(1)至(7)中任一項記載之攝像裝置，其中 上述切換部基於上述像素信號之訊框圖像所包含之目標物而切換上述讀取模式。 (9) 如上述(8)記載之攝像裝置，其中 上述切換部於上述圖像包含特定之目標物之情形時，於該圖像之包含該特定之目標物之特定區域、與該特定區域以外之區域切換上述讀取模式。 (10) 如上述(9)記載之攝像裝置，其中 該攝像裝置搭載於車輛而使用；且 上述切換部將信號機、交通標識、對向車及步行者中之至少1者作為上述特定之目標物，並將包含該特定之目標物之上述特定區域之上述讀取模式切換成上述個別模式。 (11) 如上述(1)至(10)中任一項記載之攝像裝置，其中 上述切換部藉由控制上述像素陣列所包含之上述像素之讀取，而切換上述讀取模式。 (12) 如上述(1)至(10)中任一項記載之攝像裝置，其中 上述切換部藉由控制對由上述攝像部輸出之上述像素信號之圖像處理，而切換上述讀取模式。 (13) 如上述(1)至(12)中任一項記載之攝像裝置，其中進而具備： 合成部，其將於第1曝光時間曝光上述像素之第1像素信號之第1圖像、與接著該曝光而於第2曝光時間曝光該像素之第2像素信號之第2圖像合成。 (14) 如上述(1)至(13)中任一項記載之攝像裝置，其中 上述像素陣列於上述複數個像素組包含： 第1像素組，其接收透過第1光學濾光片之光； 第2像素組，其接收透過第2光學濾光片之光；及 第3像素組，其接收透過第3光學濾光片之光；且 上述第1像素組、上述第2像素組、及上述第3像素組以該第1像素組、該第2像素組及該第3像素組中之互不相同之像素組相鄰之方式配置。 (15) 如上述(14)記載之攝像裝置，其中進而具備： 像素重排處理部，其於上述讀取模式為上述個別模式之情形時，執行將上述第1像素組、上述第2像素組及上述第3像素組各者所包含之各像素轉換成與各個像素之位置相應之特性之像素之像素重排處理。
1:攝像裝置 10:攝像部 11:光學部 12:圖像處理部 13:輸出處理部 14:控制部 15:車輛資訊取得部 20:垂直掃描部 21:水平掃描部 22:控制部 100:像素 1001~1004:像素 100B:像素 100G:像素 100G1~100G4:像素 100R:像素 110, 110a:像素陣列部 120:拜爾排列 121:排列 130:排列 131, 131HDR, 131HDR+, 131L, 131M, 131S:排列 132:排列 133L, 133M, 133S:排列 134L, 134M, 134S:排列 140:相加部 150:AND電路 151H:切換控制信號產生部(H) 151V:切換控制信號產生部(V) 200L, 200M, 200S:訊框記憶體 201L, 201M, 201S:處理切換開關 202L, 202M, 202S:像素相加部 203L, 203M, 203S:像素重排處理部 204L, 204M, 204S:選擇器 210:像素切換開關 220:檢測部 230L:處理切換開關 240L:訊框記憶體 300:訊框 301:第1處理區域 302:第2處理區域 303:注視區域 304:車輛 310:圖像 320~324:區域 1200, 1200a, 1200b, 1200c:像素處理部 1201:HDR合成處理部 1202:WB處理部 1203:灰階壓縮處理部 1204:去馬賽克處理部 1205:伽馬修正處理部 1206:輸出處理部 2000:CPU 2001:ROM 2002:RAM 2003:攝像部 2004:儲存器 2005:資料I/F 2006:操作部 2007:顯示控制部 2008:顯示器 2010:圖像處理部 2011:訊框記憶體 2012:輸出I/F 2020:匯流排 2020L:訊框記憶體 2030L:訊框記憶體 11000:內視鏡手術系統 11100:內視鏡 11101:鏡筒 11102:相機頭 11110:其他手術器械 11111:氣腹管 11112:能量處置具 11120:支持臂裝置 11131:施術者(醫師) 11132:患者 11133:病床 11200:推車 11201:CCU 11202:顯示裝置 11203:光源裝置 11204:輸入裝置 11205:處置具控制裝置 11206:氣腹裝置 11207:記錄器 11208:印表機 11400:傳輸纜線 11401:透鏡單元 11402:攝像部 11403:驅動部 11404:通信部 11405:相機頭控制部 11411:通信部 11412:圖像處理部 11413:控制部 12000:車輛控制系統 12001:通信網路 12010:驅動系統控制單元 12020:車身系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:綜合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:音頻揚聲器 12062:顯示部 12063:儀表面板 12100:車輛 12101, 12102, 12103, 12104, 12105:攝像部 12111, 12112, 12113, 12114:攝像範圍 13000:車輛 13001:前感測相機 13002:前相機ECU 13003:自動駕駛ECU 13004:GPS 13005:顯示器 13006:通信單元 13007:整合型ECU 13008:ADAS ECU 13009:轉向信號 13010:電池ECU 13011:轉向器 13012:速度感測器 13013:雷達 13014:光達 13015:頭燈 13016:側視相機 13017:側視相機ECU 13018:前視相機 13019:前視相機ECU 13020:引擎 13021:發電機 13022:驅動用馬達 13023:200 V電池 13024:12 V電池 13025:後視相機 13026:後視相機ECU 13030:剎車系統 13040:CAN匯流排 13100:前相機模組 13101:透鏡 13102:成像器 13103:MCU 13200:車輛系統 A, A2, A3:方向 B, B(+), B(HDR), B(HDR+), B(L), B(L+), B(M), B(M+), B(S), B(S+):像素 B-Y:色差成分 CNG, CNGH, CNGV:切換控制信號 Cy:像素 D, D2, D3:方向 G, G(+), G(HDR), G(HDR+), G(L), G(L+), G(M), G(M+), G(S), G(S+):像素 G1~G4:像素 H:水平方向 HCTL:像素信號線 IR:像素 Ln#1:線(line) R, R(+), R(HDR), R(HDR+), R(L), R(L+), R(M), R(M+), R(S), R(S+):像素 R-Y:色差成分t0~t3:時間 t00:時間 t10~t13:時間 V:垂直方向 VSL:垂直信號線vth:閾值 W:像素 Y:亮度成分 Ye:像素 Yth:閾值
圖1係用以說明可應用於各實施形態之攝像裝置之功能之一例之功能方塊圖。 圖2係顯示拜爾排列之例之圖。 圖3係顯示可應用於各實施形態之彩色濾光片排列之例之圖。 圖4係顯示可應用於各實施形態之攝像部之一例之構成之方塊圖。 圖5係顯示可應用於各實施形態之攝像裝置之硬體構成之例之方塊圖。 圖6係用以說明可應用於實施形態之同色間梯度之檢測之模式圖。 圖7係用以說明可應用於實施形態之異色間梯度之檢測之模式圖。 圖8係顯示可應用於實施形態之梯度算出之方向之例之圖。 圖9係顯示可應用於實施形態之梯度算出之方向之例之圖。 圖10係用以說明分割拜爾型RGB排列之像素信號之讀取方法之例之模式圖。 圖11係用以說明HDR攝像之第1例之模式圖。 圖12係用以說明HDR攝像之第2例之模式圖。 圖13係用以說明對HDR攝像之第2例應用相加模式之情形之例之模式圖。 圖14係用以說明對HDR攝像之第2例應用個別模式並實施像素重排處理(リモザイク)之情形之例之模式圖。 圖15係用以說明第1實施形態之攝像裝置之功能之一例之功能方塊圖。 圖16係用以說明第1實施形態之像素處理部之功能之一例之功能方塊圖。 圖17係用以說明第1實施形態之按照2個攝像條件產生切換控制信號CNG之例之模式圖。 圖18A係用以對第1實施形態之第1變化例之處理區域進行說明之模式圖。 圖18B係用以對第1實施形態之第1變化例之處理區域進行說明之模式圖。 圖19係用以說明可應用於第1實施形態之第1變化例之圖像處理部之功能之一例之功能方塊圖。 圖20係用以對第1實施形態之第2變化例之處理區域進行說明之模式圖。 圖21係用以說明可應用於第1實施形態之第2變化例之圖像處理部之功能之一例之功能方塊圖。 圖22A係顯示可應用於本揭示之像素排列之例之模式圖。 圖22B係顯示可應用於本揭示之像素排列之例之模式圖。 圖22C係顯示可應用於本揭示之像素排列之例之模式圖。 圖22D係顯示可應用於本揭示之像素排列之例之模式圖。 圖22E係顯示可應用於本揭示之像素排列之例之模式圖。 圖23A係用以說明第2實施形態之像素組內之個別模式及相加模式之切換方法之例之模式圖。 圖23B係用以說明第2實施形態之像素組內之個別模式及相加模式之切換方法之例之模式圖。 圖23C係用以說明第2實施形態之像素組內之個別模式及相加模式之切換方法之例之模式圖。 圖24係用以說明可應用於第2實施形態之圖像處理部之功能之一例之功能方塊圖。 圖25係顯示第2實施形態之變化例之攝像部之一例之構成之方塊圖。 圖26係顯示本揭示之攝像裝置之使用例之圖。 圖27係顯示可搭載本揭示之攝像裝置之車輛之系統構成例之方塊圖。 圖28係顯示車輛系統之前感測相機之一例之構成之方塊圖。 圖29係顯示可應用本揭示之技術之移動體控制系統之一例即車輛控制系統之概略性構成例之方塊圖。 圖30係顯示攝像部之設置位置之例之圖。 圖31係顯示內視鏡手術系統之概略性構成之一例之圖。 圖32係顯示相機頭及CCU之功能構成之一例之方塊圖。
1:攝像裝置
10:攝像部
11:光學部
12:圖像處理部
13:輸出處理部
14:控制部
15:車輛資訊取得部

Claims (15)

  1. 一種攝像裝置，其包含： 攝像部，其包含具有分別包含N個×N個(N為2以上之整數)之像素之複數個像素組之像素陣列，且輸出自各像素讀取之像素信號；及 切換部，其切換上述攝像部之自上述像素各者讀取上述像素信號之讀取模式；且 上述切換部將上述讀取模式以下述模式切換： 相加模式，其將自上述像素組所包含之上述N個×N個之各像素讀取之上述像素信號各者相加，並設為1個像素信號；及 個別模式，其將自上述像素組所包含之上述N個×N個之各像素讀取之上述像素信號各者個別地輸出。
  2. 如請求項1之攝像裝置，其中 該攝像裝置搭載於車輛；且 上述切換部基於自上述車輛取得之車輛資訊，來切換上述讀取模式。
  3. 如請求項2之攝像裝置，其中 上述切換部根據作為上述車輛資訊取得之上述車輛之速度，來切換上述讀取模式。
  4. 如請求項2之攝像裝置，其中 上述切換部根據作為上述車輛資訊取得之上述車輛之周邊之明亮度，來切換上述讀取模式。
  5. 如請求項2之攝像裝置，其中 上述切換部於作為上述車輛資訊取得之上述車輛之速度為特定以上，且作為上述車輛資訊取得之上述車輛之周邊之明亮度為特定以上之情形時，將上述讀取模式切換成上述個別模式。
  6. 如請求項1之攝像裝置，其中 上述切換部根據上述像素信號之訊框圖像之區域，來切換上述讀取模式。
  7. 如請求項6之攝像裝置，其中 上述切換部將上述讀取模式，於上述訊框圖像之中央部之特定區域設為上述個別模式，於該訊框圖像之該特定區域以外則設為上述相加模式。
  8. 如請求項1之攝像裝置，其中 上述切換部基於上述像素信號之訊框圖像所包含之目標物，來切換上述讀取模式。
  9. 如請求項8之攝像裝置，其中 上述切換部於上述訊框圖像包含特定之目標物之情形時，於該訊框圖像之包含該特定之目標物之特定區域、與該特定區域以外之區域，切換上述讀取模式。
  10. 如請求項9之攝像裝置，其中 該攝像裝置係搭載於車輛而使用；且 上述切換部將信號機、交通標識、對向車及步行者中之至少1者，作為上述特定之目標物，並將包含該特定之目標物之上述特定區域之上述讀取模式，切換成上述個別模式。
  11. 如請求項1之攝像裝置，其中 上述切換部藉由控制上述像素陣列所包含之上述像素之讀取，來切換上述讀取模式。
  12. 如請求項1之攝像裝置，其中 上述切換部藉由控制對由上述攝像部輸出之上述像素信號之圖像處理，來切換上述讀取模式。
  13. 如請求項1之攝像裝置，其中進而包含： 合成部，其將於第1曝光時間曝光上述像素之第1像素信號之第1圖像、與接著該曝光而於第2曝光時間曝光該像素之第2像素信號之第2圖像合成。
  14. 如請求項1之攝像裝置，其中 上述像素陣列於上述複數個像素組包含： 第1像素組，其接收透過第1光學濾光片之光； 第2像素組，其接收透過第2光學濾光片之光；及 第3像素組，其接收透過第3光學濾光片之光；且 上述第1像素組、上述第2像素組、及上述第3像素組，以該第1像素組、該第2像素組及該第3像素組中之互不相同之像素組相鄰之方式配置。
  15. 如請求項14之攝像裝置，其中進而包含： 像素重排處理部，其於上述讀取模式為上述個別模式之情形時，執行將上述第1像素組、上述第2像素組及上述第3像素組各者所包含之各像素，轉換成與各個像素之位置相應之特性之像素之像素重排處理。
TW109132069A 2019-09-24 2020-09-17 攝像裝置 TW202130163A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019173428 2019-09-24
JP2019-173428 2019-09-24

Publications (1)

Publication Number Publication Date
TW202130163A true TW202130163A (zh) 2021-08-01

Family

ID=75166649

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109132069A TW202130163A (zh) 2019-09-24 2020-09-17 攝像裝置

Country Status (7)

Country Link
US (1) US11936979B2 (zh)
EP (1) EP4035942A4 (zh)
JP (1) JPWO2021060120A1 (zh)
KR (1) KR20220068990A (zh)
CN (1) CN114208154A (zh)
TW (1) TW202130163A (zh)
WO (1) WO2021060120A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
DE102020123505A1 (de) 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines übersichtsbildes
DE102020123504A1 (de) * 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines hdr-bildes
CN114666469B (zh) * 2020-12-24 2023-11-14 富泰华工业（深圳）有限公司 图像处理装置、方法及具有该图像处理装置的镜头模组

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2015061260A (ja) 2013-09-20 2015-03-30 株式会社ニコン 撮像装置および撮像処理プログラム
CN106537892B (zh) 2014-05-29 2021-01-05 株式会社尼康 摄像装置及车辆
JP6369233B2 (ja) 2014-09-01 2018-08-08 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
EP3229172A1 (en) * 2016-04-04 2017-10-11 Conti Temic microelectronic GmbH Driver assistance system with variable image resolution
US10868981B2 (en) * 2016-04-27 2020-12-15 Sony Corporation Shooting control apparatus, shooting control method, and shooting apparatus
DE102016213493A1 (de) 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
JP2018117220A (ja) 2017-01-17 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、撮像装置の制御方法
EP3618430B1 (en) 2017-04-25 2022-02-09 Sony Group Corporation Solid-state image capturing device and electronic instrument
US11074770B2 (en) * 2017-05-10 2021-07-27 Lightmetrics Technologies Pvt. Ltd. Vehicle monitoring system and method using a connected camera architecture
US10848670B2 (en) * 2017-06-19 2020-11-24 Amazon Technologies, Inc. Camera systems adapted for installation in a vehicle
JP7171199B2 (ja) 2017-08-03 2022-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
CN109934952B (zh) * 2017-12-18 2021-05-11 华创车电技术中心股份有限公司 车载行车影像图像数据建立系统
US11820289B2 (en) * 2018-07-31 2023-11-21 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
WO2021010339A1 (ja) * 2019-07-12 2021-01-21 株式会社小糸製作所 イメージング装置およびその照明装置、車両、車両用灯具

Also Published As

Publication number Publication date
US11936979B2 (en) 2024-03-19
JPWO2021060120A1 (zh) 2021-04-01
KR20220068990A (ko) 2022-05-26
CN114208154A (zh) 2022-03-18
US20220345606A1 (en) 2022-10-27
WO2021060120A1 (ja) 2021-04-01
EP4035942A4 (en) 2022-11-30
EP4035942A1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
WO2021060120A1 (ja) 撮像装置
US11606518B2 (en) Imaging apparatus and electronic equipment
TW202044566A (zh) 攝像元件及電子機器
WO2020262193A1 (ja) 固体撮像装置、及び電子機器
CN110537367A (zh) 固态成像捕捉装置和电子装置
US11457169B2 (en) Solid-state imaging element and electronic equipment
US11889206B2 (en) Solid-state imaging device and electronic equipment
WO2020170565A1 (ja) 信号処理方法および撮像装置
CN112534579A (zh) 摄像装置和电子设备
US11778345B2 (en) Information processing device, information processing method, and information processing program
KR20210133968A (ko) 촬상 장치
TWI785193B (zh) 圖像處理裝置、圖像處理方法、及攝像裝置
JP7034925B2 (ja) 固体撮像装置および撮像方法
WO2023080011A1 (ja) 撮像装置及び電子機器
WO2022196210A1 (ja) 撮像装置、撮像方法及び電子機器
WO2021090727A1 (ja) 撮像装置及び電子機器
WO2021171796A1 (ja) 固体撮像装置及び電子機器
WO2023013156A1 (ja) 撮像素子及び電子機器
WO2020075380A1 (ja) 記憶回路および撮像装置
TW202316649A (zh) 攝像裝置