TWI840483B - 信號處理方法及攝像裝置 - Google Patents

信號處理方法及攝像裝置 Download PDF

Info

Publication number
TWI840483B
TWI840483B TW108147776A TW108147776A TWI840483B TW I840483 B TWI840483 B TW I840483B TW 108147776 A TW108147776 A TW 108147776A TW 108147776 A TW108147776 A TW 108147776A TW I840483 B TWI840483 B TW I840483B
Authority
TW
Taiwan
Prior art keywords
group
pixels
pixel
exposure time
data
Prior art date
Application number
TW108147776A
Other languages
English (en)
Other versions
TW202105994A (zh
Inventor
永田拓磨
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202105994A publication Critical patent/TW202105994A/zh
Application granted granted Critical
Publication of TWI840483B publication Critical patent/TWI840483B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本發明之一實施形態之攝像裝置具備：複數個像素，其等各自包含光電轉換元件，且呈矩陣狀配置於受光面；複數個受光透鏡，其等對於複數個像素中之複數個像素之每一者各設有一個；及控制部，其控制複數個像素之曝光時間。控制部以使與各受光透鏡對應之複數個像素中之至少2個像素之曝光時間相同，並且使與各受光透鏡對應之複數個像素中之至少2個像素之曝光時間互不相同之方式，控制複數個像素之曝光時間。

Description

信號處理方法及攝像裝置
本發明係關於一種信號處理方法及攝像裝置。
已知有一種產生動態範圍較藉由適當曝光獲得之圖像大之HDR(High Dynamic Range，高動態範圍)圖像之攝像裝置(例如參照專利文獻1)。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2015-201834號公報
但於HDR圖像中，存在發生褪色、著色、雙重輪廓等畫質劣化之情形。因此，較理想為提供一種能抑制HDR圖像之畫質劣化之信號處理方法及攝像裝置。
本發明之第1態樣之攝像裝置具備：複數個像素，其等各自包含光電轉換元件，且呈矩陣狀配置於受光面；複數個受光透鏡，其等對於複數個像素中之複數個像素之每一者各設有一個；及控制部，其控制複數個像素 之曝光時間。控制部以使與各受光透鏡對應之複數個像素中之至少2個像素之曝光時間相同，並且使與各受光透鏡對應之複數個像素中之至少2個像素之曝光時間互不相同之方式，控制複數個像素之曝光時間。
於本發明之第1態樣之攝像裝置中，以使與受光透鏡對應之複數個像素中之至少2個像素之曝光時間相同，並且使與各受光透鏡對應之複數個像素中之至少2個像素之曝光時間互不相同之方式，控制複數個像素之曝光時間。藉此，例如，能根據藉由控制部施行之曝光控制獲得之圖像資料，按曝光時間產生相位差資料，並根據曝光時間不同之複數個相位差資料、及曝光時間不同之複數個圖像資料，產生HDR(High Dynamic Range)圖像。
本發明之第2態樣之信號處理方法係具備複數個像素及複數個受光透鏡之攝像裝置之信號處理方法，該等像素各自包含光電轉換元件，且呈矩陣狀配置於受光面；該等受光透鏡對於複數個像素中之複數個像素之每一者各設有一個；且該信號處理方法包含以下2步操作：(1)以使與各受光透鏡對應之複數個像素中之至少2個像素之曝光時間相同，並且使與各受光透鏡對應之複數個像素中之至少2個像素之曝光時間互不相同之方式，控制複數個像素之曝光時間；及(2)根據由曝光時間之控制而得之圖像資料，按曝光時間產生相位差資料，且根據曝光時間不同之複數個相位差資料、及曝光時間不同之複數個圖像資料，產生HDR圖像。
於本發明之第2態樣之信號處理方法中，以使與受光透鏡對應之複數個像素中之至少2個像素之曝光時間相同，並且使與各受光透鏡對應之複數個像素中之至少2個像素之曝光時間互不相同之方式，控制複數個像素之曝光時間。藉此，能根據藉由曝光控制獲得之圖像資料，按曝光時間產生相位差資料，並根據曝光時間不同之複數個相位差資料、及曝光時間不同之複數個圖像資料，產生HDR圖像。
1:攝像裝置
10:攝像元件
20:運算電路
30:圖框記憶體
40:顯示部
50:記憶部
60:操作部
70:電源部
80:光學系統
110:像素陣列部
110A:受光面
111:感測器像素
112:像素電路
113:讀出電路
120:邏輯電路
121:垂直驅動電路
122:行信號處理電路
123:水平驅動電路
124:系統控制電路
11000:內視鏡手術系統
11100:內視鏡
11101:自鏡筒
11102:攝像頭
11110:術具
11111:氣腹管
11112:能量處置具
11120:支持臂裝置
11131:手術施行者(醫師)
11132:患者
11133:病床
11200:手推車
11201:CCU
11202:顯示裝置
11203:光源裝置
11204:輸入裝置
11205:處置具控制裝置
11206:氣腹裝置
11207:記錄器
11208:印表機
11102:攝像頭
11401:透鏡單元
11402:攝像部
11403:驅動部
11404:通信部
11405:攝像頭控制部
11411:通信部
11412:圖像處理部
11413:控制部
12000:車輛控制系統
12001:通信網路
12010:驅動系統控制單元
12020:車身系統控制單元
12030:車外資訊檢測單元
12031:攝像部
12040:車內資訊檢測單元
12041:駕駛員狀態檢測部
12050:綜合控制單元
12051:微電腦
12052:語音圖像輸出部
12053:車載網路I/F
12061:音響揚聲器
12062:顯示部
12063:儀錶板
12100:車輛
12101:攝像部
12102:攝像部
12103:攝像部
12104:攝像部
12105:攝像部
AMP:放大電晶體
CF:彩色濾光片
CFb:彩色濾光片
CFg:彩色濾光片
CFr:彩色濾光片
ctl1:像素驅動線
ctlL:像素驅動線
ctlM:像素驅動線
ctlS:像素驅動線
ctl2:像素驅動線
ctl3:像素驅動線
FD:浮動擴散部
L:匯流排線
OCL:受光透鏡
P1:單色感測器像素群
P2:三色感測器像素群
P3:三色感測器像素群
P4:三色感測器像素群
P5:三色感測器像素群
PD:光電二極體
RST:重設電晶體
SEL:選擇電晶體
TR:傳輸電晶體
VDD:電源線
vsl:垂直信號線
圖1係表示本發明之一實施形態之攝像裝置的概略構成之一例之圖。
圖2係表示圖1之攝像元件的概略構成之一例之圖。
圖3係表示圖1之感測器像素的電路構成之一例之圖。
圖4係表示圖2之像素陣列部之構成例之圖。
圖5係表示圖2之像素陣列部之構成例之圖。
圖6係表示圖2之像素陣列部之構成例之圖。
圖7係表示圖2之像素陣列部之構成例之圖。
圖8係表示圖1之攝像裝置中的HDR圖像產生順序之一例之圖。
圖9係表示圖1之攝像裝置中的攝像順序之一例之圖。
圖10係表示圖2之像素陣列部之構成的一變化例之圖。
圖11係表示圖2之像素陣列部之構成的一變化例之圖。
圖12係表示圖2之像素陣列部之構成的一變化例之圖。
圖13係表示圖12之像素陣列部之配線佈局的一例之圖。
圖14係表示藉由圖12之像素陣列部所能檢測出之相位差的方向之一例之圖。
圖15係表示具備圖12之像素陣列部之攝像裝置中的HDR圖像產生順序之一例之圖。
圖16係表示圖2之像素陣列部之構成的一變化例之圖。
圖17係表示具備圖16之像素陣列部之攝像裝置中的HDR圖像產生順序之一例之圖。
圖18係表示圖2之像素陣列部之構成的一變化例之圖。
圖19係表示具備圖18之像素陣列部之攝像裝置中的HDR圖像產生順序之一例之圖。
圖20係表示圖2之像素陣列部之構成的一變化例之圖。
圖21係表示具備圖20之像素陣列部之攝像裝置中的HDR圖像產生順序之一例之圖。
圖22係表示圖2之像素陣列部之構成的一變化例之圖。
圖23係表示具備圖22之像素陣列部之攝像裝置中的HDR圖像產生順序之一例之圖。
圖24係表示圖2之像素陣列部之構成的一變化例之圖。
圖25係表示圖24之像素陣列部之配線佈局的一例之圖。
圖26係表示藉由圖24之像素陣列部所能檢測出之相位差的方向之一例之圖。
圖27係表示圖2之像素陣列部之構成的一變化例之圖。
圖28係表示圖27之像素陣列部之配線佈局的一例之圖。
圖29係表示具備圖24~圖28之像素陣列部之攝像裝置中的HDR圖像產生順序之一例之圖。
圖30係表示圖2之像素陣列部之構成的一變化例之圖。
圖31係表示圖30之像素陣列部之配線佈局的一例之圖。
圖32係表示藉由圖30之像素陣列部所能檢測出之相位差的方向之一例之圖。
圖33係表示具備圖30之像素陣列部之攝像裝置中的HDR圖像產生順序之一例之圖。
圖34係表示圖2之像素陣列部之構成的一變化例之圖。
圖35係表示圖34之像素陣列部之配線佈局的一例之圖。
圖36係表示藉由圖34之像素陣列部所能檢測出之相位差的方向之一例之圖。
圖37係表示具備圖34之像素陣列部之攝像裝置中的HDR圖像產生順序之一例之圖。
圖38係表示圖2之像素陣列部之構成的一變化例之圖。
圖39係表示圖38之像素陣列部之配線佈局的一例之圖。
圖40係表示藉由圖38之像素陣列部所能檢測出之相位差的方向之一例之圖。
圖41係表示具備圖38之像素陣列部之攝像裝置中的HDR圖像產生順序之一例之圖。
圖42係表示圖2之像素陣列部之構成的一變化例之圖。
圖43係表示圖42之像素陣列部之配線佈局的一例之圖。
圖44係表示藉由圖42之像素陣列部所能檢測出之相位差的方向之一例之圖。
圖45係表示具備圖42之像素陣列部之攝像裝置中的HDR圖像產生順序之一例之圖。
圖46係表示圖2之像素陣列部之構成的一變化例之圖。
圖47係表示圖46之像素陣列部之配線佈局的一例之圖。
圖48係表示藉由圖46之像素陣列部所能檢測出之相位差的方向之一例之圖。
圖49係表示具備圖46之像素陣列部之攝像裝置中的HDR圖像產生順序之一例之圖。
圖50係表示車輛控制系統之概略構成之一例之方塊圖。
圖51係表示車外資訊檢測部及攝像部之設置位置之一例之說明圖。
圖52係表示內視鏡手術系統之概略構成之一例之圖。
圖53係表示攝像頭及CCU之功能構成之一例之方塊圖。
以下，參照圖式，對本發明之實施形態詳細地進行說明。再者，說明係按照以下順序進行。
1.實施形態(攝像裝置)…圖1~圖9
2.變化例(攝像裝置)…圖10~圖49
3.應用例
面向移動體之應用例…圖50、圖51
面向內視鏡手術系統之應用例…圖52、圖53
<1.實施形態> [構成]
對本發明之一實施形態之攝像裝置1進行說明。圖1係表示攝像裝置1 之概略構成之一例者。攝像裝置1例如為數位靜態相機、攝錄影機、智慧型手機、平板型終端等電子機器。攝像裝置1具備攝像元件10、運算部20、圖框記憶體30、顯示部40、記憶部50、操作部60、電源部70及光學系統80。攝像元件10、運算部20、圖框記憶體30、顯示部40、記憶部50、操作部60及電源部70經由匯流排線L相互連接。
光學系統80係具有1片或複數片透鏡而構成，將來自被攝體之光(入射光)傳導至攝像元件10，並使其成像於攝像元件10之受光面。攝像元件10輸出與經由光學系統80成像於受光面之光相應之像素信號(圖像資料)。攝像元件10例如為CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)影像感測器。關於攝像元件10之內部構成，將於下文詳細敍述。運算部20係處理自攝像元件10輸出之像素信號(圖像資料)之信號處理電路。運算部20基於像素信號(圖像資料)產生HDR圖像。關於運算部20中之信號處理順序，將於下文詳細敍述。
圖框記憶體30以圖框為單位暫時保持藉由運算部20施行之信號處理獲得之圖像資料(例如，HDR圖像資料)。顯示部40例如包含液晶面板、有機EL(Electro Luminescence，電致發光)面板等面板型顯示裝置，顯示由攝像元件10拍攝所得之動態影像或靜態圖像。記憶部50將由攝像元件10拍攝所得之動態影像或靜態圖像之圖像資料記錄於半導體記憶體或硬碟等記錄媒體。操作部60按照用戶施行之操作，發佈針對攝像裝置1所具有之各種功能之操作指令。操作部60例如按照用戶下達之攝像指示，輸出控制攝像元件10之傳輸動作之驅動信號，驅動攝像元件10。電源部70將作為 攝像元件10、運算部20、圖框記憶體30、顯示部40、記憶部50及操作部60之動作電源之各種電源適當供給至上述供給對象。
其次，對攝像元件10進行說明。圖2係表示攝像元件10之概略構成之一例者。攝像元件10具備由包含光電轉換元件之複數個感測器像素111呈矩陣狀(matrix form)二維配置而成之像素陣列部110。例如，如圖3所示，感測器像素111包含進行光電轉換之像素電路112、及輸出基於自像素電路112輸出之電荷之像素信號之讀出電路113。
像素電路112例如具有光電二極體PD、與光電二極體PD電性連接之傳輸電晶體TR、暫時保持經由傳輸電晶體TR自光電二極體PD輸出之電荷之浮動擴散部FD。光電二極體PD進行光電轉換而產生與受光量相應之電荷。光電二極體PD之陰極連接於傳輸電晶體TR之源極，光電二極體PD之陽極連接於基準電位線(例如地線)。傳輸電晶體TR之汲極連接於浮動擴散部FD，傳輸電晶體TR之閘極連接於像素驅動線ctl1。
於各像素電路112中，浮動擴散部FD連接於對應之讀出電路113之輸入端。讀出電路113例如具有重設電晶體RST、選擇電晶體SEL、放大電晶體AMP。重設電晶體RST之源極(讀出電路113之輸入端)連接於浮動擴散部FD，重設電晶體RST之汲極連接於電源線VDD及放大電晶體AMP之汲極。重設電晶體RST之閘極連接於像素驅動線ctl2。放大電晶體AMP之源極連接於選擇電晶體SEL之汲極，放大電晶體AMP之閘極連接於重設電晶體RST之源極。選擇電晶體SEL之源極(讀出電路113之輸出端)連接於垂 直信號線vsl，選擇電晶體SEL之閘極連接於像素驅動線ctl3。
當傳輸電晶體TR成為接通狀態時，傳輸電晶體TR將光電二極體PD之電荷傳輸至浮動擴散部FD。重設電晶體RST將浮動擴散部FD之電位重設為特定電位。當重設電晶體RST成為接通狀態時，將浮動擴散部FD之電位重設為電源線VDD之電位。選擇電晶體SEL控制來自讀出電路113之像素信號之輸出時序。放大電晶體AMP產生與浮動擴散部FD中保持之電荷之位準相應之電壓之信號作為像素信號。即，放大電晶體AMP產生與感測器像素111之受光量相應之電壓之信號作為像素信號。放大電晶體AMP構成源極隨耦型之放大器，輸出與光電二極體PD中產生之電荷之位準相應之電壓之像素信號。當選擇電晶體SEL成為接通狀態時，放大電晶體AMP將浮動擴散部FD之電位放大，並將與該電位相應之電壓經由垂直信號線vsl輸出至行信號處理電路122(下述)。
再者，選擇電晶體SEL亦可設置於電源線VDD與放大電晶體AMP之間。該情形時，重設電晶體RST之汲極連接於電源線VDD及選擇電晶體SEL之汲極。選擇電晶體SEL之源極連接於放大電晶體AMP之汲極，選擇電晶體SEL之閘極連接於像素驅動線ctl3。放大電晶體AMP之源極(讀出電路113之輸出端)連接於垂直信號線vsl，放大電晶體AMP之閘極連接於重設電晶體RST之源極。
攝像元件10進而具備處理像素信號之邏輯電路120。邏輯電路120例如具有垂直驅動電路121、行信號處理電路122、水平驅動電路123及系統 控制電路124。邏輯電路120將感測器像素111各自之數位值輸出至外部。
系統控制電路124基於主時脈，產生作為垂直驅動電路121、行信號處理電路122、水平驅動電路123等之動作基準之時脈信號及控制信號等，並將其等賦予給垂直驅動電路121、行信號處理電路122、水平驅動電路123等。垂直驅動電路121例如包含移位暫存器等，經由複數根像素驅動線ctl(例如，ctl1、ctl2、ctl3、ctlM(下述)、ctlL(下述)、ctlS(下述))進行複數個感測器像素111之列掃描之控制。
行信號處理電路122例如對從由垂直驅動電路121選擇之列之各感測器像素111輸出之像素信號實施相關雙重取樣(Correlated Double Sampling：CDS)處理。行信號處理電路122例如藉由實施CDS處理，而提取像素信號之信號位準，保持與各感測器像素111之受光量相應之像素資料。行信號處理電路122例如具有針對每根垂直信號線vsl各設置有一個之複數個ADC(類比-數位轉換電路)。ADC例如將自各感測器像素111針對每行而輸出之類比像素信號轉換成數位信號並輸出。ADC例如藉由使斜坡波形之電壓(斜坡電壓)與計數值一面一對一地對應一面變化而將垂直信號線vsl之電位(類比信號)轉換成數位信號。ADC例如為將斜坡電壓之變化轉換成時間之變化者，將該時間藉由以某週期(時脈)計算而轉換成數位值。
水平驅動電路123包含移位暫存器等，實施行信號處理電路122中之ADC之行位址及行掃描之控制。於該水平驅動電路123施行之控制之下， 藉由各ADC加以AD轉換後之N位元之數位信號依序讀出至水平輸出線，並經由該水平輸出線作為攝像資料而輸出。
其次，對像素陣列部110進行說明。
圖4係表示像素陣列部110之構成例者。像素陣列部110於受光面110A具有複數個彩色濾光片CF及複數個受光透鏡OCL。複數個彩色濾光片CF係針對每2列×2行(即4個)感測器像素111(光電二極體PD)各設置有一個。複數個受光透鏡OCL係針對每個彩色濾光片CF各設置有一個。即，複數個受光透鏡OCL亦針對每2列×2行(即4個)感測器像素111各設置有一個。藉此，入射至各受光透鏡OCL之光藉由受光透鏡OCL而聚集，透過對應之彩色濾光片CF後入射至對應之2列×2行感測器像素111。再者，以下，將與受光透鏡OCL對應之2列×2行感測器像素111稱為單色感測器像素群P1。
複數個彩色濾光片CF包含透過紅色波長區域之光之複數個彩色濾光片CFr、透過綠色波長區域之光之複數個彩色濾光片CFg、透過藍色波長區域之光之複數個彩色濾光片CFb。複數個彩色濾光片CF於受光面呈拜耳排列。藉由使複數個彩色濾光片CF於受光面呈拜耳排列，能於列方向及行方向上具有週期性地取得相位差資料。彩色濾光片CFr、彩色濾光片CFg、彩色濾光片CFb以1：2：1之比率配置於受光面110A。再者，以下，將拜耳排列中之2列×2行單色感測器像素群P1稱為三色感測器像素群P2。
各感測器像素111(光電二極體PD)之曝光時間由系統控制電路124控制。圖4中表示出了由系統控制電路124控制時各感測器像素111之曝光時間之一例。根據圖4，於單色感測器像素群P1中，2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”，剩餘2個感測器像素111(光電二極體PD)中，一者之曝光時間設定為“短(Short)”，剩餘一者之曝光時間設定為“長(Long)”。即，單色感測器像素群P1中包含曝光時間互不相同之3種感測器像素111(光電二極體PD)，進而包含曝光時間彼此相同之2個感測器像素111(光電二極體PD)。換言之，系統控制電路124以使單色感測器像素群P1中，3個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
於各單色感測器像素群P1中，沿著右斜上方向排列之2個感測器像素111(光電二極體PD)之曝光時間如圖4所示設定為“中(Middle)”。即，於各單色感測器像素群P1中，沿著右斜上方向排列之2個感測器像素111(光電二極體PD)之曝光時間設定為彼此相等。又，於各單色感測器像素群P1中，右下方之感測器像素111(光電二極體PD)之曝光時間如圖4所示設定為“短(Short)”。又，於各單色感測器像素群P1中，左上方之感測器像素111(光電二極體PD)之曝光時間如圖4所示設定為“長(Long)”。
又，例如，如圖4所示，於曝光時間設定為“中(Middle)”之感測器像素111連接有像素驅動線ctlM。即，分配給單色感測器像素群P1之2根 像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群P1之右上方之感測器像素111，另一像素驅動線ctlM連接於單色感測器像素群P1之左下方之感測器像素111。於曝光時間設定為“短(Short)”之各感測器像素111連接有像素驅動線ctlS。即，像素驅動線ctlS連接於單色感測器像素群P1之右下方之感測器像素111。於曝光時間設定為“長(Long)”之感測器像素111連接有像素驅動線ctlL。即，像素驅動線ctlL連接於單色感測器像素群P1之左上方之感測器像素111。像素陣列部110於與各單色感測器像素群P1之上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。又，像素陣列部110於與各單色感測器像素群P1之下段對應之部位，具有像素驅動線ctlM及像素驅動線ctlS。
系統控制電路124藉由向像素驅動線ctlM輸出控制信號以使曝光時間成為“中(Middle)”，而將連接於像素驅動線ctlM之各感測器像素111之曝光時間控制為“中(Middle)”。系統控制電路124藉由向像素驅動線ctlS輸出控制信號以使曝光時間成為“短(Short)”，而將連接於像素驅動線ctlS之各感測器像素111之曝光時間控制為“短(Short)”。系統控制電路124藉由向像素驅動線ctlL輸出控制信號以使曝光時間成為“長(Long)”，而將連接於像素驅動線ctlL之各感測器像素111之曝光時間控制為“長(Long)”。如此，系統控制電路124針對每個感測器像素111分別進行曝光時間之控制。攝像元件10輸出於此種控制之下獲得之圖像資料Ia。
圖像資料Ia中包含與像素陣列部110之X列×Y行感測器像素111對應之X列×Y行像素資料Sig。X列×Y行像素資料Sig中與各單色感測器像素群 P1對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。
因此，X列×Y行像素資料Sig中與各單色感測器像素群P1對應之2列×2行像素資料Sig包含曝光時間彼此相同之2個像素資料Sig1。又，於X列×Y行像素資料Sig中與各單色感測器像素群P1對應之2列×2行像素資料Sig，藉由取得曝光時間彼此相同之2個像素資料Sig1之差量，能於受光面110A上獲得右斜上方向之相位差。根據以上所述，可知像素陣列部110以自各單色感測器像素群P1獲得一個方向(右斜上方向)之相位差資料之方式構成。
再者，於各單色感測器像素群P1中，亦可如圖5所示將沿著右斜下方向排列之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。即，於各單色感測器像素群P1中，亦可將沿著右斜下方向排列之2個感測器像素111(光電二極體PD)之曝光時間設定為彼此相等。
此時，例如，如圖5所示，於曝光時間設定為“中(Middle)”之感測器像素111連接有像素驅動線ctlM。即，分配給單色感測器像素群P1之2根像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群P1之左上方之感測器像素111，另一像素驅動線ctlM連接於單色感測器像素群P1之右下方之感測器像素111。於曝光時間設定為“短(Short)”之各感測 器像素111連接有像素驅動線ctlS。即，像素驅動線ctlS連接於單色感測器像素群P1之左下方之感測器像素111。於曝光時間設定為“長(Long)”之感測器像素111連接有像素驅動線ctlL。即，像素驅動線ctlL連接於單色感測器像素群P1之右上方之感測器像素111。像素陣列部110於與各單色感測器像素群P1之上段對應之部位，具有像素驅動線ctlM及像素驅動線ctlL。又，像素陣列部110於與各單色感測器像素群P1之下段對應之部位，具有像素驅動線ctlS及像素驅動線ctlM。
該情形時，於X列×Y行像素資料Sig中與各單色感測器像素群P1對應之2列×2行像素資料Sig，藉由取得曝光時間彼此相同之2個像素資料Sig1之差量，能於受光面110A上獲得右斜下方向之相位差。該情形時，可知像素陣列部110以自各單色感測器像素群P1獲得一個方向(右斜下方向)之相位差資料之方式構成。
又，於各單色感測器像素群P1中，亦可如圖6所示將沿著左右方向排列之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。即，於各單色感測器像素群P1中，亦可將沿著左右方向排列之2個感測器像素111(光電二極體PD)之曝光時間設定為彼此相等。圖6中例示出了如下情形：於各單色感測器像素群P1中，上段之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”，下段之2個感測器像素111(光電二極體PD)中，一者之曝光時間設定為“短(Short)”，另一者之曝光時間設定為“長(Long)”。
此時，例如，如圖6所示，於曝光時間設定為“中(Middle)”之感測器像素111連接有像素驅動線ctlM。即，分配給單色感測器像素群P1之2根像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群P1之左上方之感測器像素111，另一像素驅動線ctlM連接於單色感測器像素群P1之右上方之感測器像素111。於曝光時間設定為“短(Short)”之各感測器像素111連接有像素驅動線ctlS。即，像素驅動線ctlS連接於單色感測器像素群P1之右下方之感測器像素111。於曝光時間設定為“長(Long)”之感測器像素111連接有像素驅動線ctlL。即，像素驅動線ctlL連接於單色感測器像素群P1之左下方之感測器像素111。像素陣列部110於與各單色感測器像素群P1之上段對應之部位，具有2根像素驅動線ctlM。又，像素陣列部110於與各單色感測器像素群P1之下段對應之部位，具有像素驅動線ctlL及像素驅動線ctlS。
該情形時，於X列×Y行像素資料Sig中與各單色感測器像素群P1對應之2列×2行像素資料Sig，藉由取得曝光時間彼此相同之2個像素資料Sig1之差量，能於受光面110A上獲得左右方向之相位差。該情形時，可知像素陣列部110以自各單色感測器像素群P1獲得一個方向(左右方向)之相位差資料之方式構成。
再者，於單色感測器像素群P1中，亦可將下段之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。該情形時，於單色感測器像素群P1中，上段之2個感測器像素111(光電二極體PD)中，一者之曝光時間設定為“短(Short)”，另一者之曝光時間設定為“長 (Long)”。此時，像素陣列部110於與各單色感測器像素群P1之下段對應之部位，具有2根像素驅動線ctlM。又，像素陣列部110於與各單色感測器像素群P1之上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlS。
該情形時，亦同樣地，於X列×Y行像素資料Sig中與各單色感測器像素群P1對應之2列×2行像素資料Sig，藉由取得曝光時間彼此相同之2個像素資料Sig1之差量，能於受光面110A上獲得左右方向之相位差。該情形時，可知像素陣列部110以自各單色感測器像素群P1獲得一個方向(左右方向)之相位差資料之方式構成。
又，於各單色感測器像素群P1中，亦可如圖7所示將沿著上下方向排列之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。即，於各單色感測器像素群P1中，亦可將沿著上下方向排列之2個感測器像素111(光電二極體PD)之曝光時間設定為彼此相等。圖7中例示出了如下情形：於單色感測器像素群P1中，左側之2個光電二極體PD之曝光時間設定為“中(Middle)”，右側之2個感測器像素111(光電二極體PD)中，一者之曝光時間設定為“短(Short)”，另一者之曝光時間設定為“長(Long)”。
於各單色感測器像素群P1中，假設右側之2個感測器像素111(光電二極體PD)中，上段之曝光時間設定為“長(Long)”，下段之曝光時間設定為“短(Short)”。該情形時，分配給單色感測器像素群P1之2根像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群P1之左上方之感 測器像素111，另一像素驅動線ctlM連接於單色感測器像素群P1之左下方之感測器像素111。像素驅動線ctlS連接於單色感測器像素群P1之右下方之感測器像素111。像素驅動線ctlL連接於單色感測器像素群P1之右上方之感測器像素111。像素陣列部110於與各單色感測器像素群P1之上段對應之部位，具有像素驅動線ctlM及像素驅動線ctlL。又，像素陣列部110於與各單色感測器像素群P1之下段對應之部位，具有像素驅動線ctlM及像素驅動線ctlS。
又，於各單色感測器像素群P1中，假設右側之2個感測器像素111(光電二極體PD)中，上段之曝光時間設定為“短(Short)”，下段之曝光時間設定為“長(Long)”。該情形時，分配給單色感測器像素群P1之2根像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群P1之左上方之感測器像素111，另一像素驅動線ctlM連接於單色感測器像素群P1之左下方之感測器像素111。像素驅動線ctlS連接於單色感測器像素群P1之右上方之感測器像素111。像素驅動線ctlL連接於單色感測器像素群P1之右下方之感測器像素111。像素陣列部110於與各單色感測器像素群P1之上段對應之部位，具有像素驅動線ctlM及像素驅動線ctlS，於與各單色感測器像素群P1之下段對應之部位，具有像素驅動線ctlM及像素驅動線ctlL。
該情形時，於X列×Y行像素資料Sig中與各單色感測器像素群P1對應之2列×2行像素資料Sig，藉由取得曝光時間彼此相同之2個像素資料Sig1之差量，能於受光面110A上獲得上下方向之相位差。該情形時，可知像素陣列部110以自各單色感測器像素群P1獲得一個方向(上下方向)之相位 差資料之方式構成。
再者，於單色感測器像素群P1中，亦可將右側之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。該情形時，於單色感測器像素群P1中，左側之2個感測器像素111(光電二極體PD)中，一者之曝光時間設定為“短(Short)”，另一者之曝光時間設定為“長(Long)”。該情形時，亦同樣地，於X列×Y行像素資料Sig中與各單色感測器像素群P1對應之2列×2行像素資料Sig，藉由取得曝光時間彼此相同之2個像素資料Sig1之差量，能於受光面110A上獲得上下方向之相位差。該情形時，亦同樣地，可知像素陣列部110以自各單色感測器像素群P1獲得一個方向(上下方向)之相位差資料之方式構成。
其次，對運算電路20進行說明。
圖8表示運算電路20中之信號處理順序之一例。運算電路20基於由攝像元件10獲得之圖像資料Ia產生HDR圖像資料Ib。運算電路20首先將圖像資料Ia按曝光時間分解(步驟S101)。具體而言，運算電路20將圖像資料Ia分解成曝光時間為“中(Middle)”之資料(圖像資料Im)、曝光時間為“長(Long)”之資料(圖像資料Il)、曝光時間為“短(Short)”之資料(圖像資料Is)。
其次，運算電路20基於圖像資料Im產生相位差資料Pd1(步驟S102)。具體而言，運算電路20於圖像資料Im中，導出與各單色感測器像素群P1 對應之2個像素資料Sig1之差量值，根據所導出之差量值產生相位差資料Pd1。又，運算電路20基於圖像資料Il、Im產生相位差資料Pd2(步驟S102)。具體而言，運算電路20導出藉由使圖像資料Il、圖像資料Im乘以曝光時間“長(Long)”與曝光時間“中(Middle)”之曝光時間比而獲得之與圖像資料Im'之差量值，根據所導出之差量值產生相位差資料Pd2。又，運算電路20基於圖像資料Im、Is產生相位差資料Pd3(步驟S102)。具體而言，運算電路20導出圖像資料Im、圖像資料Is乘以曝光時間“中(Middle)”與曝光時間“短(Short)”之曝光時間比所得之與圖像資料Is'之差量值，根據所導出之差量值產生相位差資料Pd3。
其次，運算電路20將相位差資料Pd1轉換成關於相位差之位準資料Da(步驟S103)。位準資料Da例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。運算電路20例如於相位差資料Pd1中，將低於特定範圍之數值轉換成下限值(例如0位元)。運算電路20例如於相位差資料Pd1中，將高於特定範圍之數值轉換成上限值(例如128位元)。運算電路20例如於相位差資料Pd1中，將處於特定範圍內之數值轉換成與該數值之大小相應之1位元至127位元之範圍內之值。
其次，運算電路20將相位差資料Pd2、Pd3轉換成關於動體之位準資料Db(步驟S104)。位準資料Db例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。具體而言，運算電路20基於關於攝像元件10之雜訊位準之資料(雜訊資料)、及相位差資料Pd2、Pd3，產生位準資料Db。
其次，運算電路20根據所獲得之位準資料Da檢測相位差較大之部位(步驟S105)。進而，運算電路20根據所獲得之位準資料Db檢測動體之有無(步驟S106)。最後，運算電路20根據圖像資料Im、Il、Is、及相位差之有無、動體之有無，產生HDR圖像資料Ib(步驟S107)。如此，產生HDR圖像資料Ib。
其次，對攝像裝置1中之攝像順序進行說明。
圖9表示攝像裝置1中之攝像動作之流程圖之一例。用戶藉由對操作部60進行操作，而指示攝像裝置1開始攝像(步驟S201)。然後，操作部60將攝像指令發送至攝像元件10(步驟S202)。攝像元件10(具體而言，為系統控制電路124)接收到攝像指令後，採用特定攝像方式執行攝像(步驟S203)。
系統控制電路124例如對連接於像素驅動線ctlM之各感測器像素111以使曝光時間成為“中(Middle)”之方式進行曝光控制。系統控制電路124例如進而對連接於像素驅動線ctlS之各感測器像素111以使曝光時間成為“短(Short)”之方式進行曝光控制。系統控制電路124例如進而對連接於像素驅動線ctlL之各感測器像素111以使曝光時間成為“長(Long)”之方式進行曝光控制。如此，系統控制電路124針對每個感測器像素111分別進行曝光時間之控制。攝像元件10將於此種控制之下獲得之像素數為X列×Y行之圖像資料Ia輸出至運算電路20。
運算電路20基於自攝像元件10輸入之圖像資料Ia進行特定信號處理(例如HDR圖像資料Ib之產生等)(步驟S204)。運算電路20將藉由特定信號處理獲得之圖像資料(例如HDR圖像資料Ib)保持於圖框記憶體30，圖框記憶體30將所保持之圖像資料(例如HDR圖像資料Ib)記錄於記憶部50(步驟S205)。如此，進行攝像裝置1中之攝像。
[效果]
其次，對本實施形態之攝像裝置1之效果進行說明。
於本實施形態中，攝像元件10以獲得一個方向(右斜上方向、右斜下方向、左右方向或上下方向)之相位差資料之方式構成。藉此，能於一個方向上判別相位差之有無、動體之有無。
<2.變化例>
以下，對上述實施形態之攝像元件10之變化例進行說明。
[[變化例A]]
於上述實施形態中，像素陣列部110以自各單色感測器像素群P1獲得一個方向之相位差資料之方式構成。但於上述實施形態中，像素陣列部110亦能以自各三色感測器像素群P2獲得兩個方向之相位差資料之方式構成。
圖10係表示本變化例之像素陣列部110之構成例者。於本變化例中， 像素陣列部110以自各三色感測器像素群P2獲得右斜上方向及右斜下方向之相位差資料之方式構成。此時，於各三色感測器像素群P2中，與彩色濾光片CFr、CFb對應之單色感測器像素群P1之構成與上述實施形態之單色感測器像素群P1相同。於各三色感測器像素群P2中，與一彩色濾光片CFg對應之單色感測器像素群P1(以下，稱為「單色感測器像素群Pa」)之構成亦與上述實施形態之單色感測器像素群P1相同。另一方面，於各三色感測器像素群P2中，與另一彩色濾光片CFg對應之單色感測器像素群P1(以下，稱為「單色感測器像素群Pb」)之構成與上述實施形態之單色感測器像素群P1不同
具體而言，於各單色感測器像素群Pa中，沿著右斜上方向排列之2個感測器像素111(光電二極體PD)之曝光時間如圖10所示設定為“中(Middle)”。即，於各單色感測器像素群Pa中，沿著右斜上方向排列之2個感測器像素111(光電二極體PD)之曝光時間設定為彼此相等。又，於各單色感測器像素群Pa中，右下方之感測器像素111(光電二極體PD)之曝光時間如圖10所示設定為“短(Short)”。又，於各單色感測器像素群Pa中，左上方之感測器像素111(光電二極體PD)之曝光時間如圖10所示設定為“長(Long)”。
具體而言，於各單色感測器像素群Pb中，沿著右斜下方向排列之2個感測器像素111(光電二極體PD)之曝光時間如圖10所示設定為“中(Middle)”。即，於各單色感測器像素群Pb中，沿著右斜下方向排列之2個感測器像素111(光電二極體PD)之曝光時間設定為彼此相等。又，於各 單色感測器像素群Pb中，左下方之感測器像素111(光電二極體PD)之曝光時間如圖10所示設定為“短(Short)”。又，於各單色感測器像素群Pb中，右上方之感測器像素111(光電二極體PD)之曝光時間如圖10所示設定為“長(Long)”。換言之，系統控制電路124以使各單色感測器像素群Pb中，3個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
分配給單色感測器像素群Pa之2根像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群Pa之右上方之感測器像素111，另一像素驅動線ctlM連接於單色感測器像素群Pa之左下方之感測器像素111。像素驅動線ctlS連接於單色感測器像素群Pa之右下方之感測器像素111。像素驅動線ctlL連接於單色感測器像素群Pa之左上方之感測器像素111。
分配給單色感測器像素群Pb之2根像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群Pb之左上方之感測器像素111，另一像素驅動線ctlM連接於單色感測器像素群Pb之右下方之感測器像素111。像素驅動線ctlS連接於單色感測器像素群Pb之左下方之感測器像素111。像素驅動線ctlL連接於單色感測器像素群Pb之右上方之感測器像素111。
此處，像素陣列部110於與各單色感測器像素群P1之上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。又，像素陣列部110於與各單色感測器像素群P1之下段對應之部位，具有像素驅動線ctlM及像素驅 動線ctlS。藉此，能於兩個方向(右斜上方向及右斜下方向)上判別相位差之有無、動體之有無。
再者，於各三色感測器像素群P2中，可將單色感測器像素群Pa配置於右上方，將單色感測器像素群Pb配置於左下方。又，於各三色感測器像素群P2中，亦可將單色感測器像素群Pa配置於左下方，將單色感測器像素群Pb配置於右上方。又，亦可於受光面110A內之兩個方向(右斜上方向及右斜下方向)上交替地配置複數個單色感測器像素群Pa與複數個單色感測器像素群Pb。
於本變化例中，像素陣列部110例如亦可如圖11所示，以自各三色感測器像素群P2獲得左右方向及上下方向之相位差資料之方式構成。此時，像素陣列部110亦能以於各三色感測器像素群P2中自與一彩色濾光片CFg對應之單色感測器像素群P1(以下，稱為「單色感測器像素群Pc」)獲得左右方向之相位差資料之方式構成。進而，像素陣列部110亦能以於各三色感測器像素群P2中自與另一彩色濾光片CFg對應之單色感測器像素群P1(以下，稱為「單色感測器像素群Pd」)獲得上下方向之相位差資料之方式構成。
此處，於各單色感測器像素群Pc中，配置於上段之2個感測器像素111(光電二極體PD)之曝光時間如圖11所示設定為“中(Middle)”。即，於各單色感測器像素群Pc中，配置於上段之2個感測器像素111(光電二極體PD)之曝光時間設定為彼此相等。又，於各單色感測器像素群Pc中，如 圖11所示，配置於下段之2個感測器像素111(光電二極體PD)中，一感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”，另一感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”。
又，於各單色感測器像素群Pd中，配置於左側之2個感測器像素111(光電二極體PD)之曝光時間如圖11所示設定為“中(Middle)”。即，於各單色感測器像素群Pd中，配置於左側之2個感測器像素111(光電二極體PD)之曝光時間設定為彼此相等。又，於各單色感測器像素群Pd中，如圖11所示，配置於右上方之感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”，右下方之感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”。
分配給單色感測器像素群Pc之2根像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群Pc之左上方之感測器像素111，另一像素驅動線ctlM連接於單色感測器像素群Pc之右上方之感測器像素111。像素驅動線ctlS連接於單色感測器像素群Pc之右下方之感測器像素111。像素驅動線ctlL連接於單色感測器像素群Pc之左下方之感測器像素111。
分配給單色感測器像素群Pd之2根像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群Pd之左上方之感測器像素111，另一像素驅動線ctlM連接於單色感測器像素群Pd之左下方之感測器像素111。像素驅動線ctlS連接於單色感測器像素群Pd之右下方之感測器像素111。像素驅動線ctlL連接於單色感測器像素群Pd之右上方之感測器像素111。
再者，於各單色感測器像素群Pc中，亦可將配置於下段之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。即，於各單色感測器像素群Pc中，亦可將配置於下段之2個感測器像素111(光電二極體PD)之曝光時間設定為彼此相等。又，於各單色感測器像素群Pd中，亦可將配置於右側之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。即，於各單色感測器像素群Pd中，亦可將配置於右側之2個感測器像素111(光電二極體PD)之曝光時間設定為彼此相等。
於各單色感測器像素群Pc中，將配置於上段之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”之情形時，像素陣列部110於與各單色感測器像素群Pc之上段對應之部位，具有2根像素驅動線ctlM，於與各單色感測器像素群Pc之下段對應之部位，具有像素驅動線ctlS及像素驅動線ctlL。另一方面，於各單色感測器像素群Pc中，將配置於下段之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”之情形時，像素陣列部110於與各單色感測器像素群Pc之下段對應之部位，具有2根像素驅動線ctlM，於與各單色感測器像素群Pc之上段對應之部位，具有像素驅動線ctlS及像素驅動線ctlL。
於各單色感測器像素群Pd中，將配置於左側之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”之情形時，像素陣列部110於與各單色感測器像素群Pd之上段對應之部位，具有1根像素驅動線ctlM，並且於與各單色感測器像素群Pd之下段對應之部位，具有1根像素 驅動線ctlM。於各單色感測器像素群Pd中，將配置於右側之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”之情形時，像素陣列部110於與各單色感測器像素群Pd之上段對應之部位，具有1根像素驅動線ctlM，並且於與各單色感測器像素群Pd之下段對應之部位，具有1根像素驅動線ctlM。
如此，於本變化例中，攝像元件10以獲得兩個方向(左右方向及上下方向)之相位差資料之方式構成。藉此，能於兩個方向上判別相位差之有無、動體之有無。
[[變化例B]]
於上述變化例A中，像素陣列部110以自各三色感測器像素群P2獲得兩個方向之相位差資料之方式構成。但於上述變化例A中，像素陣列部110亦能以自2列×2行三色感測器像素群P2(以下，稱為「三色感測器像素群P3」)獲得三個方向之相位差資料之方式構成。
圖12係表示本變化例之像素陣列部110之構成例者。圖13係表示圖12之像素陣列部110之配線佈局之一例者。圖14係表示藉由圖12之像素陣列部110所能檢測出之相位差的方向之一例者。
於本變化例中，像素陣列部110以自各三色感測器像素群P3獲得右斜上方向、上下方向及左右方向之相位差資料之方式構成。此時，於各三色感測器像素群P3中，與彩色濾光片CFr、CFb對應之單色感測器像素群 P1(以下，稱為「單色感測器像素群Ph」)之構成與上述實施形態之單色感測器像素群P1相同。於包含在各三色感測器像素群P3內之左上方及右下方之三色感測器像素群P2中，與各彩色濾光片CFg對應之單色感測器像素群P1(以下，稱為「單色感測器像素群Pe」)之構成亦與上述實施形態之單色感測器像素群P1相同。另一方面，於包含在各三色感測器像素群P3內之左下方之三色感測器像素群P2中，與各彩色濾光片CFg對應之單色感測器像素群P1(以下，稱為「單色感測器像素群Pf」)之構成與上述實施形態之單色感測器像素群P1不同。進而，於包含在各三色感測器像素群P3內之右上方之三色感測器像素群P2中，與各彩色濾光片CFg對應之單色感測器像素群P1(以下，稱為「單色感測器像素群Pg」)之構成與上述實施形態之單色感測器像素群P1不同。
具體而言，於單色感測器像素群Pf中，2個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”，剩餘2個感測器像素111(光電二極體PD)中，一者之曝光時間設定為“中(Middle)”，剩餘一者之曝光時間設定為“長(Long)”。即，單色感測器像素群Pf中包含曝光時間互不相同之3種感測器像素111(光電二極體PD)，進而包含曝光時間彼此相同之2個感測器像素111(光電二極體PD)。換言之，系統控制電路124以使單色感測器像素群Pf中，3個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
於各單色感測器像素群Pf中，沿著左右方向排列於下段之2個感測器 像素111(光電二極體PD)之曝光時間如圖12所示設定為“短(Short)”。即，於各單色感測器像素群Pf中，沿著左右方向排列於下段之2個感測器像素111(光電二極體PD)之曝光時間設定為彼此相等。又，於各單色感測器像素群Pf中，右上方之感測器像素111(光電二極體PD)之曝光時間如圖12所示設定為“中(Middle)”。又，於各單色感測器像素群Pf中，左上方之感測器像素111(光電二極體PD)之曝光時間如圖12所示設定為“長(Long)”。
分配給單色感測器像素群Pf之2根像素驅動線ctlS中，一像素驅動線ctlS連接於單色感測器像素群Pf之左下方之感測器像素111，另一像素驅動線ctlS連接於單色感測器像素群Pf之右下方之感測器像素111。像素驅動線ctlM連接於單色感測器像素群Pf之右上方之感測器像素111。像素驅動線ctlL連接於單色感測器像素群Pf之左上方之感測器像素111。此時，像素陣列部110於與各單色感測器像素群Pf之上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。又，像素陣列部110於與各單色感測器像素群Pf之下段對應之部位，具有2根像素驅動線ctlS。
再者，於各單色感測器像素群Pf中，亦可將曝光時間設定為“中(Middle)”之1個感測器像素111(光電二極體PD)配置於左上方，將曝光時間設定為“長(Long)”之1個感測器像素111(光電二極體PD)配置於右上方。又，於各單色感測器像素群Pf中，亦可將曝光時間設定為“短(Short)”之2個感測器像素111(光電二極體PD)配置於上段，且沿著左右方向排列。該情形時，於單色感測器像素群Pf中，下段之2個感測器像素 111(光電二極體PD)中，一者之曝光時間設定為“中(Middle)”，另一者之曝光時間設定為“長(Long)”。此時，像素陣列部110於與各單色感測器像素群Pf之上段對應之部位，具有2根像素驅動線ctlS。又，像素陣列部110於與各單色感測器像素群Pf之下段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。
又，於單色感測器像素群Pg中，2個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”，剩餘2個感測器像素111(光電二極體PD)中，一者之曝光時間設定為“中(Middle)”，剩餘一者之曝光時間設定為“短(Short)”。即，單色感測器像素群Pg中包含曝光時間互不相同之3種感測器像素111(光電二極體PD)，進而包含曝光時間彼此相同之2個感測器像素111(光電二極體PD)。換言之，系統控制電路124以使單色感測器像素群Pg中，3個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
於各單色感測器像素群Pg中，曝光時間設定為“長(Long)”之2個感測器像素111(光電二極體PD)例如，如圖12所示配置於左側，且沿著上下方向排列。即，於各單色感測器像素群Pg中，曝光時間彼此相同之2個感測器像素111(光電二極體PD)例如，如圖12所示配置於左側，且沿著上下方向排列。又，於各單色感測器像素群Pg中，曝光時間設定為“中(Middle)”之1個感測器像素111(光電二極體PD)例如，如圖12所示配置於右上方。又，於各單色感測器像素群Pg中，曝光時間設定為“短 (Short)”之1個感測器像素111(光電二極體PD)例如，如圖12所示配置於右下方。
分配給單色感測器像素群Pg之2根像素驅動線ctlL中，一像素驅動線ctlL連接於單色感測器像素群Pg之左上方之感測器像素111，另一像素驅動線ctlL連接於單色感測器像素群Pg之左下方之感測器像素111。像素驅動線ctlM連接於單色感測器像素群Pg之右上方之感測器像素111。像素驅動線ctlS連接於單色感測器像素群Pg之右下方之感測器像素111。此時，像素陣列部110於與各單色感測器像素群Pg之上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。又，像素陣列部110於與各單色感測器像素群Pf之下段對應之部位，具有像素驅動線ctlL及像素驅動線ctlS。
再者，於各單色感測器像素群Pg中，亦可將曝光時間設定為“中(Middle)”之1個感測器像素111(光電二極體PD)配置於右下方，將曝光時間設定為“短(Short)”之1個感測器像素111(光電二極體PD)配置於右上方。此時，像素陣列部110於與各單色感測器像素群Pg之上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlS。又，像素陣列部110於與各單色感測器像素群Pf之下段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。又，於各單色感測器像素群Pg中，亦可將曝光時間設定為“長(Long)”之2個感測器像素111(光電二極體PD)配置於右側，且沿著上下方向排列。該情形時，於單色感測器像素群Pg中，左側之2個感測器像素111(光電二極體PD)中，一者之曝光時間設定為“中(Middle)”，另一者之曝光時間設定為“短(Short)”。
於本變化例中，圖像資料Ia中包含與像素陣列部110之X列×Y行感測器像素111對應之X列×Y行像素資料Sig。X列×Y行像素資料Sig中與單色感測器像素群Ph對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。又，X列×Y行像素資料Sig中與單色感測器像素群Pe對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。
又，X列×Y行像素資料Sig中與單色感測器像素群Pf對應之2列×2行像素資料Sig包含：與曝光時間設定為“短(Short)”之2個感測器像素111對應之2個像素資料Sig2、與曝光時間設定為“中(Middle)”之感測器像素111對應之1個像素資料Sig1、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。又，X列×Y行像素資料Sig中與單色感測器像素群Pg對應之2列×2行像素資料Sig包含：與曝光時間設定為“長(Long)”之2個感測器像素111對應之2個像素資料Sig3、與曝光時間設定為“中(Middle)”之感測器像素111對應之1個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2。
其次，對本變化例中之運算電路20進行說明。
圖15表示本變化例中之運算電路20中之信號處理順序之一例。運算電路20基於由攝像元件10獲得之圖像資料Ia產生HDR圖像資料Ib。運算電路20首先將圖像資料Ia按曝光時間分解(步驟S301)。具體而言，運算電路20將圖像資料Ia分解成曝光時間為“中(Middle)”之資料(圖像資料Im)、曝光時間為“長(Long)”之資料(圖像資料Il)、曝光時間為“短(Short)”之資料(圖像資料Is)。
其次，運算電路20基於圖像資料Im產生相位差資料Pd11(步驟S302)。具體而言，運算電路20於圖像資料Im中，導出與各單色感測器像素群Pe對應之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第1方向(右斜上方向)之相位差資料Pd11。又，基於圖像資料Is產生相位差資料Pd12(步驟S302)。具體而言，運算電路20於圖像資料Is中，導出與各單色感測器像素群Pf對應之2個像素資料Sig2之差量值，根據所導出之差量值，產生受光面110A上之第2方向(左右方向)之相位差資料Pd12。又，基於圖像資料Il產生相位差資料Pd13(步驟S302)。具體而言，運算電路20於圖像資料Il中，導出與各單色感測器像素群Pg對應之2個像素資料Sig3之差量值，根據所導出之差量值，產生受光面110A上之第3方向(左右方向)之相位差資料Pd13。
又，運算電路20基於圖像資料Il、Im產生相位差資料Pd14(步驟S302)。具體而言，運算電路20導出藉由使圖像資料Il、圖像資料Im乘以 曝光時間“長(Long)”與曝光時間“中(Middle)”之曝光時間比而獲得之與圖像資料Im'之差量值，根據所導出之差量值產生相位差資料Pd14。又，運算電路20基於圖像資料Im、Is產生相位差資料Pd15(步驟S302)。具體而言，運算電路20導出圖像資料Im、圖像資料Is乘以曝光時間“中(Middle)”與曝光時間“短(Short)”之曝光時間比所得之與圖像資料Is'之差量值，根據所導出之差量值產生相位差資料Pd15。
其次，運算電路20基於相位差資料Pd11、Pd12、Pd13，產生關於相位差之位準資料Da(步驟S303)。位準資料Da例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。運算電路20例如於相位差資料Pd11、Pd12、Pd13中，將低於特定範圍之數值轉換成下限值(例如0位元)。運算電路20例如於相位差資料Pd11、Pd12、Pd13中，將高於特定範圍之數值轉換成上限值(例如128位元)。運算電路20例如於相位差資料Pd11、Pd12、Pd13中，將處於特定範圍內之數值轉換成與該數值之大小相應之1位元至127位元之範圍內之值。
其次，運算電路20將相位差資料Pd14、Pd15轉換成關於動體之位準資料Db(步驟S104)。位準資料Db例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。具體而言，運算電路20基於關於攝像元件10之雜訊位準之資料(雜訊資料)、及相位差資料Pd14、Pd15，產生位準資料Db。
其次，運算電路20根據所獲得之位準資料Da檢測相位差較大之部位 (步驟S305)。進而，運算電路20根據所獲得之位準資料Db檢測動體之有無(步驟S306)。最後，運算電路20根據圖像資料Im、Il、Is、及相位差之有無、動體之有無，產生HDR圖像資料Ib(步驟S307)。如此，產生HDR圖像資料Ib。
如此，於本變化例中，攝像元件10以自2列×2行三色感測器像素群P2(以下，稱為「三色感測器像素群P3」)獲得三個方向之相位差資料之方式構成。藉此，能於三個方向上判別相位差之有無、動體之有無。
[[變化例C]]
於上述實施形態及其變化例中，像素陣列部110以自與單色感測器像素群P1對應之2列×2行像素資料Sig獲得一個方向之相位差資料之方式構成。但於上述實施形態及其變化例中，像素陣列部110亦能以自與單色感測器像素群P1對應之2列×2行像素資料Sig獲得兩個方向之相位差資料之方式構成。
圖16係表示本變化例之像素陣列部110之構成例者。於本變化例中，像素陣列部110以自各三色感測器像素群P2獲得右斜上方向及右斜下方向之相位差資料之方式構成。此時，於各三色感測器像素群P2中，與彩色濾光片CFr、CFb對應之單色感測器像素群P1(單色感測器像素群Ph)之構成與上述實施形態之單色感測器像素群P1相同。於各三色感測器像素群P2中，與各彩色濾光片CFg對應之單色感測器像素群P1(單色感測器像素群Pa、Pb)之構成與上述實施形態之單色感測器像素群P1不同。
具體而言，於各單色感測器像素群Pb中，2個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”，剩餘2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。換言之，系統控制電路124以使單色感測器像素群Pb中，2個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。又，於各單色感測器像素群Pb中，曝光時間設定為“短(Short)”之2個感測器像素111(光電二極體PD)例如，如圖16所示沿著右斜下方向排列。即，於各單色感測器像素群Pb中，曝光時間彼此相同之2個感測器像素111(光電二極體PD)例如，如圖16所示沿著右斜下方向排列。又，於各單色感測器像素群Pb中，曝光時間設定為“中(Middle)”之2個感測器像素111(光電二極體PD)例如，如圖16所示沿著右斜上方向排列。即，於各單色感測器像素群Pb中，曝光時間彼此相同之2個感測器像素111(光電二極體PD)例如，如圖16所示亦沿著右斜上方向排列。
分配給單色感測器像素群Pb之2根像素驅動線ctlS中，一像素驅動線ctlS連接於單色感測器像素群Pb之左上方之感測器像素111，另一像素驅動線ctlS連接於單色感測器像素群Pb之右下方之感測器像素111。分配給單色感測器像素群Pb之2根像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群Pb之左下方之感測器像素111，另一像素驅動線ctlM連接於單色感測器像素群Pb之右上方之感測器像素111。
此時，像素陣列部110於與各單色感測器像素群Pb之上段對應之部位，具有像素驅動線ctlM及像素驅動線ctlS。又，像素陣列部110於與各單色感測器像素群Pb之下段對應之部位，具有像素驅動線ctlM及像素驅動線ctlS。此處，包含在配置於單色感測器像素群Pb之右鄰或左鄰之單色感測器像素群Ph之上段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”之情形時，像素陣列部110於與各單色感測器像素群Pb之上段對應之部位，進而具有像素驅動線ctlL。又，包含在配置於單色感測器像素群Pb之右鄰或左鄰之單色感測器像素群Ph之下段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”之情形時，像素陣列部110於與各單色感測器像素群Pb之下段對應之部位，進而具有像素驅動線ctlL。
又，於各單色感測器像素群Pa中，2個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”，剩餘2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。換言之，系統控制電路124以使單色感測器像素群Pa中，2個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。又，於各單色感測器像素群Pa中，曝光時間設定為“長(Long)”之2個感測器像素111(光電二極體PD)例如，如圖16所示沿著右斜下方向排列。即，於各單色感測器像素群Pa中，曝光時間彼此相同之2個感測器像素111(光電二極體PD)例如，如圖16所示沿著右斜下方向排列。又，於各單色感測器像素群Pa中，曝光時間設定為“中(Middle)”之2個感測器像素111(光電 二極體PD)例如，如圖16所示沿著右斜上方向排列。即，於各單色感測器像素群Pa中，曝光時間彼此相同之2個感測器像素111(光電二極體PD)例如，如圖16所示亦沿著右斜上方向排列。
分配給單色感測器像素群Pa之2根像素驅動線ctlL中，一像素驅動線ctlL連接於單色感測器像素群Pa之左上方之感測器像素111，另一像素驅動線ctlL連接於單色感測器像素群Pa之右下方之感測器像素111。分配給單色感測器像素群Pa之2根像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群Pa之左下方之感測器像素111，另一像素驅動線ctlM連接於單色感測器像素群Pa之右上方之感測器像素111。
此時，像素陣列部110於與各單色感測器像素群Pa之上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。又，像素陣列部110於與各單色感測器像素群Pa之下段對應之部位，具有像素驅動線ctlM及像素驅動線ctlL。此處，包含在配置於單色感測器像素群Pa之右鄰或左鄰之單色感測器像素群Ph之下段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”之情形時，像素陣列部110於與各單色感測器像素群Pa之下段對應之部位，進而具有像素驅動線ctlS。又，包含在配置於單色感測器像素群Pa之右鄰或左鄰之單色感測器像素群Ph之上段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”之情形時，像素陣列部110於與各單色感測器像素群Pa之上段對應之部位，進而具有像素驅動線ctlS。
於本變化例中，圖像資料Ia中包含與像素陣列部110之X列×Y行感測器像素111對應之X列×Y行像素資料Sig。X列×Y行像素資料Sig中與單色感測器像素群Ph對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。又，X列×Y行像素資料Sig中與單色感測器像素群Pa對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之2個感測器像素111對應之2個像素資料Sig2。又，X列×Y行之像素資料Sig中與單色感測器像素群Pb對應之2列×2行之像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、及與曝光時間設定為“長(Long)”之2個感測器像素111對應之2個像素資料Sig3。
其次，對本變化例中之運算電路20進行說明。
圖17表示本變化例中之運算電路20之信號處理順序之一例。運算電路20基於由攝像元件10獲得之圖像資料Ia產生HDR圖像資料Ib。運算電路20首先將圖像資料Ia按曝光時間進行分解(步驟S401)。具體而言，運算電路20將圖像資料Ia分解成曝光時間為“中(Middle)”之資料(圖像資料Im)、曝光時間為“長(Long)”之資料(圖像資料Il)、及曝光時間為“短(Short)”之資料(圖像資料Is)。
其次，運算電路20基於圖像資料Im產生相位差資料Pd21(步驟S402)。具體而言，運算電路20於圖像資料Im中，導出與各單色感測器像素群Pa、Pb對應之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第1方向(右斜上方向)之相位差資料Pd21。又，基於圖像資料Is產生相位差資料Pd22(步驟S402)。具體而言，運算電路20於圖像資料Is中，導出與各單色感測器像素群Pa對應之2個像素資料Sig2之差量值，根據所導出之差量值，產生受光面110A上之第2方向(右斜下方向)之相位差資料Pd22。又，基於圖像資料Il產生相位差資料Pd23(步驟S402)。具體而言，運算電路20於圖像資料Il中，導出與各單色感測器像素群Pb對應之2個像素資料Sig3之差量值，根據所導出之差量值，產生受光面110A上之第2方向(右斜下方向)之相位差資料Pd23。
又，運算電路20基於圖像資料Il、Im產生相位差資料Pd24(步驟S402)。具體而言，運算電路20導出藉由使圖像資料Il、圖像資料Im乘以曝光時間“長(Long)”與曝光時間“中(Middle)”之曝光時間比而獲得之與圖像資料Im'之差量值，根據所導出之差量值產生相位差資料Pd24。又，運算電路20基於圖像資料Im、Is產生相位差資料Pd25(步驟S402)。具體而言，運算電路20導出圖像資料Im、圖像資料Is乘以曝光時間“中(Middle)”與曝光時間“短(Short)”之曝光時間比所得之與圖像資料Is'之差量值，根據所導出之差量值產生相位差資料Pd25。
其次，運算電路20基於相位差資料Pd21、Pd22、Pd23，產生關於相位差之位準資料Da(步驟S403)。位準資料Da例如為由下限值(例如0位元) 至上限值(例如128位元)之範圍內之值表示之資料。運算電路20例如於相位差資料Pd21、Pd22、Pd23中，將低於特定範圍之數值轉換成下限值(例如0位元)。運算電路20例如於相位差資料Pd21、Pd22、Pd23中，將高於特定範圍之數值轉換成上限值(例如128位元)。運算電路20例如於相位差資料Pd21、Pd22、Pd23中，將處於特定範圍內之數值轉換成與該數值之大小相應之1位元至127位元之範圍內之值。
其次，運算電路20將相位差資料Pd24、Pd25轉換成關於動體之位準資料Db(步驟S404)。位準資料Db例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。具體而言，運算電路20基於關於攝像元件10之雜訊位準之資料(雜訊資料)、及相位差資料Pd24、Pd25，產生位準資料Db。
其次，運算電路20根據所獲得之位準資料Da檢測相位差較大之部位(步驟S405)。進而，運算電路20根據所獲得之位準資料Db檢測動體之有無(步驟S406)。最後，運算電路20根據圖像資料Im、Il、Is、及相位差之有無、動體之有無，產生HDR圖像資料Ib(步驟S407)。如此，產生HDR圖像資料Ib。
於本變化例中，攝像元件10以自與單色感測器像素群P1對應之2列×2行像素資料Sig獲得兩個方向之相位差資料之方式構成。藉此，能於兩個方向上判別相位差之有無、動體之有無。
[[變化例D]]
於上述實施形態及其變化例中，像素陣列部110以自與單色感測器像素群P1對應之2列×2行像素資料Sig獲得一個方向之1個相位差資料之方式構成。但於上述實施形態及其變化例中，像素陣列部110亦能以自與單色感測器像素群P1對應之2列×2行像素資料Sig獲得一個方向之2個相位差資料之方式構成。
圖18係表示本變化例之像素陣列部110之構成例者。於本變化例中，像素陣列部110以自各三色感測器像素群P2獲得上下方向及左右方向之相位差資料之方式構成。此時，於各三色感測器像素群P2中，與彩色濾光片CFr、CFb對應之單色感測器像素群P1(單色感測器像素群Ph)之構成與上述實施形態之單色感測器像素群P1相同。於各三色感測器像素群P2中，與各彩色濾光片CFg對應之單色感測器像素群P1(單色感測器像素群Pa、Pb)之構成與上述實施形態之單色感測器像素群P1不同。
具體而言，於各單色感測器像素群Pb中，2個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”，剩餘2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。換言之，系統控制電路124以使單色感測器像素群Pb中，2個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。又，於各單色感測器像素群Pb中，曝光時間設定為“短(Short)”之2個感測器像素111(光電二極體PD)例如，如圖18所示配置於上段，且沿著左右 方向排列。即，於各單色感測器像素群Pb中，曝光時間彼此相同之2個感測器像素111(光電二極體PD)例如，如圖18所示配置於上段，且沿著左右方向排列。又，於各單色感測器像素群Pb中，曝光時間設定為“中(Middle)”之2個感測器像素111(光電二極體PD)例如，如圖18所示配置於下段，且沿著左右方向排列。即，於各單色感測器像素群Pb中，曝光時間彼此相同之2個感測器像素111(光電二極體PD)例如，如圖18所示配置於下段，且沿著左右方向排列。
分配給單色感測器像素群Pb之2根像素驅動線ctlS中，一像素驅動線ctlS連接於單色感測器像素群Pb之左上方之感測器像素111，另一像素驅動線ctlS連接於單色感測器像素群Pb之右上方之感測器像素111。分配給單色感測器像素群Pb之2根像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群Pb之左下方之感測器像素111，另一像素驅動線ctlM連接於單色感測器像素群Pb之右下方之感測器像素111。
此時，像素陣列部110於與各單色感測器像素群Pb之上段對應之部位，具有2根像素驅動線ctlS，於與各單色感測器像素群Pb之下段對應之部位，具有2根像素驅動線ctlM。此處，包含在配置於單色感測器像素群Pb之右鄰或左鄰之單色感測器像素群Ph之上段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”之情形時，像素陣列部110於與各單色感測器像素群Pb之上段對應之部位，進而具有像素驅動線ctlL。又，包含在配置於單色感測器像素群Pb之右鄰或左鄰之單色感測器像素群Ph之下段內之1個感測器像素111(光電二極體PD)之曝光時間設定 為“長(Long)”之情形時，像素陣列部110於與各單色感測器像素群Pb之下段對應之部位，進而具有像素驅動線ctlL。
再者，於各單色感測器像素群Pb中，亦可將下段之2個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”，將上段之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。
又，於各單色感測器像素群Pa中，2個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”，剩餘2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。換言之，系統控制電路124以使單色感測器像素群Pa中，2個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。又，於各單色感測器像素群Pa中，曝光時間設定為“長(Long)”之2個感測器像素111(光電二極體PD)例如，如圖18所示配置於左側，且沿著上下方向排列。即，於各單色感測器像素群Pa中，曝光時間彼此相同之2個感測器像素111(光電二極體PD)例如，如圖18所示配置於左側，且沿著上下方向排列。又，於各單色感測器像素群Pa中，曝光時間設定為“中(Middle)”之2個感測器像素111(光電二極體PD)例如，如圖18所示配置於右側，且沿著上下方向排列。即，於各單色感測器像素群Pa中，曝光時間彼此相同之2個感測器像素111(光電二極體PD)例如，如圖18所示配置於右側，且沿著上下方向排列。
此時，像素陣列部110於與各單色感測器像素群Pa之上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。又，像素陣列部110於與各單色感測器像素群Pa之下段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。此處，包含在配置於單色感測器像素群Pa之右鄰或左鄰之單色感測器像素群Ph之下段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”之情形時，像素陣列部110於與各單色感測器像素群Pa之下段對應之部位，進而具有像素驅動線ctlS。又，包含在配置於單色感測器像素群Pa之右鄰或左鄰之單色感測器像素群Ph之上段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”之情形時，像素陣列部110於與各單色感測器像素群Pa之上段對應之部位，進而具有像素驅動線ctlS。
再者，於各單色感測器像素群Pa中，亦可將右側之2個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”，將左側之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。
於本變化例中，圖像資料Ia中包含與像素陣列部110之X列×Y行感測器像素111對應之X列×Y行像素資料Sig。X列×Y行像素資料Sig中與單色感測器像素群Ph對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。又，X列×Y行像素資料Sig中與單色感測器像素群Pa對應之2列×2行像素 資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之2個感測器像素111對應之1個像素資料Sig2。又，X列×Y行像素資料Sig中與單色感測器像素群Pb對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“長(Long)”之2個感測器像素111對應之1個像素資料Sig3。
其次，對本變化例中之運算電路20進行說明。
圖19表示本變化例中之運算電路20中之信號處理順序之一例。運算電路20基於由攝像元件10獲得之圖像資料Ia產生HDR圖像資料Ib。運算電路20首先將圖像資料Ia按曝光時間分解(步驟S501)。具體而言，運算電路20將圖像資料Ia分解成曝光時間為“中(Middle)”之資料(圖像資料Im)、曝光時間為“長(Long)”之資料(圖像資料Il)、曝光時間為“短(Short)”之資料(圖像資料Is)。
其次，運算電路20基於圖像資料Im產生相位差資料Pd31、Pd32(步驟S502)。具體而言，運算電路20於圖像資料Im中，導出與各單色感測器像素群Pa對應之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第1方向(左右方向)之相位差資料Pd31。又，運算電路20於圖像資料Im中，導出與各單色感測器像素群Pb對應之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第2方向(上下方向)之相位差資料Pd32。
又，運算電路20基於圖像資料Is產生相位差資料Pd33(步驟S502)。具體而言，運算電路20於圖像資料Is中，導出與各單色感測器像素群Pa對應之2個像素資料Sig2之差量值，根據所導出之差量值，產生受光面110A上之第1方向(左右方向)之相位差資料Pd33。又，基於圖像資料Il產生相位差資料Pd34(步驟S502)。具體而言，運算電路20於圖像資料Il中，導出與各單色感測器像素群Pb對應之2個像素資料Sig3之差量值，根據所導出之差量值，產生受光面110A上之第2方向(上下方向)之相位差資料Pd34。
又，運算電路20基於圖像資料Il、Im產生相位差資料Pd35(步驟S502)。具體而言，運算電路20導出藉由使圖像資料Il、圖像資料Im乘以曝光時間“長(Long)”與曝光時間“中(Middle)”之曝光時間比而獲得之與圖像資料Im'之差量值，根據所導出之差量值產生相位差資料Pd35。又，運算電路20基於圖像資料Im、Is產生相位差資料Pd36(步驟S502)。具體而言，運算電路20導出圖像資料Im、圖像資料Is乘以曝光時間“中(Middle)”與曝光時間“短(Short)”之曝光時間比所得之與圖像資料Is'之差量值，根據所導出之差量值產生相位差資料Pd36。
其次，運算電路20基於相位差資料Pd31、Pd32、Pd33、Pd34產生關於相位差之位準資料Da(步驟S503)。位準資料Da例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。運算電路20例如於相位差資料Pd31、Pd32、Pd33、Pd34中，將低於特定範圍之數值轉換成下限值(例如0位元)。運算電路20例如於相位差資料Pd31、Pd32、 Pd33、Pd34中，將高於特定範圍之數值轉換成上限值(例如128位元)。運算電路20例如於相位差資料Pd31、Pd32、Pd33、Pd34中，將處於特定範圍內之數值轉換成與該數值之大小相應之1位元至127位元之範圍內之值。
其次，運算電路20將相位差資料Pd35、Pd36轉換成關於動體之位準資料Db(步驟S504)。位準資料Db例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。具體而言，運算電路20基於關於攝像元件10之雜訊位準之資料(雜訊資料)、及相位差資料Pd35、Pd36產生位準資料Db。
其次，運算電路20根據所獲得之位準資料Da檢測相位差較大之部位(步驟S505)。進而，運算電路20根據所獲得之位準資料Db檢測動體之有無(步驟S506)。最後，運算電路20根據圖像資料Im、Il、Is、及相位差之有無、動體之有無，產生HDR圖像資料Ib(步驟S507)。如此，產生HDR圖像資料Ib。
於本變化例中，像素陣列部110以自與單色感測器像素群Pa對應之2列×2行像素資料Sig獲得第1方向之2個相位差資料之方式構成，且以自與單色感測器像素群Pb對應之2列×2行像素資料Sig獲得第2方向之2個相位差資料之方式構成。藉此，能於兩個方向上判別相位差之有無、動體之有無。
[[變化例E]]
於上述變化例B中，像素陣列部110以自與各三色感測器像素群P3對應之8列×8行像素資料Sig獲得四個方向之相位差資料之方式構成。但於上述實施形態中，像素陣列部110亦能以自與各三色感測器像素群P3中之1個單色感測器像素群Pa對應之2列×2行像素資料Sig獲得四個方向之相位差資料之方式構成。
圖20係表示本變化例之像素陣列部110之構成例者。於本變化例中，像素陣列部110以自與各三色感測器像素群P3中之1個單色感測器像素群P1(以下，稱為「單色感測器像素群Pi」)對應之2列×2行像素資料Sig獲得右斜上方向、右斜下方向、左右方向及上下方向之相位差資料之方式構成。單色感測器像素群Pi係與彩色濾光片CFg對應之單色感測器像素群P1。此時，於各三色感測器像素群P3中，除單色感測器像素群Pi以外之各單色感測器像素群P1之構成與上述實施形態之單色感測器像素群P1相同。另一方面，各單色感測器像素群Pi之構成與上述實施形態之單色感測器像素群P1不同。具體而言，於各單色感測器像素群Pi中，4個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。換言之，系統控制電路124於包含在各三色感測器像素群P3內之單色感測器像素群Pi中，以使各感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
分配給單色感測器像素群Pi之2根像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群Pi之上段之2個感測器像素111，另一像素驅 動線ctlM連接於單色感測器像素群Pi之下段之2個感測器像素111。
此處，包含在配置於單色感測器像素群Pi之右鄰或左鄰之單色感測器像素群P1之上段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”之情形時，像素陣列部110於與各單色感測器像素群Pi之上段對應之部位，進而具有像素驅動線ctlL。又，包含在配置於單色感測器像素群Pi之右鄰或左鄰之單色感測器像素群P1之上段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”之情形時，像素陣列部110於與各單色感測器像素群Pi之上段對應之部位，進而具有像素驅動線ctlS。又，包含在配置於單色感測器像素群Pi之右鄰或左鄰之單色感測器像素群P1之下段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”之情形時，像素陣列部110於與各單色感測器像素群Pi之下段對應之部位，進而具有像素驅動線ctlS。又，包含在配置於單色感測器像素群Pi之右鄰或左鄰之單色感測器像素群P1之下段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”之情形時，像素陣列部110於與各單色感測器像素群Pi之下段對應之部位，進而具有像素驅動線ctlL。
於本變化例中，圖像資料Ia中包含與像素陣列部110之X列×Y行感測器像素111對應之X列×Y行像素資料Sig。X列×Y行像素資料Sig中與除單色感測器像素群Pd以外之各單色感測器像素群P1對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應 之1個像素資料Sig2、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。又，X列×Y行像素資料Sig中與單色感測器像素群Pd對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之4個感測器像素111對應之4個像素資料Sig1。
其次，對本變化例中之運算電路20進行說明。
圖21表示本變化例中之運算電路20中之信號處理順序之一例。運算電路20基於由攝像元件10獲得之圖像資料Ia產生HDR圖像資料Ib。運算電路20首先將圖像資料Ia按曝光時間分解(步驟S601)。具體而言，運算電路20將圖像資料Ia分解成曝光時間為“中(Middle)”之資料(圖像資料Im)、曝光時間為“長(Long)”之資料(圖像資料Il)、曝光時間為“短(Short)”之資料(圖像資料Is)。
其次，運算電路20基於圖像資料Im產生相位差資料Pd41、Pd42、Pd43、Pd44(步驟S602)。具體而言，運算電路20於圖像資料Im中，導出與各單色感測器像素群Pi對應且沿著右斜上方向排列之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第1方向(右斜上方向)之相位差資料Pd41。又，運算電路20於圖像資料Im中，導出與各單色感測器像素群Pi對應且沿著右斜下方向排列之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第2方向(右斜下方向)之相位差資料Pd42。
運算電路20於圖像資料Im中，導出與各單色感測器像素群Pi對應且沿著左右方向排列之上段之2個像素資料Sig1之差量值及沿著左右方向排列之下段之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第3方向(左右方向)之相位差資料Pd43。又，運算電路20於圖像資料Im中，導出與各單色感測器像素群Pi對應且沿著上下方向排列之左側之2個像素資料Sig1之差量值及沿著上下方向排列之右側之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第4方向(上下方向)之相位差資料Pd44。
又，運算電路20基於圖像資料Il、Im產生相位差資料Pd45(步驟S602)。具體而言，運算電路20導出藉由使圖像資料Il、圖像資料Im乘以曝光時間“長(Long)”與曝光時間“中(Middle)”之曝光時間比而獲得之與圖像資料Im'之差量值，根據所導出之差量值產生相位差資料Pd45。又，運算電路20基於圖像資料Im、Is產生相位差資料Pd46(步驟S602)。具體而言，運算電路20導出圖像資料Im、圖像資料Is乘以曝光時間“中(Middle)”與曝光時間“短(Short)”之曝光時間比所得之與圖像資料Is'之差量值，根據所導出之差量值產生相位差資料Pd46。
其次，運算電路20基於相位差資料Pd41、Pd42、Pd43、Pd44產生關於相位差之位準資料Da(步驟S603)。位準資料Da例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。運算電路20例如於相位差資料Pd41、Pd42、Pd43、Pd44中，將低於特定範圍之數值轉換成下限值(例如0位元)。運算電路20例如於相位差資料Pd41、Pd42、 Pd43、Pd44中，將高於特定範圍之數值轉換成上限值(例如128位元)。運算電路20例如於相位差資料Pd41、Pd42、Pd43、Pd44中，將處於特定範圍內之數值轉換成與該數值之大小相應之1位元至127位元之範圍內之值。
其次，運算電路20將相位差資料Pd45、Pd46轉換成關於動體之位準資料Db(步驟S604)。位準資料Db例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。具體而言，運算電路20基於關於攝像元件10之雜訊位準之資料(雜訊資料)、及相位差資料Pd45、Pd46產生位準資料Db。
其次，運算電路20根據所獲得之位準資料Da檢測相位差較大之部位(步驟S605)。進而，運算電路20根據所獲得之位準資料Db檢測動體之有無(步驟S606)。最後，運算電路20根據圖像資料Im、Il、Is、及相位差之有無、動體之有無，產生HDR圖像資料Ib(步驟S607)。如此，產生HDR圖像資料Ib。
於本變化例中，像素陣列部110以自與各三色感測器像素群P3中之1個單色感測器像素群Pa對應之2列×2行像素資料Sig獲得四個方向之相位差資料之方式構成。藉此，能於四個方向上判別相位差之有無、動體之有無。
[[變化例F]]
於上述變化例E中，像素陣列部110以自與各三色感測器像素群P3中之1個單色感測器像素群Pa對應之2列×2行像素資料Sig獲得四個方向之相位差資料之方式構成。但於上述變化例E中，像素陣列部110亦能以自與各三色感測器像素群P3中之1個三色感測器像素群P2對應之4列×4行像素資料Sig獲得四個方向之相位差資料之方式構成。
圖22係表示本變化例之像素陣列部110之構成例者。於本變化例中，像素陣列部110以自與各三色感測器像素群P3中之1個三色感測器像素群P2(以下，稱為「三色感測器像素群Pj」)對應之4列×4行像素資料Sig獲得右斜上方向、右斜下方向、左右方向及上下方向之相位差資料之方式構成。於各三色感測器像素群P3中，包含在除三色感測器像素群Pj以外之各三色感測器像素群P2內之各單色感測器像素群P1之構成與上述實施形態之單色感測器像素群P1相同。另一方面，各三色感測器像素群Pj之構成與上述實施形態之三色感測器像素群P2不同。具體而言，於各三色感測器像素群Pj之各單色感測器像素群P1中，4個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。換言之，系統控制電路124於包含在各三色感測器像素群P3內之三色感測器像素群Pj之各單色感測器像素群P1中，以使各感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
分配給三色感測器像素群Pj之上段之單色感測器像素群P1之2根像素驅動線ctlM中，一像素驅動線ctlM連接於單色感測器像素群P1之上段之2個感測器像素111，另一像素驅動線ctlM連接於單色感測器像素群P1之下 段之2個感測器像素111。
此處，包含在配置於三色感測器像素群Pj之上段之右鄰或左鄰的單色感測器像素群P1之上段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”之情形時，像素陣列部110於與各三色感測器像素群Pj之上段之單色感測器像素群P1的上段之感測器像素111(光電二極體PD)對應之部位，進而具有像素驅動線ctlL。又，包含在配置於三色感測器像素群Pj之上段之右鄰或左鄰的單色感測器像素群P1之上段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”之情形時，像素陣列部110於與各三色感測器像素群Pj之上段之單色感測器像素群P1的上段之感測器像素111(光電二極體PD)對應之部位，進而具有像素驅動線ctlS。
又，包含在配置於三色感測器像素群Pj之上段之右鄰或左鄰的單色感測器像素群P1之下段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”之情形時，像素陣列部110於與各三色感測器像素群Pj之上段之單色感測器像素群P1的下段之感測器像素111(光電二極體PD)對應之部位，進而具有像素驅動線ctlL。又，包含在配置於三色感測器像素群Pj之上段之右鄰或左鄰的單色感測器像素群P1之下段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”之情形時，像素陣列部110於與各三色感測器像素群Pj之上段之單色感測器像素群P1的下段之感測器像素111(光電二極體PD)對應之部位，進而具有像素驅動線ctlS。
又，包含在配置於三色感測器像素群Pj之下段之右鄰或左鄰的單色感測器像素群P1之上段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”之情形時，像素陣列部110於與各三色感測器像素群Pj之下段之單色感測器像素群P1的上段之感測器像素111(光電二極體PD)對應之部位，進而具有像素驅動線ctlL。又，包含在配置於三色感測器像素群Pj之下段之右鄰或左鄰的單色感測器像素群P1之上段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”之情形時，像素陣列部110於與各三色感測器像素群Pj之下段之單色感測器像素群P1的上段之感測器像素111(光電二極體PD)對應之部位，進而具有像素驅動線ctlS。
又，包含在配置於三色感測器像素群Pj之下段之右鄰或左鄰的單色感測器像素群P1之下段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”之情形時，像素陣列部110於與各三色感測器像素群Pj之下段之單色感測器像素群P1的下段之感測器像素111(光電二極體PD)對應之部位，進而具有像素驅動線ctlL。又，包含在配置於三色感測器像素群Pj之下段之右鄰或左鄰的單色感測器像素群P1之下段內之1個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”之情形時，像素陣列部110於與各三色感測器像素群Pj之上段之單色感測器像素群P1的下段之感測器像素111(光電二極體PD)對應之部位，進而具有像素驅動線ctlS。
於本變化例中，圖像資料Ia中包含與像素陣列部110之X列×Y行感測器像素111對應之X列×Y行像素資料Sig。X列×Y行像素資料Sig中與包含在除三色感測器像素群Pe以外之各三色感測器像素群P2內之各單色感測器像素群P1對應之4列×4行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。又，X列×Y行像素資料Sig中與包含在三色感測器像素群Pe內之各單色感測器像素群P1對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之4個感測器像素111對應之4個像素資料Sig1。
其次，對本變化例中之運算電路20進行說明。
圖23表示本變化例中之運算電路20中之信號處理順序之一例。運算電路20基於由攝像元件10獲得之圖像資料Ia產生HDR圖像資料Ib。運算電路20首先將圖像資料Ia按曝光時間分解(步驟S701)。具體而言，運算電路20將圖像資料Ia分解成曝光時間為“中(Middle)”之資料(圖像資料Im)、曝光時間為“長(Long)”之資料(圖像資料Il)、曝光時間為“短(Short)”之資料(圖像資料Is)。
其次，運算電路20基於圖像資料Im產生相位差資料Pd51、Pd52、Pd53、Pd54(步驟S702)。具體而言，運算電路20於圖像資料Im中，導出與包含在三色感測器像素群Pe內之各單色感測器像素群P1對應且沿著右 斜上方向排列之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第1方向(右斜上方向)之相位差資料Pd51。又，運算電路20於圖像資料Im中，導出與包含在三色感測器像素群Pe內之各單色感測器像素群P1對應且沿著右斜下方向排列之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第2方向(右斜下方向)之相位差資料Pd52。
又，運算電路20於圖像資料Im中，導出與包含在三色感測器像素群Pe內之各單色感測器像素群P1對應且沿著左右方向排列之上段之2個像素資料Sig1之差量值及沿著左右方向排列之下段之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第3方向(左右方向)之相位差資料Pd53。又，運算電路20於圖像資料Im中，導出與包含在三色感測器像素群Pe內之各單色感測器像素群P1對應且沿著上下方向排列之左側之2個像素資料Sig1之差量值及沿著上下方向排列之右側之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第4方向(上下方向)之相位差資料Pd54。
又，運算電路20基於圖像資料Il、Im產生相位差資料Pd55(步驟S702)。具體而言，運算電路20導出藉由使圖像資料Il、圖像資料Im乘以曝光時間“長(Long)”與曝光時間“中(Middle)”之曝光時間比而獲得之與圖像資料Im'之差量值，根據所導出之差量值產生相位差資料Pd55。又，運算電路20基於圖像資料Im、Is產生相位差資料Pd56(步驟S702)。具體而言，運算電路20導出圖像資料Im、圖像資料Is乘以曝光時間“中 (Middle)”與曝光時間“短(Short)”之曝光時間比所得之與圖像資料Is'之差量值，根據所導出之差量值產生相位差資料Pd56。
其次，運算電路20基於相位差資料Pd51、Pd52、Pd53、Pd54產生關於相位差之位準資料Da(步驟S703)。位準資料Da例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。運算電路20例如於相位差資料Pd51、Pd52、Pd53、Pd54中，將低於特定範圍之數值轉換成下限值(例如0位元)。運算電路20例如於相位差資料Pd51、Pd52、Pd53、Pd54中，將高於特定範圍之數值轉換成上限值(例如128位元)。運算電路20例如於相位差資料Pd51、Pd52、Pd53、Pd54中，將處於特定範圍內之數值轉換成與該數值之大小相應之1位元至127位元之範圍內之值。
其次，運算電路20將相位差資料Pd55，Pd56轉換成關於動體之位準資料Db(步驟S704)。位準資料Db例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。具體而言，運算電路20基於關於攝像元件10之雜訊位準之資料(雜訊資料)、及相位差資料Pd55、Pd56產生位準資料Db。
其次，運算電路20根據所獲得之位準資料Da檢測相位差較大之部位(步驟S705)。進而，運算電路20根據所獲得之位準資料Db檢測動體之有無(步驟S706)。最後，運算電路20根據圖像資料Im、Il、Is、及相位差之有無、動體之有無，產生HDR圖像資料Ib(步驟S707)。如此，產生HDR 圖像資料Ib。
於本變化例中，像素陣列部110以自與各三色感測器像素群P3中之1個三色感測器像素群P2對應之4列×4行像素資料Sig獲得四個方向之相位差資料之方式構成。藉此，能於四個方向上判別相位差之有無、動體之有無。
[[變化例G]]
於上述變化例F中，像素陣列部110以自與各三色感測器像素群P3中之1個三色感測器像素群P2對應之4列×4行像素資料Sig獲得四個方向之相位差資料之方式構成。但於上述變化例F中，像素陣列部110亦能以自與各單色感測器像素群P1對應之2列×2行像素資料Sig獲得四個方向之相位差資料之方式構成。
圖24係表示本變化例之像素陣列部110之構成例者。圖25係表示圖24之像素陣列部110之配線佈局之一例者。圖26係表示藉由圖24之像素陣列部110所能檢測出之相位差的方向之一例者。
於本變化例中，像素陣列部110例如以每n個圖框(n為2以上之整數)地自各單色感測器像素群P1獲得右斜上方向、上下方向及左右方向之相位差資料之方式構成。此時，於各單色感測器像素群P1中，4個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。換言之，系統控制電路124於各單色感測器像素群P1中，以使各感測器像素111(光電二極 體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
於本變化例中，進而，像素陣列部110例如以於n×k個圖框(n為2以上之整數，k為1以上之整數)以外之各圖框中，獲得包含3種曝光時間之像素資料之圖像資料Ia之方式構成。進而，像素陣列部110例如，如圖27所示，於n×k個圖框(n為2以上之整數，k為1以上之整數)以外之各圖框中，其構成與上述實施形態之像素陣列部110相同。此時，於各單色感測器像素群P1中，2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”，剩餘2個感測器像素111(光電二極體PD)中，一者之曝光時間設定為“短(Short)”，剩餘一者之曝光時間設定為“長(Long)”。
此時，像素陣列部110例如，如圖25、圖28所示，於與各單色感測器像素群P1之上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。又，像素陣列部110於與各單色感測器像素群P1之下段對應之部位，具有像素驅動線ctlM及像素驅動線ctlS。
再者，於本變化例中，系統控制電路124於獲得每n個圖框之圖像資料Ia時，使用設置於與各單色感測器像素群P1之上段對應之部位之像素驅動線ctlL及像素驅動線ctlM，以進行將各單色感測器像素群P1之上段之感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”之曝光控制。又，於本變化例中，系統控制電路124於獲得每n個圖框之圖像資料Ia時，使用設置於與各單色感測器像素群P1之下段對應之部位之像素驅動線 ctlM及像素驅動線ctlS，以進行將各單色感測器像素群P1之下段之感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”之曝光控制。
於本變化例中，每n個圖框地獲得之圖像資料Ia1中包含與像素陣列部110之X列×Y行感測器像素111對應之X列×Y行像素資料Sig。X列×Y行像素資料Sig中與各單色感測器像素群P1對應之4列×4行像素資料Sig包含：與曝光時間設定為“中(Middle)”之4個感測器像素111對應之4個像素資料Sig1。
進而，於本變化例中，n×k個圖框(n為2以上之整數，k為1以上之整數)以外之各圖框中所獲得之圖像資料Ia2包含與像素陣列部110之X列×Y行感測器像素111對應之X列×Y行像素資料Sig。X列×Y行像素資料Sig中與各單色感測器像素群P1對應之4列×4行像素資料Sig例如包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。
其次，對本變化例中之運算電路20進行說明。
圖29表示本變化例中之運算電路20中之信號處理順序之一例。運算電路20基於由攝像元件10獲得之圖像資料Ia1、Ia2產生HDR圖像資料Ib。運算電路20首先將所獲得之圖像資料Ia2按曝光時間分解(步驟S801)。具 體而言，運算電路20將圖像資料Ia2分解成曝光時間為“中(Middle)”之資料(圖像資料Im2)、曝光時間為“長(Long)”之資料(圖像資料Il2)、曝光時間為“短(Short)”之資料(圖像資料Is2)。繼而，運算電路20將所獲得之圖像資料Ia1按曝光時間分解(步驟S801)。具體而言，運算電路20將圖像資料Ia1分解成曝光時間為“中(Middle)”之資料(圖像資料Im1)、曝光時間為“長(Long)”之資料(圖像資料Il1)、曝光時間為“短(Short)”之資料(圖像資料Is1)。
其次，運算電路20基於圖像資料Im1產生相位差資料Pd61、Pd62、Pd63、Pd64(步驟S802)。具體而言，運算電路20於圖像資料Im1中，導出與各單色感測器像素群P1對應且沿著右斜上方向排列之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第1方向(右斜上方向)之相位差資料Pd61。又，運算電路20於圖像資料Im1中，導出與各單色感測器像素群P1對應且沿著右斜下方向排列之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第2方向(右斜下方向)之相位差資料Pd62。
又，運算電路20於圖像資料Im1中，導出與各單色感測器像素群P1對應且沿著左右方向排列之上段之2個像素資料Sig1之差量值及沿著左右方向排列之下段之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第3方向(左右方向)之相位差資料Pd63。又，運算電路20於圖像資料Im1中，導出與各單色感測器像素群P1對應且沿著上下方向排列之左側之2個像素資料Sig1之差量值及沿著上下方向排列之右側之2個 像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第4方向(上下方向)之相位差資料Pd64。
又，運算電路20基於圖像資料Il1、Im1產生相位差資料Pd65(步驟S802)。具體而言，運算電路20導出藉由使圖像資料Il1、圖像資料Im1乘以曝光時間“長(Long)”與曝光時間“中(Middle)”之曝光時間比而獲得之與圖像資料Im1'之差量值，根據所導出之差量值產生相位差資料Pd65。又，運算電路20基於圖像資料Im1、Is1產生相位差資料Pd66(步驟S802)。具體而言，運算電路20導出圖像資料Im1、圖像資料Is1乘以曝光時間“中(Middle)”與曝光時間“短(Short)”之曝光時間比所得之與圖像資料Is1'之差量值，根據所導出之差量值產生相位差資料Pd66。
其次，運算電路20基於相位差資料Pd61、Pd62、Pd63、Pd64產生關於相位差之位準資料Da(步驟S803)。位準資料Da例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。運算電路20例如於相位差資料Pd61、Pd62、Pd63、Pd64中，將低於特定範圍之數值轉換成下限值(例如0位元)。運算電路20例如於相位差資料Pd61、Pd62、Pd63、Pd64中，將高於特定範圍之數值轉換成上限值(例如128位元)。運算電路20例如於相位差資料Pd61、Pd62、Pd63、Pd64中，將處於特定範圍內之數值轉換成與該數值之大小相應之1位元至127位元之範圍內之值。
其次，運算電路20將相位差資料Pd65、Pd66轉換成關於動體之位準 資料Db(步驟S804)。位準資料Db例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。具體而言，運算電路20基於關於攝像元件10之雜訊位準之資料(雜訊資料)、及相位差資料Pd65、Pd66產生位準資料Db。
其次，運算電路20根據所獲得之位準資料Da檢測相位差較大之部位(步驟S805)。進而，運算電路20根據所獲得之位準資料Db檢測動體之有無(步驟S806)。最後，運算電路20根據圖像資料Im2、Il2、Is2、及相位差之有無、動體之有無，產生HDR圖像資料Ib(步驟S807)。如此，產生HDR圖像資料Ib。
於本變化例中，像素陣列部110例如以每n個圖框地自各單色感測器像素群P1獲得四個方向之相位差資料之方式構成。於本變化例中，進而，基於每n個圖框地獲得之圖像資料Ia1、及n×k個圖框以外之各圖框中所獲得之圖像資料Ia1，產生HDR圖像Ib。藉此，能於四個方向上判別相位差之有無、動體之有無。
[[變化例H]]
於上述變化例A、B、C、D、E中，像素陣列部110以基於單色之圖像資料獲得相位差資料之方式構成。但於上述實施形態中，像素陣列部110亦能以基於全色之圖像資料針對各色分別獲得相位差資料之方式構成。
圖30係表示本變化例之像素陣列部110之構成例者。圖31係表示圖30之像素陣列部110之配線佈局之一例者。圖32係表示藉由圖30之像素陣列部110所能檢測出之相位差的方向之一例者。
於本變化例中，像素陣列部110以自沿著列方向排列之2個三色感測器像素群P2(以下，稱為「三色感測器像素群P4」)針對各色分別獲得兩個方向之相位差資料之方式構成。具體而言，像素陣列部110以自三色感測器像素群P4針對各色分別獲得右斜上方向及右斜下方向之相位差資料之方式構成。此時，於包含在各三色感測器像素群P4內之一三色感測器圖像群P2中，各單色感測器像素群P1以獲得右斜上方向之相位差資料之方式構成。於包含在各三色感測器像素群P4內之另一三色感測器圖像群P2中，各單色感測器像素群P1以獲得右斜下方向之相位差資料之方式構成。
具體而言，於包含在各三色感測器像素群P4內之一三色感測器圖像群P2之各單色感測器像素群P1中，沿著右斜上方向排列之2個感測器像素111(光電二極體PD)之曝光時間如圖30所示設定為“中(Middle)”。又，於包含在各三色感測器像素群P4內之一三色感測器圖像群P2之各單色感測器像素群P1中，右下方之感測器像素111(光電二極體PD)之曝光時間如圖30所示設定為“短(Short)”。又，於包含在各三色感測器像素群P4內之一三色感測器圖像群P2之各單色感測器像素群P1中，左上方之感測器像素111(光電二極體PD)之曝光時間如圖30所示設定為“長(Long)”。換言之，系統控制電路124以使包含在各三色感測器像素群P4內之一三色感測器圖像群P2之各單色感測器像素群P1中，2個感測器像素111(光電二極 體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
於包含在各三色感測器像素群P4內之另一三色感測器圖像群P2之各單色感測器像素群P1中，沿著右斜下方向排列之2個感測器像素111(光電二極體PD)之曝光時間如圖30所示設定為“中(Middle)”。又，於包含在各三色感測器像素群P4內之另一三色感測器圖像群P2之各單色感測器像素群P1中，左下方之感測器像素111(光電二極體PD)之曝光時間如圖30所示設定為“短(Short)”。又，於包含在各三色感測器像素群P4內之另一三色感測器圖像群P2之各單色感測器像素群P1中，右上方之感測器像素111(光電二極體PD)之曝光時間如圖30所示設定為“長(Long)”。換言之，系統控制電路124以使包含在各三色感測器像素群P4內之另一三色感測器圖像群P2之各單色感測器像素群P1中，2個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
此時，素陣列部110於與包含在各三色感測器像素群P4內之各單色感測器像素群P1之上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。又，像素陣列部110於與包含在各三色感測器像素群P4內之各單色感測器像素群P1之下段對應之部位，具有像素驅動線ctlM及像素驅動線ctlS。
於本變化例中，圖像資料Ia中包含與像素陣列部110之X列×Y行感測器像素111對應之X列×Y行像素資料Sig。X列×Y行像素資料Sig中與各單色感測器像素群P1對應之4列×4行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。
其次，對本變化例中之運算電路20進行說明。
圖33表示本變化例中之運算電路20中之信號處理順序之一例。運算電路20基於由攝像元件10獲得之圖像資料Ia產生HDR圖像資料Ib。運算電路20首先將圖像資料Ia按曝光時間分解(步驟S901)。具體而言，運算電路20將圖像資料Ia分解成曝光時間為“中(Middle)”之資料(圖像資料Im)、曝光時間為“長(Long)”之資料(圖像資料Il)、曝光時間為“短(Short)”之資料(圖像資料Is)。
其次，運算電路20基於圖像資料Im產生相位差資料Pd71、Pd72(步驟S902)。具體而言，運算電路20於圖像資料Im中，導出與包含在各三色感測器像素群P4內之一三色感測器圖像群P2之各單色感測器像素群P1對應之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第1方向(右斜上方向)之相位差資料Pd71。又，運算電路20於圖像資料Im中，導出包含在各三色感測器像素群P4內之另一三色感測器圖像群P2之各單色感測器像素群P1之差量值，根據所導出之差量值，產生受光 面110A上之第2方向(右斜下方向)之相位差資料Pd72。
又，運算電路20基於圖像資料Il、Im產生相位差資料Pd73(步驟S902)。具體而言，運算電路20導出藉由使圖像資料Il、圖像資料Im乘以曝光時間“長(Long)”與曝光時間“中(Middle)”之曝光時間比而獲得之與圖像資料Im'之差量值，根據所導出之差量值產生相位差資料Pd73。又，運算電路20基於圖像資料Im、Is產生相位差資料Pd74(步驟S902)。具體而言，運算電路20導出圖像資料Im、圖像資料Is乘以曝光時間“中(Middle)”與曝光時間“短(Short)”之曝光時間比所得之與圖像資料Is'之差量值，根據所導出之差量值產生相位差資料Pd74。
其次，運算電路20基於相位差資料Pd71、Pd72產生關於相位差之位準資料Da(步驟S903)。位準資料Da例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。運算電路20例如於相位差資料Pd71、Pd72中，將低於特定範圍之數值轉換成下限值(例如0位元)。運算電路20例如於相位差資料Pd71、Pd72中，將高於特定範圍之數值轉換成上限值(例如128位元)。運算電路20例如於相位差資料Pd71、Pd72中，將處於特定範圍內之數值轉換成與該數值之大小相應之1位元至127位元之範圍內之值。
其次，運算電路20將相位差資料Pd73、Pd74轉換成關於動體之位準資料Db(步驟S904)。位準資料Db例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。具體而言，運算電路20基於關 於攝像元件10之雜訊位準之資料(雜訊資料)、及相位差資料Pd73、Pd74產生位準資料Db。
其次，運算電路20根據所獲得之位準資料Da檢測相位差較大之部位(步驟S905)。進而，運算電路20根據所獲得之位準資料Db檢測動體之有無(步驟S906)。最後，運算電路20根據圖像資料Im、Il、Is、及相位差之有無、動體之有無，產生HDR圖像資料Ib(步驟S907)。如此，產生HDR圖像資料Ib。
於本變化例中，像素陣列部110以基於全色之圖像資料針對各色分別獲得相位差資料之方式構成。藉此，能針對各色分別判別相位差之有無、動體之有無。
[[變化例I]]
於上述變化例H中，像素陣列部110以針對各色分別獲得兩個方向(右斜上方向、右斜下方向)之相位差資料之方式構成。但於上述變化例H中，像素陣列部110亦能以針對各色分別獲得兩個方向(左右方向、上下方向)之相位差資料之方式構成。
圖34係表示本變化例之像素陣列部110之構成例者。圖35係表示圖34之像素陣列部110之配線佈局之一例者。圖36係表示藉由圖34之像素陣列部110所能檢測出之相位差的方向之一例者。
於本變化例中，像素陣列部110以自沿著行方向排列之2個三色感測器像素群P2(以下，稱為「三色感測器像素群P5」)針對各色分別獲得兩個方向之相位差資料之方式構成。具體而言，像素陣列部110以自三色感測器像素群P5針對各色分別獲得左右方向及上下方向之相位差資料之方式構成。此時，於包含在各三色感測器像素群P5內之一三色感測器圖像群P2中，各單色感測器像素群P1以獲得上下方向之相位差資料之方式構成。於包含在各三色感測器像素群P5內之另一三色感測器圖像群P2中，各單色感測器像素群P1以獲得左右方向之相位差資料之方式構成。
具體而言，於包含在各三色感測器像素群P5內之一三色感測器圖像群P2之各單色感測器像素群P1中，曝光時間設定為“中(Middle)”之2個感測器像素111(光電二極體PD)例如，如圖34所示配置於左側，且沿著上下方向排列。又，於包含在各三色感測器像素群P5內之一三色感測器圖像群P2之各單色感測器像素群P1中，曝光時間設定為“短(Short)”之1個感測器像素111(光電二極體PD)配置於單色感測器像素群P1之右下方。又，於包含在各三色感測器像素群P5內之一三色感測器圖像群P2之各單色感測器像素群P1中，曝光時間設定為“長(Long)”之1個感測器像素111(光電二極體PD)配置於單色感測器像素群P1之右上方。換言之，系統控制電路124以使包含在各三色感測器像素群P5內之一三色感測器圖像群P2之各單色感測器像素群P1中，3個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
於包含在各三色感測器像素群P5內之另一三色感測器圖像群P2之各單色感測器像素群P1中，上段之2個感測器像素111(光電二極體PD)之曝光時間如圖34所示設定為“中(Middle)”。又，於包含在各三色感測器像素群P5內之另一三色感測器圖像群P2之各單色感測器像素群P1中，右下方之感測器像素111(光電二極體PD)之曝光時間如圖34所示設定為“短(Short)”。又，於包含在各三色感測器像素群P5內之另一三色感測器圖像群P2之各單色感測器像素群P1中，左下方之感測器像素111(光電二極體PD)之曝光時間如圖34所示設定為“長(Long)”。換言之，系統控制電路124以使包含在各三色感測器像素群P5內之另一三色感測器圖像群P2之各單色感測器像素群P1中，3個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
此時，像素陣列部110於與包含在各三色感測器像素群P5內之一三色感測器圖像群P2之各單色感測器像素群P1之上段對應之部位，具有像素驅動線ctlM及像素驅動線ctlL。又，像素陣列部110於與包含在各三色感測器像素群P5內之一三色感測器圖像群P2之各單色感測器像素群P1之下段對應之部位，具有像素驅動線ctlM及像素驅動線ctlS。又，像素陣列部110於與包含在各三色感測器像素群P5內之另一三色感測器圖像群P2之各單色感測器像素群P1之上段對應之部位，具有2根像素驅動線ctlM。又，像素陣列部110於與包含在各三色感測器像素群P5內之另一三色感測器圖像群P2之各單色感測器像素群P1之下段對應之部位，具有像素驅動線ctlL及像素驅動線ctlS。
於本變化例中，圖像資料Ia中包含與像素陣列部110之X列×Y行感測器像素111對應之X列×Y行像素資料Sig。X列×Y行像素資料Sig中與各單色感測器像素群P1對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。
其次，對本變化例中之運算電路20進行說明。
圖37表示本變化例中之運算電路20中之信號處理順序之一例。運算電路20基於由攝像元件10獲得之圖像資料Ia產生HDR圖像資料Ib。運算電路20首先將圖像資料Ia按曝光時間分解(步驟S1001)。具體而言，運算電路20將圖像資料Ia分解成曝光時間為“中(Middle)”之資料(圖像資料Im)、曝光時間為“長(Long)”之資料(圖像資料Il)、曝光時間為“短(Short)”之資料(圖像資料Is)。
其次，運算電路20基於圖像資料Im產生相位差資料Pd81、Pd82(步驟S1002)。具體而言，運算電路20於圖像資料Im中，導出與包含在各三色感測器像素群P5內之一三色感測器圖像群P2之各單色感測器像素群P1對應之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第1方向(上下方向)之相位差資料Pd81。又，運算電路20於圖像資料Im中，導出包含在各三色感測器像素群P5內之另一三色感測器圖像 群P2之各單色感測器像素群P1之差量值，根據所導出之差量值，產生受光面110A上之第2方向(左右方向)之相位差資料Pd82。
又，運算電路20基於圖像資料Il、Im產生相位差資料Pd83(步驟S1002)。具體而言，運算電路20導出藉由使圖像資料Il、圖像資料Im乘以曝光時間“長(Long)”與曝光時間“中(Middle)”之曝光時間比而獲得之與圖像資料Im'之差量值，根據所導出之差量值產生相位差資料Pd83。又，運算電路20基於圖像資料Im、Is產生相位差資料Pd84(步驟S1002)。具體而言，運算電路20導出圖像資料Im、圖像資料Is乘以曝光時間“中(Middle)”與曝光時間“短(Short)”之曝光時間比所得之與圖像資料Is'之差量值，根據所導出之差量值產生相位差資料Pd84。
其次，運算電路20基於相位差資料Pd81、Pd82產生關於相位差之位準資料Da(步驟S1003)。位準資料Da例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。運算電路20例如於相位差資料Pd81、Pd82中，將低於特定範圍之數值轉換成下限值(例如0位元)。運算電路20例如於相位差資料Pd81、Pd82中，將高於特定範圍之數值轉換成上限值(例如128位元)。運算電路20例如於相位差資料Pd81、Pd82中，將處於特定範圍內之數值轉換成與該數值之大小相應之1位元至127位元之範圍內之值。
其次，運算電路20將相位差資料Pd83、Pd84轉換成關於動體之位準資料Db(步驟S1004)。位準資料Db例如為由下限值(例如0位元)至上限值 (例如128位元)之範圍內之值表示之資料。具體而言，運算電路20基於關於攝像元件10之雜訊位準之資料(雜訊資料)、及相位差資料Pd83、Pd84產生位準資料Db。
其次，運算電路20根據所獲得之位準資料Da檢測相位差較大之部位(步驟S1005)。進而，運算電路20根據所獲得之位準資料Db檢測動體之有無(步驟S1006)。最後，運算電路20根據圖像資料Im、Il、Is、及相位差之有無、動體之有無，產生HDR圖像資料Ib(步驟S1007)。如此，產生HDR圖像資料Ib。
於本變化例中，像素陣列部110以基於全色之圖像資料針對各色分別獲得兩個方向(左右方向、上下方向)之相位差資料之方式構成。藉此，能針對各色分別於兩個方向上判別相位差之有無、動體之有無。
[[變化例J]]
於上述變化例H、I中，像素陣列部110以針對各色分別獲得兩個方向之相位差資料之方式構成。但於上述變化例H、I中，像素陣列部110亦能以針對各色分別獲得三個方向之相位差資料之方式構成。
圖38係表示本變化例之像素陣列部110之構成例者。圖39係表示圖38之像素陣列部110之配線佈局之一例者。圖40係表示藉由圖38之像素陣列部110所能檢測出之相位差的方向之一例者。
於本變化例中，像素陣列部110以自三色感測器像素群P3針對各色分別獲得三個方向之相位差資料之方式構成。具體而言，像素陣列部110以自三色感測器像素群P3針對各色分別獲得右斜下方向、左右方向及上下方向之相位差資料之方式構成。此時，於包含在各三色感測器像素群P3內之左上方之三色感測器圖像群P2及右下方之三色感測器圖像群P2中，各單色感測器像素群P1以獲得右斜下方向之相位差資料之方式構成。又，於包含在各三色感測器像素群P3內之左下方之三色感測器圖像群P2中，各單色感測器像素群P1以獲得左右方向之相位差資料之方式構成。又，於包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中，各單色感測器像素群P1以獲得上下方向之相位差資料之方式構成。
具體而言，於包含在各三色感測器像素群P3內之左上方之三色感測器圖像群P2及右下方之三色感測器圖像群P2中之各單色感測器像素群P1中，沿著右斜下方向排列之2個感測器像素111(光電二極體PD)之曝光時間如圖38所示設定為“中(Middle)”。又，於包含在各三色感測器像素群P3內之左上方之三色感測器圖像群P2及右下方之三色感測器圖像群P2中之各單色感測器像素群P1中，右下方之感測器像素111(光電二極體PD)之曝光時間如圖38所示設定為“短(Short)”。又，於包含在各三色感測器像素群P3內之左上方之三色感測器圖像群P2及右下方之三色感測器圖像群P2中之各單色感測器像素群P1中，左上方之感測器像素111(光電二極體PD)之曝光時間如圖38所示設定為“長(Long)”。換言之，系統控制電路124以使包含在各三色感測器像素群P3內之左上方之三色感測器圖像群P2及右下方之三色感測器圖像群P2中之各單色感測器像素群P1中，3個感 測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
又，於包含在各三色感測器像素群P3內之左下方之三色感測器圖像群P2中之各單色感測器像素群P1中，沿著左右方向排列於下段之2個感測器像素111(光電二極體PD)之曝光時間如圖38所示設定為“短(Short)”。又，於包含在各三色感測器像素群P3內之左下方之三色感測器圖像群P2中之各單色感測器像素群P1中，如圖38所示，上段之一感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”，上段之另一感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。再者，於包含在各三色感測器像素群P3內之左下方之三色感測器圖像群P2中之各單色感測器像素群P1中，亦可將沿著左右方向排列於上段之2個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”。換言之，系統控制電路124以使包含在各三色感測器像素群P3內之左下方之三色感測器圖像群P2中之各單色感測器像素群P1中，3個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
又，於包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中之各單色感測器像素群P1中，沿著上下方向排列於左側之2個感測器像素111(光電二極體PD)之曝光時間如圖38所示設定為“長(Long)”。 又，於包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中之各單色感測器像素群P1中，如圖38所示，右側之一感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”，右側之另一感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”。再者，於包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中之各單色感測器像素群P1中，亦可將沿著上下方向排列於右側之2個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”。換言之，以使包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中之各單色感測器像素群P1中，3個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
此時，像素陣列部110於與包含在各三色感測器像素群P3內之最上段及上起第2段之各單色感測器像素群P1的上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。又，像素陣列部110於與包含在各三色感測器像素群P3內之最上段及上起第2段之各單色感測器像素群P1的下段對應之部位，具有像素驅動線ctlL、像素驅動線ctlM及像素驅動線ctlS。又，像素陣列部110於與包含在各三色感測器像素群P3內之上起第3段及最下段之各單色感測器像素群P1的上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。又，像素陣列部110於與包含在各三色感測器像素群P3內之上起第3段及最下段之各單色感測器像素群P1的下段對應之部位，具有像素驅動線ctlS及像素驅動線ctlM。
於本變化例中，圖像資料Ia中包含與像素陣列部110之X列×Y行感測器像素111對應之X列×Y行像素資料Sig。X列×Y行像素資料Sig中與左上方及右下方之三色感測器像素群P2對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。又，X列×Y行像素資料Sig中與左下方之三色感測器像素群P2對應之2列×2行像素資料Sig包含：與曝光時間設定為“短(Short)”之2個感測器像素111對應之2個像素資料Sig2、與曝光時間設定為“中(Middle)”之感測器像素111對應之1個像素資料Sig1、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。又，X列×Y行像素資料Sig中與右上方之三色感測器像素群P2對應之2列×2行像素資料Sig包含：與曝光時間設定為“長(Long)”之2個感測器像素111對應之2個像素資料Sig3、與曝光時間設定為“中(Middle)”之感測器像素111對應之1個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2。
其次，對本變化例中之運算電路20進行說明。
圖41表示本變化例中之運算電路20中之信號處理順序之一例。運算電路20基於由攝像元件10獲得之圖像資料Ia產生HDR圖像資料Ib。運算電路20首先將圖像資料Ia按曝光時間分解(步驟S1101)。具體而言，運算電路20將圖像資料Ia分解成曝光時間為“中(Middle)”之資料(圖像資料 Im)、曝光時間為“長(Long)”之資料(圖像資料Il)、曝光時間為“短(Short)”之資料(圖像資料Is)。
其次，運算電路20基於圖像資料Im產生相位差資料Pd91、Pd92、Pd93(步驟S1102)。具體而言，運算電路20於圖像資料Im中，導出與包含在各三色感測器像素群P3之左上方及右下方之三色感測器像素群P2內之各單色感測器像素群P1對應之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第1方向(右斜下方向)之相位差資料Pd91。又，運算電路20於圖像資料Is中，導出與包含在各三色感測器像素群P3之左下方之三色感測器像素群P2內之各單色感測器像素群P1對應之2個像素資料Sig2之差量值，根據所導出之差量值，產生受光面110A上之第2方向(左右方向)之相位差資料Pd92。又，運算電路20於圖像資料Il中，導出與包含在各三色感測器像素群P3之右上方之三色感測器像素群P2內之各單色感測器像素群P1對應之2個像素資料Sig3之差量值，根據所導出之差量值，產生受光面110A上之第3方向(上下方向)之相位差資料Pd93。
又，運算電路20基於圖像資料Il、Im產生相位差資料Pd94(步驟S1102)。具體而言，運算電路20導出藉由將圖像資料Il、圖像資料Im乘以曝光時間“長(Long)”與曝光時間“中(Middle)”之曝光時間比而獲得之與圖像資料Im'之差量值，根據所導出之差量值產生相位差資料Pd94。又，運算電路20基於圖像資料Im、Is產生相位差資料Pd95(步驟S1102)。具體而言，運算電路20導出將圖像資料Im、圖像資料Is乘以曝光時間“中(Middle)”與曝光時間“短(Short)”之曝光時間比所得之與圖像資料Is'之 差量值，根據所導出之差量值產生相位差資料Pd95。
其次，運算電路20基於相位差資料Pd91、Pd92、Pd93，產生關於相位差之位準資料Da(步驟S1103)。位準資料Da例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。運算電路20例如於相位差資料Pd91、Pd92、Pd93中，將低於特定範圍之數值轉換成下限值(例如0位元)。運算電路20例如，於相位差資料Pd91、Pd92、Pd93中，將高於特定範圍之數值轉換成上限值(例如128位元)。運算電路20例如於相位差資料Pd91、Pd92、Pd93中，將處於特定範圍內之數值轉換成與該數值之大小相應之1位元至127位元之範圍內之值。
其次，運算電路20將相位差資料Pd94、Pd95轉換成關於動體之位準資料Db(步驟S1104)。位準資料Db例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。具體而言，運算電路20基於關於攝像元件10之雜訊位準之資料(雜訊資料)、及相位差資料Pd94、Pd95，產生位準資料Db。
其次，運算電路20根據所獲得之位準資料Da，檢測相位差較大之部位(步驟S1105)。進而，運算電路20根據所獲得之位準資料Db，檢測動體之有無(步驟S1106)。最後，運算電路20根據圖像資料Im、Il、Is、及相位差之有無、動體之有無，產生HDR圖像資料Ib(步驟S1107)。如此，產生HDR圖像資料Ib。
於本變化例中，像素陣列部110以針對各色分別獲得三個方向之相位差資料之方式構成。藉此，能針對各色分別於三個方向上判別相位差之有無、動體之有無。
[[變化例K]]
於上述變化例A、B、C、D、E中，像素陣列部110以基於單色之圖像資料獲得相位差資料之方式構成。但於上述實施形態中，像素陣列部110亦能以基於全色之圖像資料針對各色分別獲得相位差資料之方式構成。
圖42係表示本變化例之像素陣列部110之構成例者。圖43係表示圖42之像素陣列部110之配線佈局之一例者。圖44係表示藉由圖42之像素陣列部110所能檢測出之相位差的方向之一例者。
於本變化例中，像素陣列部110以自三色感測器像素群P3針對各色分別獲得兩個方向之相位差資料之方式構成。具體而言，像素陣列部110以自三色感測器像素群P3針對各色分別獲得右斜上方向及右斜下方向之相位差資料之方式構成。此時，於包含在各三色感測器像素群P3內之左上方之三色感測器圖像群P2及右下方之三色感測器圖像群P2中，各單色感測器像素群P1之構成與上述實施形態之單色感測器像素群P1相同。又，於包含在各三色感測器像素群P3內之左下方之三色感測器圖像群P2中，各單色感測器像素群P1以獲得右斜上方向及右斜下方向之相位差資料之方式構成。又，於包含在各三色感測器像素群P3內之右上方之三色感測器圖像群 P2中，各單色感測器像素群P1以獲得右斜上方向及右斜下方向之相位差資料之方式構成。
具體而言，於包含在各三色感測器像素群P3內之左上方之三色感測器圖像群P2及右下方之三色感測器圖像群P2中之各單色感測器像素群P1中，沿著右斜上方向排列之2個感測器像素111(光電二極體PD)之曝光時間如圖42所示設定為“中(Middle)”。又，於包含在各三色感測器像素群P3內之左上方之三色感測器圖像群P2及右下方之三色感測器圖像群P2中之各單色感測器像素群P1中，右下方之感測器像素111(光電二極體PD)之曝光時間如圖42所示設定為“短(Short)”。又，於包含在各三色感測器像素群P3內之左上方之三色感測器圖像群P2及右下方之三色感測器圖像群P2中之各單色感測器像素群P1中，左上方之感測器像素111(光電二極體PD)之曝光時間如圖42所示設定為“長(Long)”。
又，於包含在各三色感測器像素群P3內之左下方之三色感測器圖像群P2中之各單色感測器像素群P1中，沿著右斜上方向排列之2個感測器像素111(光電二極體PD)之曝光時間如圖42所示設定為“中(Middle)”。又，於包含在各三色感測器像素群P3內之左下方之三色感測器圖像群P2中之各單色感測器像素群P1中，沿著右斜下方向排列之2個感測器像素111(光電二極體PD)之曝光時間如圖42所示設定為“短(Short)”。換言之，以使包含在各三色感測器像素群P3內之左下方之三色感測器圖像群P2中之各單色感測器像素群P1中，2個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間 彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
又，於包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中之各單色感測器像素群P1中，沿著右斜上方向排列之2個感測器像素111(光電二極體PD)之曝光時間如圖42所示設定為“中(Middle)”。又，於包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中之各單色感測器像素群P1中，沿著右斜下方向排列之2個感測器像素111(光電二極體PD)之曝光時間如圖42所示設定為“長(Long)”。換言之，以使包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中之各單色感測器像素群P1中，2個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
此時，像素陣列部110於與包含在各三色感測器像素群P3內之最上段及上起第2段之各單色感測器像素群P1的上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。又，像素陣列部110於與包含在各三色感測器像素群P3內之最上段及上起第2段之各單色感測器像素群P1的下段對應之部位，具有像素驅動線ctlL、像素驅動線ctlM及像素驅動線ctlS。又，像素陣列部110於與包含在各三色感測器像素群P3內之上起第3段及最下段之各單色感測器像素群P1的上段對應之部位，具有像素驅動線ctlL、像素驅動線ctlM及像素驅動線ctlS。又，像素陣列部110於與包含在各三色感 測器像素群P3內之上起第3段及最下段之各單色感測器像素群P1的下段對應之部位，具有像素驅動線ctlS及像素驅動線ctlM。
於本變化例中，圖像資料Ia中包含與像素陣列部110之X列×Y行感測器像素111對應之X列×Y行像素資料Sig。X列×Y行像素資料Sig中與左上方及右下方之三色感測器像素群P2對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。又，X列×Y行像素資料Sig中與左下方之三色感測器像素群P2對應之2列×2行像素資料Sig包含：與曝光時間設定為“短(Short)”之2個感測器像素111對應之2個像素資料Sig2、與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1。又，X列×Y行像素資料Sig中與右上方之三色感測器像素群P2對應之2列×2行像素資料Sig包含：與曝光時間設定為“長(Long)”之2個感測器像素111對應之2個像素資料Sig3、與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1。
其次，對本變化例中之運算電路20進行說明。
圖45表示本變化例中之運算電路20中之信號處理順序之一例。運算電路20基於由攝像元件10獲得之圖像資料Ia產生HDR圖像資料Ib。運算電路20首先將圖像資料Ia按曝光時間分解(步驟S1201)。具體而言，運算電 路20將圖像資料Ia分解成曝光時間為“中(Middle)”之資料(圖像資料Im)、曝光時間為“長(Long)”之資料(圖像資料Il)、曝光時間為“短(Short)”之資料(圖像資料Is)。
其次，運算電路20基於圖像資料Im產生相位差資料Pd101、Pd102、Pd103(步驟S1202)。具體而言，運算電路20於圖像資料Im中，導出與包含在各三色感測器像素群P3之左下方及右上方之三色感測器像素群P2內之各單色感測器像素群P1對應之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第1方向(右斜上方向)之相位差資料Pd101。又，運算電路20於圖像資料Is中，導出與包含在各三色感測器像素群P3之左下方之三色感測器像素群P2內之各單色感測器像素群P1對應之2個像素資料Sig2之差量值，根據所導出之差量值，產生受光面110A上之第2方向(右斜下方向)之相位差資料Pd102。又，運算電路20於圖像資料Il中，導出與包含在各三色感測器像素群P3之右上方之三色感測器像素群P2內之各單色感測器像素群P1對應之2個像素資料Sig3之差量值，根據所導出之差量值，產生受光面110A上之第1方向(右斜上方向)之相位差資料Pd103。
又，運算電路20基於圖像資料Il、Im產生相位差資料Pd104(步驟S1202)。具體而言，運算電路20導出藉由使圖像資料Il、圖像資料Im乘以曝光時間“長(Long)”與曝光時間“中(Middle)”之曝光時間比而獲得之與圖像資料Im'之差量值，根據所導出之差量值產生相位差資料Pd104。又，運算電路20基於圖像資料Im、Is產生相位差資料Pd105(步驟 S1202)。具體而言，運算電路20導出圖像資料Im、圖像資料Is乘以曝光時間“中(Middle)”與曝光時間“短(Short)”之曝光時間比所得之與圖像資料Is'之差量值，根據所導出之差量值產生相位差資料Pd105。
其次，運算電路20基於相位差資料Pd101、Pd102、Pd103，產生關於相位差之位準資料Da(步驟S1203)。位準資料Da例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。運算電路20例如於相位差資料Pd101、Pd102、Pd103中，將低於特定範圍之數值轉換成下限值(例如0位元)。運算電路20例如於相位差資料Pd101、Pd102、Pd103中，將高於特定範圍之數值轉換成上限值(例如128位元)。運算電路20例如於相位差資料Pd101、Pd102、Pd103中，將處於特定範圍內之數值轉換成與該數值之大小相應之1位元至127位元之範圍內之值。
其次，運算電路20將相位差資料Pd104，Pd105轉換成關於動體之位準資料Db(步驟S1204)。位準資料Db例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。具體而言，運算電路20基於關於攝像元件10之雜訊位準之資料(雜訊資料)、及相位差資料Pd104、Pd105，產生位準資料Db。
其次，運算電路20根據所獲得之位準資料Da，檢測相位差較大之部位(步驟S1205)。進而，運算電路20根據所獲得之位準資料Db，檢測動體之有無(步驟S1206)。最後，運算電路20根據圖像資料Im、Il、Is、及相位差之有無、動體之有無，產生HDR圖像資料Ib(步驟S1207)。如此，產 生HDR圖像資料Ib。
於本變化例中，像素陣列部110以針對各色分別獲得兩個方向之相位差資料之方式構成。藉此，能針對各色分別於兩個方向上判別相位差之有無、動體之有無。
[[變化例L]]
於上述變化例K中，像素陣列部110以基於單色及全色之圖像資料針對各色分別獲得兩個方向(右斜上方向、右斜下方向)之相位差資料之方式構成。但於上述變化例K中，像素陣列部110亦能以基於單色及全色之圖像資料針對各色分別獲得兩個方向(左右方向、上下方向)之相位差資料之方式構成。
圖46係表示本變化例之像素陣列部110之構成例者。圖47係表示圖46之像素陣列部110之配線佈局之一例者。圖48係表示藉由圖46之像素陣列部110所能檢測出之相位差的方向之一例者。
於本變化例中，像素陣列部110以自三色感測器像素群P3針對各色分別獲得兩個方向之相位差資料之方式構成。具體而言，像素陣列部110以自三色感測器像素群P3針對各色分別獲得左右方向及上下方向之相位差資料之方式構成。此時，於包含在各三色感測器像素群P3內之左上方之三色感測器圖像群P2及右下方之三色感測器圖像群P2中，各單色感測器像素群P1之構成與上述實施形態之單色感測器像素群P1相同。又，於包含在 各三色感測器像素群P3內之左下方之三色感測器圖像群P2中，各單色感測器像素群P1以獲得左右方向之相位差資料之方式構成。又，於包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中，各單色感測器像素群P1以獲得上下方向之相位差資料之方式構成。
具體而言，於包含在各三色感測器像素群P3內之左上方之三色感測器圖像群P2及右下方之三色感測器圖像群P2中之各單色感測器像素群P1中，沿著右斜上方向排列之2個感測器像素111(光電二極體PD)之曝光時間如圖46所示設定為“中(Middle)”。又，於包含在各三色感測器像素群P3內之左上方之三色感測器圖像群P2及右下方之三色感測器圖像群P2中之各單色感測器像素群P1中，右下方之感測器像素111(光電二極體PD)之曝光時間如圖46所示設定為“短(Short)”。又，於包含在各三色感測器像素群P3內之左上方之三色感測器圖像群P2及右下方之三色感測器圖像群P2中之各單色感測器像素群P1中，左上方之感測器像素111(光電二極體PD)之曝光時間如圖46所示設定為“長(Long)”。
又，於包含在各三色感測器像素群P3內之左下方之三色感測器圖像群P2中之各單色感測器像素群P1中，沿著左右方向排列於上段之2個感測器像素111(光電二極體PD)之曝光時間如圖46所示設定為“短(Short)”。又，於包含在各三色感測器像素群P3內之左下方之三色感測器圖像群P2中之各單色感測器像素群P1中，沿著左右方向排列於下段之2個感測器像素111(光電二極體PD)之曝光時間如圖46所示設定為“中(Middle)”。換言之，以使包含在各三色感測器像素群P3內之左下方之三色感測器圖像群 P2中之各單色感測器像素群P1中，2個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
再者，於包含在各三色感測器像素群P3內之左下方之三色感測器圖像群P2中之各單色感測器像素群P1中，亦可將沿著左右方向排列於上段之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。又，於包含在各三色感測器像素群P3內之左下方之三色感測器圖像群P2中之各單色感測器像素群P1中，亦可將沿著左右方向排列於下段之2個感測器像素111(光電二極體PD)之曝光時間設定為“短(Short)”。
又，於包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中之各單色感測器像素群P1中，沿著上下方向排列於左側之2個感測器像素111(光電二極體PD)之曝光時間如圖46所示設定為“長(Long)”。又，於包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中之各單色感測器像素群P1中，沿著上下方向排列於右側之2個感測器像素111(光電二極體PD)之曝光時間如圖42所示設定為“中(Middle)”。換言之，以使包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中之各單色感測器像素群P1中，2個感測器像素111(光電二極體PD)之曝光時間互不相同，並且2個感測器像素111(光電二極體PD)之曝光時間彼此相同之方式，控制複數個感測器像素111(光電二極體PD)之曝光時間。
再者，於包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中之各單色感測器像素群P1中，亦可將沿著上下方向排列於左側之2個感測器像素111(光電二極體PD)之曝光時間設定為“中(Middle)”。又，於包含在各三色感測器像素群P3內之右上方之三色感測器圖像群P2中之各單色感測器像素群P1中，亦可將沿著上下方向排列於右側之2個感測器像素111(光電二極體PD)之曝光時間設定為“長(Long)”。
此時，像素陣列部110於與包含在各三色感測器像素群P3內之最上段及上起第2段之各單色感測器像素群P1的上段對應之部位，具有像素驅動線ctlL及像素驅動線ctlM。又，像素陣列部110於與包含在各三色感測器像素群P3內之最上段及上起第2段之各單色感測器像素群P1的下段對應之部位，具有像素驅動線ctlL、像素驅動線ctlM及像素驅動線ctlS。又，像素陣列部110於與包含在各三色感測器像素群P3內之上起第3段及最下段之各單色感測器像素群P1的上段對應之部位，具有像素驅動線ctlL、像素驅動線ctlM及像素驅動線ctlS。又，像素陣列部110於與包含在各三色感測器像素群P3內之上起第3段及最下段之各單色感測器像素群P1的下段對應之部位，具有像素驅動線ctlS及像素驅動線ctlM。
於本變化例中，圖像資料Ia中包含與像素陣列部110之X列×Y行感測器像素111對應之X列×Y行像素資料Sig。X列×Y行像素資料Sig中與左上方及右下方之三色感測器像素群P2對應之2列×2行像素資料Sig包含：與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料 Sig1、與曝光時間設定為“短(Short)”之感測器像素111對應之1個像素資料Sig2、與曝光時間設定為“長(Long)”之感測器像素111對應之1個像素資料Sig3。又，X列×Y行像素資料Sig中與左下方之三色感測器像素群P2對應之2列×2行像素資料Sig包含：與曝光時間設定為“短(Short)”之2個感測器像素111對應之2個像素資料Sig2、與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1。又，X列×Y行像素資料Sig中與右上方之三色感測器像素群P2對應之2列×2行像素資料Sig包含：與曝光時間設定為“長(Long)”之2個感測器像素111對應之2個像素資料Sig3、與曝光時間設定為“中(Middle)”之2個感測器像素111對應之2個像素資料Sig1。
其次，對本變化例中之運算電路20進行說明。
圖49表示本變化例中之運算電路20中之信號處理順序之一例。運算電路20基於由攝像元件10獲得之圖像資料Ia產生HDR圖像資料Ib。運算電路20首先將圖像資料Ia按曝光時間分解(步驟S1301)。具體而言，運算電路20將圖像資料Ia分解成曝光時間為“中(Middle)”之資料(圖像資料Im)、曝光時間為“長(Long)”之資料(圖像資料Il)、曝光時間為“短(Short)”之資料(圖像資料Is)。
其次，運算電路20基於圖像資料Im產生相位差資料Pd111、Pd112、Pd113、Pd114(步驟S1302)。具體而言，運算電路20於圖像資料Im中，導出與包含在各三色感測器像素群P3之左下方之三色感測器像素群P2內之 各單色感測器像素群P1對應之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第1方向(左右方向)之相位差資料Pd111。又，運算電路20於圖像資料Im中，導出與包含在各三色感測器像素群P3之右上方之三色感測器像素群P2內之各單色感測器像素群P1對應之2個像素資料Sig1之差量值，根據所導出之差量值，產生受光面110A上之第2方向(上下方向)之相位差資料Pd112。又，運算電路20於圖像資料Is中，導出與包含在各三色感測器像素群P3之左下方之三色感測器像素群P2內之各單色感測器像素群P1對應之2個像素資料Sig2之差量值，根據所導出之差量值，產生受光面110A上之第1方向(左右方向)之相位差資料Pd113。又，運算電路20於圖像資料Il中，導出與包含在各三色感測器像素群P3之右上方之三色感測器像素群P2內之各單色感測器像素群P1對應之2個像素資料Sig3之差量值，根據所導出之差量值，產生受光面110A上之第2方向(上下方向)之相位差資料Pd114。
又，運算電路20基於圖像資料Il、Im產生相位差資料Pd115(步驟S1302)。具體而言，運算電路20導出藉由使圖像資料Il、圖像資料Im乘以曝光時間“長(Long)”與曝光時間“中(Middle)”之曝光時間比而獲得之與圖像資料Im'之差量值，根據所導出之差量值產生相位差資料Pd115。又，運算電路20基於圖像資料Im、Is產生相位差資料Pd116(步驟S1302)。具體而言，運算電路20導出圖像資料Im、圖像資料Is乘以曝光時間“中(Middle)”與曝光時間“短(Short)”之曝光時間比所得之與圖像資料Is'之差量值，根據所導出之差量值產生相位差資料Pd116。
其次，運算電路20基於相位差資料Pd111、Pd112、Pd113、Pd114，產生關於相位差之位準資料Da(步驟S1303)。位準資料Da例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。運算電路20例如於相位差資料Pd111、Pd112、Pd113、Pd114中，將低於特定範圍之數值轉換成下限值(例如0位元)。運算電路20例如於相位差資料Pd111、Pd112、Pd113、Pd114中，將高於特定範圍之數值轉換成上限值(例如128位元)。運算電路20例如於相位差資料Pd111、Pd112、Pd113、Pd114中，將處於特定範圍內之數值轉換成與該數值之大小相應之1位元至127位元之範圍內之值。
其次，運算電路20將相位差資料Pd115、Pd116轉換成關於動體之位準資料Db(步驟S1304)。位準資料Db例如為由下限值(例如0位元)至上限值(例如128位元)之範圍內之值表示之資料。具體而言，運算電路20基於關於攝像元件10之雜訊位準之資料(雜訊資料)、及相位差資料Pd115、Pd116，產生位準資料Db。
其次，運算電路20根據所獲得之位準資料Da，檢測相位差較大之部位(步驟S1305)。進而，運算電路20根據所獲得之位準資料Db，檢測動體之有無(步驟S1306)。最後，運算電路20根據圖像資料Im、Il、Is、及相位差之有無、動體之有無，產生HDR圖像資料Ib(步驟S1307)。如此，產生HDR圖像資料Ib。
於本變化例中，像素陣列部110以針對各色分別獲得兩個方向之相位 差資料之方式構成。藉此，能針對各色分別於兩個方向上判別相位差之有無、動體之有無。
<3.應用例> [應用例1]
本發明之技術(本技術)可應用於各種製品。例如，本發明之技術能以搭載於汽車、電動汽車、油電混合車、機車、自行車、個人移動工具、飛機、無人機、船舶、機器人等任一種移動體之裝置而實現。
圖50係表示作為可適用本發明之技術之移動體控制系統之一例的車輛控制系統之概略構成例之方塊圖。
車輛控制系統12000具備經由通信網路12001連接之複數個電子控制單元。於圖50所示之例中，車輛控制系統12000具備驅動系統控制單元12010、車身系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040及綜合控制單元12050。又，作為綜合控制單元12050之功能構成，圖示出了微電腦12051、語音圖像輸出部12052及車載網路I/F(interface，介面)12053。
驅動系統控制單元12010按照各種程式，控制與車輛之驅動系統相關之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等用以產生車輛之驅動力之驅動力產生裝置，用以將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛之轉向角之轉向機構、及產生車輛之制動力之 制動裝置等之控制裝置而發揮功能。
車身系統控制單元12020按照各種程式，控制車體上裝備之各種裝置之動作。例如，車身系統控制單元12020作為無鑰匙進入系統、智慧鑰匙系統、電動窗裝置、或者頭燈、尾燈、刹車燈、轉向燈或霧燈等各種燈之控制裝置而發揮功能。於該情形時，可向車身系統控制單元12020，輸入自代替鑰匙之便攜器發送之電波或各種開關之信號。車身系統控制單元12020受理該等電波或信號之輸入，控制車輛之門鎖裝置、電動窗裝置、燈等。
車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛之外部之資訊。例如，於車外資訊檢測單元12030，連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，並且接收攝像所得之圖像。車外資訊檢測單元12030亦可基於所接收到之圖像，進行人、車、障礙物、標識或路面上之文字等之物體檢測處理或距離檢測處理。
攝像部12031係接收光，並輸出與該光之接收量相應之電氣信號之光感測器。攝像部12031能將電氣信號以圖像之形式輸出，亦能將其以測距資訊之形式輸出。又，攝像部12031所接收之光可為可見光，亦可為紅外線等非可見光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040，例如連接有檢測駕駛員之狀態之駕駛員狀態檢測部12041。駕駛 員狀態檢測部12041包含例如拍攝駕駛員之相機，車內資訊檢測單元12040基於自駕駛員狀態檢測部12041輸入之檢測資訊，可計算出駕駛員之疲勞程度或集中程度，亦可判別出駕駛員是否打盹。
微電腦12051能基於利用車外資訊檢測單元12030或車內資訊檢測單元12040所取得之車內外之資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，並向驅動系統控制單元12010輸出控制指令。例如，微電腦12051能進行包含車輛之碰撞避免或衝擊緩和、基於車間距離開展之追蹤行駛、車速維持行駛、車輛之碰撞警告、或車輛之車道脫離警告等之以實現ADAS(Advanced Driver Assistance System，高級駕駛輔助系統)之功能為目的之協調控制。
又，微電腦12051能基於利用車外資訊檢測單元12030或車內資訊檢測單元12040所取得之車輛周圍之資訊，控制驅動力產生裝置、轉向機構或制動裝置等，藉此進行以不依據駕駛員之操作而是自主地行駛之自動駕駛等為目的之協調控制。
又，微電腦12051能基於利用車外資訊檢測單元12030所取得之車外之資訊，向車身系統控制單元12020輸出控制指令。例如，微電腦12051能進行根據利用車外資訊檢測單元12030所檢測出之先行車或對向車之位置而控制頭燈，試圖將遠光切換成近光等以防眩為目的之協調控制。
語音圖像輸出部12052針對車輛之搭乘者或車外，向能以視覺或聽覺 方式通知資訊之輸出裝置發送語音及圖像中至少一者之輸出信號。於圖50之例中，作為輸出裝置，例示出了音響揚聲器12061、顯示部12062及儀錶板12063。顯示部12062例如亦可包含車載顯示器及頭戴式顯示器中至少一者。
圖51係表示攝像部12031之設置位置之例之圖。
於圖51中，車輛12100具有攝像部12101、12102、12103、12104、12105作為攝像部12031。
攝像部12101、12102、12103、12104、12105例如設置於車輛12100之前鼻、側鏡、後保險杠、後門及車艙內之前玻璃之上部等位置。於前鼻具備之攝像部12101及於車艙內之前玻璃之上部具備之攝像部12105主要取得車輛12100之前方之圖像。於側鏡具備之攝像部12102、12103主要取得車輛12100之側方之圖像。於後保險杠或後門具備之攝像部12104主要取得車輛12100之後方之圖像。利用攝像部12101及12105所取得之前方之圖像主要用於檢測先行車輛、行人、障礙物、信號燈、交通標識或車線等。
再者，圖51中表示出了攝像部12101至12104之攝像範圍之一例。攝像範圍12111表示設置於前鼻之攝像部12101之攝像範圍，攝像範圍12112、12113分別表示設置於側鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設置於後保險杠或後門之攝像部12104之攝像範圍。 例如，藉由使利用攝像部12101至12104拍攝所得之圖像資料重合，而獲得自上方俯視車輛12100之俯瞰圖像。
攝像部12101至12104中至少一者亦可具有取得距離資訊之功能。例如，攝像部12101至12104中至少一者可為包含複數個攝像元件之立體相機，亦可為具有相位差檢測用像素之攝像元件。
例如，微電腦12051能基於自攝像部12101至12104獲得之距離資訊，求出距攝像範圍12111至12114內之各立體物之距離、及該距離之時間性變化(相對於車輛12100之相對速度)，藉此提取沿著與車輛12100大致相同之方向以特定速度(例如，0km/h以上)行駛之立體物，尤其是位於車輛12100之行駛車道上之最近立體物作為先行車。進而，微電腦12051能於先行車之前方預先設定應予以確保之車間距離，而進行自動制動控制(亦包括追蹤停車控制)或自動加速控制(亦包括追蹤啟動控制)等。如此能進行以不依據駕駛員之操作而是自主地行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051能基於自攝像部12101至12104獲得之距離資訊，將與立體物相關之立體物資料分為兩輪車、普通車輛、大型車輛、行人、電線桿等其他立體物並加以提取，將其用於障礙物之自動避讓。例如，微電腦12051將車輛12100之周邊之障礙物按車輛12100之驅動器所能視認之障礙物與難以視認之障礙物加以甄別。然後，微電腦12051判斷表示與各障礙物之碰撞之危險度之碰撞風險，當狀況為碰撞風險在設定值以 上而存在碰撞可能性時，能經由音響揚聲器12061或顯示部12062向驅動器輸出警報，或者經由驅動系統控制單元12010進行強制減速或避讓轉向，藉此進行用以避免碰撞之駕駛輔助。
攝像部12101至12104中至少一者亦可為檢測紅外線之紅外線相機。例如，微電腦12051能藉由判定攝像部12101至12104之攝像圖像中是否存在行人而識別行人。該行人之識別例如藉由如下步驟而進行：提取作為紅外線相機之攝像部12101至12104之攝像圖像之特徵點；對表示物體輪廓之一系列特徵點進行圖案匹配處理，判別其是否為行人。當微電腦12051判定攝像部12101至12104之攝像圖像中存在行人，從而識別出行人時，語音圖像輸出部12052以於該被識別出之行人重疊顯示用以強調之方形輪廓線之方式，控制顯示部12062。又，語音圖像輸出部12052亦能以使表示行人之圖標等顯示於所希望之位置之方式，控制顯示部12062。
以上，對可適用本發明之技術之移動體控制系統之一例進行了說明。本發明之技術可適用於以上所說明之構成中之攝像部12031。具體而言，上述實施形態及其變化例之攝像元件10可適用於攝像部12031。藉由將本發明之技術適用於攝像部12031，能獲得雜訊較少之高精細之攝像圖像，故而能於移動體控制系統中利用攝像圖像進行高精度之控制。
[應用例2]
圖52係表示可適用本發明之技術(本技術)之內視鏡手術系統的概略構成之一例之圖。
圖52中圖示出了手術施行者(醫師)11131使用內視鏡手術系統11000對病床11133上之患者11132施行手術之情狀。如圖所示，內視鏡手術系統11000包含內視鏡11100、氣腹管11111或能量處置具11112等其他術具11110、支持內視鏡11100之支持臂裝置11120、及搭載有用於內視鏡下手術之各種裝置之手推車11200。
內視鏡11100包含自前端起特定長度之區域會被插入患者11132之體腔內之鏡筒11101、及連接於鏡筒11101基端之攝像頭11102。於圖示之例中，圖示出了構成為具有硬性之鏡筒11101之所謂硬性鏡之內視鏡11100，但內視鏡11100亦可構成為具有軟性之鏡筒之所謂軟性鏡。
於鏡筒11101之前端，設置有嵌入有對物透鏡之開口部。於內視鏡11100連接有光源裝置11203，藉由該光源裝置11203所產生之光藉由延設於鏡筒11101內部之導光件而傳導至該鏡筒之前端，並經由對物透鏡向患者11132之體腔內之觀察對象照射。再者，內視鏡11100可為直視鏡，亦可為斜視鏡或側視鏡。
於攝像頭11102之內部，設置有光學系統及攝像元件，來自觀察對象之反射光(觀察光)藉由該光學系統聚集於該攝像元件。藉由該攝像元件，對觀察光進行光電轉換，而產生與觀察光對應之電氣信號，即與觀察像對應之圖像信號。該圖像信號作為RAW資料發送至相機控制器單元(Camera Control Unit，CCU)11201。
CCU11201包含CPU(Central Processing Unit，中央處理單元)或GPU(Graphics Processing Unit，圖形處理單元)等，統括控制內視鏡11100及顯示裝置11202之動作。進而，CCU11201自攝像頭11102接收圖像信號，並對該圖像信號實施例如顯影處理(解馬賽克處理)等用以基於該圖像信號而顯示圖像之各種圖像處理。
顯示裝置11202藉由來自CCU11201之控制，基於已利用該CCU11201加以圖像處理後之圖像信號顯示圖像。
光源裝置11203例如包含LED(Light Emitting Diode，發光二極體)等光源，將拍攝術部等時之照射光供給至內視鏡11100。
輸入裝置11204係相對於內視鏡手術系統11000之輸入介面。使用者能經由輸入裝置11204，對內視鏡手術系統11000進行各種資訊之輸入或指示輸入。例如，使用者輸入意旨為變更內視鏡11100之攝像條件(照射光之種類、倍率及焦點距離等)之指示等。
處置具控制裝置11205控制用以灼燒、切開組織，或密封血管等之能量處置具11112之驅動。氣腹裝置11206經由氣腹管11111向患者11132之體腔內通入氣體，使該體腔鼓起，以確保內視鏡11100之視野，及確保手術施行者之作業空間。記錄器11207係能記錄與手術相關之各種資訊之裝置。印表機11208係能以文本、圖像或曲線圖等各種形式印刷出與手術相 關之各種資訊之裝置。
再者，對內視鏡11100供給拍攝術部時之照射光之光源裝置11203例如可包含由LED、雷射光源或其等之組合構成之白色光源。於由RGB雷射光源之組合構成白色光源之情形時，能高精度地控制各色(各波長)之輸出強度及輸出時序，因此能於光源裝置11203中進行攝像圖像之白平衡之調整。又，於該情形時，藉由將分別來自RGB雷射光源之雷射光以時分方式照射至觀察對象，並與該照射時序同步地控制攝像頭11102之攝像元件之驅動，亦能以時分方式拍攝與RGB分別對應之圖像。根據該方法，即便於該攝像元件不設置彩色濾光片，亦能獲得彩色圖像。
又，亦能以每隔特定時間變更一次輸出光之強度之方式，控制光源裝置11203之驅動。藉由與該光之強度變更之時序同步地控制攝像頭11102之攝像元件之驅動，以時分方式取得圖像，並將該圖像合成，能產生無所謂過度曝光及曝光不足之高動態範圍之圖像。
又，光源裝置11203亦可構成為能供給與特殊光觀察對應之特定波長帶域之光。於特殊光觀察中，例如，利用身體組織中之光之吸收之波長依存性，照射帶域較普通觀察時之照射光(即，白色光)窄之光，藉此進行以高對比度拍攝黏膜表層之血管等特定組織之所謂窄帶光觀察(Narrow Band Imaging)。或者，於特殊光觀察中，亦可進行螢光觀察，所謂螢光觀察，係指利用藉由照射激發光而產生之螢光，獲得圖像。於螢光觀察中，能進行如下操作等：對身體組織照射激發光，觀察來自該身體組織之 螢光(自螢光觀察)；或將吲哚菁綠(ICG)等試藥局部注入身體組織，並且對該身體組織照射與該試藥之螢光波長對應之激發光，而獲得螢光像。光源裝置11203可構成為能供給與此種特殊光觀察對應之窄帶光及/或激發光。
圖53係表示圖52所示之攝像頭11102及CCU11201之功能構成的一例之方塊圖。
攝像頭11102具有透鏡單元11401、攝像部11402、驅動部11403、通信部11404、攝像頭控制部11405。CCU11201具有通信部11411、圖像處理部11412、控制部11413。攝像頭11102與CCU11201藉由傳送纜線11400可相互通信地連接。
透鏡單元11401係設置於與鏡筒11101之連接部之光學系統。自鏡筒11101之前端擷取之觀察光傳導至攝像頭11102，並向該透鏡單元11401入射。透鏡單元11401由包括變焦透鏡及調焦透鏡在內之複數個透鏡組合而構成。
攝像部11402包含攝像元件。構成攝像部11402之攝像元件可為1個(所謂單板式)，亦可為複數個(所謂多板式)。於攝像部11402係以多板式構成之情形時，例如亦可藉由各攝像元件產生與RGB分別對應之圖像信號，然後將其等合成，藉此獲得彩色圖像。或者，攝像部11402亦能以具有用以分別取得與3D(Dimensional，三維)顯示對應之右眼用及左眼用之 圖像信號的一對攝像元件之方式構成。藉由進行3D顯示，手術施行者11131能更準確地掌握術部之活體組織之進深部位。再者，於攝像部11402係以多板式構成之情形時，透鏡單元11401可與各攝像元件對應地，亦設置有複數個系統。
又，攝像部11402亦可未必設置於攝像頭11102。例如，攝像部11402亦可設置於鏡筒11101內部之對物透鏡之正後方。
驅動部11403包含致動器，藉由來自攝像頭控制部11405之控制，使透鏡單元11401之變焦透鏡及調焦透鏡沿著光軸移動特定距離。藉此，能適當調整攝像部11402之攝像圖像之倍率及焦點。
通信部11404包含用以與CCU11201之間收發各種資訊之通信裝置。通信部11404將自攝像部11402獲得之圖像信號作為RAW資料經由傳送纜線11400發送至CCU11201。
又，通信部11404自CCU11201接收用以控制攝像頭11102之驅動之控制信號，並將其供給至攝像頭控制部11405。該控制信號中包含與攝像條件相關之資訊，例如，意旨為指定攝像圖像之幀率之資訊、意旨為指定攝像時之曝光值之資訊、及/或意旨為指定攝像圖像之倍率及焦點之資訊等。
再者，上述幀率、曝光值、倍率、焦點等攝像條件可由使用者適當 指定，亦可基於所取得之圖像信號由CCU11201之控制部11413自動設定。於後者之情形時，便為於內視鏡11100搭載有所謂AE(Auto Exposure，自動曝光)功能、AF功能及AWB(Auto White Balance，自動白平衡)功能。
攝像頭控制部11405基於經由通信部11404接收到之來自CCU11201之控制信號，控制攝像頭11102之驅動。
通信部11411包含用以與攝像頭11102之間收發各種資訊之通信裝置。通信部11411自攝像頭11102接收經由傳送纜線11400發送之圖像信號。
又，通信部11411對攝像頭11102發送用以控制攝像頭11102之驅動之控制信號。圖像信號或控制信號能藉由電通信或光通信等而發送。
圖像處理部11412對自攝像頭11102發送之RAW資料即圖像信號實施各種圖像處理。
控制部11413進行與內視鏡11100對術部等之拍攝、及藉由拍攝術部等獲得之攝像圖像之顯示相關之各種控制。例如，控制部11413產生用以控制攝像頭11102之驅動之控制信號。
又，控制部11413基於已利用圖像處理部11412加以圖像處理後之圖 像信號，使反映出術部等之攝像圖像顯示於顯示裝置11202。此時，控制部11413亦可利用各種圖像識別技術識別攝像圖像內之各種物體。例如，控制部11413能藉由檢測攝像圖像中包含之物體邊緣之形狀或顏色等，而識別鉗子等術具、特定活體部位、出血、使用能量處置具11112時之煙霧等。控制部11413使攝像圖像顯示於顯示裝置11202時，亦可利用該識別結果，使各種手術輔助資訊重疊顯示於該術部之圖像。藉由使手術輔助資訊重疊顯示，而提示手術施行者11131，能減輕手術施行者11131之負擔，或使手術施行者11131切實地推進手術。
將攝像頭11102及CCU11201連接之傳送纜線11400為與電氣信號通信對應之電氣信號纜線、與光通信對應之光纖、或其等之複合纜線。
此處，於圖示之例中，使用傳送纜線11400以有線方式進行通信，但攝像頭11102與CCU11201之間之通信亦能以無線方式進行。
以上，對可適用本發明之技術之內視鏡手術系統之一例進行了說明。本發明之技術可較佳地適用於以上所說明之構成中之內視鏡11100之設置於攝像頭11102之攝像部11402。藉由將本發明之技術適用於攝像部11402，能將攝像部11402小型化或高精細化，故而能提供小型或高精細之內視鏡11100。
以上，列舉實施形態及其變化例、適用例及應用例對本發明進行了說明，但本發明並不限定於上述實施形態等，而可施以各種變形。再者， 本說明書中記載之效果終歸僅為例示。本發明之效果並不限定於本說明書中記載之效果。本發明亦可具有本說明書中記載之效果以外之效果。
又，本發明亦可採取如下構成。
(1)
一種攝像裝置，其具備：複數個像素，其等各自包含光電轉換元件，且呈矩陣狀配置於受光面；複數個受光透鏡，其等對於上述複數個像素中之上述複數個像素之每一者各設有一個；及控制部，其控制上述複數個像素之曝光時間；且上述控制部以使與各上述受光透鏡對應之上述複數個像素中之至少2個上述像素之曝光時間相同，並且使與各上述受光透鏡對應之上述複數個像素中之至少2個上述像素之曝光時間互不相同之方式，控制上述複數個像素之曝光時間。
(2)
如(1)之攝像裝置，其進而具備拜耳排列之複數個彩色濾光片，該等彩色濾光片係於將與各上述受光透鏡對應之上述複數個像素設為第1像素群時，針對每一個上述第1像素群而設置。
(3)
如(2)之攝像裝置，其中上述控制部以使與各上述受光透鏡對應之上述複數個像素中之2個上述像素之曝光時間相同，並且使與各上述受光透鏡對應之上述複數個像素中之3個上述像素之曝光時間不同之方式，控制 上述複數個像素之曝光時間。
(4)
如(3)之攝像裝置，其中上述控制部以如下方式控制上述複數個像素之曝光時間：於與各上述受光透鏡對應之上述複數個像素中，使上述受光面上之沿著右斜上方向、右斜下方向、左右方向或上下方向排列之2個上述像素之曝光時間相同。
(5)
如(2)之攝像裝置，其中上述控制部以如下方式控制上述複數個像素之曝光時間：將2列×2行之複數個上述第1像素群設為第2像素群時，於包含在各上述第2像素群內之第1上述第1像素群中，使沿著第1方向排列之2個上述像素之曝光時間相同，並且於包含在各上述第2像素群內之第2上述第1像素群中，使沿著第2方向排列之2個上述像素之曝光時間相同。
(6)
如(2)之攝像裝置，其中上述控制部以如下方式控制上述複數個像素之曝光時間：將2列×2行之複數個上述第1像素群設為第2像素群，將2列×2行之上述第2像素群設為第3像素群時，於包含在各上述第3像素群內之第1上述第2像素群中，使沿著第1方向排列之2個上述像素之曝光時間相同，於包含在各上述第3像素群內之第2上述第2像素群中，使沿著第2方向排列之2個上述像素之曝光時間相同，進而於包含在各上述第3像素群內之第3上述第2像素群中，使沿著第3方向排列之2個上述像素之曝光時間相同。
(7)
如(2)之攝像裝置，其中上述控制部以如下方式控制上述複數個像素 之曝光時間：將2列×2行之複數個上述第1像素群設為第2像素群時，於包含在各上述第2像素群內之第1上述第1像素群中，使沿著第1方向排列之2個上述像素之曝光時間相同，並且使沿著第2方向排列之2個上述像素之曝光時間相同，進而於包含在各上述第2像素群內之第2上述第1像素群中，使沿著上述第1方向排列之2個上述像素之曝光時間相同，並且使沿著上述第2方向排列之2個上述像素之曝光時間相同。
(8)
如(2)之攝像裝置，其中上述控制部以如下方式控制上述複數個像素之曝光時間：將2列×2行之複數個上述第1像素群設為第2像素群時，於包含在各上述第2像素群內之第1上述第1像素群中，使沿著第1方向排列之2個上述像素之曝光時間相同，並且使沿著上述第1方向排列且與沿著上述第1方向排列之2個上述像素不同之2個上述像素之曝光時間相同，進而於包含在各上述第2像素群內之第2上述第1像素群中，使沿著第2方向排列之2個上述像素之曝光時間相同，並且使沿著上述第2方向排列且與沿著上述第2方向排列之2個上述像素不同之2個上述像素之曝光時間相同。
(9)
如(2)之攝像裝置，其中上述控制部以如下方式控制上述複數個像素之曝光時間：將2列×2行之複數個上述第1像素群設為第2像素群，將2列×2行之上述第2像素群設為第3像素群時，於包含在各上述第3像素群內之1個上述第1像素群中，使各上述像素之曝光時間彼此相同。
(10)
如(2)之攝像裝置，其中上述控制部以如下方式控制上述複數個像素之曝光時間：將2列×2行之複數個上述第1像素群設為第2像素群，將2列 ×2行之上述第2像素群設為第3像素群時，於包含在各上述第3像素群內之1個上述第2像素群中，使各上述像素之曝光時間彼此相同。
(11)
如(2)之攝像裝置，其中上述控制部以如下方式控制上述複數個像素之曝光時間：將2列×2行之複數個上述第1像素群設為第2像素群，將2列×2行之上述第2像素群設為第3像素群時，於包含在各上述第3像素群內之各上述第2像素群中，使各上述像素之曝光時間相同。
(12)
如(2)之攝像裝置，其中上述控制部以如下方式控制上述複數個像素之曝光時間：將2列×2行之複數個上述第1像素群設為第2像素群，將1列×2行之上述第2像素群設為第4像素群時，於包含在各上述第4像素群內之第1上述第2像素群中之各第1像素群中，使沿著第1方向排列之2個上述像素之曝光時間相同，並且於包含在各上述第4像素群內之第2上述第2像素群中之各第1像素群中，使沿著第2方向排列之2個上述像素之曝光時間相同。
(13)
如(2)之攝像裝置，其中上述控制部以如下方式控制上述複數個像素之曝光時間：將2列×2行之複數個上述第1像素群設為第2像素群，將2列×1行之上述第2像素群設為第5像素群時，於包含在各上述第5像素群內之第1上述第2像素群中之各第1像素群中，使沿著第1方向排列之2個上述像素之曝光時間相同，並且於包含在各上述第5像素群內之第2上述第2像素群中之各第1像素群中，使沿著第2方向排列之2個上述像素之曝光時間相同。
(14)
如(2)之攝像裝置，其中上述控制部以如下方式控制上述複數個像素之曝光時間：將2列×2行之複數個上述第1像素群設為第2像素群，將2列×2行之上述第2像素群設為第3像素群時，於包含在各上述第3像素群內之第1上述第2像素群中之各上述第1像素群中，使沿著第1方向排列之2個上述像素之曝光時間相同，於包含在各上述第3像素群內之第2上述第2像素群中之各上述第1像素群中，使沿著第2方向排列之2個上述像素之曝光時間相同，進而於包含在各上述第3像素群內之第3上述第2像素群中之各上述第1像素群中，使沿著第3方向排列之2個上述像素之曝光時間相同。
(15)
如(2)之攝像裝置，其中上述控制部以如下方式控制上述複數個像素之曝光時間：將2列×2行之複數個上述第1像素群設為第2像素群，將2列×2行之上述第2像素群設為第3像素群時，於包含在各上述第3像素群內之第1上述第2像素群中之各第1像素群中，使沿著第1方向排列之2個上述像素之曝光時間相同，並且使沿著第2方向排列之2個上述像素之曝光時間相同，於包含在各上述第3像素群內之第2上述第2像素群中之各第1像素群中，使沿著上述第1方向排列之2個上述像素之曝光時間相同，並且使沿著上述第2方向排列之2個上述像素之曝光時間相同。
(16)
如(2)之攝像裝置，其中上述控制部以如下方式控制上述複數個像素之曝光時間：將2列×2行之複數個上述第1像素群設為第2像素群，將2列×2行之上述第2像素群設為第3像素群時，於包含在各上述第3像素群內之第1上述第2像素群中之各上述第1像素群中，使沿著第1方向排列之2個上 述像素之曝光時間相同，並且使沿著上述第1方向排列且與沿著上述第1方向排列之2個上述像素不同之2個上述像素之曝光時間相同，進而於包含在各上述第3像素群內之第2上述第2像素群中之各上述第1像素群中，使沿著第2方向排列之2個上述像素之曝光時間相同，並且使沿著上述第2方向排列且與沿著上述第2方向排列之2個上述像素不同之2個上述像素之曝光時間相同。
(17)
如技術方案2之攝像裝置，其根據由上述控制部進行之曝光控制而得之圖像資料，按曝光時間產生相位差資料，且根據曝光時間不同之複數個上述相位差資料、及曝光時間不同之複數個圖像資料，產生HDR(High Dynamic Range)圖像。
(18)
一種信號處理方法，其係具備複數個像素及複數個受光透鏡之攝像裝置之信號處理方法，該等像素各自包含光電轉換元件，且呈矩陣狀配置於受光面；該等受光透鏡對於上述複數個像素中之上述複數個像素之每一者各設有一個；且該信號處理方法包含如下操作：以使與各上述受光透鏡對應之上述複數個像素中之至少2個上述像素之曝光時間相同，並且使與各上述受光透鏡對應之上述複數個像素中之至少2個上述像素之曝光時間互不相同之方式，控制上述複數個像素之曝光時間；及根據由上述曝光時間之控制而得之圖像資料，按曝光時間產生相位差資料，且根據曝光時間不同之複數個上述相位差資料、及曝光時間不同之複數個圖像資料，產生HDR(High Dynamic Range)圖像。
根據本發明之第1態樣之攝像裝置、及本發明之第2態樣之信號處理方法，能根據藉由控制部施行之曝光控制獲得之圖像資料，按曝光時間產生相位差資料，並根據曝光時間不同之複數個相位差資料、及曝光時間不同之複數個圖像資料，產生HDR圖像，因此能抑制褪色、著色、雙重輪廓等畫質劣化之發生。其結果，能抑制HDR圖像之畫質劣化。再者，本技術之效果並不限定於此處所記載之效果，而亦可為本說明書中記載之任一效果。
本申請案基於2019年2月19日向日本專利廳提出申請之日本專利申請編號第2019-027479號主張優先權，並將該申請案之全部內容藉由參照引用於本申請案中。
業者應能根據設計上之要件及其他因素，想到各種修正、組合、次組合及變更，並理解其等係包含於隨附之申請專利範圍及其等同物之範圍內者。
1:攝像裝置
10:攝像元件
20:運算電路
30:圖框記憶體
40:顯示部
50:記憶部
60:操作部
70:電源部
80:光學系統
L:匯流排線

Claims (15)

  1. 一種攝像裝置，其具備：複數個像素，其中該複數個像素之每一像素包含光電轉換元件，該複數個像素呈矩陣狀配置於受光面，該複數個像素對應於複數個像素群(a plurality of pixel groups)，該複數個像素群包含複數個第1像素群、複數個第2像素群及第3像素群，該複數個第1像素群之每一像素群包含以2列×2行排列之該複數個像素之像素，該複數個第2像素群之每一像素群包含來自以2列×2行排列之該複數個第1像素群之像素群，該第3像素群包含以2列×2行排列之該複數個第2像素群，在該第3像素群中之該複數個第2像素群包含：第1群，其包含在第1方向上之第1組2個像素(a first set of two pixels)；第2群，其包含在第2方向上之第2組2個像素；及第3群，其包含在第3方向上之第3組2個像素，該第3方向不同於該第1方向與該第2方向之各者，且該第1方向不同於該第2方向；複數個受光透鏡，其中該複數個受光透鏡之各者與上述複數個第1像素群之一對應像素群相關聯；及控制部，其經組態以控制與上述複數個像素之各者相關聯之曝光時間，其中在該第1群中在該第1方向上之該第1組2個像素之曝光時間相同，在該第2群中在該第2方向上之該第2組2個像素之曝光時間相同，在該第3群中在該第3方向上之該第3組2個像素之曝光時間相同，該第3組2個像素之 該曝光時間不相同於以下之各者：該第1組2個像素之該曝光時間，及該第2組2個像素之該曝光時間，以及該第2組2個像素之該曝光時間不相同於該第1組2個像素之該曝光時間。
  2. 如請求項1之攝像裝置，其進而具備拜耳排列之複數個彩色濾光片，其中該複數個彩色濾光片之各者與上述複數個像素群之對應像素群相關聯。
  3. 如請求項1之攝像裝置，其中該第1方向係上述受光面上之右斜上方向、右斜下方向、左右方向或上下方向之一者。
  4. 如請求項2之攝像裝置，其中上述複數個第2像素群之上述第1群中之上述複數個第1像素群包含：一第4群，其包含在該第1方向上之該第1組2個像素，及一第5群，其包含在該第2方向上之第4組2個像素，及該第4組2個像素之曝光時間相同。
  5. 如請求項2之攝像裝置，其中上述複數個第2像素群之上述第1群中之上述複數個第1像素群包含：一第4群，其包含：在該第1方向上之該第1組2個像素，及 在該第2方向上之一第4組2個像素，及一第5群，其包含：在上述第1方向中之該第1組2個像素，及在上述第2方向上之一第5組2個像素，在該第2方向上之該第4組2個像素之曝光時間相同，及該第5組2個像素之曝光時間相同。
  6. 如請求項2之攝像裝置，其中上述複數個第2像素群之上述第1群中之上述複數個第1像素群包含：一第4群，其包含：在該第1方向上之該第1組2個像素，及在上述第1方向上之第4組2個像素，其中該第4組2個像素不同於該第1組2個像素，及一第5群，其包含：在該第2方向上之第5組2個像素，及在上述第2方向上之第6組2個像素，其中該第5組2個像素不同於該第6組2個像素，該第4組2個像素之曝光時間相同，該第5組2個像素之曝光時間相同，且該第6組2個像素之曝光時間相同。
  7. 如請求項2之攝像裝置，其中上述第3像素群進而包含上述複數個第1像素群之特定像素群，該控制部進而經組態以控制與上述特定像素群相關聯之曝光時間，及上述特定 像素群中之每一像素之曝光時間相同。
  8. 如請求項2之攝像裝置，其中上述複數個第2像素群進而包含第4群，該控制部進而經組態以控制與上述複數個第2像素群之上述第4群中之每一像素相關聯之曝光時間，及上述複數個第2像素群之該第4群中之每一像素之曝光時間相同。
  9. 如請求項2之攝像裝置，其中上述複數個像素群進而具備複數個第4像素群，上述第4像素群之各者包含以1列×2行之上述複數個第2像素群之1組第2像素群，該複數個第4像素群之一者之該組第2像素群包含上述複數個第2像素群之第1群及上述複數個第2像素群之該第2群，在該第1方向中之第1組2個像素對應於該複數個第2像素群之該第1群中之該複數個第1像素群之一群，及在該第2方向中之第2組2個像素對應於該複數個第2像素群之該第2群中之該複數個第1像素群之一群。
  10. 如請求項2之攝像裝置，其中上述複數個像素群進而具備複數個第5像素群，上述複數個第5像素群之各者包含以2列×1行之上述複數個第2像素群之1組第2像素群，上述複數個第5像素群之各者之該組第2像素群包含上述複數個第2像素群之該第1群及上述複數個第2像素群之該第2群，在該第1方向上之該第1組2個像素對應於該複數個第2像素群之該第1群中之該複數個第1像素群之一群，及在該第2方向中之該第2組2個像素對應於該複數個第2像素群之該 第2群中之該複數個第1像素群之一群。
  11. 如請求項2之攝像裝置，其中上述複數個第2像素群之上述第1群包含該複數個第1像素群之第1組第1像素群，上述第1組第1像素群之每一像素群包含在該第1方向上之第4組2個像素及在該第2方向上之第5組2個像素，上述複數個第2像素群之上述第2群包含該複數個第1像素群之第2組第1像素群，該第2組第1像素群之每一像素群包含在上述第2方向上之第6組2個像素及在上述第1方向上之第7組2個像素，該第4組2個像素之曝光時間相同，該第5組2個像素之曝光時間相同，該第6組2個像素之曝光時間相同，及該第7組2個像素之曝光時間相同。
  12. 如請求項2之攝像裝置，其中上述複數個第2像素群之上述第1群包含該複數個第1像素群之第1組第1像素群，上述第1組第1像素群之每一像素群包含在該第1方向上之第4組2個像素及在上述第1方向上之第5組2個像素，其中該第4組2個像素不同於該第5組2個像素，上述複數個第2像素群之上述第2群包含上述複數個第1像素群之第2組第1像素群，上述第2組第1像素群之每一像素群包含在第2方向上之第6組2個像素及在上述第2方向上之第7組2個像素，其中該第6組2個像素不同於該第7組2個像素，該第4組2個像素之曝光時間相同，該第5組2個像素之曝光時間相同，該第6組2個像素之曝光時間相同，及該第7組2個像素之曝光時間相同。
  13. 如請求項2之攝像裝置，其進而具備運算電路，該運算電路以：根據圖像資料針對該第1組2個像素之該曝光時間、該第2組2個像素之該曝光時間及該第3組2個像素之該曝光時間之各者產生相位差資料，其中該圖像資料係根據與該複數個像素之各者相關聯之曝光時間；及根據所產生之上述相位差資料產生HDR(High Dynamic Range，高動態範圍)圖像。
  14. 如請求項1之攝像裝置，其中該複數個第2像素群之該第1群中之該複數個第1像素群之每一像素群包含：第3像素，其不同於該第1組2個像素；及第4像素，其不同於該第3像素及該第1組2個像素，該第3像素之曝光時間不同於該第1組2個像素之曝光時間，且該第4像素之曝光時間不同於該第1組2個像素之該曝光時間及該第3像素之該曝光時間。
  15. 一種信號處理方法，其具備：在包含複數個像素及複數個受光透鏡之攝像裝置中，其中該複數個像素之各者包含光電轉換元件及該複數個受光透鏡之各者與上述複數個像素之複數個像素群之複數個第1像素群之對應像素群相關聯，該信號處理方法包含如下操作：控制與上述複數個像素之各者相關聯之曝光時間，其中該複數個像素群包含該複數個第1像素群、複數個第2像素群及第3像素群， 該複數個第1像素群之每一像素群包含以2列×2行排列之該複數個像素之像素，該複數個第2像素群之每一像素群包含來自以2列×2行排列之該複數個第1像素群之像素群，該第3像素群包含以2列×2行排列之該複數個第2像素群，在該第3像素群中之該複數個第2像素群包含：第1群，其包含在第1方向上之第1組2個像素；第2群，其包含在第2方向上之第2組2個像素；及第3群，其包含在第3方向上之第3組2個像素，該第3方向不同於該第1方向與該第2方向之各者，且該第1方向不同於該第2方向；在該第1群中在該第1方向上之該第1組2個像素之曝光時間相同，在該第2群中在該第2方向上之該第2組2個像素之曝光時間相同，在該第3群中在該第3方向上之該第3組2個像素之曝光時間相同，該第3組2個像素之該曝光時間不相同於以下之各者：該第1組2個像素之該曝光時間，及該第2組2個像素之該曝光時間，以及該第2組2個像素之該曝光時間不相同該第1組2個像素之該曝光時間；根據圖像資料針對該第1組2個像素之該曝光時間、該第2組2個像素之該曝光時間及該第3組2個像素之該曝光時間之各者產生相位差資料，其中該圖像資料係根據與該複數個像素之各者相關聯之經控制曝光時間；及根據所產生上述相位差資料產生HDR(High Dynamic Range)圖像。
TW108147776A 2019-02-19 2019-12-26 信號處理方法及攝像裝置 TWI840483B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-027479 2019-02-19
JP2019027479 2019-02-19

Publications (2)

Publication Number Publication Date
TW202105994A TW202105994A (zh) 2021-02-01
TWI840483B true TWI840483B (zh) 2024-05-01

Family

ID=72145051

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108147776A TWI840483B (zh) 2019-02-19 2019-12-26 信號處理方法及攝像裝置

Country Status (7)

Country Link
US (2) US11778333B2 (zh)
EP (1) EP3930310A4 (zh)
JP (1) JP7520804B2 (zh)
KR (1) KR20210128395A (zh)
CN (2) CN113316929B (zh)
TW (1) TWI840483B (zh)
WO (1) WO2020170565A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022173236A1 (ko) * 2021-02-10 2022-08-18 삼성전자 주식회사 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
JP2023027618A (ja) * 2021-08-17 2023-03-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
DE112022005856T5 (de) * 2021-12-08 2024-10-10 Sony Semiconductor Solutions Corporation Festkörperbildgebungselement, Bildgebungsvorrichtung und Verfahren zum Steuern eines Festkörperbildgebungselements
CN115861473B (zh) * 2022-07-19 2023-10-24 北京中关村科金技术有限公司 实时绘制分贝检测走势图的模型训练方法、装置及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160286108A1 (en) * 2015-03-24 2016-09-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
US20170013217A1 (en) * 2015-07-07 2017-01-12 Samsung Electronics Co., Ltd. Image sensor having wide dynamic range, pixel circuit of the image sensor, and operating method of the image sensor

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090087644A (ko) 2008-02-13 2009-08-18 삼성전자주식회사 따른 픽셀 회로 어레이
JP5901614B6 (ja) * 2011-04-08 2018-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置および画像処理方法
FR2976121A1 (fr) * 2011-05-31 2012-12-07 St Microelectronics Sa Dispositif d'imagerie matriciel comprenant au moins un ensemble de photosites a multiples temps d'integration.
JP2013066140A (ja) * 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP2013055499A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
JP2013055500A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
US9143708B2 (en) * 2013-12-11 2015-09-22 Himax Imaging, Inc. Dual low voltage levels for control of transfer switch device in pixel array
JP6417809B2 (ja) 2014-03-05 2018-11-07 ソニー株式会社 撮像装置
JP6408372B2 (ja) 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
US9711553B2 (en) * 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
US9491442B2 (en) * 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
US9888198B2 (en) * 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
US11201186B2 (en) 2016-01-20 2021-12-14 Sony Corporation Solid-state imaging device, driving method therefor, and electronic apparatus
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
JP6762766B2 (ja) 2016-06-01 2020-09-30 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP2018019296A (ja) * 2016-07-28 2018-02-01 キヤノン株式会社 撮像装置およびその制御方法
US10574872B2 (en) * 2016-12-01 2020-02-25 Semiconductor Components Industries, Llc Methods and apparatus for single-chip multispectral object detection
KR102354991B1 (ko) * 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서
JP6873000B2 (ja) 2017-07-27 2021-05-19 日立Astemo株式会社 緩衝器およびカバー部材
KR20230116082A (ko) 2017-08-03 2023-08-03 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치, 및 전자 기기
JP7171199B2 (ja) 2017-08-03 2022-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
JP6944846B2 (ja) * 2017-10-04 2021-10-06 オリンパス株式会社 撮像装置、撮像装置の制御方法
CN108462841A (zh) * 2018-03-21 2018-08-28 上海晔芯电子科技有限公司 像素阵列及图像传感器
CN108632537B (zh) * 2018-05-04 2020-08-21 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
CN108683863B (zh) * 2018-08-13 2020-01-10 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160286108A1 (en) * 2015-03-24 2016-09-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
US20170013217A1 (en) * 2015-07-07 2017-01-12 Samsung Electronics Co., Ltd. Image sensor having wide dynamic range, pixel circuit of the image sensor, and operating method of the image sensor

Also Published As

Publication number Publication date
TW202105994A (zh) 2021-02-01
EP3930310A4 (en) 2022-04-13
US11778333B2 (en) 2023-10-03
CN115767292A (zh) 2023-03-07
WO2020170565A1 (ja) 2020-08-27
US20220132014A1 (en) 2022-04-28
JPWO2020170565A1 (ja) 2021-12-16
CN113316929B (zh) 2024-08-16
KR20210128395A (ko) 2021-10-26
CN113316929A (zh) 2021-08-27
US20230421913A1 (en) 2023-12-28
JP7520804B2 (ja) 2024-07-23
EP3930310A1 (en) 2021-12-29

Similar Documents

Publication Publication Date Title
TWI840483B (zh) 信號處理方法及攝像裝置
JPWO2019102887A1 (ja) 固体撮像素子および電子機器
JP7284171B2 (ja) 固体撮像装置
TWI840384B (zh) 攝像裝置及電子機器
WO2021106732A1 (ja) 撮像装置および電子機器
WO2021171797A1 (ja) 固体撮像装置及び電子機器
WO2021131318A1 (ja) 固体撮像装置及び電子機器
WO2021060120A1 (ja) 撮像装置
JP2021019171A (ja) 固体撮像素子および電子機器
WO2021124975A1 (ja) 固体撮像装置および電子機器
WO2021002213A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
WO2020179302A1 (ja) 撮像装置
US20230025911A1 (en) Imaging device and electronic device
WO2021100338A1 (ja) 固体撮像素子
JP2020031127A (ja) 固体撮像装置、撮像装置、および電子機器
TWI853915B (zh) 攝像元件及電子機器
WO2024180957A1 (ja) 固体撮像装置および電子機器
WO2021215299A1 (ja) 撮像素子および撮像装置
TW202316649A (zh) 攝像裝置
TW202404060A (zh) 攝像裝置
JP2023069798A (ja) 撮像装置及び電子機器
TW202138848A (zh) 攝像裝置及電子機器
JP2021128989A (ja) 固体撮像素子
JP2019022020A (ja) 固体撮像素子、固体撮像素子の駆動方法および電子機器