TWI775808B - 攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法 - Google Patents

攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法 Download PDF

Info

Publication number
TWI775808B
TWI775808B TW107104074A TW107104074A TWI775808B TW I775808 B TWI775808 B TW I775808B TW 107104074 A TW107104074 A TW 107104074A TW 107104074 A TW107104074 A TW 107104074A TW I775808 B TWI775808 B TW I775808B
Authority
TW
Taiwan
Prior art keywords
gain
pixel
value
exposure
exposure time
Prior art date
Application number
TW107104074A
Other languages
English (en)
Other versions
TW201837594A (zh
Inventor
遊馬晃
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW201837594A publication Critical patent/TW201837594A/zh
Application granted granted Critical
Publication of TWI775808B publication Critical patent/TWI775808B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Air Bags (AREA)

Abstract

本發明係於設置有複數個攝像元件之複眼之攝像裝置中，拍攝畫質相同之複數之圖像資料。 於第1畫素陣列部，排列有產生第1畫素信號之第1畫素。於第2畫素陣列部，排列有產生第2畫素信號之第2畫素。第1設定部基於適當曝光值設定曝光時間及對於第1畫素信號之第1增益。第2設定部基於設置有第1畫素陣列部之第1單眼相機模組與設置有第2畫素陣列部之第2單眼相機模組之感度差，調整第1增益，而設定為對於第2畫素信號之第2增益。控制部使上述第1及第2畫素陣列部歷經曝光時間持續地曝光。放大部藉由上述第1及第2增益將所輸出之第1及第2畫素信號放大。

Description

攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法
本技術係關於一種攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法。詳細而言係關於一種設置有複數個攝像元件之複眼之攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法。
自先前以來，為了同時拍攝複數之圖像資料，而使用設置有複數個攝像元件之複眼型攝像裝置。例如，提出有兩眼型攝像裝置，其係藉由2個攝像元件，使用相同之類比增益及快門速度同時拍攝2張攝像資料(例如，參照專利文獻1)。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2006-295506號公報
上述先前技術中，於2個攝像元件之畫素之感度相同之情形時，可利用相同之攝像條件，拍攝畫質相同之2張圖像資料。然而，於因彩色濾光片之有無等光學條件之不同、或製品差異等引起攝像元件各自之畫素之感度不同之情形時，有2張圖像資料之明亮程度不一致之虞。又，除感度不同之情形以外，於2個光學系統各自之F值不同之情形時，亦有明亮程度不一致之虞。即便於兩者之畫素之感度或F值不同之情形時，亦能夠變更一 者之快門速度而使明亮程度一致，但於該情形時，會因快門速度不同而導致成為動態被攝體之晃動程度不同之圖像。如此，存在如下問題，即，於2個攝像元件各自之感度或各光學系統之光學特性不同之情形時，難以拍攝畫質相同之2張圖像資料。
本技術係鑒於此種狀況而完成者，其目的在於：在設置有複數個攝像元件之複眼之攝像裝置中，拍攝畫質相同之複數之圖像資料。
本技術係為了解決上述問題點而完成者，其第1態樣係一種攝像裝置及其控制方法，該攝像裝置具備：第1畫素陣列部，其排列有產生第1畫素信號之第1畫素；第2畫素陣列部，其排列有產生第2畫素信號之第2畫素；第1設定部，其基於適當曝光值設定曝光時間及對於上述第1畫素信號之第1增益；第2設定部，其基於設置有上述第1畫素陣列部之第1單眼相機模組與設置有上述第2畫素陣列部之第2單眼相機模組之感度差，調整上述第1增益，而設定為對於藉由上述第2畫素而產生之第2畫素信號之第2增益；控制部，其使上述第1及第2畫素陣列部歷經上述曝光時間持續地曝光；及放大部，其藉由上述第1及第2增益將上述所輸出之第1及第2畫素信號放大。藉此，帶來如下作用：藉由基於第1及第2單眼相機模組之感度差予以調整後之增益將畫素信號放大。
又，於該第1態樣中，亦可為，上述適當曝光值包含根據上述第1畫素信號而計算出之第1適當曝光值、及根據上述第2畫素信號而計算出之第2適當曝光值，且上述第1設定部基於上述第1適當曝光值設定上述曝光時間及上述第1增益，上述第2設定部根據上述第1適當曝光值、上述感度差及上述曝光時間計算上述第2增益。藉此，帶來如下作用：藉由根據第1適 當曝光值、感度差及曝光時間而計算出之第2增益將第2畫素信號放大。
又，於該第1態樣中，亦可為，上述第2設定部於根據上述第1適當曝光值、上述感度差及上述曝光時間而計算出之增益為負值之情形時，根據該所計算出之增益及上述曝光時間而取得新的曝光時間，並且將上述第2增益設定為零，且上述第1設定部於已取得上述新的曝光時間之情形時，將根據上述新的曝光時間及上述第1適當曝光值而計算出之增益設定為上述第1增益。藉此，帶來如下作用：於增益為負值之情形時，根據該增益及曝光時間而取得新的曝光時間。
又，於該第1態樣中，亦可為，上述第2設定部具備：運算器，其根據上述第1適當曝光值、以及將上述感度差換算成曝光值所得之感度差換算值，而計算基準曝光值；修正部，其基於上述基準曝光值修正上述第2適當曝光值，而作為修正後適當曝光值進行輸出；及增益運算部，其根據上述修正後適當曝光值與將上述曝光時間換算成曝光值所得之值的差分，而計算上述第2增益。藉此，帶來如下作用：基於第1適當曝光值與感度差換算值之差分計算第2增益。
又，於該第1態樣中，亦可為，上述修正部將上述第2適當曝光值修正為包含上述基準曝光值之特定容許範圍內之值。藉此，帶來如下作用：藉由被修正為容許範圍內之適當曝光值，而計算第2增益。
又，於該第1態樣中，亦可為，上述修正部將對上述基準曝光值與上述第2適當曝光值進行加權求和所得之值修正為包含上述基準曝光值之特定容許範圍內之值。藉此，帶來如下作用：將進行加權求和所得之值修正為容許範圍內之值。
又，於該第1態樣中，亦可為，上述第1畫素包含接收波長互不相同 之光之複數個畫素，且上述第2畫素各者接收波長相同之光。藉此，帶來如下作用：拍攝單色圖像資料及彩色圖像資料。
又，於該第1態樣中，亦可為，本發明之攝像裝置進而具備：第1攝像透鏡，其將光聚集並導向上述第1畫素陣列部；及第2攝像透鏡，其將光聚集並導向上述第2畫素陣列部；且上述第1攝像透鏡與上述第2攝像透鏡之攝角不同。藉此，帶來如下作用：拍攝攝角不同之2張圖像資料。
又，於該第1態樣中，亦可為，本發明之攝像裝置進而具備類比數位轉換部，該類比數位轉換部將上述第1及第2畫素信號轉換成第1及第2畫素資料，上述第1增益包含第1類比增益及第1數位增益，上述第2增益包含第2類比增益及第2數位增益，且上述放大部具備：類比信號放大部，其藉由第1及第2類比增益將上述第1及第2畫素信號放大；及數位信號放大部，其藉由第1及第2數位增益將上述第1及第2畫素資料放大。藉此，帶來如下作用：藉由數位增益將對藉由類比增益而被放大之畫素信號進行類比數位轉換所得的畫素資料放大。
又，本技術之第2態樣係一種攝像模組，其具備：第1畫素陣列部，其排列有產生第1畫素信號之第1畫素；第2畫素陣列部，其排列有產生第2畫素信號之第2畫素；第1設定部，其基於適當曝光值設定曝光時間及對於上述第1畫素信號之第1增益；第2設定部，其基於設置有上述第1畫素陣列部之第1單眼相機模組與設置有上述第2畫素陣列部之第2單眼相機模組之感度差，調整上述第1增益，而設定為對於藉由上述第2畫素而產生之第2畫素信號之第2增益；控制部，其使上述第1及第2畫素陣列部歷經上述曝光時間持續地曝光；放大部，其藉由上述第1及第2增益將上述所輸出之第1及第2畫素信號放大；及圖像輸出部，其輸出自上述第1及第2畫素 信號產生之圖像資料。藉此，帶來如下作用：輸出自藉由增益而被放大之圖像信號產生之圖像資料，上述增益係基於第1及第2單眼相機模組之感度差予以調整後者。
又，本技術之第3態樣係一種攝像系統，其具備：第1畫素陣列部，其排列有產生第1畫素信號之第1畫素；第2畫素陣列部，其排列有產生第2畫素信號之第2畫素；第1設定部，其基於適當曝光值設定曝光時間及對於上述第1畫素信號之第1增益；第2設定部，其基於設置有上述第1畫素陣列部之第1單眼相機模組與設置有上述第2畫素陣列部之第2單眼相機模組之感度差，調整上述第1增益，而設定為對於藉由上述第2畫素而產生之第2畫素信號之第2增益；控制部，其使上述第1及第2畫素陣列部歷經上述曝光時間持續地曝光；放大部，其藉由上述第1及第2增益將上述所輸出之第1及第2畫素信號放大；及記錄部，其記錄自上述第1及第2畫素信號產生之圖像資料。藉此，帶來如下作用：記錄自藉由增益而被放大之圖像信號產生之圖像資料，上述增益係基於第1及第2單眼相機模組之感度差予以調整後者。
根據本技術，能發揮如下優異效果：於設置有複數個攝像元件之複眼之攝像裝置中，可拍攝畫質相同之複數之圖像資料。再者，此處所記載之效果亦可不必受到限定，可為本發明中所記載之任一效果。
100:攝像裝置
110:相機模組控制部
119:信號線
120:記錄部
200:兩眼相機模組
201:單眼相機模組
202:單眼相機模組
203:連結構件
209:信號線
211:攝像透鏡
212:攝像透鏡
213:圖像輸出部
214:望遠透鏡
215:廣角透鏡
220:副側固體攝像元件
221:驅動器
222:類比信號放大部
223:AD轉換部
224:數位信號放大部
230:副側畫素陣列部
231:畫素
240:主側固體攝像元件
241:驅動器
242:類比信號放大部
243:AD轉換部
244:數位信號放大部
250:主側畫素陣列部
251:R畫素
252:G畫素
253:B畫素
260:測光部
270:曝光控制部
271:適當曝光值運算部
272:主側曝光參數設定部
273:記憶體
274:副側曝光參數設定部
275:運算器
276:副側適當曝光值修正部
277:副側增益運算部
278:主側曝光參數設定部
279:副側曝光參數設定部
280:同步信號供給部
290:圖像合成部
291:數位信號放大部
292:數位信號放大部
293:合成處理部
301:單眼攝像裝置
302:單眼攝像裝置
303:單眼攝像裝置
304:同步控制裝置
305:記錄裝置
12000:車輛控制系統
12001:通信網路
12010:驅動系統控制單元
12020:主體系統控制單元
12030:車外資訊檢測單元
12031:攝像部
12040:車內資訊檢測單元
12041:駕駛員狀態檢測部
12050:綜合控制單元
12051:微電腦
12052:聲音圖像輸出部
12053:車載網路I/F
12061:音響揚聲器
12062:顯示部
12063:儀表面板
12100:車輛
12101:攝像部
12102:攝像部
12103:攝像部
12104:攝像部
12105:攝像部
12111:攝像範圍
12112:攝像範圍
12113:攝像範圍
12114:攝像範圍
dE:感度差換算值
MAG:主側類比增益
MDG_DSP:主側數位增益
MDG_IMG:主側數位增益
SAG:副側之類比增益
SDG_DSP:副側數位增益
SDG_IMG:副側數位增益
SGA:副側增益換算值
SST:副側曝光時間換算值
S901~S905:步驟
S910~S913:步驟
S920~S928:步驟
S930~S935:步驟
S950~S952:步驟
VSYNC:垂直同步信號
圖1係表示本技術之第1實施形態中之攝像裝置之一構成例的方塊圖。
圖2係表示本技術之第1實施形態中之兩眼相機模組之外觀之構成例 的圖。
圖3係表示本技術之第1實施形態中之兩眼相機模組的一構成例的方塊圖。
圖4係表示本技術之第1實施形態中之副側固體攝像元件之一構成例的方塊圖。
圖5係表示本技術之第1實施形態中之主側固體攝像元件之一構成例的方塊圖。
圖6係本技術之第1實施形態中之副側畫素陣列部及主側畫素陣列部之俯視圖之一例。
圖7係表示本技術之第1實施形態中之曝光控制部之一構成例的方塊圖。
圖8係表示本技術之第1實施形態中之程式線圖之一例的圖。
圖9係表示本技術之第1實施形態中之副側曝光參數設定部之一構成例的方塊圖。
圖10係表示本技術之第1實施形態中之圖像合成部之一構成例的方塊圖。
圖11係將本技術之第1實施形態中之與曝光控制相關之構成彙總所得之方塊圖。
圖12係用以對本技術之第1實施形態中之曝光參數之設定方法進行說明之圖。
圖13係用以對比較例中之曝光參數之設定方法進行說明之圖。
圖14係表示本技術之第1實施形態中之兩眼相機模組之動作之一例的流程圖。
圖15係表示本技術之第1實施形態中之主側曝光控制處理之流程圖。
圖16係表示本技術之第1實施形態中之副側曝光控制處理之流程圖。
圖17係表示本技術之第1實施形態中之副側適當曝光值修正處理之流程圖。
圖18係表示本技術之第1實施形態之變化例中之副側曝光控制處理的流程圖。
圖19係表示本技術之第2實施形態中之曝光控制部之一構成例的方塊圖。
圖20係用以對本技術之第2實施形態中之曝光參數之設定方法進行說明之圖。
圖21係表示本技術之第2實施形態中之兩眼相機模組之動作之一例的流程圖。
圖22係表示本技術之第2實施形態中之副側曝光控制處理之流程圖。
圖23係表示本技術之第2實施形態中之切換控制處理之流程圖。
圖24係表示本技術之第3實施形態中之兩眼相機模組之一構成例的方塊圖。
圖25係表示本技術之第4實施形態中之攝像系統之一構成例的方塊圖。
圖26係表示車輛控制系統之概略構成之一例之方塊圖。
圖27係表示車外資訊檢測部及攝像部之設置位置之一例之說明圖。
以下，對用以實施本技術之形態(以下，稱為實施形態)進行說明。說明係按如下順序進行。
1.第1實施形態(基於感度差調整增益之例)
2.第2實施形態(對主側與副側進行切換，基於感度差調整增益之例)
3.第3實施形態(基於感度差調整增益而拍攝2張彩色圖像之例)
4.第4實施形態(於三眼以上之攝像系統中基於感度差調整增益之例)
5.應用於移動體之例
<1.第1實施形態> [攝像裝置之構成例]
圖1係表示本技術之第1實施形態中之攝像裝置100之一構成例的方塊圖。該攝像裝置100係能夠拍攝圖像資料之裝置，具備相機模組控制部110、兩眼相機模組200及記錄部120。作為攝像裝置100，假定具有攝像功能之智慧型手機或個人電腦等通用型機器、或者數位靜態相機或數位攝錄影機等數位相機。
相機模組控制部110係按照使用者之操作控制兩眼相機模組200者。例如，相機模組控制部110按照使用者之操作，產生指示攝像之開始或停止之控制信號，並將該控制信號經由信號線119供給至兩眼相機模組200。
兩眼相機模組200係藉由2個固體攝像元件同時拍攝2張圖像資料者。該兩眼相機模組200將拍攝到之圖像資料經由信號線209供給至記錄部120。記錄部120係記錄圖像資料者。再者，兩眼相機模組200係申請專利範圍中所記載之攝像模組之一例。
[兩眼相機模組之構成例]
圖2係表示本技術之第1實施形態中之兩眼相機模組之外觀之構成例的圖。該圖中之a係兩眼相機模組200之立體圖，該圖中之b係兩眼相機模 組200之前視圖。
兩眼相機模組200係複眼方式之相機模組，且係藉由利用由矩形板狀形狀構成之連結構件203將單眼相機模組201與單眼相機模組202固定而構成。
於單眼相機模組201，搭載有CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)影像感測器等固體攝像元件及透鏡單元等。
於單眼相機模組201中，固體攝像元件包含呈二維狀排列有複數個畫素之畫素部、及進行畫素之驅動或A/D(Analog/Digital，類比/數位)轉換等之周邊電路部等。於該固體攝像元件中，自透鏡單元內之透鏡入射之光(像光)於畫素部之受光面成像，所成之像之光被進行光電轉換，藉此產生畫素信號。
單眼相機模組202係與單眼相機模組201同樣地，搭載有CMOS影像感測器及透鏡單元等而構成。例如，於兩眼相機模組200中，可將單眼相機模組202設為主相機，另一方面，將單眼相機模組201設為副相機。
連結構件203由輪廓較將單眼相機模組201之透鏡單元與單眼相機模組202之透鏡單元並列時之平面方向之尺寸大的矩形板狀形狀構成。又，於連結構件203，對稱地貫通形成有供單眼相機模組201之透鏡單元插入之矩形插入孔部、及供單眼相機模組202之透鏡單元插入之矩形插入孔部。
於兩眼相機模組200中，對貫通形成於連結構件203之2個矩形插入孔部，分別插入並固定有單眼相機模組201之透鏡單元、及單眼相機模組202之透鏡單元。藉此，兩眼相機模組200構成為具有單眼相機模組201及 單眼相機模組202之複眼方式之相機模組。兩眼相機模組200係以如上方式構成。
再者，單眼相機模組201與單眼相機模組202係藉由連結構件203而連結之複數個單眼相機模組之一例，以下，於無需對其等特別加以區分之情形時，簡稱為單眼相機模組201而進行說明。
又，所謂單眼相機模組係搭載有1個固體攝像元件(影像感測器)之相機模組。另一方面，兩眼相機模組係藉由使2個單眼相機模組連結而搭載有2個固體攝像元件(影像感測器)之相機模組。其中，模組存在以封裝等其他名稱稱呼之情形。
圖3係表示本技術之第1實施形態中之兩眼相機模組200之一構成例的方塊圖。該兩眼相機模組200具備攝像透鏡211及212、副側固體攝像元件220、主側固體攝像元件240、測光部260、曝光控制部270、同步信號供給部280、圖像合成部290及圖像輸出部213。
圖3中之攝像透鏡211及副側固體攝像元件220配置於圖2中之單眼相機模組201內，圖3中之攝像透鏡212及主側固體攝像元件240配置於圖2中之單眼相機模組202內。又，圖3中之測光部260內之主側電路與副側電路分散地配置於圖2中之單眼相機模組201及202。圖3中之曝光控制部270、同步信號供給部280、圖像合成部290及圖像輸出部213可配置於圖2中之單眼相機模組201及202中之任一者。
攝像透鏡211係將來自被攝體之光聚集並導向副側固體攝像元件220者。攝像透鏡212係將來自被攝體之光聚集並導向主側固體攝像元件240者。攝像透鏡211及212各自之光圈之光圈值例如為固定值。再者，亦可為光圈值可變且由曝光控制部270控制該值之構成。於光圈值可變之情形 時，對光圈值要考慮到主側及副側各自之攝角及景深而以於主側及副側分別成為合適值之方式進行控制。
副側固體攝像元件220係拍攝圖像資料者。該副側固體攝像元件220拍攝由不含顏色資訊之畫素資料構成之圖像資料即單色圖像資料。而且，副側固體攝像元件220將單色圖像資料供給至測光部260及圖像合成部290。
主側固體攝像元件240係拍攝圖像資料者。該主側固體攝像元件240拍攝由包含顏色資訊之畫素資料構成之圖像資料即彩色圖像資料。該彩色圖像資料係藉由拜耳排列將R(Red，紅色)、G(Green，綠色)、及B(Blue，藍色)之畫素資料排列而成者，亦被稱為RAW圖像資料。又，彩色圖像資料之總畫素數設為與單色圖像資料相同。主側固體攝像元件240將彩色圖像資料供給至測光部260及圖像合成部290。
測光部260係藉由圖像資料之亮度值之累計或加權平均等而測定光量者。該測光部260使用單色圖像資料測定副側光量作為副側測光量，使用彩色圖像資料測定主側光量作為主側測光量。而且，測光部260將副側測光量及主側測光量供給至曝光控制部270。
曝光控制部270係基於來自測光部260之測光量進行曝光控制者。該曝光控制部270根據測光量計算適當曝光值，並基於該適當曝光值求出曝光時間(換言之，快門速度)及對於畫素信號之增益。曝光控制部270之功能例如可藉由MPU(Micro-Processing Unit，微處理單元)執行程式而實現。
此處，增益包含對於類比畫素信號之類比增益、及對於數位畫素資料之數位增益中之至少一者。又，數位增益包含在副側固體攝像元件220 及主側固體攝像元件240之內部使用之數位增益、以及在其等之外部使用之數位增益中之至少一者。以下，將副側類比增益設為SAG，將主側類比增益設為MAG。又，將副側固體攝像元件220之內部之數位增益設為SDG_IMG，將在圖像合成部290中使用之副側數位增益設為SDG_DSP。將主側固體攝像元件240之內部之數位增益設為MDG_IMG，將在圖像合成部290中使用之主側數位增益設為MDG_DSP。
曝光控制部270將類比增益SAG及數位增益SDG_IMG以及曝光時間各自之設定值供給至副側固體攝像元件220。又，曝光控制部270將類比增益MAG及數位增益MDG_IMG以及曝光時間各自之設定值供給至主側固體攝像元件240。而且，曝光控制部270將數位增益SDG_DSP及MDG_DSP供給至圖像合成部290。
同步信號供給部280係按照模組控制信號而產生特定頻率(例如，60赫茲)之垂直同步信號VSYNC者。該同步信號供給部280將所產生之垂直同步信號VSYNC供給至副側固體攝像元件220及主側固體攝像元件240。
圖像合成部290係將單色圖像資料與彩色圖像資料合成者。拜耳排列之彩色圖像資料需要藉由解馬賽克處理進行內插，藉由該處理，G之解像度成為總畫素數之1/2，R及B之解像度成為總畫素數之1/4。另一方面，若為單色圖像資料，則無需進行解馬賽克處理，故而解像度較解馬賽克後之彩色圖像資料高。因此，藉由單色圖像資料之合成，可補償在彩色圖像資料中不足之畫素資訊，從而使合成圖像資料之畫質較未經合成之情形時有所提高。圖像合成部將合成圖像資料供給至圖像輸出部213。
圖像輸出部213係將合成圖像資料輸出至記錄部120者。例如，按照顯示埠(Display Port)等內部介面之規格，將傳輸資料之電路用作圖像輸 出部213。
[副側固體攝像元件之構成例]
圖4係表示本技術之第1實施形態中之副側固體攝像元件220之一構成例的方塊圖。該副側固體攝像元件220具備驅動器221、副側畫素陣列部230、類比信號放大部222、AD(Analog to Digital，類比至數位)轉換部223及數位信號放大部224。
驅動器221係掃描副側畫素陣列部230者。對該驅動器221輸入與垂直同步信號VSYNC同步之時序信號、及副側曝光時間。驅動器221同步於時序信號地依序選擇副側畫素陣列部230內之線，使該線以副側曝光時間持續地曝光。
於副側畫素陣列部230，呈二維格子狀排列有複數個畫素。各畫素按照驅動器221之控制，產生類比畫素信號，並將該類比畫素信號供給至類比信號放大部222。再者，副側畫素陣列部230係申請專利範圍中所記載之第2畫素陣列部之一例。
類比信號放大部222係將畫素信號放大者。對該類比信號放大部222輸入類比增益SAG。類比信號放大部222藉由該類比增益SAG將來自副側畫素陣列部230之畫素信號放大後供給至AD轉換部223。
AD轉換部223係將各類比畫素信號轉換成數位畫素資料者。該AD轉換部223將各畫素資料供給至數位信號放大部224。
數位信號放大部224係將畫素資料放大者。對該數位信號放大部224輸入數位增益SDG_IMG。數位信號放大部224藉由該數位增益SDG_IMG將畫素資料放大後輸出至測光部260及圖像合成部290。
再者，副側固體攝像元件220除進行上述放大處理及AD轉換以外， 亦會視需要執行相關雙重取樣(CDS：Correlated Double Sampling)處理等信號處理，產生單色圖像資料。
[主側固體攝像元件之構成例]
圖5係表示本技術之第1實施形態中之主側固體攝像元件240之一構成例的方塊圖。該主側固體攝像元件240具備驅動器241、主側畫素陣列部250、類比信號放大部242、AD轉換部243及數位信號放大部244。
驅動器241除使用主側曝光時間之方面以外，其他構成與副側之驅動器221相同。於主側畫素陣列部250，藉由拜耳排列設置有R、G及B畫素。類比信號放大部242除藉由類比增益MAG進行放大之方面以外，其他構成與副側之類比信號放大部222相同。數位信號放大部244除藉由數位增益MDG_IMG進行放大之方面以外，其他構成與副側之數位信號放大部224相同。再者，主側畫素陣列部250係申請專利範圍中所記載之第1畫素陣列部之一例。
[畫素陣列部之構成例]
圖6係本技術之第1實施形態中之副側畫素陣列部230及主側畫素陣列部250之俯視圖之一例。該圖中之a係副側畫素陣列部230之俯視圖之一例，該圖中之b係主側畫素陣列部250之俯視圖之一例。
於副側畫素陣列部230，呈二維格子狀排列有複數個畫素231。而且，於各畫素231並未設置彩色濾光片。因此，藉由該副側畫素陣列部230拍攝不含顏色資訊之單色圖像資料。
另一方面，於主側畫素陣列部250，藉由拜耳排列而呈二維格子狀排列有特定數量之R畫素251、G畫素252及B畫素253。主側畫素陣列部250之總畫素數與副側畫素陣列部230相同。於R畫素251設置有使紅色光透過 之彩色濾光片，於G畫素252設置有使綠色光透過之彩色濾光片。又，於B畫素253設置有使藍色光透過之彩色濾光片。彩色濾光片之透過率未達100%，因此設置有彩色濾光片之R畫素251、G畫素252及B畫素253之感光度較畫素231低。
由於如上所述般主側與副側之畫素之感光度不同，故而主側與副側各自之單眼相機模組整體之感度不同。又，於主側與副側各自之光學系統之光學特性(F值等)不同之情形時，該特性之不同亦會對單眼相機模組之感度差造成影響。
[曝光控制部之構成例]
圖7係表示本技術之第1實施形態中之曝光控制部270之一構成例的方塊圖。該曝光控制部270具備適當曝光值運算部271、主側曝光參數設定部272、記憶體273及副側曝光參數設定部274。
適當曝光值運算部271係根據主側測光量及副側測光量計算主側及副側各自之適當曝光值者。適當曝光值運算部271將主側測光量輸入至特定之函數，而計算主側適當曝光值。又，適當曝光值運算部271將副側測光量輸入至該函數，而計算副側適當曝光值。
此處，所謂「適當曝光值」係指為了使圖像資料成為所期望之明亮程度而所需之曝光值。而且，曝光值一般由光圈值、曝光時間、及增益決定。此處，如上所述般光圈值固定，因此適當曝光值運算部271使將該固定光圈值換算成曝光值所得之值作為偏差值，而自主側適當曝光值及副側適當曝光值減去偏差值。
適當曝光值運算部271將減去偏差值後之主側適當曝光值供給至主側曝光參數設定部272及副側曝光參數設定部274，將減去偏差值後之副側 適當曝光值供給至副側曝光參數設定部274。
主側曝光參數設定部272係設定主側之曝光時間及增益者。該主側曝光參數設定部272參照程式線圖，根據主側適當曝光值而求出主側曝光時間及增益。該增益包含類比增益MAG與數位增益MDG_IMG及MDG_DSP中之至少1個。其等之中例如優先設定類比增益MAG。於僅藉由類比增益MAG便可達到所需增益之情形時，僅對類比增益MAG設定有意義值。換言之，對類比增益MAG設定大於「0」分貝之值，對數位增益設定為「0」分貝。又，於僅藉由類比增益MAG而增益不足之情形時，進而設定數位增益MDG_IMG或MDG_DSP。
主側曝光參數設定部272將主側曝光時間供給至副側曝光參數設定部274及主側固體攝像元件240。又，主側曝光參數設定部272將類比增益MAG及數位增益MDG_IMG供給至主側固體攝像元件240，將數位增益MDG_DSP供給至圖像合成部290。再者，主側曝光參數設定部272係申請專利範圍中所記載之第1設定部之一例。
副側曝光參數設定部274係設定副側之曝光時間及增益者。該副側曝光參數設定部274將與主側曝光時間相同之值設定為副側曝光時間。又，副側曝光參數設定部274藉由下式計算基準曝光值。
SEB=ME-D‧‧‧式1
於上式中，SEB表示基準曝光值。ME表示主側適當曝光值，D表示將單眼相機模組201與單眼相機模組202之感度差換算成曝光值所得之值。
然後，副側曝光參數設定部274將基準曝光值SEB±dE設定為容許範圍，將副側適當曝光值SE1修正為該容許範圍內之值後設為修正後副側適 當曝光值SE3。繼而，副側曝光參數設定部274使用下式求出副側增益換算值。該副側增益換算值係將副側之對於畫素信號之增益換算成曝光值所得之值。
SGA=SE3-SST‧‧‧式2
於上式中，SGA係副側增益換算值，SST係副側曝光時間換算值。該副側曝光時間換算值係將副側之曝光時間換算成曝光值所得之值。再者，上式中係以副側之感度較高為前提而進行減法運算，但於相反地主側之感度較高之情形時，進行加法運算。
副側曝光參數設定部274根據副側增益換算值SGA，求出並設定副側之類比增益SAG、數位增益SDG_IMG及數位增益SDG_DSP。而且，副側曝光參數設定部274將類比增益SAG及數位增益MDG_IMG供給至副側固體攝像元件220，將數位增益SDG_DSP供給至圖像合成部290。
記憶體273係保持感度差換算值D、dE及程式線圖者。
圖8係表示本技術之第1實施形態中之程式線圖之一例的圖。該圖中之縱軸表示曝光時間或增益，橫軸表示適當曝光值。又，單點鏈線表示曝光時間之軌跡，實線表示增益之軌跡。主側曝光參數設定部272可參照該程式線圖，而取得與主側適當曝光值對應之主側之曝光時間及增益。再者，亦可為以函數表示程式線圖上之軌跡且記憶體273僅保持該函數之係數之構成。又，亦可為基於程式線圖將針對每個適當曝光值記載有曝光時間及增益之組合的表格保持於記憶體273之構成。
圖9係表示本技術之第1實施形態中之副側曝光參數設定部274之一構成例的方塊圖。該副側曝光參數設定部274具備運算器275、副側適當曝光值修正部276及副側增益運算部277。
運算器275係利用式1計算基準曝光值SEB者。該運算器275將基準曝光值SEB供給至副側適當曝光值修正部276。
副側適當曝光值修正部276係將基準曝光值SEB±dE設定為容許範圍，而將副側適當曝光值SE1修正為該容許範圍內之值者。若副側適當曝光值SE1為容許範圍外之值，則該副側適當曝光值修正部276將基準曝光值+dE或基準曝光值-dE作為修正後副側適當曝光值SE3而供給至副側增益運算部277。另一方面，若副側適當曝光值SE1為容許範圍內之值，則副側適當曝光值修正部276將副側適當曝光值SE1原樣不動地作為修正後副側適當曝光值SE3而供給至副側增益運算部277。再者，副側適當曝光值修正部276係申請專利範圍中所記載之修正部之一例。
副側增益運算部277係藉由式2計算副側增益者。再者，副側增益運算部277係申請專利範圍中所記載之增益運算部之一例。
[圖像合成部之構成例]
圖10係表示本技術之第1實施形態中之圖像合成部290之一構成例的方塊圖。該圖像合成部290具備數位信號放大部291及292、以及合成處理部293。數位信號放大部291及292例如藉由DSP(Digital Signal Processing，數位信號處理)電路而實現。
數位信號放大部291係藉由數位增益SDG_DSP將副側之單色圖像資料內之各畫素資料放大者。該數位信號放大部291將放大後之單色圖像資料供給至合成處理部293。
數位信號放大部292係藉由數位增益MDG_DSP將副側之彩色圖像資料內之各畫素資料放大者。該數位信號放大部292將放大後之彩色圖像資料供給至合成處理部293。再者，於圖像合成部290中，除利用數位信號 放大部291及292進行放大合成以外，亦會視需要執行白平衡修正、或解馬賽克處理等各種數位信號處理。
合成處理部293係將放大後之單色圖像資料及彩色圖像資料合成而產生合成圖像資料者。合成處理部293將合成圖像資料供給至圖像輸出部213。
圖11係將本技術之第1實施形態中之與曝光控制相關之構成彙總所得之方塊圖。適當曝光值運算部271基於副側測光量及主側測光量計算副側適當曝光值及主側適當曝光值。
主側曝光參數設定部272根據主側適當曝光值，求出並設定主側之曝光時間及增益。副側曝光參數設定部274對副側設定與主側相同之曝光時間，基於感度差調整增益並對副側進行設定。
驅動器221使副側畫素陣列部230以副側曝光時間持續地曝光，驅動器241使主側畫素陣列部250以主側曝光時間持續地曝光。再者，包含驅動器221及241之電路係申請專利範圍中所記載之控制部之一例。
然後，類比信號放大部222藉由副側類比增益將來自副側畫素陣列部230之畫素信號放大，類比信號放大部242藉由主側類比增益將來自主側畫素陣列部250之畫素信號放大。再者，包含類比信號放大部222及242之電路係申請專利範圍中所記載之放大部之一例。
圖12係用以對本技術之第1實施形態中之曝光參數設定方法進行說明之圖。適當曝光值運算部271計算副側適當曝光值及主側適當曝光值。主側曝光參數設定部272參照程式線圖，求出與主側適當曝光值對應之曝光時間及增益並對主側進行設定。
然後，副側曝光參數設定部274自主側適當曝光值減去感度差換算 值，並將所得之值作為基準曝光值。然後，將副側適當曝光值修正為該基準曝光值±dE之容許範圍內之值。例如，於圖12中，副側適當曝光值大於容許範圍之最大值。於該情形時，副側曝光參數設定部274將曝光值限制為該最大值並將其作為修正後適當曝光值。
存在如下情況，即，因主側與副側之視差或攝角差異而導致副側與主側之明亮程度之差變大，但即便為此種情形，亦能夠藉由將適當曝光值限制於容許範圍內，而抑制主側與副側之曝光值背離。又，於根據圖像合成部290之規格，當主側與副側之曝光量之差並非固定以下時無法進行合成之情形時，可藉由設定與規格對應之容許範圍而滿足該規格之要求。
又，副側曝光參數設定部274將與主側曝光時間相同之值設定為副側曝光時間。然後，副側曝光參數設定部274自修正後適當曝光值減去副側曝光時間之換算值而求出副側增益換算值，從而設定副側增益。
藉由上述曝光控制，對副側設定與主側相同之曝光時間。又，將基於感度差調整主側增益所得之值設定為副側增益。藉此，攝像裝置100可拍攝明亮程度相同之單色圖像資料及彩色圖像資料。
再者，副側曝光參數設定部274係將副側適當曝光值限制於容許範圍內，但亦可不使用副側適當曝光值，而將主側適當曝光值減去感度差換算值及副側曝光時間換算值所得之值原樣不動地用作副側增益換算值。
圖13係用以對比較例中之曝光參數設定方法進行說明之圖。於該比較例中，攝像裝置設為不考慮感度差，而根據適當曝光值於主側及副側個別地設定曝光時間及增益。
比較例之攝像裝置參照程式線圖，求出與主側適當曝光值對應之曝光時間及增益並對主側進行設定。又，該攝像裝置參照程式線圖，求出與 副側適當曝光值對應之曝光時間及增益並對副側進行設定。
於主側與副側之感度不同之情形時，即便攝像條件相同，亦可於主側與副側獲得不同之測光量，故而主側適當曝光值與副側適當曝光值成為不同之值。因此，存在於主側及副側設定不同之曝光時間之情況。於該情形時，儘管明亮程度大致相同，但會因曝光時間不同，而拍攝動態被攝體之晃動量不同之2張圖像資料。其結果，合成圖像資料之畫質降低。
若攝像裝置將主側之適當曝光值原樣不動地應用於副側，則可使曝光時間及增益於主側及副側相同。然而，由於在主側與副側存在感度差，故而若設定相同之曝光時間及增益，則會導致2張圖像資料之明亮程度不同。
與此相對地，攝像裝置100係在主側與副側將曝光時間設定為相同之值，並基於感度差調整副側增益，因此可使圖像資料之明亮程度及曝光時間於主側及副側大致相同地一致。藉此，可提高合成圖像資料之畫質。
[兩眼相機模組之動作例]
圖14係表示本技術之第1實施形態中之兩眼相機模組200之動作之一例的流程圖。該動作例如於由相機模組控制部110指示攝像開始時開始。
兩眼相機模組200於主側及副側進行測光，產生主側測光量及副側測光量(步驟S901)。然後，兩眼相機模組200執行用以設定主側曝光參數之主側曝光控制處理(步驟S910)，並執行用以設定副側曝光參數之副側曝光控制處理(步驟S920)。
然後，兩眼相機模組200基於所設定之曝光參數，拍攝彩色圖像及單色圖像(步驟S902)。兩眼相機模組200藉由所設定之增益將畫素信號放大(步驟S903)，並執行將2張圖像合成之合成處理(步驟S904)。
圖15係表示本技術之第1實施形態中之主側曝光控制處理之流程圖。曝光控制部270根據主側測光量計算主側適當曝光值(步驟S911)。然後，曝光控制部270參照程式線圖，求出與主側適當曝光值對應之增益並對主側進行設定(步驟S912)，又，求出對應之曝光時間並對主側進行設定(步驟S913)。於步驟S913後，曝光控制部270結束主側曝光控制處理。
圖16係表示本技術之第1實施形態中之副側曝光控制處理之流程圖。曝光控制部270根據副側測光量計算副側適當曝光值(步驟S921)。然後，曝光控制部270計算主側適當曝光值與感度差換算值之差分，並將該差分作為基準曝光值(步驟S922)，執行用以修正副側適當曝光值之副側適當曝光值修正處理(步驟S930)。曝光控制部270對副側設定與主側相同之曝光時間(步驟S923)，根據修正後副側適當曝光值與副側曝光時間換算值之差分，求出並設定副側增益(步驟S924)。於步驟S924後，曝光控制部270結束副側曝光控制處理。
圖17係表示本技術之第1實施形態中之副側適當曝光值修正處理之流程圖。曝光控制部270對副側適當曝光值是否大於基準曝光值+dE進行判斷(步驟S931)。於副側適當曝光值大於基準曝光值+dE之情形時(步驟S931：是)，曝光控制部270將基準曝光值+dE之值作為修正後副側適當曝光值(步驟S932)。
另一方面，於副側適當曝光值為基準曝光值+dE以下之情形時(步驟S931：否)，曝光控制部270對副側適當曝光值是否小於基準曝光值-dE進行判斷(步驟S933)。於副側適當曝光值小於基準曝光值-dE之情形時(步驟S933：是)，曝光控制部270將基準曝光值-dE之值作為修正後副側適當曝光值(步驟S934)。
另一方面，於副側適當曝光值為基準曝光值-dE以上之情形時(步驟S933：否)，曝光控制部270將副側適當曝光值原樣不動地作為修正後副側適當曝光值(步驟S935)。於步驟S932、S934或S935後，曝光控制部270結束副側適當曝光值修正處理。
如此，根據本技術之第1實施形態，攝像裝置100係將主側及副側之曝光時間設為相同，且基於感度差進行調整而調整增益，因此可藉由相同之曝光時間拍攝明亮程度相同之2張圖像。
[變化例]
於上述第1實施形態中，攝像裝置100係將副側適當曝光值修正為根據主側適當曝光值而求出之基準曝光值±dE內，但於該方法中，設定副側增益時無法調整副側適當曝光值之反映程度。攝像裝置100若對基準曝光值與副側適當曝光值進行加權求和，則可藉由調整權重係數而變更副側適當曝光值之反映程度。該第1實施形態之變化例之攝像裝置100於對基準曝光值與副側適當曝光值進行加權求和之方面，與第1實施形態不同。
圖18係表示本技術之第1實施形態之變化例中之副側曝光控制處理的流程圖。該第1實施形態之變化例之副側曝光控制處理於進而執行步驟S925之方面，與第1實施形態不同。
曝光控制部270利用式1計算基準曝光值SEB(步驟S922)，並利用下式進行加權求和而計算加權求和值SE2(步驟S925)。
SE2=(A×SEB+B×SE1)/(A+B)‧‧‧式3
於上式中，A及B係權重係數，被設定為實數。
然後，曝光控制部270於副側適當曝光值修正處理中，將加權求和值SE2修正為基準曝光值SEB±dE內之值，並將所得之值作為修正後副側適 當曝光值SE3(步驟S930)。
存在如下情況，即，因主側與副側之視差或攝角影響而導致主側與副側之測光區錯開，為了抑制其影響，要調整權重係數。例如，於副側之測光區雖相對於主側偏移但測光區之一部分一致之情形時，根據其偏移量設定權重係數A及B。例如，對權重係數A設定「1」，對權重係數B設定「2」。
又，於副側之測光區相對於主側完全錯開之情形時，對權重係數A設定「0」，對權重係數B設定「1」。又，於主側之測光區與副側一致之情形時，對權重係數A設定「1」，對權重係數B設定「0」。
又，除主側與副側之視差或攝角影響以外，還根據圖像合成部290之規格調整權重係數。例如，於在圖像合成部290之規格上，要求主側與副側之曝光量完全一致之情形時，對權重係數A設定「1」，對權重係數B設定「0」。又，於重視副側曝光量之情形時，對權重係數B設定「0」以外之值。例如，對權重係數A設定「0」或「2」，對權重係數B設定「1」。
如此，於本技術之第1實施形態之變化例中，攝像裝置100進行主側適當曝光值SEB及副側適當曝光值SE1之加權求和，因此能夠調整副側之設定中之副側適當曝光值之反映程度。
<2.第2實施形態>
於上述第1實施形態中係根據主側適當曝光值計算主側之曝光時間及增益，並結合曝光時間計算副側增益。然而，於該運算方法中，存在若不將副側增益設為負值則曝光值不與主側一致之情況。於一般之固體攝像元件中，設置有用於放大之放大器，但由於未設置用於衰減之元件或電路，故而無法設定負值之增益。於該情形時，只要於副側以增益不成為負值之 方式設定曝光時間，且將該副側之曝光時間應用於主側即可。該第2實施形態之攝像裝置100於在副側增益成為負值時將副側之曝光時間應用於主側之方面，與第1實施形態不同。
圖19係表示本技術之第2實施形態中之曝光控制部270之一構成例的方塊圖。該第2實施形態之曝光控制部270之構成於具備主側曝光參數設定部278代替主側曝光參數設定部272之方面，與第1實施形態不同。又，第2實施形態之曝光控制部270之構成於具備副側曝光參數設定部279代替副側曝光參數設定部274之方面，與第1實施形態不同。
副側曝光參數設定部279利用與第1實施形態相同之方法求出副側增益，並對該增益是否為負值進行判斷。於成為負值之情形時，副側曝光參數設定部279求出該為負數之副側增益換算值與主側曝光時間換算值相加所得之值作為副側曝光時間換算值。即，副側曝光參數設定部279將曝光時間縮短相當於為負數之增益量。又，副側增益被設定為「0」分貝(dB)。然後，副側曝光參數設定部279將副側曝光時間換算值供給至主側曝光參數設定部278。
主側曝光參數設定部278當接收到副側曝光時間換算值時，對主側設定與副側相同之曝光時間。然後，主側曝光參數設定部278對主側設定與主側適當曝光值和主側曝光時間換算值之差分對應之增益。
圖20係用以對本技術之第2實施形態中之曝光參數設定方法進行說明之圖。曝光控制部270參照程式線圖，根據主側適當曝光值而設定主側之曝光時間及增益。然後，曝光控制部270計算將副側之曝光時間設為與副側相同時之副側增益。此處，存在副側增益成為負值之情況。例如，若主側曝光時間換算值大於副側適當曝光值，或若不使副側類比增益為負值， 則曝光值與主側不一致。
於此種情形時，曝光控制部270求出為負數之副側增益換算值與主側曝光時間換算值相加所得之值作為副側曝光時間換算值。繼而，曝光控制部270對副側設定與副側曝光時間換算值對應之曝光時間，對主側亦設定與副側相同之曝光時間。然後，曝光控制部270對主側設定與主側適當曝光值和主側曝光時間換算值之差分對應之增益。又，曝光控制部270將副側增益設定為「0」分貝(dB)。
圖21係表示本技術之第2實施形態中之兩眼相機模組200之動作之一例的流程圖。該第2實施形態之兩眼相機模組200之動作於進而執行步驟S905及S950之方面，與第1實施形態不同。
兩眼相機模組200於副側曝光控制處理(步驟S920)之後，對切換旗標是否為打開狀態進行判斷(步驟S905)。於切換旗標為打開狀態之情形時(步驟S905：是)，兩眼相機模組200執行用以將副側之曝光時間應用於主側之切換控制處理(步驟S950)。
於切換旗標為關閉狀態之情形時(步驟S905：否)，或於S950之後，兩眼相機模組200執行步驟S902及其以後之處理。
圖22係表示本技術之第2實施形態中之副側曝光控制處理之流程圖。該第2實施形態之副側曝光控制處理於進而執行步驟S924至S928之方面，與第1實施形態不同。曝光控制部270設定副側增益(步驟S924)，並對該增益是否為負值進行判斷(步驟S925)。
於增益並非負值之情形時(步驟S925：否)，曝光控制部270使切換旗標關閉(步驟S926)，並對副側設定與主側相同之曝光時間(步驟S923)。另一方面，於增益換算值為負值之情形時(步驟S925：是)，曝光控制部270 使切換旗標打開(步驟S927)。然後，曝光控制部270對副側設定與主側適當曝光值和感度差換算值之差分對應之增益，並將副側增益設定為「0」分貝(dB)(步驟S928)。於步驟S923或S928之後，曝光控制部270結束主側曝光控制處理。再者，於第2實施形態中，亦能夠應用進行加權求和之變化例。
圖23係表示本技術之第2實施形態中之切換控制處理之流程圖。曝光控制部270對主側設定與副側相同之曝光時間(步驟S951)。又，曝光控制部270對主側設定與主側適當曝光值和主側曝光時間換算值之差分對應之增益(步驟S952)。於步驟S952之後，曝光控制部270結束切換控制處理。
如此，於本技術之第2實施形態中，曝光控制部270係於副側增益成為負值之情形時，縮短副側之曝光時間並對主側加以應用，因此，即便於副側增益成為負值之情形時，亦能夠使明亮程度一致。
<3.第3實施形態>
於上述第1實施形態中，攝像裝置100係藉由未設置彩色濾光片之副側固體攝像元件220及設置有彩色濾光片之主側固體攝像元件240拍攝單色圖像資料及彩色圖像資料並進行合成。然而，於該構成中，無法執行將所要合成之2張圖像之兩者均設為彩色圖像之應用程式。於拍攝2張彩色圖像資料時，只要於副側固體攝像元件220亦設置彩色濾光片即可。該第3實施形態之兩眼相機模組200於拍攝2張彩色圖像資料並進行合成之方面，與第1實施形態不同。
圖24係表示本技術之第3實施形態中之兩眼相機模組200之一構成例的方塊圖。該第3實施形態之兩眼相機模組200於設置有望遠透鏡214及廣角透鏡215代替攝像透鏡211及212，且於副側固體攝像元件220設置有彩 色濾光片之方面，與第1實施形態不同。
望遠透鏡214係攝角較廣角透鏡215窄之透鏡。該望遠透鏡214將所聚集之光導向副側固體攝像元件220。廣角透鏡215係攝角較望遠透鏡214廣之透鏡。該廣角透鏡215將所聚集之光導向主側固體攝像元件240。
又，雖然於副側固體攝像元件220及主側固體攝像元件240均設置有彩色濾光片，但設為於主側及副側畫素之感度不同。
於使用者進行了將變焦倍率提高至特定值Th1以上之操作時，第3實施形態之圖像合成部290不進行合成而選擇並輸出望遠側之彩色圖像資料。又，於使用者進行了將變焦倍率降低至特定值Th2以下之操作時，圖像合成部290選擇並輸出廣角側之彩色圖像資料。於使用者在特定值Th1至Th2之間操作了變焦倍率時，圖像合成部290進行向廣角側之彩色圖像資料內嵌入望遠側之彩色圖像資料之處理，而產生與該變焦倍率對應之圖像。
如此，於本技術之第3實施形態中，由於在副側固體攝像元件220亦設置有彩色濾光片，故而攝像裝置100可拍攝2張彩色圖像資料並進行合成。
<4.第4實施形態>
於上述第1實施形態中，兩眼之攝像裝置100係藉由調整增益而使2張圖像資料之明亮程度相同，但於三眼以上之複眼之攝像系統中，亦能夠使3張以上之圖像資料之明亮程度一致。該第4實施形態之攝像系統於在複眼之攝像系統中將3張以上之圖像資料之明亮程度控制為相同之方面，與第1實施形態不同。
圖25係表示本技術之第4實施形態中之攝像系統之一構成例的方塊 圖。該攝像元件系統具備單眼攝像裝置301、302及303等3個以上之單眼攝像裝置、同步控制裝置304、以及記錄裝置305。
同步控制裝置304係藉由垂直同步信號VSYNC之供給而使單眼攝像裝置301等之動作同步者。
單眼攝像裝置301之構成與第1實施形態之主側之單眼相機模組201相同。單眼攝像裝置302等其他單眼攝像裝置之構成與第1實施形態之副側之單眼相機模組202相同。但是，於第4實施形態之單眼攝像裝置301等中，未設置記錄部120、同步信號供給部280及圖像合成部290。
記錄裝置305係記錄藉由單眼攝像裝置301等拍攝出之圖像資料者。再者，記錄裝置305係申請專利範圍中所記載之記錄部之一例。
例如，於工廠內之特定監視位置配置單眼攝像裝置301等，藉由對圖像資料進行解析，從而攝像系統能夠偵測工廠內之異常。於該攝像系統中，可拍攝曝光時間及明亮程度相同之3張以上之圖像資料，因此可提高圖像資料之解析精度。
如此，本技術之第4實施形態係於3個以上之單眼攝像裝置301等中調整增益，因此可拍攝曝光時間及明亮程度相同之3張以上之圖像資料。
<5.應用於移動體之例>
本發明之技術(本技術)可應用於各種製品。例如，本發明之技術亦可以搭載於汽車、電動車、油電混合車、機車、腳踏車、單人代步車、飛機、無人機、船舶、機器人等任一種移動體之裝置之形式實現。
圖26係表示作為可應用本發明之技術之移動體控制系統之一例的車輛控制系統之概略之構成例的方塊圖。
車輛控制系統12000具備經由通信網路12001而連接之複數個電子控 制單元。於圖26所示之例中，車輛控制系統12000具備驅動系統控制單元12010、主體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040、及綜合控制單元12050。又，作為綜合控制單元12050之功能構成，圖示有微電腦12051、聲音圖像輸出部12052、及車載網路I/F(interface，介面)12053。
驅動系統控制單元12010按照各種程式控制與車輛之驅動系統相關之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等用以產生車輛驅動力之驅動力產生裝置、用以將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛之舵角之轉向機構、及產生車輛制動力之制動裝置等之控制裝置而發揮功能。
主體系統控制單元12020按照各種程式控制車體上所裝備之各種裝置之動作。例如，主體系統控制單元12020作為無鑰匙進入(keyless entry)系統、智慧鑰匙(smart key)系統、電動車窗(power window)裝置、或者頭燈、尾燈、刹車燈、轉向燈或霧燈等各種燈之控制裝置而發揮功能。於該情形時，可對主體系統控制單元12020輸入自代替鑰匙之便攜器發送之電波或各種開關之信號。主體系統控制單元12020受理該等電波或信號之輸入，而控制車輛之門鎖裝置、電動車窗裝置、燈等。
車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛之外部資訊。例如，於車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，並且接收所拍攝到之圖像。車外資訊檢測單元12030亦可基於所接收到之圖像，進行人、車、障礙物、標識或路面上之字符等之物體檢測處理或距離檢測處理。
攝像部12031係接收光並輸出與該光之受光量對應之電氣信號之光感 測器。攝像部12031可將電氣信號以圖像之形式輸出，亦可將其以測距資訊之形式輸出。又，攝像部12031所接收之光既可為可見光，亦可為紅外線等非可見光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040，例如連接有檢測駕駛員狀態之駕駛員狀態檢測部12041。駕駛員狀態檢測部12041例如包含拍攝駕駛員之相機，車內資訊檢測單元12040基於自駕駛員狀態檢測部12041輸入之檢測資訊，既可算出駕駛員之疲勞程度或集中程度，亦可判別駕駛員是否正在打盹。
微電腦12051可基於藉由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外資訊，計算驅動力產生裝置、轉向機構或制動裝置之控制目標值，並對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現ADAS(Advanced Driver Assistance System，高級駕駛輔助系統)之功能為目的之協調控制，該ADAS之功能包括：車輛之碰撞避免或衝擊緩和、基於車間距離之跟車行駛、定速行駛、車輛碰撞警告、或車輛偏航警告等。
又，微電腦12051基於藉由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛周圍資訊，控制驅動力產生裝置、轉向機構或制動裝置等，藉此可進行以不依據駕駛員之操作而自主行駛之自動駕駛等為目的之協調控制。
又，微電腦12051可基於藉由車外資訊檢測單元12030取得之車外資訊，對主體系統控制單元12020輸出控制指令。例如，微電腦12051可根據藉由車外資訊檢測單元12030偵測出之前方行車或對向行車之位置而控制頭燈，進行將遠光切換為近光等以謀求防眩為目的之協調控制。
聲音圖像輸出部12052向能夠於視覺上或聽覺上對車輛之搭乘人員或車外通知資訊之輸出裝置發送聲音及圖像中之至少一者之輸出信號。於圖26之例中，作為輸出裝置，例示有音響揚聲器12061、顯示部12062及儀表面板12063。顯示部12062例如亦可包含板載顯示器及抬頭顯示器中之至少一者。
圖27係表示攝像部12031之設置位置之例之圖。
於圖27中，車輛12100具有攝像部12101、12102、12103、12104、12105作為攝像部12031。
攝像部12101、12102、12103、12104、12105例如設置於車輛12100之前鼻、側鏡、後保險桿、後門及車廂內之前擋風玻璃上部等位置。設置於前鼻之攝像部12101及設置於車廂內之前擋風玻璃上部之攝像部12105主要取得車輛12100前方之圖像。設置於側鏡之攝像部12102、12103主要取得車輛12100側方之圖像。設置於後保險桿或後門之攝像部12104主要取得車輛12100後方之圖像。藉由攝像部12101及12105取得之前方之圖像主要用於檢測前方車輛、或行人、障礙物、信號機、交通標識或行車標線等。
再者，於圖27中示出攝像部12101至12104之攝影範圍之一例。攝像範圍12111表示設置於前鼻之攝像部12101之攝像範圍，攝像範圍12112、12113分別表示設置於側鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設置於後保險桿或後門之攝像部12104之攝像範圍。例如，使藉由攝像部12101至12104拍攝出之圖像資料重合，藉此可獲得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104中之至少一個亦可具有取得距離資訊之功能。 例如，攝像部12101至12104中之至少一個既可為包含複數個攝像元件之立體聲相機，亦可為具有相位差檢測用畫素之攝像元件。
例如，微電腦12051可基於自攝像部12101至12104獲得之距離資訊，求出至攝像範圍12111至12114內之各立體物之距離、及該距離之時間性變化(相對於車輛12100之相對速度)，藉此提取尤其是位於車輛12100之行進路上之最近立體物且沿著與車輛12100大致相同之方向以特定速度(例如，0km/h以上)行駛之立體物，作為前方行車。進而，微電腦12051可設定應於前方行車之後面預先確保之車間距離，而進行自動刹車控制(亦包括跟車停止控制)或自動加速控制(亦包括跟車前進控制)等。如此，可進行以不依據駕駛員之操作而自主行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051可基於自攝像部12101至12104獲得之距離資訊，將與立體物相關之立體物資料分為二輪車、普通車輛、大型車輛、行人、電線桿等其他立體物而進行提取，用以自動避讓障礙物。例如，微電腦12051將車輛12100周邊之障礙物識別為車輛12100之驅動器能夠視認之障礙物及難以視認之障礙物。然後，微電腦12051對表示與各障礙物發生碰撞之危險度之碰撞風險進行判斷，於碰撞風險為設定值以上而有可能發生碰撞之狀況時，經由音響揚聲器12061或顯示部12062對驅動器輸出警報、或者經由驅動系統控制單元12010進行強制減速或避讓操舵，藉此可進行用以避免碰撞之駕駛輔助。
攝像部12101至12104中之至少一個亦可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判定攝像部12101至12104之攝像圖像中是否存在行人而識別行人。該行人之識別例如係藉由如下程序進行，即，提 取作為紅外線相機之攝像部12101至12104之攝像圖像中之特徵點之程序、及對表示物體輪廓之一系列特徵點進行圖案匹配處理而判別是否為行人之程序。微電腦12051若判定為攝像部12101至12104之攝像圖像中存在行人而識別行人，則聲音圖像輸出部12052以於該被識別出之行人上重疊顯示用於強調之方形輪廓線之方式，控制顯示部12062。又，聲音圖像輸出部12052亦能以將表示行人之圖標等顯示於所期望之位置之方式控制顯示部12062。
以上，對可應用本發明之技術之車輛控制系統之一例進行了說明。本發明之技術可應用於以上所說明之構成中之攝像部12031。具體而言，可將圖3之兩眼相機模組200應用於圖26之攝像部12031。藉由將本發明之技術應用於攝像部12031，可拍攝畫質相同之複數之圖像資料，因此可提高合成圖像資料之畫質。
再者，上述實施形態係表示用以將本技術具體化之一例者，實施形態中之事項與申請專利範圍中之發明特定事項分別具有對應關係。同樣地，申請專利範圍中之發明特定事項與標註有與其相同之名稱之本技術之實施形態中之事項分別具有對應關係。但，本技術並不限定於實施形態，可藉由在不脫離其主旨之範圍內對實施形態實施各種變化而具體化。
又，上述實施形態中所說明之處理程序可理解為具有該等一系列程序之方法，又，亦可理解為用以使電腦執行該等一系列程序之程式或記憶該程式之記錄媒體。作為該記錄媒體，例如可使用CD(Compact Disc，光碟)、MD(Mini Disc，迷你光碟)、DVD(Digital Versatile Disc，數位多功能光碟)、記憶卡、藍光光碟(Blu-ray(註冊商標)Disc)等。
再者，本說明書中所記載之效果終歸為例示，而非受到限定者， 又，亦可具有其他效果。
再者，本技術亦能夠採用如下構成。
(1)一種攝像裝置，其具備：第1畫素陣列部，其排列有產生第1畫素信號之第1畫素；第2畫素陣列部，其排列有產生第2畫素信號之第2畫素；第1設定部，其基於適當曝光值設定曝光時間及對於上述第1畫素信號之第1增益；第2設定部，其基於設置有上述第1畫素陣列部之第1單眼相機模組與設置有上述第2畫素陣列部之第2單眼相機模組之感度差，調整上述第1增益，而設定為對於藉由上述第2畫素而產生之第2畫素信號之第2增益；控制部，其使上述第1及第2畫素陣列部歷經上述曝光時間持續地曝光；及放大部，其藉由上述第1及第2增益將上述所輸出之第1及第2畫素信號放大。
(2)如上述(1)之攝像裝置，其中上述適當曝光值包含根據上述第1畫素信號而計算出之第1適當曝光值、及根據上述第2畫素信號而計算出之第2適當曝光值，且上述第1設定部基於上述第1適當曝光值設定上述曝光時間及上述第1增益，上述第2設定部根據上述第1適當曝光值、上述感度差及上述曝光時間而計算上述第2增益。
(3)如上述(2)之攝像裝置，其中上述第2設定部於根據上述第1適當曝光值、上述感度差及上述曝光 時間而計算出之增益為負值之情形時，根據該所計算出之增益及上述曝光時間取得新的曝光時間，並且將上述第2增益設定為零，且上述第1設定部於已取得上述新的曝光時間之情形時，將根據上述新的曝光時間及上述第1適當曝光值而計算出之增益設定為上述第1增益。
(4)如上述(2)或(3)之攝像裝置，其中上述第2設定部具備：運算器，其根據上述第1適當曝光值、以及將上述感度差換算成曝光值所得之感度差換算值，計算基準曝光值；修正部，其基於上述基準曝光值修正上述第2適當曝光值，並將修正後之曝光值作為修正後適當曝光值進行輸出；及增益運算部，其根據上述修正後適當曝光值與將上述曝光時間換算成曝光值所得之值之差分計算上述第2增益。
(5)如上述(4)之攝像裝置，其中上述修正部將上述第2適當曝光值修正為包含上述基準曝光值之特定容許範圍內之值。
(6)如上述(4)之攝像裝置，其中上述修正部將對上述基準曝光值與上述第2適當曝光值進行加權求和所得之值修正為包含上述基準曝光值之特定容許範圍內之值。
(7)如上述(1)至(6)中任一項之攝像裝置，其中上述第1畫素包含接收波長互不相同之光之複數個畫素，且上述第2畫素各者接收波長相同之光。
(8)如上述(1)至(7)中任一項之攝像裝置，其進而具備：第1攝像透鏡，其將光聚集並導向上述第1畫素陣列部；及第2攝像透鏡，其將光聚集並導向上述第2畫素陣列部；且上述第1攝像透鏡與上述第2攝像透鏡之攝角不同。
(9)如上述(1)至(8)中任一項之攝像裝置，其進而具備類比數位轉換部，該類比數位轉換部將上述第1及第2畫素信號轉換成第1及第2畫素資料，上述第1增益包含第1類比增益及第1數位增益，上述第2增益包含第2類比增益及第2數位增益，且上述放大部具備：類比信號放大部，其藉由第1及第2類比增益將上述第1及第2畫素信號放大；及數位信號放大部，其藉由第1及第2數位增益將上述第1及第2畫素資料放大。
(10)一種攝像模組，其具備：第1畫素陣列部，其排列有產生第1畫素信號之第1畫素；第2畫素陣列部，其排列有產生第2畫素信號之第2畫素；第1設定部，其基於適當曝光值設定曝光時間及對於上述第1畫素信號之第1增益；第2設定部，其基於設置有上述第1畫素陣列部之第1單眼相機模組與設置有上述第2畫素陣列部之第2單眼相機模組之感度差，調整上述第1增益，而設定為對於藉由上述第2畫素而產生之第2畫素信號之第2增益；控制部，其使上述第1及第2畫素陣列部歷經上述曝光時間持續地曝光；放大部，其藉由上述第1及第2增益將上述所輸出之第1及第2畫素信號放大；及 圖像輸出部，其輸出自上述第1及第2畫素信號產生之圖像資料。
(11)一種攝像系統，其具備：第1畫素陣列部，其排列有產生第1畫素信號之第1畫素；第2畫素陣列部，其排列有產生第2畫素信號之第2畫素；第1設定部，其基於適當曝光值設定曝光時間及對於上述第1畫素信號之第1增益；第2設定部，其基於設置有上述第1畫素陣列部之第1單眼相機模組與設置有上述第2畫素陣列部之第2單眼相機模組之感度差，調整上述第1增益，而設定為對於藉由上述第2畫素而產生之第2畫素信號之第2增益；控制部，其使上述第1及第2畫素陣列部歷經上述曝光時間持續地曝光；放大部，其藉由上述第1及第2增益將上述所輸出之第1及第2畫素信號放大；及記錄部，其記錄自上述第1及第2畫素信號產生之圖像資料。
(12)一種攝像裝置之控制方法，其包括：第1設定程序，其係基於適當曝光值設定對於第1畫素信號之第1增益、及曝光時間，該第1畫素信號來自排列有產生上述第1畫素信號之第1畫素的第1畫素陣列部、及排列有產生第2畫素信號之第2畫素的第2畫素陣列部中之上述第2畫素陣列部；第2設定程序，其係基於設置有上述第1畫素陣列部之第1單眼相機模組與設置有上述第2畫素陣列部之第2單眼相機模組之感度差，調整上述第1增益，而設定為對於上述第2畫素信號之第2增益；控制程序，其係使上述第1及第2畫素陣列部歷經上述曝光時間持續 地曝光；及放大程序，其係藉由上述第1及第2增益將上述所輸出之第1及第2畫素信號放大。
221‧‧‧驅動器
222‧‧‧類比信號放大部
230‧‧‧副側畫素陣列部
241‧‧‧驅動器
242‧‧‧類比信號放大部
250‧‧‧主側畫素陣列部
271‧‧‧適當曝光值運算部
272‧‧‧主側曝光參數設定部
274‧‧‧副側曝光參數設定部

Claims (11)

  1. 一種攝像裝置，其具備：第1畫素陣列部，其排列有產生第1畫素信號之第1畫素；第2畫素陣列部，其排列有產生第2畫素信號之第2畫素；第1設定部，其基於適當曝光值設定曝光時間及對於上述第1畫素信號之第1增益；第2設定部，其基於設置有上述第1畫素陣列部之第1單眼相機模組與設置有上述第2畫素陣列部之第2單眼相機模組之感度差調整上述第1增益，而設定為對於藉由上述第2畫素而產生之第2畫素信號之第2增益；控制部，其使上述第1及第2畫素陣列部歷經上述曝光時間地曝光；及放大部，其藉由上述第1及第2增益將上述所輸出之第1及第2畫素信號放大；上述適當曝光值包含根據上述第1畫素信號而計算出之第1適當曝光值、及根據上述第2畫素信號而計算出之第2適當曝光值，且上述第1設定部基於上述第1適當曝光值設定上述曝光時間及上述第1增益，上述第2設定部根據上述第1適當曝光值、上述感度差及上述曝光時間計算上述第2增益，上述第2設定部於根據上述第1適當曝光值、上述感度差及上述曝光時間而計算出之增益為負值之情形時，根據該所計算出之增益及上述曝光時間取得新的曝光時間，並且將上述第2增益設定為零，且上述第1設定部於已取得上述新的曝光時間之情形時，將根據上述新 的曝光時間及上述第1適當曝光值而計算出之增益設定為上述第1增益。
  2. 如請求項1之攝像裝置，其中上述第2設定部具備：運算器，其根據上述第1適當曝光值、以及將上述感度差換算成曝光值所得之感度差換算值，計算基準曝光值；修正部，其基於上述基準曝光值修正上述第2適當曝光值，而作為修正後適當曝光值進行輸出；及增益運算部，其根據上述修正後適當曝光值與將上述曝光時間換算成曝光值所得之值的差分，計算上述第2增益。
  3. 如請求項2之攝像裝置，其中上述修正部將上述第2適當曝光值修正為包含上述基準曝光值之特定容許範圍內之值。
  4. 如請求項2之攝像裝置，其中上述修正部將對上述基準曝光值與上述第2適當曝光值進行加權求和所得之值修正為包含上述基準曝光值之特定容許範圍內之值。
  5. 如請求項1之攝像裝置，其中上述第1畫素包含接收波長互不相同之光之複數個畫素，且上述第2畫素之各者接收波長相同之光。
  6. 如請求項1之攝像裝置，其進而具備：第1攝像透鏡，其將光聚集並導向上述第1畫素陣列部；及 第2攝像透鏡，其將光聚集並導向上述第2畫素陣列部；且上述第1攝像透鏡與上述第2攝像透鏡之攝角不同。
  7. 如請求項1之攝像裝置，其進而具備類比數位轉換部，該類比數位轉換部將上述第1及第2畫素信號轉換成第1及第2畫素資料，上述第1增益包含第1類比增益及第1數位增益，上述第2增益包含第2類比增益及第2數位增益，且上述放大部具備：類比信號放大部，其藉由第1及第2類比增益將上述第1及第2畫素信號放大；及數位信號放大部，其藉由第1及第2數位增益將上述第1及第2畫素資料放大。
  8. 一種攝像裝置，其具備：第1單眼相機模組；第2單眼相機模組；上述第1單眼相機模組中之第1畫素陣列，其包含：構成為產生第1畫素信號之第1畫素；上述第2單眼相機模組中之第2畫素陣列，其包含：構成為產生第2畫素信號之第2畫素；及電路，其構成為：根據上述第1畫素信號，計算第1曝光值；根據上述第2畫素信號，計算第2曝光值； 基於上述第1曝光值及上述第2曝光值，來設定曝光時間及對於上述第1畫素信號之第1增益；基於上述第1單眼相機模組與上述第2單眼相機模組之間的感度差，來調整上述第1增益：基於上述經調整之第1增益、上述第1曝光值、上述感度差及上述曝光時間，來計算對於上述第2畫素信號之第2增益；基於上述第2增益為負值之情形，根據上述第2增益及上述曝光時間而取得新的曝光時間，基於上述新的曝光時間及上述第1曝光值，來設定上述第1增益，基於上述第2增益為上述負值之情形，將上述第2增益設定為零，控制上述第1畫素陣列及上述第2畫素陣列各個之曝光歷經上述新的曝光時間(over the new exposure time)，以上述第1增益將上述第1畫素信號之輸出放大，及以上述第2增益將上述第2畫素信號之輸出放大。
  9. 一種攝像模組，其具備：第1畫素陣列部，其排列有產生第1畫素信號之第1畫素；第2畫素陣列部，其排列有產生第2畫素信號之第2畫素；第1設定部，其基於適當曝光值設定曝光時間及對於上述第1畫素信號之第1增益；第2設定部，其基於設置有上述第1畫素陣列部之第1單眼相機模組與設置有上述第2畫素陣列部之第2單眼相機模組之感度差，調整上述第1增益，而設定為對於藉由上述第2畫素而產生之第2畫素信號之第2增益； 控制部，其使上述第1及第2畫素陣列部歷經上述曝光時間地曝光；放大部，其藉由上述第1及第2增益將上述所輸出之第1及第2畫素信號放大；及圖像輸出部，其輸出自上述第1及第2畫素信號產生之圖像資料；上述適當曝光值包含根據上述第1畫素信號而計算出之第1適當曝光值、及根據上述第2畫素信號而計算出之第2適當曝光值，且上述第1設定部基於上述第1適當曝光值設定上述曝光時間及上述第1增益，上述第2設定部根據上述第1適當曝光值、上述感度差及上述曝光時間計算上述第2增益，上述第2設定部於根據上述第1適當曝光值、上述感度差及上述曝光時間而計算出之增益為負值之情形時，根據該所計算出之增益及上述曝光時間取得新的曝光時間，並且將上述第2增益設定為零，且上述第1設定部於已取得上述新的曝光時間之情形時，將根據上述新的曝光時間及上述第1適當曝光值而計算出之增益設定為上述第1增益。
  10. 一種攝像系統，其具備：第1畫素陣列部，其排列有產生第1畫素信號之第1畫素；第2畫素陣列部，其排列有產生第2畫素信號之第2畫素；第1設定部，其基於適當曝光值設定曝光時間及對於上述第1畫素信號之第1增益；第2設定部，其基於設置有上述第1畫素陣列部之第1單眼相機模組與設置有上述第2畫素陣列部之第2單眼相機模組之感度差，調整上述第1增 益，而設定為對於藉由上述第2畫素而產生之第2畫素信號之第2增益；控制部，其使上述第1及第2畫素陣列部歷經上述曝光時間地曝光；放大部，其藉由上述第1及第2增益將上述所輸出之第1及第2畫素信號放大；及記錄部，其記錄自上述第1及第2畫素信號產生之圖像資料；上述適當曝光值包含根據上述第1畫素信號而計算出之第1適當曝光值、及根據上述第2畫素信號而計算出之第2適當曝光值，且上述第1設定部基於上述第1適當曝光值設定上述曝光時間及上述第1增益，上述第2設定部根據上述第1適當曝光值、上述感度差及上述曝光時間計算上述第2增益，上述第2設定部於根據上述第1適當曝光值、上述感度差及上述曝光時間而計算出之增益為負值之情形時，根據該所計算出之增益及上述曝光時間取得新的曝光時間，並且將上述第2增益設定為零，且上述第1設定部於已取得上述新的曝光時間之情形時，將根據上述新的曝光時間及上述第1適當曝光值而計算出之增益設定為上述第1增益。
  11. 一種攝像裝置之控制方法，其包括：第1設定程序，其係基於適當曝光值設定對於第1畫素信號之第1增益、及曝光時間，該第1畫素信號係來自排列有產生上述第1畫素信號之第1畫素的第1畫素陣列部、及排列有產生第2畫素信號之第2畫素的第2畫素陣列部中之上述第2畫素陣列部；第2設定程序，其係基於設置有上述第1畫素陣列部之第1單眼相機模 組與設置有上述第2畫素陣列部之第2單眼相機模組之感度差，調整上述第1增益，而設定為對於上述第2畫素信號之第2增益；控制程序，其係使上述第1及第2畫素陣列部歷經上述曝光時間地曝光；及放大程序，其係藉由上述第1及第2增益將上述所輸出之第1及第2畫素信號放大；上述適當曝光值包含根據上述第1畫素信號而計算出之第1適當曝光值、及根據上述第2畫素信號而計算出之第2適當曝光值，且於上述第1設定程序，基於上述第1適當曝光值設定上述曝光時間及上述第1增益，於上述第2設定程序，根據上述第1適當曝光值、上述感度差及上述曝光時間計算上述第2增益，於上述第2設定程序，於根據上述第1適當曝光值、上述感度差及上述曝光時間而計算出之增益為負值之情形時，根據該所計算出之增益及上述曝光時間取得新的曝光時間，並且將上述第2增益設定為零，且於上述第1設定程序，於已取得上述新的曝光時間之情形時，將根據上述新的曝光時間及上述第1適當曝光值而計算出之增益設定為上述第1增益。
TW107104074A 2017-03-30 2018-02-06 攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法 TWI775808B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017067103A JP2018170656A (ja) 2017-03-30 2017-03-30 撮像装置、撮像モジュール、撮像システムおよび撮像装置の制御方法
JP2017-067103 2017-03-30

Publications (2)

Publication Number Publication Date
TW201837594A TW201837594A (zh) 2018-10-16
TWI775808B true TWI775808B (zh) 2022-09-01

Family

ID=63677675

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107104074A TWI775808B (zh) 2017-03-30 2018-02-06 攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法

Country Status (5)

Country Link
US (1) US11089230B2 (zh)
JP (1) JP2018170656A (zh)
KR (1) KR102388259B1 (zh)
TW (1) TWI775808B (zh)
WO (1) WO2018179623A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557527B (zh) * 2018-06-04 2021-03-23 杭州海康威视数字技术股份有限公司 一种摄像机及抓拍图片融合方法
CN109151336B (zh) * 2018-10-15 2020-11-13 长沙智能驾驶研究院有限公司 摄像头的同步方法、装置、系统、存储介质及计算机设备
JP7182437B2 (ja) * 2018-11-28 2022-12-02 株式会社アサヒ電子研究所 複眼撮像装置
US10892287B2 (en) 2019-01-18 2021-01-12 Cista System Corp. Image sensor with image receiver and automatic image switching

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010035880A1 (en) * 2008-09-26 2010-04-01 Ricoh Company, Ltd. Wide-angle lens and imaging apparatus using the same
TW201204029A (en) * 2010-04-08 2012-01-16 Toshiba Kk Solid-state image sensing device and control method of the same
JP2012065204A (ja) * 2010-09-16 2012-03-29 Toshiba Corp 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法
TW201223274A (en) * 2010-09-10 2012-06-01 Toshiba Kk Solid-state imaging device
WO2013049248A2 (en) * 2011-09-26 2013-04-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
TW201618536A (zh) * 2014-07-15 2016-05-16 Brillnics Japan Inc 固態攝影裝置、固態攝影裝置的製造方法以及電子機器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4522307B2 (ja) 2005-04-08 2010-08-11 キヤノン株式会社 画像撮像装置、画像撮像方法
JP2007221386A (ja) * 2006-02-15 2007-08-30 Eastman Kodak Co 撮像装置
JP4897593B2 (ja) * 2007-07-09 2012-03-14 富士フイルム株式会社 複眼撮影装置及びその調節方法
JP5426262B2 (ja) * 2009-07-17 2014-02-26 富士フイルム株式会社 複眼撮像装置
JP2011071605A (ja) 2009-09-24 2011-04-07 Fujifilm Corp 立体撮像装置及び立体撮像方法
US8672838B2 (en) * 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
JP5869808B2 (ja) 2011-09-02 2016-02-24 キヤノン株式会社 撮像装置及びその制御方法
JP2014022993A (ja) * 2012-07-19 2014-02-03 Nikon Corp 撮像装置及び撮像方法
JP6029430B2 (ja) * 2012-11-20 2016-11-24 キヤノン株式会社 画像処理装置及び画像処理方法
WO2014148031A1 (ja) * 2013-03-19 2014-09-25 パナソニック株式会社 画像生成装置、撮像装置および画像生成方法
JP2015197745A (ja) 2014-03-31 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
TWI573459B (zh) * 2016-03-18 2017-03-01 聚晶半導體股份有限公司 具有多攝像模組的電子裝置及其控制的方法
US10362205B2 (en) * 2016-04-28 2019-07-23 Qualcomm Incorporated Performing intensity equalization with respect to mono and color images
US10609265B2 (en) * 2017-01-26 2020-03-31 Qualcomm Incorporated Methods and apparatus for synchronizing camera flash and sensor blanking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010035880A1 (en) * 2008-09-26 2010-04-01 Ricoh Company, Ltd. Wide-angle lens and imaging apparatus using the same
TW201204029A (en) * 2010-04-08 2012-01-16 Toshiba Kk Solid-state image sensing device and control method of the same
TW201223274A (en) * 2010-09-10 2012-06-01 Toshiba Kk Solid-state imaging device
JP2012065204A (ja) * 2010-09-16 2012-03-29 Toshiba Corp 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法
WO2013049248A2 (en) * 2011-09-26 2013-04-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
TW201618536A (zh) * 2014-07-15 2016-05-16 Brillnics Japan Inc 固態攝影裝置、固態攝影裝置的製造方法以及電子機器

Also Published As

Publication number Publication date
US20200036881A1 (en) 2020-01-30
JP2018170656A (ja) 2018-11-01
US11089230B2 (en) 2021-08-10
KR102388259B1 (ko) 2022-04-18
KR20190133002A (ko) 2019-11-29
TW201837594A (zh) 2018-10-16
WO2018179623A1 (ja) 2018-10-04

Similar Documents

Publication Publication Date Title
JP6724982B2 (ja) 信号処理装置および撮像装置
TWI775808B (zh) 攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法
TWI757419B (zh) 攝像裝置、攝像模組及攝像裝置之控制方法
JP6977722B2 (ja) 撮像装置、および画像処理システム
WO2018179671A1 (ja) 画像処理装置と画像処理方法および撮像装置
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP6816769B2 (ja) 画像処理装置と画像処理方法
JP6816768B2 (ja) 画像処理装置と画像処理方法
CN114270798B (zh) 摄像装置
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
WO2018110002A1 (ja) 撮像装置、および、撮像装置の制御方法
JP2019062324A (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
WO2018008408A1 (ja) 固体撮像装置、補正方法、および電子装置
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2019167363A1 (ja) 画像処理装置と画像処理方法およびプログラム
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
WO2015098107A1 (ja) 画像処理装置、警報装置、および画像処理方法

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent