TWI760217B - 固態攝像裝置、固態攝像裝置之控制方法及移動體 - Google Patents

固態攝像裝置、固態攝像裝置之控制方法及移動體 Download PDF

Info

Publication number
TWI760217B
TWI760217B TW110117122A TW110117122A TWI760217B TW I760217 B TWI760217 B TW I760217B TW 110117122 A TW110117122 A TW 110117122A TW 110117122 A TW110117122 A TW 110117122A TW I760217 B TWI760217 B TW I760217B
Authority
TW
Taiwan
Prior art keywords
unit
inertial measurement
solid
speed
measurement unit
Prior art date
Application number
TW110117122A
Other languages
English (en)
Other versions
TW202203640A (zh
Inventor
梁承夏
Original Assignee
日商索尼集團公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼集團公司 filed Critical 日商索尼集團公司
Publication of TW202203640A publication Critical patent/TW202203640A/zh
Application granted granted Critical
Publication of TWI760217B publication Critical patent/TWI760217B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G01P15/08—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values
    • G01P15/125—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values by capacitive pick-up
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Studio Devices (AREA)
  • Gyroscopes (AREA)

Abstract

本發明之課題在於提供一種可動態變更加速度之可測定範圍而正確地測定加速度之固態攝像裝置及其控制方法。 本揭示之固態攝像裝置配置於移動體，且具備：攝像部，其將入射光予以光電轉換為與光量相應之電荷量，且拍攝對象物；動作檢測部，其基於以前述攝像部拍攝到之複數個圖像，算出前述對象物之速度；及慣性計測部，其檢測移動體之加速度或角速度，且根據前述對象物之速度，變更前述移動體之加速度或角速度之可測定範圍。

Description

固態攝像裝置、固態攝像裝置之控制方法及移動體
本揭示係關於一種固態攝像裝置、固態攝像裝置及移動體之控制方法。
有為了獲得無人機、基體終端、汽車、飛機等之加速度資訊，使用IMU(Inertial Measurement Unit，慣性測量單元)之情形。業界自先前以來曾開發搭載有如此之IMU之固態攝像裝置。 [先前技術文獻] [非專利文獻]
[非專利文獻1] https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5539653/pdf/sensors-17-01646.pdf [非專利文獻2]https://arxiv.org/pdf/1509.06494.pdf
[發明所欲解決之問題]
然而，於先前之元件中，預先設定該加速度之可測定範圍。因此，於固態攝像裝置以可測定之範圍外之加速度動作時，IMU無法正確地測定該加速度。
本揭示為了解決上述問題，提供一種可動態變更加速度之可測定範圍而正確地測定加速度之固態攝像裝置、其控制方法及移動體。 [解決問題之技術手段]
本揭示之一態樣之固態攝像裝置配置於移動體，且具備：攝像部，其將入射光予以光電轉換為與光量相應之電荷量，且拍攝對象物；動作檢測部，其基於以攝像部拍攝到之複數個圖像，算出對象物之速度；及慣性計測部，其檢測移動體之加速度或角速度，且根據對象物之速度，變更移動體之加速度或角速度之可測定範圍。
於對象物之速度超過第1臨限值之情形下，慣性計測部可擴大可測定範圍。
於對象物之速度低於第2臨限值之情形下，慣性計測部可縮小可測定範圍。
可行的是，攝像部以特定之時間間隔拍攝對象物，動作檢測部基於在某一時點拍攝到之第1圖像與在下一時點拍攝到之第2圖像之間的對象物之特徵點之移動距離，算出對象物之速度。
當根據對象物之速度變化而推測該對象物之速度於在下一時點拍攝到之第3圖像中達到第3臨限值時，慣性計測部可變更可測定範圍。
可行的是，具備：AD轉換器，其將來自攝像部之像素信號進行AD(Analogue-to-Digital，類比轉數位)轉換而轉換為數位信號；信號處理部，其對數位信號進行處理，產生圖像資料；記憶體，其儲存圖像資料；及控制器，其基於對象物之速度，控制慣性計測部之可測定範圍；且控制器或記憶體配置於慣性計測部與信號處理部之間。
可行的是，具備：AD轉換器，其將來自攝像部之像素信號進行AD轉換而轉換為數位信號；信號處理部，其對數位信號進行處理，產生圖像資料；記憶體，其儲存圖像資料；及控制器，其基於對象物之速度，控制慣性計測部之可測定範圍；且控制器或記憶體配置於慣性計測部與動作檢測部之間。
可將包含攝像部之第1半導體晶片、與包含動作檢測部及慣性計測部之第2半導體晶片積層而構成。
可將包含攝像部之第1半導體晶片、與包含動作檢測部、慣性計測部、AD轉換器、信號處理部、記憶體及控制器之第2半導體晶片積層而構成。
可將包含攝像部之第1半導體晶片、包含慣性計測部之第2半導體晶片、及包含動作檢測部之第3半導體晶片積層而構成。
可將包含攝像部之第1半導體晶片、包含慣性計測部及AD轉換器之第2半導體晶片、及包含動作檢測部、信號處理部、記憶體及控制器之第3半導體晶片積層而構成。
本揭示之固態攝像裝置之控制方法係用於控制配置於移動體之固態攝像裝置之方法，該固態攝像裝置具備：攝像部，其將入射光予以光電轉換為與光量相應之電荷量，且拍攝對象物；動作檢測部，其算出對象物之速度；及慣性計測部，其檢測加速度或角速度；且該控制方法包含：以攝像部拍攝對象物；於動作檢測部中，基於以攝像部拍攝到之複數個圖像，算出對象物之速度；及於慣性計測部中，根據對象物之速度，變更移動體之加速度或角速度之可測定範圍。
可測定範圍之變更可包含：於對象物之速度超過第1臨限值之情形下，擴大可測定範圍；及於對象物之速度低於第2臨限值之情形下，慣性計測部縮小可測定範圍。
可行的是，以特定之時間間隔拍攝對象物，且對象物之速度係基於在某一時點拍攝到之第1圖像與在下一時點拍攝到之第2圖像之間的對象物之特徵點之移動距離而算出。
可測定範圍可當根據對象物之速度變化而推測該對象物之速度於在下一時點拍攝到之第3圖像中達到第3臨限值時變更。
本揭示之移動體具備固態攝像裝置，且該固態攝像裝置具備：攝像部，其將入射光予以光電轉換為與光量相應之電荷量，且拍攝對象物；動作檢測部，其基於以攝像部拍攝到之複數個圖像，算出對象物之速度；及慣性計測部，其檢測移動體之加速度或角速度，且根據對象物之速度，變更移動體之加速度或角速度之可測定範圍。
以下，針對應用本技術之具體的實施形態，一面參照圖式，一面詳細地說明。圖式係示意性或概念性圖式，各部分之比率等未必限定於與實物相同。於說明書與圖式中，對與關於已出現之圖式所前述之要素相樣之要素賦予同一符號，且適宜省略詳細之說明。
(第1實施形態) 圖1A係顯示第1實施形態之固態攝像裝置1之構成例之方塊圖。固態攝像裝置1例如配置於無人機、基體終端、汽車、飛機、XR(VR(Virtual Reality，虛擬實境)、AR(Augmented Reality，擴增實境)、MR(Mixed Reality，混合實境))控制器、XR護目鏡等移動體。固態攝像裝置1拍攝如此之移動體之周圍，且檢測出該移動體之速度、加速度及旋轉資訊。
固態攝像裝置1具備：攝像部10、ADC(Analogue-to-Digital Converter，類比數位轉換器)20、信號處理部30、記憶體40、輸出控制部50、動作檢測部60、控制器70、及慣性計測部(IMU(Inertial Measurement Unit，慣性測量單元))80。
攝像部10具備複數個像素，該等複數個像素包含將入射光予以光電轉換為與該光量相應之電荷量之光電轉換元件。攝像部10例如為CMOS(Complementary Metal Oxide Semiconductor，互補式金屬氧化物半導體)影像感測器。複數個像素矩陣狀二維配置。雖未圖示，但像素部101相對於矩陣狀之像素排列，具有就每一像素列配線之像素驅動線、及就每一像素列配線之垂直信號線。像素驅動線於讀出像素信號時以像素列單位依序被選擇(掃描)。垂直信號線每當選擇各像素列時，自該所選擇之像素列中所含之複數個像素分別傳送像素信號。
來自垂直信號線之像素信號被傳送至ADC 20，自類比信號向數位信號進行AD轉換。AD轉換例如藉由使用比較器或計數器等進行CDS(Correlated Double Sampling：相關雙取樣)處理，而執行。ADC 20與垂直信號線對應地各設置單數個或複數個，對各像素信號進行AD轉換。經AD轉換之像素信號向信號處理部30傳送。
信號處理部30對經AD轉換之像素信號進行處理，產生圖像資料。例如，信號處理部30進行縱線缺陷、點缺陷之修正、信號之箝位，抑或進行並串轉換、壓縮、編碼化、加算、平均、及斷續動作等數位信號處理。信號處理部30將產生之圖像資料儲存於記憶體40，以及向輸出控制部50傳送。攝像部10以特定之時間間隔拍攝對象物，信號處理部30產生該攝像之每一者之圖像資料。與各攝像對應之圖像資料以下亦稱為圖框。亦即，每當以攝像部10拍攝時，產生1圖框。以特定之時間間隔取得之複數個圖框被儲存於記憶體40，並向輸出控制部50傳送。此外，信號處理部30可就每複數個攝像產生1圖框。或，信號處理部30可對複數個圖框間進行內插，產生較攝像數更多數之圖框。
記憶體40儲存來自信號處理部30之圖框(圖像資料)。進而，記憶體40可將由ADC 20予以AD轉換之像素信號直接儲存。
輸出控制部50向固態攝像裝置1之外部輸出來自信號處理部30或記憶體40之圖框。此時，輸出控制部50可將信號位準轉換而輸出。
動作檢測部60使用自以攝像部10拍攝到之複數個圖像獲得之複數個圖框，算出對象物之速度。動作檢測部60例如使用複數個圖框求得對象物之動作向量(光流)，藉由將該動作向量除以圖框間之時間間隔(例如，攝像之時間間隔)，而算出對象物之速度。針對對象物之速度之具體的運算，於後文說明。
以動作檢測部60算出之動作向量及對象物之速度向記憶體40儲存，且向控制器70傳送。又，動作向量及對象物之速度可經由輸出控制部50向外部輸出。
控制器70控制攝像部10、輸出控制部50、慣性計測部80等固態攝像裝置1之內部構成。例如，控制器70基於對象物之速度，控制慣性計測部80之可測定範圍。控制器70控制攝像部10之攝像時序等，或控制自輸出控制部50輸出之資料之信號位準及輸出時序等。
慣性計測部(IMU(Inertial Measurement Unit，慣性測量單元))80例如可為檢測固態攝像裝置1之加速度或角速度之MEMS(Micro Electro Mechanical Systems，微機電系統)感測器。例如，圖1B係顯示MEMS感測器之構成之一例作為慣性計測部80之電路圖。MEMS感測器具有電容器元件C1、C2，該電容器元件C1、C2包含：固定於半導體基板上之固定電極E1、E3、及相對於半導體基板可彈性移動之可動電極E2。MEMS感測器基於由加速度及角速度引起之電容器元件C1、C2之靜電電容之變化，而檢測該加速度及角速度。若固態攝像裝置1之速度或姿勢變化，則可動電極E2相對於固定電極E1、E3移動，電容器元件C1、C2之靜電電容變化。藉由慣性計測部80檢測電容器元件C1、C2之靜電電容變化，而可計測出固態攝像裝置1之加速度及角速度。
之後，電容器元件C1、C2之靜電電容變化經由低通濾波器83於ADC 84中被AD轉換為數位值。控制器70控制ADC 84之AD轉換之增益。藉由變更AD轉換之增益，而可變更慣性計測部80之加速度之可測定範圍。該數位值經由介面85向慣性計測部80之外部輸出。
慣性計測部80與移動體一起移動，可檢測6DoF(Degrees of Freedom，自由度)下之移動體之加速度。6DoF之加速度包含移動體之位置處之加速度及移動體之姿勢(旋轉方向)之角速度或角加速度。以下，6DoF之加速度亦簡稱為「加速度」。
慣性計測部80針對加速度具有可測定範圍。例如，於慣性計測部80之輸出增益較小之情形下，可測定範圍擴大，雖然可檢測較大之加速度作為絕對值，但慣性計測部80之感度降低。另一方面，於慣性計測部80之輸出增益較大之情形下，雖然慣性計測部80之感度提高，但可測定範圍縮小，僅可檢測較小之加速度作為絕對值。
為此，於本揭示中，慣性計測部80接受來自控制器70之控制，根據拍攝到之對象物之速度，變更配置有固態攝像裝置1之移動體之加速度之可測定範圍。慣性計測部80計測到之移動體之加速度之資訊自輸出控制部50向外部輸出。又，表示變更慣性計測部80之輸出增益後之增益變更資訊只要自控制器70經由輸出控制部50向外部輸出即可。
慣性計測部80可以可測定範圍不同之複數個IMU構成。該情形下，各IMU可為可測定範圍窄且低成本者。藉由將如此之可測定範圍不同之複數個IMU組合，而慣性計測部80藉由切換使用之IMU，而可構成為具有寬廣之可測定範圍之IMU。
其次，說明固態攝像裝置1之動作(控制方法)。
圖2係顯示第1實施形態之固態攝像裝置1之控制方法之一例之流程圖。圖3係顯示對象物之速度之計算方法之流程圖。圖4及圖5係顯示對象物之速度之圖。圖4及圖5之圖之縱軸表示對象物之速度，橫軸表示時間。
首先，攝像部10開始對象物之攝像(S10)。攝像部10以特定之時間間隔拍攝對象物，產生像素信號。
其次，ADC 20及信號處理部30對拍攝到之對象物之像素信號進行AD轉換及信號處理，產生圖像資料(S20)。圖像資料作為就特定時間間隔之攝像之每一者產生之圖框，被儲存於記憶體40。
其次，動作檢測部60基於以攝像部10拍攝到之複數個圖框，計算對象物之速度(Optical Flow，光流)(S30)。動作檢測部60基於在某一時點拍攝到之第1圖框與在下一時點拍攝到之第2圖框之間之對象物之特徵點之移動距離，算出對象物之速度。所謂對象物之特徵點，係於圖像處理中，在對象物中相對於非對象物在色彩或亮度上可明確區別，且於複數個圖框間可視認出為對象物之同一部位之像素或圖像區域。例如，特徵點可如對象物之外輪廓般為對比度較大之部分。
如圖3所示，例如，動作檢測部60自記憶體40，取得作為於第1時點拍攝到之第1圖像資料之第1圖框(S31)。其次，動作檢測部60自記憶體40，取得作為在第2時點拍攝到之第2圖像資料之第2圖框(S32)。第1及第2圖框可為攝像時間連續之2個圖框。或，第1及第2圖框可為攝像時間相隔某一程度之2個圖框。
其次，動作檢測部60基於在第1圖框與第2圖框之間之對象物之特徵點在圖框上之移動距離(像素數)，算出對象物之實際之移動距離(S33)。進而，動作檢測部60藉由將對象物之移動距離除以第1及第2圖框之攝像時間之間隔，而算出對象物之速度(Optical Flow，光流)。
再次，參照圖2。其次，控制器70將對象物之速度與臨限值THa、THb進行比較(S41、S42)。例如，如圖4之ta所示般，於對象物之速度上升且超過臨限值(第1臨限值)THa時(時點ta、S41之是)，控制器70向慣性計測部80發送增益控制信號，使慣性計測部80之輸出增益降低。慣性計測部80依照增益控制信號使輸出增益降低，擴大移動體之加速度之可測定範圍(S51)。
若對象物之速度上升，則為了伴隨於其，攝像部10捕捉對象物並拍攝，而移動體以較大之加速度移動之可能性變高。該情形下，慣性計測部80藉由使輸出增益降低，擴大可測定範圍，而寬幅地計測出移動體之加速度。
假若在該情形下不擴大可測定範圍，則移動體之加速度脫離慣性計測部80之可測定範圍，慣性計測部80有無法正確地測定出移動體之加速度之虞。
相對於此，根據本揭示，即便為了捕捉對象物而提高移動體之加速度，慣性計測部80亦可追隨於其，即時擴大可測定範圍。藉此，可抑制移動體之加速度脫離可測定範圍，慣性計測部80可正確地計測出移動體之加速度。
另一方面，例如，如圖5之THb所示，於對象物之速度降低且低於臨限值(第2臨限值)THb時(時點tb、S42之是)，控制器70向慣性計測部80發送增益控制信號，使慣性計測部80之輸出增益上升。慣性計測部80依照增益控制信號，使輸出增益上升，縮小移動體之加速度之可測定範圍(S52)。
若對象物之速度降低，則為了伴隨於其，以攝像部10拍攝對象物，而移動體之加速度或角速度變得較小之可能性較高。該情形下，慣性計測部80藉由使輸出增益上升，縮小可測定範圍，而高感度地計測出移動體之加速度。
假若在該情形下不使輸出增益上升來縮小可測定範圍，則慣性計測部80之輸出增益過小，慣性計測部80有無法以較高之感度正確地測定出移動體之加速度之虞。
相對於此，根據本揭示，即便移動體之加速度降低，慣性計測部80亦可追隨於其，即時提高輸出增益。藉此，慣性計測部80可以較高之感度正確地計測出移動體之加速度。
於對象物之速度位於臨限值THa與THb之間時(S41、S42之否)，慣性計測部80不變更輸出增益，維持可測定範圍(S60)。
之後，重複執行步驟S10～S60，直至攝像部10之攝像結束為止(S70之否)。於攝像部10之攝像結束時(S70之是)，固態攝像裝置1之動作結束。
如以上般，本揭示之固態攝像裝置1於如CMOS影像感測器之圖像部10，組入檢測對象物之速度(Optical Flow，光流)之動作檢測部60、及檢測移動體之加速度及姿勢之慣性計測部(IMU)80。藉此，固態攝像裝置1可相應於攝像之對象物之速度(Optical Flow，光流)，於攝像中即時動態設定變更慣性計測部80之輸出增益及可測定範圍。其結果，固態攝像裝置1可一面拍攝對象物，一面以較高之感度正確地計測出移動體之加速度及角速度。
此外，於本揭示中，固態攝像裝置1使用圖4及圖5之臨限值THa、THb之兩者，設定變更慣性計測部80之輸出增益及可測定範圍。亦即，慣性計測部80之輸出增益及可測定範圍可被設定為三階段。然而，固態攝像裝置1可使用臨限值THa、THb之任一者，設定變更慣性計測部80之輸出增益及可測定範圍。亦即，慣性計測部80之輸出增益及可測定範圍可被設定為二階段。進而，可行的是，可設定3個以上之臨限值，將慣性計測部80之輸出增益及可測定範圍設定為更多個階段。
(變化例) 圖6係顯示第1實施形態之變化例之固態攝像裝置1之控制方法之一例之流程圖。圖7及圖8係顯示對象物之速度之圖。該等圖之縱軸表示對象物之速度，橫軸表示時間。本變化例之構成可與第1實施形態之構成相同。又，本變化例之基本的動作與第1實施形態之動作同樣，但慣性計測部80之輸出增益之切換判斷方法不同。
於本變化例之固態攝像裝置1之動作中，在經過步驟S10～S30之後，控制器70根據對象物之速度之變化推測下一圖框之對象物之速度，判斷推測出之對象物之速度是否達到臨限值(第3臨限值)THa、THb(S43、S44)。
例如，於基於圖7所示之當前時點ta0之對象物之速度之斜率，推測出下一時點ta之對象物之速度超過臨限值THa時(S43之是)，控制器70向慣性計測部80發送增益控制信號，使慣性計測部80之輸出增益降低。慣性計測部80依照增益控制信號使輸出增益降低，擴大移動體之加速度之可測定範圍(S51)。
藉此，即便為了捕捉對象物而移動體使加速度突然上升，慣性計測部80亦可預測其，預先擴大可測定範圍。其結果，慣性計測部80可進一步確實地抑制移動體之加速度脫離可測定範圍。
另一方面，例如，於基於圖8所示之當前時點tb0之對象物之速度之斜率，推測出下一時點tb之對象物之速度低於臨限值THb時(S44之是)，控制器70向慣性計測部80發送增益控制信號，使慣性計測部80之輸出增益上升。慣性計測部80依照增益控制信號，使輸出增益上升，縮小移動體之加速度之可測定範圍(S52)。
藉此，即便移動體使加速度突然降低，慣性計測部80亦可預測其，預先提高輸出增益。其結果，慣性計測部80可預先以較高之感度正確地計測出移動體之加速度。
於在下一圖框中，推測出對象物之速度位於臨限值THa與THb之間時(S43、S44之否)，慣性計測部80不變更輸出增益，維持可測定範圍(S60)。之後之動作可與第1實施形態之動作同樣。
本變化例之慣性計測部80於根據在當前時點之圖框算出之對象物之速度之斜率，推測出對象物之速度在下一時點之圖框達到臨限值時，接收來自控制器70之增益控制信號，變更可測定範圍。藉此，固態攝像裝置1可一面拍攝對象物，一面以較高之感度正確地計測出移動體之加速度及角速度。 (晶片構成)
固態攝像裝置1可整體上構成為1個半導體晶片，或可以複數個半導體晶片構成。於將固態攝像裝置1構成為複數個半導體晶片之情形下，可將攝像部10及其以外之處理電路分別形成為分別之半導體晶片511、512，並將半導體晶片511與半導體晶片512積層。
例如，圖9係顯示將攝像部10之半導體晶片511與處理電路之半導體晶片512積層之固態攝像裝置1之例之概念圖。如圖9所示，固態攝像裝置1係以積層之2片半導體晶片511及512構成。
作為第1半導體晶片之半導體晶片511具備形成於半導體基板上之攝像部10。作為第2半導體晶片之半導體晶片512具備形成於另一半導體基板上之處理電路(ADC 20、信號處理部30、記憶體40、輸出控制部50、動作檢測部60、控制器70及慣性計測部80)。
半導體晶片511之攝像部10之各像素與半導體晶片512之處理電路(20～80)之元件例如可使用如設置於導通區域513、514之TSV(Through Silicon Via，穿矽導通孔)之貫通電極等而電性連接。又，可以使半導體晶片511之配線與半導體晶片511之配線接觸之方式，將兩個半導體晶片貼合(Cu-Cu接合)。進而，雖未圖示，但可將攝像部10與處理電路(20～80)之一部分構成為1個半導體晶片511，將其他構成，構成為另一半導體晶片512。
圖10～圖15係顯示半導體晶片512之處理電路之佈局配置之一例之概略圖。半導體晶片512具備ADC 20、信號處理部30、記憶體40、輸出控制部50、動作檢測部60、控制器70及慣性計測部80，作為處理電路。
此處，動作檢測部60及信號處理部30與其他構成比較，消耗電流更多。於慣性計測部80根據靜電電容檢測出移動體之加速度之情形下，若動作檢測部60及信號處理部30接近慣性計測部80，則動作檢測部60及信號處理部30中流通之電流對慣性計測部80之靜電電容造成影響。該情形下，動作檢測部60及信號處理部30中流通之電流成為雜訊，慣性計測部80無法正確地計測出加速度。
為了應對其，於本揭示中，在慣性計測部80與信號處理部30之間、及慣性計測部80與動作檢測部60之間，配置消耗電流較少之記憶體40或控制器70。藉此，使慣性計測部80與信號處理部30及動作檢測部60相隔，使慣性計測部80與信號處理部30之間、及慣性計測部80與動作檢測部60之間之寄生電容降低。其結果，慣性計測部80難以受由信號處理部30及動作檢測部60之電流所致之雜訊之影響，可正確地計測出加速度。
例如，於圖10中，自半導體晶片512之左側，依次配置慣性計測部80、記憶體40、動作檢測部60及信號處理部30。記憶體40配置於慣性計測部80與動作檢測部60之間。進而，記憶體40及動作檢測部60配置於慣性計測部80與信號處理部30之間。
於圖11中，於半導體晶片512之左側，依次配置有動作檢測部60、記憶體40及慣性計測部80。藉此，將記憶體40配置於慣性計測部80與動作檢測部60之間。於半導體晶片512之右側，依次配置有信號處理部30、記憶體40及慣性計測部80。藉此，將記憶體40配置於慣性計測部80與信號處理部30之間。此外，將記憶體40及慣性計測部80分割而設置於半導體晶片512之兩側。
再者，記憶體40之一部分及控制器70配置於動作檢測部60與信號處理部30之間、位於半導體晶片512之兩側之複數個記憶體40間、或位於半導體晶片512之兩側之複數個慣性計測部80間。
於圖12中，自半導體晶片512之左側起，依次配置有慣性計測部80、記憶體40、動作檢測部60、信號處理部30、記憶體40及慣性計測部80。將記憶體40及慣性計測部80分割而設置於半導體晶片512之兩側。即便為如此之配置，記憶體40亦配置於慣性計測部80與動作檢測部60之間，且配置於慣性計測部80與信號處理部30之間。
圖13顯示將圖10之記憶體40與控制器70之配置調換之半導體晶片512之佈局配置。圖14顯示將圖11之記憶體40與控制器70之配置調換之半導體晶片512之佈局配置。圖15顯示將圖12之記憶體40與控制器70之配置調換之半導體晶片512之佈局配置。如此，即便圖10～圖12之記憶體40與控制器70之配置調換，亦可獲得同樣之效果。
此外，於圖10～圖12中，ADC 20雖然配置於半導體晶片512之下端，但亦可配置於任意位置。
圖16係顯示積層有攝像部10之半導體晶片521、ADC 20及慣性計測部80之半導體晶片522、及其他處理電路之半導體晶片523之固態攝像裝置1之例之概念圖。固態攝像裝置1亦可由積層之3片半導體晶片521～523構成。
作為第1半導體晶片之半導體晶片521具備形成於半導體基板上之攝像部10。作為第2半導體晶片之半導體晶片522具備形成於另一半導體基板上之處理電路之一部分(ADC 20、及慣性計測部80)。作為第3半導體晶片之半導體晶片523具備形成於又一半導體基板上之處理電路之另一部分(信號處理部30、記憶體40、輸出控制部50、動作檢測部60及控制器70)。
半導體晶片521～523可與參照圖9所說明之固態攝像裝置1同樣地，使用如設置於導通區域之TSV之貫通電極等而電性連接。又，可以使半導體晶片521、522之配線彼此接觸之方式，將半導體晶片521、522貼合(Cu-Cu接合)。可以使半導體晶片522、523之配線彼此接觸之方式，將半導體晶片522、523貼合(Cu-Cu接合)。此外，固態攝像裝置1可將4個以上之半導體晶片而構成。
如此，藉由使攝像部10，與如信號處理部30及動作檢測部60之消耗電流較多之邏輯電路相隔，而可抑制雜訊進入來自攝像部10之像素信號。
又，藉由慣性計測部80配置於緊鄰攝像部10，而可將攝像部10之座標軸與慣性計測部80之座標軸大致對齊，容易進行攝像部10與慣性計測部80之位置修正。
本揭示之技術(本技術)可應用於各種產品。例如，本揭示之技術可實現為搭載於汽車、電動汽車、複合動力電動車、機車、自行車、個人移動性裝置、飛機、無人機、船舶、機器人等任一種類之移動體之裝置。
圖17係顯示作為可應用本揭示之技術之移動體控制系統之一例之車輛控制系統之概略性構成例之方塊圖。
車輛控制系統12000具備經由通訊網路12001連接之複數個電子控制單元。於圖17所示之例中，車輛控制系統12000具備：驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040、及整合控制單元12050。又，作為整合控制單元12050之功能構成，圖示有微電腦12051、聲音圖像輸出部12052、及車載網路I/F(interface，介面)12053。
驅動系統控制單元12010依照各種程式控制與車輛之驅動系統相關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等之用於產生車輛之驅動力之驅動力產生裝置、用於將驅動力朝車輪傳遞之驅動力傳遞機構、調節車輛之舵角之轉向機構、及產生車輛之制動力之制動裝置等的控制裝置發揮功能。
車體系統控制單元12020依照各種程式，控制裝備於車體之各種裝置之動作。例如，車體系統控制單元12020作為無鑰匙門禁系統、智慧型鑰匙系統、電動車窗裝置、或頭燈、尾燈、煞車燈、方向指示燈或霧燈等各種燈之控制裝置而發揮功能。該情形下，可對車體系統控制單元12020輸入自代替鑰匙之可攜式機發出之電波或各種開關之信號。車體系統控制單元12020受理該等電波或信號之輸入，而控制車輛之門鎖裝置、電動車窗裝置、燈等。
車外資訊檢測單元12030檢測搭載車輛控制系統12000之車輛外部之資訊。例如，於車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收拍攝到之圖像。車外資訊檢測單元12030可基於接收到之圖像，來進行人、車、障礙物、標誌或路面上之文字等之物體檢測處理或距離檢測處理。本揭示之固態攝像裝置1可備置於攝像部12031。
攝像部12031係接收光且輸出與該光之受光量相應之電信號之光感測器。攝像部12031可將電信號以圖像輸出，亦可以測距之資訊輸出。又，攝像部12031接收到之光可為可見光，亦可為紅外線等之非可見光。本揭示之固態攝像裝置1可為攝像部12031，或可與攝像部12031設置為個別構體。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040連接有例如檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機，車內資訊檢測單元12040基於自駕駛者狀態檢測部12041輸入之檢測資訊，可算出駕駛者之疲勞度或注意力集中度，亦可判別駕駛者是否打瞌睡。
微電腦12051可基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外之資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，且對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含車輛之避免碰撞或緩和衝擊、基於車距之追隨行駛、車速維持行駛、車輛之碰撞警告、或車輛之車道偏離警告等的ADAS(Advanced Driver Assistance System，先進駕駛輔助系統)之功能為目的之協調控制。
又，微電腦12051藉由基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛之周圍之資訊而控制驅動力產生裝置、轉向機構或制動裝置等，而可進行以不依賴駕駛者之操作而自律行駛之自動駕駛等為目的之協調控制。
又，微電腦12051可基於由車外資訊檢測單元12030取得之車外之資訊，對車體系統控制單元12020輸出控制指令。例如，微電腦12051可進行根據由車外資訊檢測單元12030檢測到之先行車或對向車之位置而控制頭燈、而將遠光燈切換為近光燈等之以謀求防眩為目的之協調控制。
聲音圖像輸出部12052朝可對車輛之乘客或車外以視覺或聽覺通知資訊之輸出裝置，發送聲音及圖像中之至少一者之輸出信號。作為輸出裝置，例示有音訊揚聲器12061、顯示部12062及儀表板12063來作為輸出裝置。顯示部12062例如可包含車載顯示器及抬頭顯示器之至少一者。
圖18係顯示攝像部12031之設置位置之例之圖。
於圖18中，車輛12100具有攝像部12101、12102、12103、12104、12105作為攝像部12031。
攝像部12101、12102、12103、12104、12105設置於例如車輛12100之車頭突部、後照鏡、後保險桿、尾門及車廂內之擋風玻璃之上部等之位置。車頭突部所具備之攝像部12101及車廂內之擋風玻璃之上部所具備之攝像部12105主要取得車輛12100前方之圖像。後照鏡所具備之攝像部12102、12103主要取得車輛12100側方之圖像。後保險桿或尾門所具備之攝像部12104主要取得車輛12100之後方之圖像。由攝像部12101及12105取得之前方之圖像主要用於先行車輛或行人、障礙物、號誌機、交通標誌或車道線等之檢測。
此外，於圖18中，顯示攝像部12101至12104之攝影範圍之一例。攝像範圍12111表示設置於車頭突部之攝像部12101之攝像範圍，攝像範圍12112、12113表示分別設置於後照鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設置於後保險桿或尾門之攝像部12104之攝像範圍。例如，藉由重疊由攝像部12101至12104拍攝到之圖像資料，可獲得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104之至少1者可具有取得距離資訊之功能。例如，攝像部12101至12104之至少1者可為含有複數個攝像元件之立體攝影機，亦可為具有相位差檢測用之像素之攝像元件。
例如，微電腦12051藉由基於根據攝像部12101至12104獲得之距離資訊，求得與攝像範圍12111至12114內之各立體物相隔之距離、及該距離之時間性變化(對於車輛12100之相對速度)，而可尤其將位於車輛12100之行進路上最近之立體物、且為在與車輛12100大致相同之方向以特定之速度(例如0 km/h以上)行駛之立體物擷取作為先行車。進而，微電腦12051可設定針對先行車於前方側應預先確保之車距，進行自動煞車控制(亦包含停止追隨控制)、自動加速控制(亦包含起步追隨控制)等。如此般可進行不依賴駕駛者之操作而自律行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051可基於自攝像部12101至12104獲得之距離資訊，將與立體物相關之立體物資料分類為二輪車、普通車輛、大型車輛、行人、電線桿等或其他之立體物而加以擷取，用於自動迴避障礙物。例如，微電腦12051可將車輛12100之周邊之障礙物辨識為車輛12100之駕駛員可視認之障礙物及難以視認之障礙物。且，微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞風險，當遇到碰撞風險為設定值以上而有可能發生碰撞之狀況時，藉由經由音訊揚聲器12061或顯示部12062對駕駛員輸出警報，或經由驅動系統控制單元12010進行強制減速或迴避操舵，而可進行用於避免碰撞之駕駛支援。
攝像部12101至12104之至少1個可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判定於攝像部12101至12104之攝像圖像中是否存在有行人而辨識行人。上述之行人之辨識藉由例如提取作為紅外線相機之攝像部12101至12104之攝像圖像之特徵點之步序、針對表示物體之輪廓之一系列特徵點進行圖案匹配處理而判別是否為行人之步序而進行。當微電腦12051判定為在攝像部12101至12104之攝像圖像中存在行人，且辨識為行人時，聲音圖像輸出部12052控制顯示部12062而針對該被辨識出之行人重疊顯示用於強調之方形輪廓線。又，聲音圖像輸出部12052亦可控制顯示部12062而將顯示行人之圖標等顯示於所期望之位置。
此外，本技術亦可採用如以下之構成。 (1) 一種固態攝像裝置，其配置於移動體，且具備： 攝像部，其將入射光予以光電轉換為與光量相應之電荷量，且拍攝對象物； 動作檢測部，其基於以前述攝像部拍攝到之複數個圖像，算出前述對象物之速度；及 慣性計測部，其檢測前述移動體之加速度或角速度，且根據前述對象物之速度，變更前述移動體之加速度或角速度之可測定範圍。 (2) 如(1)之固態攝像裝置，其中於前述對象物之速度超過第1臨限值之情形下，前述慣性計測部擴大前述可測定範圍。 (3) 如(1)或(2)之固態攝像裝置，其中於前述對象物之速度低於第2臨限值之情形下，前述慣性計測部縮小前述可測定範圍。 (4) 如(1)至(3)中任一項固態攝像裝置，其中前述攝像部以特定之時間間隔拍攝前述對象物；且 前述動作檢測部基於在某一時點拍攝到之第1圖像與在下一時點拍攝到之第2圖像之間的前述對象物之特徵點之移動距離，算出前述對象物之速度。 (5) 如(4)之固態攝像裝置，其中當根據前述對象物之速度變化而推測該對象物之速度於在下一時點拍攝到之第3圖像中達到第3臨限值時，前述慣性計測部變更前述可測定範圍。 (6) 如(1)至(5)中任一項固態攝像裝置，其具備： AD轉換器，其將來自前述攝像部之像素信號進行AD(Analogue-to-Digital，類比轉數位)轉換而轉換為數位信號； 信號處理部，其對前述數位信號進行處理，產生圖像資料； 記憶體，其儲存前述圖像資料；及 控制器，其基於前述對象物之速度，控制前述慣性計測部之可測定範圍；且 前述控制器或前述記憶體配置於前述慣性計測部與前述信號處理部之間。 (7) 如(1)至(5)中任一項固態攝像裝置，其具備： AD轉換器，其將來自前述攝像部之像素信號進行AD轉換而轉換為數位信號； 信號處理部，其對前述數位信號進行處理，產生圖像資料； 記憶體，其儲存前述圖像資料；及 控制器，其基於前述對象物之速度，控制前述慣性計測部之可測定範圍；且 前述控制器或前述記憶體配置於前述慣性計測部與前述動作檢測部之間。 (8) 如(1)至(7)中任一項固態攝像裝置，其將第1半導體晶片及第2半導體晶片積層而構成， 上述第1半導體晶片包含前述攝像部之第1半導體晶片； 上述第2半導體晶片包含前述動作檢測部及前述慣性計測部第2半導體晶片。 (9) 如(6)或(7)之固態攝像裝置，其將第1半導體晶片及第2半導體晶片積層而構成， 上述第1半導體晶片包含前述攝像部； 上述第2半導體晶片包含前述動作檢測部、前述慣性計測部、前述AD轉換器、前述信號處理部、前述記憶體及前述控制器。 (10) 如(1)至(7)中任一項固態攝像裝置，其將第1半導體晶片、第2半導體晶片及第3半導體晶片積層而構成， 上述第1半導體晶片包含前述攝像部； 上述第2半導體晶片包含前述慣性計測部； 上述第3半導體晶片包含前述動作檢測部。 (11) 如(6)或(7)之固態攝像裝置，其將第1半導體晶片、第2半導體晶片及第3半導體晶片積層而構成， 上述第1半導體晶片包含前述攝像部； 上述第2半導體晶片包含前述慣性計測部及前述AD轉換器；及 上述第3半導體晶片包含前述動作檢測部、前述信號處理部、前述記憶體及前述控制器。 (12) 一種固態攝像裝置之控制方法，其係控制配置於移動體之固態攝像裝置之方法，該固態攝像裝置具備：攝像部，其將入射光予以光電轉換為與光量相應之電荷量，且拍攝對象物；動作檢測部，其算出前述對象物之速度；及慣性計測部，其檢測加速度或角速；且該控制方法包含： 以前述攝像部拍攝前述對象物； 於前述動作檢測部中，基於以前述攝像部拍攝到之複數個圖像，算出前述對象物之速度；及 於前述慣性計測部中，根據前述對象物之速度，變更前述移動體之加速度或角速度之可測定範圍。 (13) 如(12)之方法，其中前述可測定範圍之變更包含： 於前述對象物之速度超過第1臨限值之情形下，擴大前述可測定範圍；及 於前述對象物之速度低於第2臨限值之情形下，前述慣性計測部縮小前述可測定範圍。 (14) 如(12)或(13)之方法，其中以特定之時間間隔拍攝前述對象物；且 前述對象物之速度係基於在某一時點拍攝到之第1圖像與在下一時點拍攝到之第2圖像之間的前述對象物之特徵點之移動距離而算出。 (15) 如(14)之方法，其中前述可測定範圍係當根據前述對象物之速度變化而推測該對象物之速度於在下一時點拍攝到之第3圖像中達到第3臨限值時變更。 (16) 一種移動體，其具備固態攝像裝置，且 該固態攝像裝置具備： 攝像部，其將入射光予以光電轉換為與光量相應之電荷量，且拍攝對象物； 動作檢測部，其基於以前述攝像部拍攝到之複數個圖像，算出前述對象物之速度；及 慣性計測部，其檢測前述移動體之加速度或角速度，且根據前述對象物之速度，變更前述移動體之加速度或角速度之可測定範圍。 此外，本揭示並非係限定於上述之實施形態者，在不脫離本揭示之要旨之範圍內可進行各種變更。又，本說明書所記載之效果終僅為例示而並非被限定者，可具有其他效果。
1:固態攝像裝置  10:攝像部  20:ADC/處理電路  30:信號處理部/處理電路  40:記憶體/處理電路  50:輸出控制部/處理電路  60:動作檢測部/處理電路  70:控制器/處理電路  80:慣性計測部/處理電路  83:低通濾波器  84:ADC  85:介面  511, 512:半導體晶片  513, 514:導通區域  521, 522, 523:半導體晶片  12000:車輛控制系統  12001:通訊網路  12010:驅動系統控制單元  12020:車體系統控制單元  12030:車外資訊檢測單元  12031, 12101, 12102, 12103, 12104, 12105:攝像部  12040:車內資訊檢測單元  12041:駕駛者狀態檢測部  12050:整合控制單元  12051:微電腦  12052:聲音圖像輸出部  12053:車載網路I/F  12061:音訊揚聲器  12062:顯示部  12063:儀表板  12100:車輛  12111, 12112, 12113, 12114:攝像範圍  C1, C2:電容器元件  E1, E3:固定電極  E2:可動電極  THa:臨限值(第1臨限值)  THb:臨限值(第2臨限值)  ta, ta0, tb, tb0:時點
圖1A係顯示第1實施形態之固態攝像裝置之構成例之方塊圖。 圖1B係顯示MEMS感測器之構成之一例作為慣性計測部之電路圖。 圖2係顯示第1實施形態之固態攝像裝置之控制方法之一例之流程圖。 圖3係顯示對象物之速度之計算方法之流程圖。 圖4係顯示對象物之速度之圖。 圖5係顯示對象物之速度之圖。 圖6係顯示第1實施形態之變化例之固態攝像裝置之控制方法之一例之流程圖。 圖7係顯示對象物之速度之圖。 圖8係顯示對象物之速度之圖。 圖9係顯示將攝像部之半導體晶片與處理電路之半導體晶片積層之固態攝像裝置之例之概念圖。 圖10係顯示半導體晶片之處理電路之佈局配置之一例之概略圖。 圖11係顯示半導體晶片之處理電路之佈局配置之一例之概略圖。 圖12係顯示半導體晶片之處理電路之佈局配置之一例之概略圖。 圖13係顯示半導體晶片之處理電路之佈局配置之一例之概略圖。 圖14係顯示半導體晶片之處理電路之佈局配置之一例之概略圖。 圖15係顯示半導體晶片之處理電路之佈局配置之一例之概略圖。 圖16係顯示將像素部之半導體晶片、ADC及慣性計測部之半導體晶片、及其他處理電路之半導體晶片積層之固態攝像裝置之例之概念圖。 圖17係顯示作為可應用本揭示之技術之移動體控制系統之一例之車輛控制系統之概略構成例之方塊圖。 圖18係顯示攝像部之設置位置之例之圖。
1:固態攝像裝置  10:攝像部  20:ADC/處理電路  30:信號處理部/處理電路  40:記憶體/處理電路  50:輸出控制部/處理電路  60:動作檢測部/處理電路  70:控制器/處理電路  80:慣性計測部/處理電路

Claims (16)

  1. 一種固態攝像裝置，其配置於移動體，且具備： 攝像部，其將入射光予以光電轉換為與光量相應之電荷量，且拍攝對象物； 動作檢測部，其基於以前述攝像部拍攝到之複數個圖像，算出前述對象物之速度；及 慣性計測部，其檢測前述移動體之加速度或角速度，且根據前述對象物之速度，變更前述移動體之加速度或角速度之可測定範圍。
  2. 如請求項1之固態攝像裝置，其中於前述對象物之速度超過第1臨限值之情形下，前述慣性計測部擴大前述可測定範圍。
  3. 如請求項1之固態攝像裝置，其中於前述對象物之速度低於第2臨限值之情形下，前述慣性計測部縮小前述可測定範圍。
  4. 如請求項1之固態攝像裝置，其中前述攝像部以特定之時間間隔拍攝前述對象物；且 前述動作檢測部基於在某一時點拍攝到之第1圖像、與在下一時點拍攝到之第2圖像之間的前述對象物之特徵點之移動距離，算出前述對象物之速度。
  5. 如請求項4之固態攝像裝置，其中當根據前述對象物之速度變化而推測該對象物之速度於在下一時點拍攝到之第3圖像中達到第3臨限值時，前述慣性計測部變更前述可測定範圍。
  6. 如請求項1之固態攝像裝置，其具備： AD轉換器，其將來自前述攝像部之像素信號進行AD(Analogue-to-Digital，類比轉數位)轉換而轉換為數位信號； 信號處理部，其對前述數位信號進行處理，產生圖像資料； 記憶體，其儲存前述圖像資料；及 控制器，其基於前述對象物之速度，控制前述慣性計測部之可測定範圍；且 前述控制器或前述記憶體配置於前述慣性計測部與前述信號處理部之間。
  7. 如請求項1之固態攝像裝置，其具備： AD轉換器，其將來自前述攝像部之像素信號進行AD轉換而轉換為數位信號； 信號處理部，其對前述數位信號進行處理，產生圖像資料； 記憶體，其儲存前述圖像資料；及 控制器，其基於前述對象物之速度，控制前述慣性計測部之可測定範圍；且 前述控制器或前述記憶體配置於前述慣性計測部與前述動作檢測部之間。
  8. 如請求項1之固態攝像裝置，其將第1半導體晶片及第2半導體晶片積層而構成， 上述第1半導體晶片包含前述攝像部； 上述第2半導體晶片包含前述動作檢測部及前述慣性計測部。
  9. 如請求項6之固態攝像裝置，其將第1半導體晶片及第2半導體晶片積層而構成， 上述第1半導體晶片包含前述攝像部； 上述第2半導體晶片包含前述動作檢測部、前述慣性計測部、前述AD轉換器、前述信號處理部、前述記憶體及前述控制器。
  10. 如請求項1之固態攝像裝置，其將第1半導體晶片、第2半導體晶片及第3半導體晶片積層而構成， 上述第1半導體晶片包含前述攝像部； 上述第2半導體晶片包含前述慣性計測部； 上述第3半導體晶片包含前述動作檢測部。
  11. 如請求項6之固態攝像裝置，其將第1半導體晶片、第2半導體晶片及第3半導體晶片積層而構成， 上述第1半導體晶片包含前述攝像部； 上述第2半導體晶片包含前述慣性計測部及前述AD轉換器； 上述第3半導體晶片包含前述動作檢測部、前述信號處理部、前述記憶體及前述控制器。
  12. 一種固態攝像裝置之控制方法，其係控制配置於移動體之固態攝像裝置之方法，該固態攝像裝置具備：攝像部，其將入射光予以光電轉換為與光量相應之電荷量，且拍攝對象物；動作檢測部，其算出前述對象物之速度；及慣性計測部，其檢測加速度或角速；且該控制方法包含： 以前述攝像部拍攝前述對象物； 於前述動作檢測部中，基於以前述攝像部拍攝到之複數個圖像，算出前述對象物之速度；及 於前述慣性計測部中，根據前述對象物之速度，變更前述移動體之加速度或角速度之可測定範圍。
  13. 如請求項12之方法，其中前述可測定範圍之變更包含： 於前述對象物之速度超過第1臨限值之情形下，擴大前述可測定範圍；及 於前述對象物之速度低於第2臨限值之情形下，前述慣性計測部縮小前述可測定範圍。
  14. 如請求項12之方法，其中以特定之時間間隔拍攝前述對象物；且 前述對象物之速度係基於在某一時點拍攝到之第1圖像與在下一時點拍攝到之第2圖像之間的前述對象物之特徵點之移動距離而算出。
  15. 如請求項14之方法，其中前述可測定範圍係當根據前述對象物之速度變化而推測該對象物之速度於在下一時點拍攝到之第3圖像中達到第3臨限值時變更。
  16. 一種移動體，其具備固態攝像裝置，且 該固態攝像裝置具備： 攝像部，其將入射光予以光電轉換為與光量相應之電荷量，且拍攝對象物； 動作檢測部，其基於以前述攝像部拍攝到之複數個圖像，算出前述對象物之速度；及 慣性計測部，其檢測前述移動體之加速度或角速度，且根據前述對象物之速度，變更前述移動體之加速度或角速度之可測定範圍。
TW110117122A 2020-06-05 2021-05-12 固態攝像裝置、固態攝像裝置之控制方法及移動體 TWI760217B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-098863 2020-06-05
JP2020098863 2020-06-05

Publications (2)

Publication Number Publication Date
TW202203640A TW202203640A (zh) 2022-01-16
TWI760217B true TWI760217B (zh) 2022-04-01

Family

ID=78830879

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110117122A TWI760217B (zh) 2020-06-05 2021-05-12 固態攝像裝置、固態攝像裝置之控制方法及移動體

Country Status (6)

Country Link
US (1) US20230179892A1 (zh)
EP (1) EP4163642A4 (zh)
JP (1) JPWO2021246107A1 (zh)
CN (1) CN115699792A (zh)
TW (1) TWI760217B (zh)
WO (1) WO2021246107A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7934423B2 (en) * 2007-12-10 2011-05-03 Invensense, Inc. Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics
US8186221B2 (en) * 2009-03-24 2012-05-29 Freescale Semiconductor, Inc. Vertically integrated MEMS acceleration transducer
CN104204721A (zh) * 2012-02-28 2014-12-10 科格尼维公司 单个相机距离估计
US20190180451A1 (en) * 2016-08-19 2019-06-13 Dominik Kellner Enhanced object detection and motion estimation for a vehicle environment detection system
TW202001288A (zh) * 2018-04-20 2020-01-01 日商索尼半導體解決方案公司 光接收裝置及距離測量裝置
CN111208317A (zh) * 2020-02-26 2020-05-29 深迪半导体(上海)有限公司 Mems惯性传感器及应用方法和电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701788B2 (en) * 2001-07-31 2004-03-09 Kelsey-Hayes Company Multiple output inertial sensing device
JP2008008820A (ja) * 2006-06-30 2008-01-17 Hitachi Ltd 慣性センサおよびその製造方法
EP2336788B1 (en) * 2008-09-08 2014-07-09 Hitachi, Ltd. Inertial sensor
US8965736B2 (en) * 2011-03-09 2015-02-24 Moog Inc. High accuracy and high dynamic range MEMS inertial measurement unit with automatic dynamic range control
US9285389B2 (en) * 2012-04-02 2016-03-15 Semiconductor Components Industries, Llc Optical accelerometers
JP2018164199A (ja) * 2017-03-27 2018-10-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法
JP6501091B1 (ja) * 2017-10-30 2019-04-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP7233162B2 (ja) * 2017-12-18 2023-03-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6641573B1 (ja) * 2018-11-15 2020-02-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 決定装置、撮像装置、撮像システム、移動体、決定方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7934423B2 (en) * 2007-12-10 2011-05-03 Invensense, Inc. Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics
US8186221B2 (en) * 2009-03-24 2012-05-29 Freescale Semiconductor, Inc. Vertically integrated MEMS acceleration transducer
CN104204721A (zh) * 2012-02-28 2014-12-10 科格尼维公司 单个相机距离估计
US20190180451A1 (en) * 2016-08-19 2019-06-13 Dominik Kellner Enhanced object detection and motion estimation for a vehicle environment detection system
TW202001288A (zh) * 2018-04-20 2020-01-01 日商索尼半導體解決方案公司 光接收裝置及距離測量裝置
CN111208317A (zh) * 2020-02-26 2020-05-29 深迪半导体(上海)有限公司 Mems惯性传感器及应用方法和电子设备

Also Published As

Publication number Publication date
EP4163642A1 (en) 2023-04-12
US20230179892A1 (en) 2023-06-08
JPWO2021246107A1 (zh) 2021-12-09
EP4163642A4 (en) 2023-11-15
TW202203640A (zh) 2022-01-16
CN115699792A (zh) 2023-02-03
WO2021246107A1 (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
US11582406B2 (en) Solid-state image sensor and imaging device
JP7044107B2 (ja) 光センサ、及び、電子機器
TW202110166A (zh) 固體攝像裝置、信號處理晶片、及電子機器
TWI744876B (zh) 圖像辨識裝置、固體攝像裝置及圖像辨識方法
JP2019146071A (ja) 撮像装置、撮像システム、および撮像方法
US11711633B2 (en) Imaging device, imaging system, and imaging method
WO2020195822A1 (ja) 撮像システム
JP2019134318A (ja) 撮像装置およびキャリブレーション方法
JPWO2020105634A1 (ja) 固体撮像装置および電子機器
TW202231056A (zh) 攝像裝置
WO2019111624A1 (ja) 撮像装置
TWI760217B (zh) 固態攝像裝置、固態攝像裝置之控制方法及移動體
JP7123813B2 (ja) 半導体装置、固体撮像素子、並びに電子機器
JPWO2020121699A1 (ja) 撮像装置
TWI742636B (zh) 攝像裝置及攝像方法
WO2021220682A1 (ja) 撮像装置
US20230098440A1 (en) Imaging device, imaging system, and imaging method
CN117546477A (zh) 成像装置、电子设备及光检测方法
JP7129983B2 (ja) 撮像装置
WO2021100593A1 (ja) 測距装置及び測距方法
US20240064433A1 (en) Imaging element and imaging device
WO2022009720A1 (ja) 固体撮像装置、撮像方法および電子機器
US20240089637A1 (en) Imaging apparatus
TW202220434A (zh) 固態攝像裝置及電子機器
TW202245463A (zh) 資訊處理裝置及資訊處理方法