TW201720136A - 控制陀螺儀感測器的影像感測器以及含其的成像裝置 - Google Patents

控制陀螺儀感測器的影像感測器以及含其的成像裝置 Download PDF

Info

Publication number
TW201720136A
TW201720136A TW105136975A TW105136975A TW201720136A TW 201720136 A TW201720136 A TW 201720136A TW 105136975 A TW105136975 A TW 105136975A TW 105136975 A TW105136975 A TW 105136975A TW 201720136 A TW201720136 A TW 201720136A
Authority
TW
Taiwan
Prior art keywords
image
data
image sensor
pixel
gyroscope
Prior art date
Application number
TW105136975A
Other languages
English (en)
Other versions
TWI766847B (zh
Inventor
兪東在
Original Assignee
三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三星電子股份有限公司 filed Critical 三星電子股份有限公司
Publication of TW201720136A publication Critical patent/TW201720136A/zh
Application granted granted Critical
Publication of TWI766847B publication Critical patent/TWI766847B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Gyroscopes (AREA)
  • Vehicle Body Suspensions (AREA)
  • Facsimile Heads (AREA)

Abstract

一種影像感測器，包括：畫素陣列，包括提供畫素訊號的畫素；時序控制器，控制所述畫素的暴露時間並產生旗標訊號，所述旗標訊號指示所述暴露時間的開始及結束；以及第一連接引腳，用以將所述旗標訊號傳遞至陀螺儀感測器。

Description

控制陀螺儀感測器的影像感測器以及含其的成像裝置
本發明概念的實施例是有關於控制陀螺儀感測器的影像感測器。更具體而言，本發明概念的實施例是有關於更精確地即時（或隨時（on-the-fly））補償每一訊框中的影像震動（即，照相機震動）的影像感測器。本發明概念的其他實施例是有關於包含此類型的影像感測器的裝置。
一般而言，隨著影像感測器解析度增加，所述影像感測器中所包括的相應畫素的大小減小。為補償在低亮度環境中的影像感測器的靈敏度，所述影像感測器的訊框速率減小，且暴露時間對應地增加。尤其在此種情況下，影像震動（例如，舉例而言由使用者的手的移動所引起的影像震動）可導致顯著降級的影像品質。因此，需要不管瞬時移動或瞬時力矩如何均能提供改良的影像品質的某種形式的影像穩定化。光學校正是一種用以藉由移動包括影像感測器的照相機的透鏡而防止影像震動的技術。然而，由於與驅動透鏡相關聯的時間限制，因而此項技術難以即時地或隨時地校正所述影像震動。
本發明概念的實施例是針對一種影像感測器，一種影像感測器包括:畫素陣列，包括提供畫素訊號的畫素；時序控制器，控制所述畫素的暴露時間並產生旗標訊號，所述旗標訊號指示所述暴露時間的開始及結束；以及第一連接引腳，用以將所述旗標訊號傳遞至陀螺儀感測器。
本發明概念的另一實施例是針對一種影像感測器模組，所述影像感測器模組包括:陀螺儀感測器；以及影像感測器，用以產生對所述陀螺儀感測器致能/禁能的旗標訊號。所述影像感測器包括:畫素陣列，包括排列成列的畫素，所述列自第一列至最末列延伸，且所述畫素提供畫素訊號；時序控制器，控制所述畫素的暴露時間並產生所述旗標訊號，所述旗標訊號指示所述暴露時間的開始及結束；以及第一連接引腳，用以將所述旗標訊號傳遞至所述陀螺儀感測器。
本發明概念的另一實施例是針對一種行動裝置，所述行動裝置包括:影像感測器模組；以及影像訊號處理器，用以控制所述影像感測器模組的運作。所述影像感測器模組包括:陀螺儀感測器；以及影像感測器，用以產生對所述陀螺儀感測器致能/禁能的旗標訊號。所述影像感測器包括:畫素陣列，包括排列成列的畫素，所述列自第一列至最末列延伸，且所述畫素提供畫素訊號；時序控制器，控制所述畫素的暴露時間並產生所述旗標訊號，所述旗標訊號指示所述暴露時間的開始及結束；以及第一連接引腳，用以將所述旗標訊號傳遞至所述陀螺儀感測器。
本發明概念的另一實施例是針對一種操作成像裝置的方法，所述成像裝置包括陀螺儀感測器及影像感測器，所述影像感測器包括畫素陣列，所述畫素陣列將畫素排列成多個列，所述多個列包括第一列及最末列以及位於所述第一列與所述最末列之間的中間列。所述方法包括:自所述影像感測器提供所述旗標訊號至所述陀螺儀感測器；開始及結束所述第一列的第一暴露時間，順次地開始及結束所述中間列中的每一中間列的對應暴露時間，且接著開始及結束所述最末列的最末暴露時間；因應於所述第一暴露時間的所述開始而啟用所述旗標訊號，並因應於所述最末暴露時間的所述結束而停用所述旗標訊號，其中所述陀螺儀感測器僅在所述旗標訊號的所述啟用與所述旗標訊號的所述停用之間的期間提供陀螺儀資料。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖（FIG.）1是根據本發明概念的實施例的行動裝置100的方塊圖。此處，行動裝置100能夠處理影像資料（或「影像（image）」）且包括互補金屬氧化物半導體影像感測器200、陀螺儀感測器300、及應用處理器（application processor，AP）400。儘管此處是具體行動裝置的實施例，然而熟習此項技術者將認識到，本發明概念的範圍並非僅限於此特定類型及此特定構型的行動裝置，而是延伸到得益於影像穩定化的各種各樣的影像處理系統或成像裝置（例如，經影像穩定化雙筒望遠鏡（binocular）、靜物照相機（still camera）、視訊照相機、天文望遠鏡、智慧型電話、汽車系統、及/或安全系統）。
就這點而言，用語「影像穩定化（image stabilization）」一般用以指代用以減少在影像暴露期間與成像裝置的運動相關聯的非期望的影像模糊的技術。舉例而言，影像穩定化可補償成像裝置的搖動（pan）及傾斜，其中「傾斜（tilt）」指代與如下文所闡述的與圖7有關的偏轉（yaw）及前後傾斜（pitch）對應（或等效）的角運動。
如將在不同構型中進行闡述，本發明概念的各種實施例可包括影像感測器及陀螺儀感測器。不管影像感測器及陀螺儀感測器的實體構型及運作本性如何，此兩個元件均可共同地被稱作影像感測器模組。在此上下文中，影像感測器模組可被配置於成像裝置內。
圖1所示的行動裝置100或圖5所示的行動裝置100-1可被實施於行動電話、智慧型電話、平板個人電腦、個人數位助理（personal digital assistant，PDA）、企業數位助理（enterprise digital assistant，EDA）、數位靜物照相機、數位視訊照相機、可攜式多媒體播放機（portable multimedia player，PMP）、行動網路裝置（mobile internet device，MID）、隨身電腦、物聯網（Internet of Things，IoT）裝置、萬聯網（Internet of Everything，IoE）裝置、或無人飛機中。
互補金屬氧化物半導體影像感測器200可指代能夠將具有特定波長範圍的入射光（下文中，「光學影像（optical image）」）轉換成對應的電訊號（下文中，「影像資料（image data）」）的晶片。圖1所示的互補金屬氧化物半導體影像感測器200被示出為包括第一連接引腳201、第二連接引腳211、影像處理電路215、時序控制器220、及畫素陣列230。
第一連接引腳201可被用以將旗標訊號（FLAG）傳遞至陀螺儀感測器300，且第二連接引腳211被用以接收由陀螺儀感測器300提供的陀螺儀資料（gyroscope data，GDATA）。根據示例性實施例，第一連接引腳201及第二連接引腳211中的至少一者可被實施為通用輸入/輸出（general-purpose input/output，GPIO）引腳。
所述旗標訊號可控制陀螺儀感測器300的功能操作（致能/禁能）。所述陀螺儀資料是指示陀螺儀感測器300的移動的資料，且可根據所述旗標訊號是否被致能/禁能而產生（及提供）。
根據示例性實施例，影像處理電路215可因應於設置於畫素陣列230中的相應畫素（PIXEL）而利用畫素訊號P1至Pm（其中m是3或大於3的自然數）來產生影像資料，以產生為所述影像資料及對應陀螺儀資料的乘積的「輸出資料」（DATA）。
根據示例性實施例，影像處理電路215可:（1）自陀螺儀感測器300接收陀螺儀資料，（2）利用畫素訊號P1至Pm自畫素陣列230中所包括的畫素產生影像資料，（3）利用所述陀螺儀資料對所述影像資料執行影像穩定化操作，以（4）產生經影像穩定化資料作為輸出資料。所述影像穩定化操作可指代藉由補償被手震動、影像震動、或照相機震動所模糊的影像而產生清晰的影像的操作。
如將在下文的某些附加細節中所闡述，當成像裝置不包括影像穩定化特徵（類似於下文闡述的與影像穩定化電路260有關的影像穩定化特徵）時，成像裝置可產生如圖3所示的情形1中示出的包括影像資料（image data，IDATA）及陀螺儀資料的輸出資料。然而，當成像裝置（例如，圖1所示的影像處理電路215）包括影像穩定化電路260時，影像處理電路215可利用所述陀螺儀資料對所述影像資料執行影像穩定化操作以產生如圖3所示的情形2中示出的經影像穩定化資料（image-stabilized data，CIDATA）。在此上下文中，本發明概念的某些實施例可具有視需求提供的在不同輸出資料形式的產生（例如，圖3所示的情形1及情形2）之間切換的能力。
在圖1中，時序控制器220可控制影像處理電路215的運作，其中影像處理電路215可包括控制器210、列驅動器225、相關雙採樣（correlated double sampling，CDS）區塊235、比較器區塊245、類比數位轉換器（analog-to-digital converter，ADC）區塊250、及畫素訊號處理電路255。影像處理電路215可更包括影像穩定化電路260。亦即，本發明概念的各種實施例可在影像處理電路215內部或外部提供影像穩定化電路260。
控制器210可被用以控制（例如，）時序控制器220、類比數位轉換器區塊250、畫素訊號處理電路255、及/或影像穩定化電路260的運作或互運作。根據示例性實施例，控制器210可將經由第二連接引腳211接收的陀螺儀資料（GDATA）傳送至畫素訊號處理電路255及/或影像穩定化電路260。所述陀螺儀資料可獨立地或與控制畫素訊號處理電路255的第二控制訊號CTRL2相結合地被傳遞至畫素訊號處理電路255。
時序控制器220可因應於控制器210或在控制器210的控制下而對列驅動器225及斜波訊號產生器240進行控制。列驅動器225可因應於時序控制器220的控制而對設置於相應列中的畫素陣列230的畫素的運作進行控制。
圖2是在一個實例中進一步說明圖1所示的畫素陣列230的局部電路圖。圖3是進一步說明一種指示界定暴露時間的開始時間及結束時間的旗標訊號的產生方式的概念圖。
參照圖1、圖2、及圖3，列驅動器225可產生用於控制設置於第一列中的畫素的運作的第一列控制訊號ROW1、用於控制設置於第二列中的畫素的運作的第二列控制訊號ROW2等，直至產生用於控制設置於第n列中的畫素的運作的第n列控制訊號ROWn。此外，列驅動器225可產生用於控制相應設置於每一行中的偏壓電路的運作的偏壓（bias voltage，VBIAS），其中每一行根據相應行線COL1至COLm而界定。
如圖2中所示，每一畫素被假定成具有相同的結構及相同的運作，如下文中闡述的由畫素231的結構及運作所表示。此處，畫素231更被假定成包括光電轉換元件PD、重設電晶體RX、傳遞電晶體TX、驅動器電晶體DX、及選擇電晶體SX。
在圖2所示的實例中，重設電晶體RX連接於供應操作電壓Vdd的電源供應節點與浮動擴散區FD之間，使得浮動擴散區FD的重設因應於第一重設訊號RS1而被執行。傳遞電晶體TX被用以因應於第一傳遞控制訊號TG1而將光電荷自光電轉換元件PD傳遞至浮動擴散區FD。驅動器電晶體DX連接於電源供應節點與選擇電晶體SX之間，並因應於浮動擴散區FD的電壓而充當源極隨耦器（source follower）。選擇電晶體SX因應於第一選擇訊號SEL1而將驅動器電晶體DX的輸出訊號作為畫素訊號P1輸出。
以上示例性構型及操作得到第一列控制訊號ROW1，其包括控制訊號RS1、TG1、及SEL1用於控制設置於第一列中的畫素的暴露時間的。舉例而言，第一傳遞控制訊號TG1可充當用於控制設置於第一列中的畫素的第一暴露時間的第一暴露時間控制訊號；用於控制設置於第二列中的畫素的暴露時間的包括控制訊號RS2、TG2、及SEL2的第二列控制訊號ROW2。舉例而言，第二傳遞控制訊號TG2可充當用於控制設置於第二列中的畫素的第二暴露時間的第二暴露時間控制訊號；至用於控制設置於第n列中的畫素的暴露時間的包括控制訊號RSn、TGn、及SELn的第n列控制訊號ROWn。舉例而言，第n傳遞控制訊號TGn可充當用於控制設置於第n列中的畫素的第n暴露時間的第n暴露時間控制訊號。
相關雙採樣電路區塊235可包括設置於行線COL1至COLm中的每一者中的相應的相關雙採樣電路。每一相關雙採樣電路可對畫素訊號P1至Pm中的每一者執行相關雙採樣（CDS）並輸出相關雙採樣畫素訊號。
比較器區塊245可包括設置於每一行中的比較器。每一比較器可將自斜波訊號產生器240輸出的斜波訊號（Vramp）與自每一相關雙採樣電路輸出的相關雙採樣畫素訊號進行比較，並輸出比較訊號。類比數位轉換器區塊250可包括設置於每一行中的類比數位轉換器。每一類比數位轉換器可因應於自控制器210輸出的第一控制訊號CTRL1而產生與每一比較器的輸出訊號對應的數位訊號。
參照圖3所示的情形1，因應於自控制器210輸出的第二控制訊號CTRL2，畫素訊號處理電路255可利用與畫素訊號P1至Pm對應的數位訊號而產生影像資料（IDATA）以產生包括影像資料及陀螺儀資料的輸出資料（DATA）。作為另外一種選擇，參照圖3所示的情形2，影像穩定化電路260可自畫素訊號處理電路255接收影像資料（IDATA）及陀螺儀資料（GDATA），利用陀螺儀資料而對影像資料執行影像穩定化操作以產生經影像穩定化資料（CIDATA），並將經影像穩定化資料CIDATA作為輸出資料（DATA）輸出。
互補金屬氧化物半導體影像感測器200可接著經由介面265（例如，MIPI® 照相機串列介面）而將輸出資料傳遞至（例如，）應用處理器400中所包括的影像訊號處理器（image signal processor，ISP）410。
因此，陀螺儀感測器300不需將陀螺儀資料（GDATA）直接傳遞至應用處理器400的影像訊號處理器410，而是可將陀螺儀資料直接傳遞至互補金屬氧化物半導體影像感測器200。因此，應用處理器400的影像訊號處理器410不需必要地包括用以自陀螺儀感測器300直接接收陀螺儀資料的引腳。
在圖1所示的實例中，影像訊號處理器410不僅可接收及處理由互補金屬氧化物半導體影像感測器200提供的輸出資料（DATA），而且可控制互補金屬氧化物半導體影像感測器200的總體運作。
圖4是總結圖1所示的操作互補金屬氧化物半導體影像感測器200及陀螺儀感測器300的一個可能的實例的流程圖。參照圖1、圖2、圖3、及圖4，時序控制器220可被用以控制設置於畫素陣列230中的畫素的暴露時間，產生指示界定所述暴露時間的持續時間的開始時間及結束時間的旗標訊號，並經由第一連接引腳201而將所述旗標訊號傳遞至陀螺儀感測器300。
如圖3中所示，開始時間與被供應至設置於畫素陣列230中的畫素的第一列中的第一畫素的第一列控制訊號ROW1同步，且結束時間與被供應至設置於畫素陣列230中的畫素的第n列（即，最末列）中的第n畫素的第n列控制訊號ROWn同步。
時序控制器220可因應於被供應至設置於第一列中的畫素的第一暴露時間控制訊號（例如，第一傳遞控制訊號TG1）的啟用而產生被啟用（例如，邏輯地「高（high）」層階）旗標訊號（FLAG），並因應於被供應至設置於第n列中的畫素的第n暴露時間控制訊號（例如，第n傳遞控制訊號TGn）的停用而產生被停用（例如，邏輯地「低（low）」層階）旗標訊號。因此，在以上實例中，「啟用（activation）」可意指自低至高的轉變且「停用（de-activation）」可意指自高至低的轉變。然而，此些定義在本發明概念的其他實施例中可為相反的。
陀螺儀感測器300因應於所述旗標訊號的啟用而被致能並因應於所述旗標訊號的停用而被禁能。
參照圖4，可藉由操作時序控制器220來控制設置於第一列中的「第一畫素（first pixel）」的第一暴露時間（S110）。亦即，設置於第一線中的第一畫素可被重設。當第一暴露時間開始時，時序控制器220可啟用所述旗標訊號（S115），且陀螺儀感測器300因應於被啟用的旗標訊號而被致能（S120）。此後，被致能的陀螺儀感測器300可產生並提供陀螺儀資料至第二連接引腳211（S125）。
設置於第二列中的「第二畫素（second pixel）」的第二暴露時間至設置第n列中的「第n畫素（nth pixel）」的第n暴露時間的依序產生可由時序控制器220控制（順次地S130=否，直至第n暴露時間）。
當第n暴露時間的產生在設置於第n線中的第n畫素被重設後結束時，時序控制器220可停用旗標訊號（S135）。因此，陀螺儀感測器300因應於被停用的旗標訊號而被禁能（S140），且被禁能的陀螺儀感測器300不產生所述陀螺儀資料。
接著，作出關於互補金屬氧化物半導體影像感測器200是否執行校正功能的決定。若互補金屬氧化物半導體影像感測器200執行校正功能（S145=是），則接著影像穩定化電路260在互補金屬氧化物半導體影像感測器200內是可運作的，進而使得影像穩定化電路260自畫素訊號處理電路255接收影像資料（IDATA）及陀螺儀資料（GDATA），利用陀螺儀資料GDATA而即時對所述影像資料進行影像穩定化操作（S150）以產生經影像穩定化資料CIDATA，並即時將所述經影像穩定化資料作為輸出資料（DATA）輸出（S155）。然而，若互補金屬氧化物半導體影像感測器200不執行校正功能（S145=否），則畫素訊號處理電路255可利用與自畫素陣列230輸出的畫素訊號P1至Pm對應的數位訊號來產生影像資料（IDATA），並即時產生包括所述影像資料及所述陀螺儀資料的輸出資料（DATA）（S160）。若影像穩定化電路260或相似的電路系統/軟體在互補金屬氧化物半導體影像感測器200中不存在，或者若互補金屬氧化物半導體影像感測器200當前以與校正功能不相容的模式運作時，則互補金屬氧化物半導體影像感測器200可能無法執行校正功能。
圖5是根據本發明概念另一實施例的行動裝置的方塊圖。將圖1與圖5進行比較，圖1所示的陀螺儀感測器300直接輸出陀螺儀資料（GDATA）至互補金屬氧化物半導體影像感測器200，但圖5所示的陀螺儀感測器300直接輸出陀螺儀資料至應用處理器400-1的影像訊號處理器410-1。
在此上下文中，行動裝置100-1可指代能夠處理影像資料並包括互補金屬氧化物半導體影像感測器200-1、陀螺儀感測器300、及應用處理器400-1的裝置。互補金屬氧化物半導體影像感測器200-1可指代能夠將光學影像轉換至對應的影像資料（IDATA）的晶片。
互補金屬氧化物半導體影像感測器200-1可包括第一連接引腳201、第二連接引腳213、影像處理電路215-1、以及時序控制器220及畫素陣列230。
第一連接引腳201可被用以將所述旗標訊號（FLAG）傳遞至陀螺儀感測器300，且第二連接引腳211可被用以將由影像處理電路215-1產生的影像資料輸出至應用處理器400-1的影像訊號處理器410-1。第二連接引腳211可指代用於將所述影像資料輸出至應用處理器400-1的影像訊號處理器410-1的介面（例如，MIPI® 照相機串列介面）。
如先前關於圖1所闡述，類比數位轉換器區塊250可產生數位訊號。畫素訊號處理電路255A可利用與畫素訊號P1至Pm對應的數位訊號產生影像資料並因應於自控制器210輸出的第二控制訊號CTRL2而經由第三連接引腳211將所述影像資料傳送至應用處理器400-1的影像訊號處理器410-1。
影像訊號處理器410-1可接收自陀螺儀感測器300輸出的陀螺儀資料及自互補金屬氧化物半導體影像感測器200-1輸出的影像資料，利用所述陀螺儀資料即時對所述影像資料執行影像穩定化操作，並因此產生經影像穩定化資料。
圖6是在一個實例中進一步說明操作圖5所示的互補金屬氧化物半導體影像感測器200-1及陀螺儀感測器300的概念圖。參照圖5及圖6，時序控制器220可在每一訊框中產生控制（即，致能/禁能）陀螺儀感測器300的旗標訊號（FLAG）。舉例而言，當所述旗標訊號被啟用時，陀螺儀感測器300可開始產生陀螺儀資料（GDATA），且當所述旗標訊號被停用時，陀螺儀感測器300可結束產生陀螺儀資料。
此操作方式在操作與互補金屬氧化物半導體影像感測器及應用處理器有關的陀螺儀感測器方面與先前技術方式形成對比。且由於在本發明概念的各種實施例中陀螺儀感測器300可與一或多個旗標訊號同步以產生陀螺儀資料，因而與先前技術方式相比較，由操作陀螺儀感測器300消耗的功率可減小。
圖7是進一步說明可由與本發明概念一致的成像裝置（例如，圖1或圖5中所示的行動裝置）執行的影像震動補償功能的方塊圖。參照圖1、圖2、圖3、圖4、圖5、圖6、及圖7，行動裝置100或100-1（共同地，成像裝置100）可包括互補金屬氧化物半導體影像感測器200或200-1、陀螺儀感測器300、及應用處理器400或400-1。
互補金屬氧化物半導體影像感測器200或影像訊號處理器410-1可利用陀螺儀資料GDATA即時對經受例如由影像震動而引發的模糊的影像資料執行影像穩定化操作以產生經影像穩定化資料。
陀螺儀感測器300可檢測（1）陀螺儀感測器300、（2）配備有陀螺儀感測器300及互補金屬氧化物半導體影像感測器200或200-1的影像感測器模組、或（3）行動裝置100的移動。陀螺儀資料可對應於所述移動檢測而產生。
舉例而言，陀螺儀感測器300可檢測X軸加速度、Y軸加速度、及/或Z軸加速度，並產生對應於所述檢測結果的陀螺儀資料GDATA。舉例而言，陀螺儀感測器300可檢測在X軸方向上的前後傾斜、在Y軸方向上的滾動、及/或在Z軸方向上的偏轉，並產生對應於所述檢測結果的陀螺儀資料GDATA。
根據本發明概念示例性實施例的用於控制陀螺儀感測器的運作的影像感測器可產生與所述影像感測器的暴露時間的開始及結束同步的旗標訊號，並將所述旗標訊號輸出至陀螺儀感測器。
因此，影像感測器的運作與陀螺儀感測器的運作可為同步的。影像感測器可利用旗標訊號來控制由陀螺儀感測器產生的陀螺儀資料（即，表示影像感測器的移動的資料）的輸出時間（或時序）。影像感測器可補償無意的影像震動與有意的影像震動二者。
儘管已示出並闡述了本發明概念的少數實施例，然而熟習此項技術者將理解，在不背離由隨附的申請專利範圍及其等效範圍所界定的本發明概念的範圍的條件下，可對此些實施例作出變化。
圖1是說明根據本發明概念實施例的行動裝置的方塊圖。               圖2是進一步說明圖1所示的畫素陣列的方塊圖。               圖3是說明一種指示暴露時間的開始及結束的旗標訊號的產生方式的概念圖。               圖4是在一個實例中總結操作圖1所示的影像感測器及陀螺儀感測器的流程圖。               圖5是說明根據本發明概念實施例的行動裝置的方塊圖。               圖6是在一個實例中說明操作圖5所示的影像感測器及陀螺儀感測器的概念圖。               圖7是在一個實例中說明在圖1及圖5所示的行動裝置中所執行的補償的方塊圖。

Claims (25)

  1. 一種影像感測器，包括： 畫素陣列，包括提供畫素訊號的畫素； 時序控制器，控制所述畫素的暴露時間並產生旗標訊號，所述旗標訊號指示所述暴露時間的開始及結束；以及 第一連接引腳，用以將所述旗標訊號傳遞至陀螺儀感測器。
  2. 如申請專利範圍第1項所述的影像感測器，其中所述暴露時間的所述開始與被供應至設置於所述畫素的第一列中的第一畫素的第一暴露時間控制訊號同步，且所述暴露時間的所述結束與被供應至設置於所述畫素的最末列中的最末畫素的最末暴露時間控制訊號同步。
  3. 如申請專利範圍第2項所述的影像感測器，其中所述時序控制器用以因應於所述第一暴露時間控制訊號而產生被啟用旗標訊號並因應於所述最末暴露時間控制訊號而產生被停用旗標訊號。
  4. 如申請專利範圍第1項所述的影像感測器，更包括： 第二連接引腳，用以接收由所述陀螺儀感測器產生的陀螺儀資料；以及 影像處理電路，自所述畫素訊號產生影像資料， 其中所述影像處理電路產生包括所述影像資料及所述陀螺儀資料的輸出資料。
  5. 如申請專利範圍第1項所述的影像感測器，更包括： 第二連接引腳，用以接收由所述陀螺儀感測器產生的陀螺儀資料；以及 影像處理電路，自所述畫素訊號產生影像資料， 其中所述影像處理電路包括影像穩定化電路，所述影像穩定化電路利用所述陀螺儀資料對所述影像資料執行影像穩定化操作，以產生影像穩定化資料作為輸出資料。
  6. 如申請專利範圍第5項所述的影像感測器，其中所述第一連接引腳及所述第二連接引腳中的至少一者是通用輸入/輸出（GPIO）引腳。
  7. 如申請專利範圍第5項所述的影像感測器，其中所述輸出資料包括訊框且所述旗標訊號在所述訊框的每一者中對所述陀螺儀感測器致能/禁能。
  8. 一種影像感測器模組，包括： 陀螺儀感測器；以及 影像感測器，用以產生對所述陀螺儀感測器致能/禁能的旗標訊號， 其中所述影像感測器包括： 畫素陣列，包括排列成列的畫素，所述列自第一列至最末列延伸，且所述畫素提供畫素訊號； 時序控制器，控制所述畫素的暴露時間並產生所述旗標訊號，所述旗標訊號指示所述暴露時間的開始及結束；以及 第一連接引腳，用以將所述旗標訊號傳遞至所述陀螺儀感測器。
  9. 如申請專利範圍第8項所述的影像感測器模組，其中所述時序控制器因應於被供應至所述第一列的第一畫素的第一暴露時間控制訊號而產生被啟用旗標訊號，並因應於被供應至設置於所述最末列中的最末畫素的最末暴露時間控制訊號而產生被停用旗標訊號，且 所述陀螺儀感測器被所述被啟用旗標訊號致能且因應於所述被停用旗標訊號而被禁能。
  10. 如申請專利範圍第8項所述的影像感測器模組，其中所述陀螺儀感測器因應於所述影像感測器模組的移動而產生陀螺儀資料，並將所述陀螺儀資料直接傳遞至影像訊號處理器。
  11. 如申請專利範圍第8項所述的影像感測器模組，其中所述陀螺儀感測器因應於所述影像感測器模組的移動而產生陀螺儀資料，且 所述影像感測器更包括： 第二連接引腳，用以自所述陀螺儀感測器接收所述陀螺儀資料；以及 影像處理電路，自所述畫素訊號產生影像資料，並產生包括所述影像資料及所述陀螺儀資料的輸出資料。
  12. 如申請專利範圍第11項所述的影像感測器模組，其中所述第一連接引腳及所述第二連接引腳中的至少一者是通用輸入/輸出（GPIO）引腳。
  13. 如申請專利範圍第8項所述的影像感測器模組，其中所述陀螺儀感測器因應於所述影像感測器模組的移動而產生陀螺儀資料，且 所述影像感測器更包括： 第二連接引腳，用以自所述陀螺儀感測器接收陀螺儀資料；以及 影像處理電路，自所述畫素訊號產生影像資料，利用所述陀螺儀資料對所述影像資料執行影像穩定化操作，以產生影像穩定化資料作為輸出資料。
  14. 如申請專利範圍第13項所述的影像感測器模組，其中所述第一連接引腳及所述第二連接引腳中的至少一者是通用輸入/輸出（GPIO）引腳。
  15. 如申請專利範圍第8項所述的影像感測器模組，其中所述陀螺儀感測器因應於所述旗標訊號而直接提供所述陀螺儀資料至所述影像感測器。
  16. 一種行動裝置，包括： 影像感測器模組；以及 影像訊號處理器，用以控制所述影像感測器模組的運作， 其中所述影像感測器模組包括： 陀螺儀感測器；以及 影像感測器，用以產生對所述陀螺儀感測器致能/禁能的旗標訊號， 其中所述影像感測器包括： 畫素陣列，包括排列成列的畫素，所述列自第一列至最末列延伸，且所述畫素提供畫素訊號； 時序控制器，控制所述畫素的暴露時間並產生所述旗標訊號，所述旗標訊號指示所述暴露時間的開始及結束；以及 第一連接引腳，用以將所述旗標訊號傳遞至所述陀螺儀感測器。
  17. 如申請專利範圍第16項所述的行動裝置，其中所述時序控制器因應於被供應至所述第一列的第一畫素的第一暴露時間控制訊號而產生被啟用旗標訊號，並因應於被供應至設置於所述最末列中的最末畫素的最末暴露時間控制訊號而產生被停用旗標訊號，且 所述陀螺儀感測器被所述被啟用旗標訊號致能且因應於所述被停用旗標訊號而被禁能。
  18. 如申請專利範圍第17項所述的行動裝置，其中所述陀螺儀資料對應於所述影像感測器模組的移動，且所述陀螺儀感測器將所述陀螺儀資料直接提供至所述影像訊號處理器。
  19. 如申請專利範圍第17項所述的行動裝置，其中所述陀螺儀感測器因應於所述影像感測器模組的移動而產生陀螺儀資料， 其中所述影像感測器更包括： 第二連接引腳，用以自所述陀螺儀感測器直接接收所述陀螺儀資料；以及 影像處理電路，用以自所述畫素訊號產生影像資料，產生包括所述影像資料及所述陀螺儀資料的輸出資料，並將所述輸出資料輸出至所述影像訊號處理器。
  20. 如申請專利範圍第17項所述的行動裝置，其中所述陀螺儀感測器因應於所述影像感測器模組的移動而產生陀螺儀資料， 其中所述影像感測器更包括： 第二連接引腳，用以直接自所述陀螺儀感測器接收陀螺儀資料；以及 影像處理電路，用以自所述畫素訊號產生影像資料，利用所述陀螺儀資料對所述影像資料執行影像穩定化操作，產生經影像穩定化資料，並將所述經影像穩定化資料作為輸出資料輸出至所述影像訊號處理器。
  21. 一種操作成像裝置的方法，所述成像裝置包括陀螺儀感測器及影像感測器，所述影像感測器包括畫素陣列，所述畫素陣列將畫素排列成多個列，所述多個列包括第一列及最末列以及位於所述第一列與所述最末列之間的中間列，所述方法包括： 自所述影像感測器提供旗標訊號至所述陀螺儀感測器； 開始及結束所述第一列的第一暴露時間，順次地開始及結束所述中間列中的每一個的對應暴露時間，且接著開始及結束所述最末列的最末暴露時間； 因應於所述第一暴露時間的所述開始而啟用所述旗標訊號，並因應於所述最末暴露時間的所述結束而停用所述旗標訊號， 其中所述陀螺儀感測器僅在所述旗標訊號的所述啟用與所述旗標訊號的所述停用之間的期間提供陀螺儀資料。
  22. 如申請專利範圍第21項所述的方法，其中所述成像裝置更包括應用處理器，且所述方法更包括： 自所述多個列中的所述畫素產生畫素訊號； 自所述畫素訊號產生影像資料； 在所述影像感測器中接收所述陀螺儀資料；以及 產生包括所述影像資料及所述陀螺儀資料的輸出資料。
  23. 如申請專利範圍第21項所述的方法，其中所述成像裝置更包括應用處理器及影像穩定化電路，且所述方法更包括： 自所述多個列中的所述畫素產生畫素訊號； 自所述畫素訊號產生影像資料； 在所述影像感測器中接收所述陀螺儀資料；以及 藉由利用所述陀螺儀資料將所述影像資料穩定化而以所述影像穩定化電路的操作來產生輸出資料。
  24. 如申請專利範圍第21項所述的方法，其中所述成像裝置更包括應用處理器， 所述影像感測器及所述陀螺儀感測器被配置於影像感測器模組上， 所述陀螺儀資料對應於所述影像感測器模組的移動，且 所述陀螺儀感測器將所述陀螺儀資料直接提供至所述影像感測器。
  25. 如申請專利範圍第21項所述的方法，其中所述成像裝置更包括應用處理器， 所述影像感測器及所述陀螺儀感測器被配置於影像感測器模組上， 所述陀螺儀資料對應於所述影像感測器模組的移動，且 所述陀螺儀感測器將所述陀螺儀資料直接提供至所述應用處理器。
TW105136975A 2015-11-27 2016-11-14 影像感測器、影像感測器模組以及行動裝置 TWI766847B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0167643 2015-11-27
KR1020150167643A KR102349433B1 (ko) 2015-11-27 2015-11-27 자이로스코프 센서를 제어할 수 있는 이미지 센서와 이를 포함하는 장치들

Publications (2)

Publication Number Publication Date
TW201720136A true TW201720136A (zh) 2017-06-01
TWI766847B TWI766847B (zh) 2022-06-11

Family

ID=58777573

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105136975A TWI766847B (zh) 2015-11-27 2016-11-14 影像感測器、影像感測器模組以及行動裝置

Country Status (4)

Country Link
US (1) US10368001B2 (zh)
KR (1) KR102349433B1 (zh)
CN (1) CN106817534B (zh)
TW (1) TWI766847B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728453B2 (en) 2016-08-03 2020-07-28 Samsung Electronics Co., Ltd. Motion stabilized image sensor, camera module and apparatus comprising same
CN109547671B (zh) * 2017-09-22 2022-05-27 三星电子株式会社 图像传感器、相机模块以及成像设备
KR102581210B1 (ko) * 2019-01-10 2023-09-22 에스케이하이닉스 주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서 및 이미지 센서 칩
KR102518373B1 (ko) * 2019-02-12 2023-04-06 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 기기
CN110072049B (zh) * 2019-03-26 2021-11-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN114071007A (zh) * 2020-08-07 2022-02-18 Oppo广东移动通信有限公司 图像处理方法、多媒体处理芯片以及电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2852770B1 (fr) * 2003-03-21 2005-05-27 Capteur d'image a cycle de lecture rapide
US8236282B2 (en) * 2003-08-22 2012-08-07 University of Pittsburgh—of the Commonwealth System of Higher Education Benzothiazole derivative compounds, compositions and uses
US7568628B2 (en) * 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
JP4681925B2 (ja) 2005-04-13 2011-05-11 Ｈｏｙａ株式会社 手ぶれ補正機能付きカメラ
JP4832013B2 (ja) 2005-07-05 2011-12-07 富士フイルム株式会社 像振れ補正装置
TWI312103B (en) * 2006-07-17 2009-07-11 Asia Optical Co Inc Image pickup systems and methods
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
JP2008283443A (ja) 2007-05-10 2008-11-20 Olympus Imaging Corp 撮像装置
KR101371775B1 (ko) 2007-07-09 2014-03-24 삼성전자주식회사 카메라의 손떨림 보정 방법 및 장치
KR20090015251A (ko) 2007-08-08 2009-02-12 삼성전자주식회사 이미지 센서를 구비한 카메라 모듈
JP2009159553A (ja) 2007-12-28 2009-07-16 Sanyo Electric Co Ltd カメラ，カメラシステムおよびその制御方法
JP5094606B2 (ja) * 2008-07-15 2012-12-12 キヤノン株式会社 像振れ補正装置およびそれを備えた光学機器、撮像装置、像振れ補正装置の制御方法
KR100968974B1 (ko) 2008-08-26 2010-07-14 삼성전기주식회사 손떨림 보정 장치
KR100956226B1 (ko) 2008-09-05 2010-05-04 삼성전기주식회사 자이로 센서를 포함하는 카메라 모듈
JP5821315B2 (ja) * 2011-06-21 2015-11-24 ソニー株式会社 電子機器、電子機器の駆動方法
US8896713B2 (en) * 2011-08-15 2014-11-25 Apple Inc. Motion-based video stabilization
KR20130102929A (ko) 2012-03-08 2013-09-23 주식회사 동운아나텍 카메라의 이미지 안정화 장치 및 방법
US8988598B2 (en) * 2012-09-14 2015-03-24 Samsung Electronics Co., Ltd. Methods of controlling image sensors using modified rolling shutter methods to inhibit image over-saturation
US9552630B2 (en) * 2013-04-09 2017-01-24 Honeywell International Inc. Motion deblurring
JP2014232972A (ja) * 2013-05-29 2014-12-11 ソニー株式会社 撮像装置およびフリッカ検出方法、ならびに情報処理装置
CN103402056B (zh) * 2013-07-31 2016-05-25 北京阳光加信科技有限公司 应用于图像捕获设备的补偿处理方法和系统
JP2015220690A (ja) * 2014-05-20 2015-12-07 株式会社東芝 カメラモジュール及びイメージセンサ
CN104113698A (zh) * 2014-08-06 2014-10-22 北京北纬通信科技股份有限公司 应用于图像捕获设备的模糊图像处理方法和系统

Also Published As

Publication number Publication date
KR102349433B1 (ko) 2022-01-10
CN106817534A (zh) 2017-06-09
TWI766847B (zh) 2022-06-11
US10368001B2 (en) 2019-07-30
KR20170062164A (ko) 2017-06-07
US20170155843A1 (en) 2017-06-01
CN106817534B (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
TWI766847B (zh) 影像感測器、影像感測器模組以及行動裝置
US11539887B2 (en) Video image anti-shake method and terminal
KR101642569B1 (ko) 디지털 촬영시스템 및 그 제어방법
KR102393775B1 (ko) 카메라 컨트롤러, 화상 처리 모듈 및 반도체 시스템
CN109803066B (zh) 用于在相机模块内生成时钟信号的电子装置和方法
US9699381B2 (en) Digital photographing motion compensation system and method
CN111670573B (zh) 一种电子装置及用于操作被配置为录制视频的电子装置的方法
KR20140067408A (ko) 고체 촬상소자 및 그에 따른 동작 제어방법
US10911675B2 (en) Method for providing shake correction, signal processing device performing the method, and imaging device including the signal processing device
KR20160058489A (ko) 이미지 센서 및 이미지 센서의 데이터 출력 방법
JP2017169074A (ja) 画像安定化装置、画像安定化方法及び電子機器
JP2020113975A (ja) イメージ信号処理方法、イメージ信号プロセッサ及びイメージセンサチップ
TWI643500B (zh) 攝像元件、攝像方法及電子機器
JP2011125026A (ja) オートフォーカスカメラモジュールでのレンズシェーディング補償方法
US9111484B2 (en) Electronic device for scene evaluation and image projection onto non-planar screens
US11910115B2 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
US11985423B2 (en) Imaging element, imaging apparatus, operation method of imaging element, and program improving real-time output of shake degree information
US11032476B2 (en) Image sensor and electronic device comprising the same
US11729506B2 (en) Imaging element with processor configured to receive vibration information, imaging apparatus, operation method of imaging element, and program
JP6188369B2 (ja) 撮像装置
JP2023090117A (ja) 光電変換装置及び撮像システム
JP2013187873A (ja) 電子カメラ
KR20140118590A (ko) 촬영 장치 및 촬영 장치의 제어 방법