TW201800901A - 偵測動作資訊的方法及感光陣列 - Google Patents

偵測動作資訊的方法及感光陣列 Download PDF

Info

Publication number
TW201800901A
TW201800901A TW105119125A TW105119125A TW201800901A TW 201800901 A TW201800901 A TW 201800901A TW 105119125 A TW105119125 A TW 105119125A TW 105119125 A TW105119125 A TW 105119125A TW 201800901 A TW201800901 A TW 201800901A
Authority
TW
Taiwan
Prior art keywords
pixels
photosensitive
image
images
invisible
Prior art date
Application number
TW105119125A
Other languages
English (en)
Inventor
林漢昌
楊恕先
陳世峯
Original Assignee
原相科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 原相科技股份有限公司 filed Critical 原相科技股份有限公司
Priority to TW105119125A priority Critical patent/TW201800901A/zh
Priority to US15/361,378 priority patent/US10192317B2/en
Priority to US15/707,583 priority patent/US11417002B2/en
Publication of TW201800901A publication Critical patent/TW201800901A/zh
Priority to US16/216,062 priority patent/US11087473B2/en
Priority to US17/359,879 priority patent/US20210327073A1/en
Priority to US17/855,886 priority patent/US11854215B2/en
Priority to US18/386,051 priority patent/US20240062394A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/709Circuitry for control of the power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Abstract

一種偵測動作資訊的方法,其包括下列步驟。首先,提供一感光陣列,用於偵測位於一第一距離範圍或一第二距離範圍內的一待測物體的影像,其中感光陣列包括複數個不可見光感光像素以及複數個可見光感光像素。之後,在第一距離範圍內使用不可見光感光像素進行影像偵測,以得到多個不可見光影像。接著,在第二距離範圍內使用可見光感光像素進行影像偵測,以得到多個可見光影像。然後,利用一處理單元處理不可見光影像與可見光影像,以得到待測物體的一動作資訊。本發明更進一步提供一種偵測動作資訊的感光陣列。

Description

偵測動作資訊的方法及感光陣列
本發明係有關於一種偵測動作資訊的方法及感光陣列,尤指一種能夠同時偵測在遠近距離範圍內的動作資訊的方法及感光陣列。
一般用來控制電子產品多使用觸控式的方法,例如:遙控器、滑鼠、觸控螢幕等。近年來,為了提高人機互動的便利性,非觸控式控制系統中的手勢辨識系統或是聲控系統,都紛紛地導入遊戲機、智慧型電視、智慧型手機、平板裝置、和汽車電子產品等消費性電子產品中。手勢辨識系統的發展,除了能夠讓人機互動更加地不受到限制外,還提供了使用者更便利且更高品質的生活方式。
然而,在利用一般的手勢辨識系統來偵測動作資訊時,例如:手勢動作、靠近判斷甚至其他物件感測,只能進行單一功能的物件偵測,例如:近距離的手勢影像判斷或是遠距離的手勢影像。也就是說,當能夠偵測近距離的手勢影像時,就無法偵測遠距離的手勢影像,反之亦然。
因此,為了能夠讓手勢辨識系統更靈活地被運用,如何改善僅能在近距離的手勢辨識或是遠距離的手勢辨識中二擇一的問題,已成為該領域欲解決的問題之一。
本發明所要解決的技術問題在於,針對現有技術的不足提供一種能夠同時偵測在遠近距離範圍內的動作資訊的方法及感光陣列。
為了解決上述的技術問題,本發明所採用的其中一技術方案是,提供一種偵測動作資訊的方法,包括下列步驟。提供一感光陣列,其中該感光陣列包括複數個不可見光感光像素以及複數個可見光感光像素,以用於偵測位於一第一距離範圍或一第二距離範圍內的一待測物體的影像。在第一距離範圍內使用不可見光感光像素進行影像偵測,以得到多個不可見光影像。在第二距離範圍內使用可見光感光像素進行影像偵測,以得到多個可見光影像。利用一處理單元處理不可見光影像與可見光影像,以得到待測物體的一動作資訊。
本發明所採用的另外一技術方案是,提供一種偵測動作資訊的感光陣列,其包括複數個不可見光感光像素以及複數個可見光感光像素,以用於偵測位於一第一距離範圍或一第二距離範圍內的一待測物體的影像。不可見光感光像素在第一距離範圍內進行影像偵測,以得到多個不可見光影像。可見光感光像素在第二距離範圍內進行影像偵測,以得到多個可見光影像。不可見光影像與可見光影像分別利用一處理單元內含的一第一演算單元以及一第二演算單元進行分析,以得到待測物體的一動作資訊。
本發明所採用的又另外一技術方案是,提供一種影像感測器,包括一感光陣列及一處理單元。感光陣列包括複數個第一感光像素與複數個第二感光像素,第一感光像素感測一可見光波長範圍的光線,第二感光像素感測一不可見光波長範圍的光線,且第一感光像素的數量大於第二感光像素的數量。處理單元於一第一模式下根據第一感光像素所感測的資料輸出一影像資訊,且處 理單元於一第二模式下根據第二感光像素所感測的資料輸出一物件移動資訊。
本發明所採用的再另外一技術方案是,提供一種影像感測器,包括一感光陣列及一處理單元。感光陣列包括複數個第一感光像素與複數個第二感光像素,且第一感光像素的數量大於第二感光像素的數量。處理單元於一第一模式下根據第一感光像素所感測的資料輸出一影像資訊,且處理單元於一第二模式下根據第二感光像素所感測的資料判斷是否切換成第一模式。
藉由本發明實施例所提供的同時偵測在遠近距離範圍內的動作資訊的方法及感光陣列,能夠同時進行近距離和遠距離動作資訊(例如:手勢影像)的偵測,以得到彼此交錯排列的多個不可見光影像與多個可見光影像。藉此,克服了以往利用手勢辨識系統來偵測手勢影像時,僅能進行近距離手勢影像的偵測亦或是遠距離手勢影像的偵測,而無法達到同時進行遠近距離手勢影像偵測的問題。
此外,在本發明同時偵測遠近距離手勢的方法中,在近距離的條件下,會利用紅外光加強判斷手勢影像的重心,更增加了手勢影像判斷的準確度,突破了以往手勢判斷的限制。因而達到不論遠近距離都能正確、快速、且較不受限地判斷手勢的效果。
另外,由於本發明實施例之影像感測器在第二模式下,第一感光像素處於休眠狀態,當第二感光像素所感測到的資料屬於物件移動資訊時,切換成第一模式。藉由第二模式與第一模式的切換方式,可讓影像感測器更為省電。
為使能更進一步瞭解本發明的特徵及技術內容,請參閱以下有關本發明的詳細說明與附圖,然而所附圖式僅提供參考與說明用,並非用來對本發明加以限制者。
1,1a,1b,1c‧‧‧感光陣列
11‧‧‧不可見光感光像素
12‧‧‧可見光感光像素
13‧‧‧環境偵測感光像素
14‧‧‧第一感光像素
15‧‧‧第二感光像素
2‧‧‧處理單元
21‧‧‧第一演算單元
22‧‧‧第二演算單元
A,B,C‧‧‧影像感測器
C1‧‧‧影像重心
L‧‧‧光源
S‧‧‧待測物體
200‧‧‧壞點補償單元
圖1為本發明實施例所揭示偵測動作資訊的方法流程圖;圖2為本發明實施例所揭示偵測動作資訊的方法步驟S107中更進一步的步驟流程圖;圖3為本發明實施例的偵測動作資訊的使用示意圖;圖4為本發明實施例的偵測動作資訊的功能方塊圖;圖5A~圖5C為本發明實施例的不可見光感光像素影像取點示意圖;圖6為本發明一實施例的偵測待測物體的功能方塊圖;圖7為本發明另一實施例的影像感測器之感光陣列示意圖;圖8為本發明另一實施例的偵測待測物體的功能方塊圖;圖9為本發明又一實施例的偵測待測物體的功能方塊圖;以及圖10為本發明再一實施例的影像感測器之感光陣列示意圖。
以下是通過特定的具體實例來說明本發明所揭露有關“一種偵測動作資訊的方法及感光陣列”的實施方式,本領域技術人員可由本說明書所揭示的內容瞭解本發明的優點與功效。本發明可通過其他不同的具體實施例加以施行或應用,本說明書中的各項細節亦可基於不同觀點與應用,在不悖離本發明的精神下進行各種修飾與變更。另外,本發明的圖式僅為簡單示意說明,並非依實際尺寸的描繪,先予敘明。以下的實施方式將進一步詳細說明本發明的相關技術內容,但所揭示的內容並非用以限制本發明的技術範疇。
[第一實施例]
請參閱圖1、圖2和圖3,並配合圖4予以說明。圖1為本發明第一實施例的偵測動作資訊的方法流程圖,以及圖2為本發明 第一實施例的第一演算單元21和第二演算單元22分別分析不可見光影像與可見光影像的流程圖。
如圖1的步驟S101至S107以及圖3並配合圖4所示,本發明第一實施例提供一種偵測動作資訊的方法,其包括下列步驟。首先,提供一感光陣列1,以用於偵測位於一第一距離範圍或一第二距離範圍內的一待測物體S(例如:手勢)的影像,如步驟S101所繪示。在本實施例中,感光陣列1包括複數個不可見光感光像素11以及複數個可見光感光像素12,如圖3與圖4所繪示,其中本實施例的不可見光感光像素11的數量是以9個做為舉例說明,但並不限於此。以下將分別根據不同偵測距離來進行說明。
上述的不可見光感光像素11可配合一光源L(例如紅外光(Infrared,IR))進行影像偵測,以得到多個不可見光影像,以判斷待測物體S是否在第一距離範圍內,如步驟S103與圖4所示。相對地,可見光感光像素12可不使用光源L而直接在第二距離範圍內進行影像偵測,以得到多個可見光影像,以判斷待測物體S是否在第二距離範圍內,如步驟S105與圖4所示。
具體來說,判斷待測物體S是否處於第一距離範圍與第二距離範圍則是利用一處理單元2來處理上述的不可見光影像與可見光影像以進行判斷,並可據此來獲得待測物體S的動作資訊,如步驟S107所示。
上述步驟S107可以包含有步驟S107(a)~S107(c),如圖2所示,以下將進行說明。
於步驟S107(a)中,可透過上述的處理單元2來判斷在不可見光影像以及可見光影像之中是否有待測物體S的影像,若處理單元2判斷在不可見光影像之中有待測物體S的影像,則利用第一演算單元21分析不可見光影像,以得到待測物體S的動作資訊, 如步驟S107(b)所示,相對地,若是在可見光影像之中有待測物體S的影像,則可利用第二演算單元22分析可見光影像,以得到待測物體S的動作資訊,如步驟S107(c)所示。
如圖3和圖4所示,在本發明一實施例中,動作資訊以“手勢影像”的動作資訊來舉例說明,其中第一距離範圍可介於0至15公分之間,且第二距離範圍可介於15至100公分之間。較佳地,第一距離範圍可介於1至15公分之間,且第二距離範圍可介於15至80公分之間。
具體而言,在利用第一演算單元21以及第二演算單元22分別分析不可見光影像與可見光影像時,可以是先判斷手勢的影像是出現在不可見光影像或是出現在可見光影像,若是手勢的影像出現在不可見光影像之中,可利用第一演算單元21分析不可見光影像,以得到手勢在不可見光影像中的動作資訊。若是手勢的影像出現在可見光影像之中,則利用第二演算單元22分析可見光影像,以得到手勢在可見光影像中的動作資訊。具體來說,處理單元2可含有第一演算單元21以及第二演算單元22,其中第一演算單元21包含一第一演算法,且第二演算單元22包含一第二演算法。如此一來,不可見光影像與可見光影像便分別透過處理單元2的第一演算法以及第二演算法來進行分析,以得到手勢影像的動作資訊。
在本實施例中,不可見光感光像素11可配合紅外光源在0至15公分之間的第一距離範圍之近距離範圍內進行影像偵測。於另一實施態樣中,可見光感光像素12可不使用紅外光源而直接在15至100公分之間的第二距離範圍之遠距離範圍內進行影像偵測的步驟。需要說明的是,不可見光感光像素11與可見光感光像素12可以是同時進行上述的影像感測。
需要說明的是,上述的處理單元2可以是採用硬體架構,也就是上述的演算單元可以是採用實體電路而與感光陣列1整合於單一晶片中,如此雖然降低了演算法的彈性,但相對的卻可提升演算效能,減小整體尺寸與整體耗能。
以下將以圖4與圖5A~圖5C來針對不同距離的演算方式進行詳細說明,其中圖4為本發明實施例的偵測動作資訊的功能方塊圖,而圖5A~圖5C為本發明實施例的不可見光感光像素11影像取點之示意圖。
在以不可見光感光像素11配合光源L在第一距離範圍內進行影像偵測時,若待測物體S位於第一距離範圍內,此時不可見光感光像素11便會感測到被待測物體S所反射的光線,如圖5A所繪示。此時,若是待測物體S進行移動時,則不可見光感光像素11所感測到被待測物體S所反射的光線,便會呈現如圖5B和圖5C所繪示的移動狀態。
具體來說,處理單元2會接收到不可見光感光像素11的影像資料,並據此計算待測物體S的影像重心,因此當待測物體S在第一距離範圍內移動時,待測物體S的一影像重心C1便會跟著移動,而可得到一移動軌跡。在本實施例中,利用不可見光感光像素11進行影像偵測的方式可以是採用一種影像取點的方式,其能夠配合上述所利用的紅外光來加強判斷手勢的影像重心C1。當手勢移動時,影像重心C1會形成一移動軌跡,而此時處理單元2便可透過演算法來追蹤手勢的移動軌跡,以增加手勢判斷的準確度。
舉例而言,如圖5A~圖5C之感光陣列1上所示,不可見光感光像素11可以是採用會感測紅外光或遠紅外光的感光像素,如此一來,當待測物體S(例如:手)出現在0至15公分之間的第一距離範圍時,紅外光照射到手的時候會產生反射,而在感光陣列1 上所設置的不可見光感光像素11會感測到反射光,此時,處理單元2則是根據不可見光感光像素11所感測到的資料並透過演算法來偵測手的影像重心,以追蹤手的移動軌跡。具體來說,假設手勢是從左邊揮到右邊,所反射的光線在像素畫面上,會先經過最左邊一排的不可見光感光像素11,接著再依序經過由左而右排的不可見光感光像素11,如圖5A~圖5C所示,此時可透過處理單元2的第一演算單元21(如圖4所示)之第一演算法進行計算來判斷手勢是由左揮到右,而得到手勢的動作資訊。
當手勢在15至100公分之間的第二距離範圍時,則可利用可見光感光像素12進行影像偵測,其中感測方式可以是為完整影像擷取的方式,於實施例中無須使用光源L,可見光感光像素12即可直接框出手勢的形狀,再接著追蹤手的移動軌跡。例如:當手指伸出來時,可見光感光像素12就會偵測到手指的形狀而呈現在畫面上,並且開始追蹤手的移動軌跡,例如是當手從左邊往右邊揮時所產生的移動軌跡,則可藉由處理單元2的第二演算單元22中之第二演算法得知手勢為往右邊揮動的手勢,以取得完整的手勢影像的動作資訊。
在本實施例中,不可見光感光像素11與可見光感光像素12可以是交錯得到不可見光影像與可見光影像。舉例來說,在同一時間會有兩部分的資訊進來,第一部分是在0至15公分之間的第一距離範圍內所得到的第一距離影像資訊,第二部分是在15至100公分之間的第二距離範圍內所得到的第二距離影像資訊,且第一距離影像資訊和第二距離影像資訊會互相交錯。具體來說,不可見光影像為排序成第1、3、5、...、n-1個的奇數張影像,而可見光影像為排序成第2、4、6、...、n個偶數張影像,且n為正整數。例如:一秒鐘得到200張手勢影像,其中不可見光影像為奇 數張影像,也就是排序在第1、3、5、...、199張的影像,而可見光影像為偶數張影像,也就是排序在第2、4、6、...、200張的影像。在另一實施例中,不可見光感光像素11與可見光感光像素12可以是同時得到前述不可見光影像與前述可見光影像。
[第二實施例]
本發明第二實施例的偵測動作資訊的方法與本發明第一實施例的偵測動作資訊的方法相似,相似之處可參考上述,在此不再予以贅述。請再參閱圖4,本發明第二實施例的偵測動作資訊的方法與本發明第一實施例的偵測動作資訊的方法不同之處在於,在本發明第二實施例的偵測動作資訊的方法中,處理單元2於一第一模式下根據可見光感光像素12所感測的資料輸出一影像資訊,且處理單元2於一第二模式下根據不可見光感光像素11所感測的資料輸出一物件移動資訊。
具體而言,在第二模式中,可見光感光像素12是處於休眠狀態,但不可見光感光像素11為開啟狀態,其中第二模式可為待機模式。如此一來,當不可見光感光像素11感測到的資料為物件移動資訊時,處理單元2啟動可見光感光像素12進入第一模式。在第一模式中,可見光感光像素12為開啟的狀態,此時不可見光感光像素11可同時為開啟的狀態,亦可進入休眠狀態,其中第一模式為正常模式。詳細來說,在第一模式中,不可見光感光像素11與可見光感光像素12若是皆處於開啟的狀態,則代表無需關掉不可見光感光像素11,如此一來,電路設計便會較簡單。
相對來說,若在第一模式時不可見光感光像素11便會進入休眠狀態,雖然電路設計上需要有切換機制而較為複雜,但相對來說整體耗能則是會較為省電。舉例來說:當本發明的感光陣列1與處理單元2設置在一車用攝影機(如行車紀錄器)時,在停車的狀 態下會進入第二模式,意即待機模式,因不需進行錄影,僅有不可見光感光像素11開啟,而可見光感光像素12進入休眠狀態。當車子開動或有人從前面走過造成不可見光感光像素11感測到影像改變時,此時影像感測器會從第二模式進入第一模式,可見光感光像素12會被喚醒,也就是處理單元2會啟動可見光感光像素12,以進行影像的拍攝或錄製。
[第三實施例]
請參閱圖6和圖7並配合圖5A~圖5C所示,圖6為本發明第三實施例的偵測待測物體之功能方塊圖,圖7為本發明第三實施例的影像感測器A之感光陣列1a示意圖。本發明第三實施例提供一種影像感測器A,包括一感光陣列1a以及一處理單元2。感光陣列1a包括複數個第一感光像素14與複數個第二感光像素15,第一感光像素14感測一可見光波長範圍的光線,第二感光像素15感測一不可見光波長範圍的光線,且第一感光像素14的數量大於第二感光像素15的數量,原因在於,第一感光像素14所感測的是可見光範圍的影像,也就是一般拍照時會用到的像素陣列,所呈現的就是一般所看到的影像,而第二感光像素15所感測的是不可見光範圍的影像,其影像偵測的方式可以是採用前述利用影像取點並判斷影像重心C1後以追蹤物件的移動,所呈現的是物件的移動軌跡,而無需使用完整影像,因此第一感光像素14的數量大於第二感光像素的數量15。
此外,處理單元2於一第一模式下根據第一感光像素14所感測的資料輸出一影像資訊,且處理單元2於一第二模式下根據第二感光像素15所感測的資料輸出一物件移動資訊。第一感光像素14包括一紅光感測像素、一綠光感測像素與一藍光感測像素至少其二,且第二感光像素15包括一紅外光感測像素或一遠紅外光感 測像素其中之一。由於,第一感光像素14包括紅光感測像素、綠光感測像素與藍光感測像素至少其二,因而在第一模式下,第一感光像素14感測到資料後所輸出的影像資訊為彩色的影像資訊。而由於第二感光像素15包括紅外光感測像素或遠紅外光感測像素,因而在第二模式下,第二感光像素15感測到資料後所輸出的物件移動資訊為物件移動的軌跡。在本實施例中,第一模式可為正常模式,而第二模式可為待機模式。
要說明的是,第一感光像素14可相同或不同於本發明第一實施例和第二實施例的可見光感光像素12,第二感光像素15可相同或不同於本發明第一實施例和第二實施例的不可見光感光像素11。於本發明第三實施例中,第一感光像素14的結構、功能、及作用方式與本發明第一實施例和第二實施例的可見光感光像素12相似,且第二感光像素15的結構、功能、及作用方式與本發明第一實施例和第二實施例的不可見光感光像素11相似。因此,相似之處請參閱上述內容,在此不再予以贅述。
[第四實施例]
請參閱圖8並配合圖7所示,圖8為本發明第四實施例的偵測待測物體的功能方塊圖,圖7亦可為本發明第四實施例的影像感測器B之感光陣列1b示意圖。本發明第四實施例提供一種影像感測器B,包括一感光陣列1b及一處理單元2。感光陣列1b包括複數個第一感光像素14與複數個第二感光像素15,且第一感光像素14的數量大於第二感光像素的數量15。處理單元2於一第一模式下根據第一感光像素14所感測的資料輸出一影像資訊,且處理單元2於一第二模式下根據第二感光像素15所感測的資料輸出一物件移動資訊。具體而言,於第二模式下處理單元2不處理第一感光像素14所感測的資料,且於第一模式下,處理單元2不處理 第二感光像素15所感測的資料。也就是在第二模式中,第一感光像素14是處於休眠狀態,但第二感光像素15為開啟狀態,其中第二模式可為待機模式。如此一來,當第二感光像素15感測到的資料為物件移動資訊時,處理單元2啟動第一感光像素14進入第一模式。在第一模式中,第一感光像素14為開啟的狀態,此時第二感光像素15可同時為開啟的狀態,亦可進入休眠狀態,其中第一模式為正常模式。詳細來說,在第一模式中,第二感光像素15與第一感光像素14若是皆處於開啟的狀態,則代表無需關掉第二感光像素15,如此一來,電路設計便會較簡單。
相對來說,若在第一模式時第二感光像素15便會進入休眠狀態,雖然電路設計上需要有切換機制而較為複雜,但相對來說整體耗能則是會較為省電。
更進一步地,本發明第四實施例的影像感測器B還包括一壞點補償單元200。詳細來說,在第一模式中,第一感光像素14與第二感光像素15若是皆處於開啟的狀態,處理單元2根據第一感光像素14所感測的資料輸出一影像資訊,其為可見光影像,處理單元2根據第二感光像素15所感測的資料輸出一物件移動資訊,其為不可見光影像,因此在最後所呈現的畫面中,會出現壞點,這是因為在感光陣列1b中所設置的第二感光像素15的位置不會產生可見光影像,因此在呈現可見光影像的整個畫面中便會有不連續的地方,此部分稱為壞點。本發明第四實施例中的影像感測器B所包括的壞點補償單元200具有壞點補償的功能,可修補這些壞點,進而使影像感測器B能夠輸出正常的畫面。
要說明的是,圖8雖繪示壞點補償單元200可接收第一演算單元21與第二演算單元22的資料,但實際上,也可直接接收第一像素14的資料或是僅接收第一演算單元21,以輸出正常畫面, 此部分端視使用者的設計需求而定,本實施例並不以此為限制。也就是說,要先進行補償後再進演算法的計算,或是先進行演算法的計算後再進行補償,此部分皆可彈性調整,本實施例僅是舉例說明,非僅限於此。
另外,第一感光像素14可相同或不同於本發明第一實施例和第二實施例的可見光感光像素12,第二感光像素15可相同或不同於本發明第一實施例和第二實施例的不可見光感光像素11。於本發明第四實施例中,第一感光像素14的結構、功能、及作用方式與本發明第一實施例和第二實施例的可見光感光像素12相似,且第二感光像素15的結構、功能、及作用方式與本發明第一實施例和第二實施例的不可見光感光像素11相似。因此,相似之處請參閱上述內容,不再予以贅述。
[第五實施例]
請參閱圖9和圖10,圖9為本發明第五實施例的偵測待測物體的功能方塊圖,圖10為本發明第五實施例的影像感測器C之感光陣列1c示意圖。本發明第五實施例的影像感測器C與本發明第四實施例的影像感測器B相似,相似之處可參考上述,在此不再予以贅述。本發明第五實施例的影像感測器C與本發明第四實施例的影像感測器B不同之處在於,本發明第五實施例的影像感測器C之感光陣列1c,更進一步包括一環境偵測感光像素13,如圖10所示,環境偵測感光像素13設置於感光陣列1c的內部,且第一感光像素14設置於感光陣列1c上的數量大於環境偵測感光像素13,而第二感光像素15環繞地設置在感光陣列1c的外圍,其中本實施例的環境偵測感光像素13的數量是以9個做為舉例說明,但並不限於此。要特別說明的是,本實施例的環境偵測感光像素13也可環繞地設置在感光陣列1c的外圍,而第二感光像素 15也可設置於感光陣列1c的內部,亦即環境偵測感光像素13與第二感光像素15的設置位置可以互相交換。
舉例而言,環境偵測感光像素13可為不含有濾光層或濾光片的感測像素,也就是不含紅、綠、藍色的濾光層的感測像素,也或者是可以僅為綠色濾光層的感測像素。例如:當環境偵測感光像素13應用於手機上時,可偵測外在環境的光線,當環境光線暗時,手機螢幕的亮度會增加,而當環境光線亮時,手機螢幕的亮度則會減少。藉此,得以配合環境光線,讓使用者在適宜的螢幕亮度下觀看螢幕。
此外,本發明第五實施例的影像感測器C與本發明第四實施例的影像感測器B同樣包括有前述的壞點補償單元200。於本實施例中,在感光陣列1c中設置有環境偵測感光像素13的地方即為壞點之處,壞點補償單元200同樣可修補這些壞點而進而使影像感測器C能夠輸出正常的畫面。
同樣要說明的是,第一感光像素14可相同或不同於本發明上述所有實施例中的可見光感光像素12,第二感光像素15可相同或不同於本發明上述所有實施例中的不可見光感光像素11。於本發明第五實施例中,第一感光像素14的結構、功能、及作用方式與本發明上述所有實施例中的可見光感光像素12相似,且第二感光像素15的結構、功能、及作用方式與本發明上述所有實施例中的不可見光感光像素11相似。因此,相似之處請參閱上述內容,不再予以贅述。
綜合上述,本發明的有益效果可在於,藉由本發明實施例所提供的同時偵測在遠近距離範圍內的動作資訊的方法及感光陣列,能夠同時進行近距離和遠距離動作資訊(例如:手勢影像)的偵測,以得到彼此交錯排列的多個不可見光影像與多個可見光影 像。藉此,克服了以往利用手勢辨識系統來偵測手勢影像時,僅能進行近距離手勢影像的偵測亦或是遠距離手勢影像的偵測,而無法達到同時進行遠近距離手勢影像偵測的問題。此外,在本發明同時偵測遠近距離手勢的方法中,在近距離的條件下,會利用紅外光加強判斷手勢影像的重心,更增加了手勢影像判斷的準確度,突破了以往手勢判斷的限制。因而達到不論遠近距離都能正確、快速、且較不受限地判斷手勢的效果。另外,包含了本發明的感光陣列與處理單元之影像感測器,在第二模式下,第一感光像素處於休眠狀態,當第二感光像素所感測到的資料屬於物件移動資訊時,切換成第一模式。藉由第二模式與第一模式的切換方式,可讓影像感測器更為省電。
此外,本發明的感光陣列可以應用在,例如手機、平板、藍芽小音響、或是車載等可攜式行動裝置中。藉由辨識手勢的動作,可以用來調整音量的大小聲、換下一首或上一首音樂、接電話和拒接電話等,不僅突破了以往人機互動的距離限制,也提升了人機互動的便利性,更提供了人類具有更高品質的生活方式。
以上僅為本發明的較佳可行實施例,非因此侷限本發明的專利範圍,故舉凡運用本發明說明書及圖式內容所做的等效技術變化,均包含於本發明的保護範圍內。
1‧‧‧感光陣列
11‧‧‧不可見光感光像素
12‧‧‧可見光感光像素
2‧‧‧處理單元
21‧‧‧第一演算單元
22‧‧‧第二演算單元
L‧‧‧光源
S‧‧‧待測物體

Claims (20)

  1. 一種偵測動作資訊的方法,包括:提供一感光陣列,其中該感光陣列包括複數個不可見光感光像素以及複數個可見光感光像素,以用於偵測位於一第一距離範圍或一第二距離範圍內的一待測物體的影像;在該第一距離範圍內使用該些不可見光感光像素進行影像偵測,以得到多個不可見光影像;在該第二距離範圍內使用該些可見光感光像素進行影像偵測,以得到多個可見光影像;以及利用一處理單元處理該些不可見光影像與該些可見光影像,以得到該待測物體的一動作資訊。
  2. 如請求項1所述之偵測動作資訊的方法,其中利用該處理單元處理該些不可見光影像與該些可見光影像的方法更進一步包括:判斷在該些不可見光影像以及該些可見光影像之中是否有該待測物體的影像;若是在該些不可見光影像之中有該待測物體的影像,利用該處理單元的一第一演算單元分析該些不可見光影像,以得到該待測物體的動作資訊;以及若是在該些可見光影像之中有該待測物體的影像,利用該處理單元的一第二演算單元分析該些可見光影像,以得到該待測物體的動作資訊。
  3. 如請求項1所述之偵測動作資訊的方法,其中該些不可見光感光像素配合一光源在該第一距離範圍內進行影像偵測的步驟以及該些可見光感光像素不需使用該光源而直接在該第二距離範圍內進行影像偵測的步驟會同步進行。
  4. 如請求項1所述之偵測動作資訊的方法,其中在該些不可見光感光像素配合該光源在該第一距離範圍內進行影像偵測的方法更進一步包括:當該待測物體在該第一距離範圍內時,該光源判斷出該待測物體的一影像重心;以及當該待測物體在該第一距離範圍內移動時,該待測物體的該影像重心透過該些不可見光感光像素的追蹤以得到一移動軌跡。
  5. 如請求項1所述之偵測動作資訊的方法,其中該些不可見光感光像素與該些可見光感光像素為交錯得到該些不可見光影像與該些可見光影像。
  6. 如請求項3所述之偵測動作資訊的方法,其中該些不可見光影像為排序成第1、3、5、...、n-1個的奇數張影像,且該些可見光影像為排序成第2、4、6、...、n個偶數張影像,其中n為正整數。
  7. 如請求項1所述之偵測動作資訊的方法,其中該第一距離範圍介於0至15公分之間,且該第二距離範圍介於15至100公分之間。
  8. 如請求項1所述之偵測動作資訊的方法,其中該處理單元於一第一模式下根據該些可見光感光像素所感測的資料輸出一影像資訊,且該處理單元於一第二模式下根據該些不可見光感光像素所感測的資料輸出一物件移動資訊。
  9. 如請求項1所述之偵測動作資訊的方法,其中該光源為紅外光或遠紅外光。
  10. 一種偵測動作資訊的感光陣列,其包括:複數個不可見光感光像素以及複數個可見光感光像素,以用於 偵測位於一第一距離範圍或一第二距離範圍內的一待測物體的影像;其中該些不可見光感光像素在該第一距離範圍內進行影像偵測,以得到多個不可見光影像;其中該些可見光感光像素在該第二距離範圍內進行影像偵測,以得到多個可見光影像;其中該些不可見光影像與該些可見光影像分別利用一處理單元內含的一第一演算單元以及一第二演算單元進行分析,以得到該待測物體的一動作資訊。
  11. 如請求項10所述之偵測動作資訊的感光陣列,其中該些不可見光感光像素與該些可見光感光像素為交錯得到該些不可見光影像與該些可見光影像。
  12. 如請求項11所述之偵測動作資訊的感光陣列,其中該些不可見光影像為排序成第1、3、5、...、n-1個的奇數張影像,且該些可見光影像為排序成第2、4、6、...、n個偶數張影像,其中n為正整數。
  13. 如請求項10所述之偵測動作資訊的感光陣列,其中該第一距離範圍介於0至15公分之間,且該第二距離範圍介於15至100公分之間。
  14. 如請求項10所述之偵測動作資訊的感光陣列,其中該處理單元於一第一模式下根據該些可見光感光像素所感測的資料輸出一影像資訊,且該處理單元於一第二模式下根據該些不可見光感光像素所感測的資料輸出一物件移動資訊。
  15. 如請求項10所述之偵測動作資訊的感光陣列,其中該些不可見光感光像素配合一光源在該第一距離範圍內進行影像偵測,且該光源為紅外光或遠紅外光。
  16. 一種影像感測器,包括:一感光陣列,包括複數個第一感光像素與複數個第二感光像素,該些第一感光像素感測一可見光波長範圍的光線,該些第二感光像素感測一不可見光波長範圍的光線,其中該些第一感光像素的數量大於該些第二感光像素的數量;以及一處理單元,於一第一模式下根據該些第一感光像素所感測的資料輸出一影像資訊,且該處理單元於一第二模式下根據該些第二感光像素所感測的資料輸出一物件移動資訊。
  17. 如請求項16所述之影像感測器,其中該些第一感光像素包括一紅光感測像素、一綠光感測像素與一藍光感測像素至少其二,該些第二感光像素包括一紅外光感測像素或一遠紅外光感測像素其中之一。
  18. 一種影像感測器,包括:一感光陣列,包括複數個第一感光像素與複數個第二感光像素,其中該些第一感光像素的數量大於該些第二感光像素的數量;以及一處理單元,於一第一模式下根據該些第一感光像素所感測的資料輸出一影像資訊,且該處理單元於一第二模式下根據該些第二感光像素所感測的資料判斷是否切換成該第一模式。
  19. 如請求項18所述之影像感測器,其中於該第二模式下該處理單元不處理該些第一感光像素所感測的資料。
  20. 如請求項18所述之影像感測器,其中於該第一模式下該處理單元不處理該些第二感光像素所感測的資料。
TW105119125A 2016-06-17 2016-06-17 偵測動作資訊的方法及感光陣列 TW201800901A (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
TW105119125A TW201800901A (zh) 2016-06-17 2016-06-17 偵測動作資訊的方法及感光陣列
US15/361,378 US10192317B2 (en) 2016-06-17 2016-11-26 Method and pixel array for detecting motion information
US15/707,583 US11417002B2 (en) 2016-06-17 2017-09-18 Image recognition system, sensor module, and method for image recognition
US16/216,062 US11087473B2 (en) 2016-06-17 2018-12-11 Method and pixel array for detecting motion information
US17/359,879 US20210327073A1 (en) 2016-06-17 2021-06-28 Method and pixel array for detecting motion information
US17/855,886 US11854215B2 (en) 2016-06-17 2022-07-01 Image recognition system, sensor module, and method for image recognition
US18/386,051 US20240062394A1 (en) 2016-06-17 2023-11-01 Image recognition system, sensor module, and method for image recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105119125A TW201800901A (zh) 2016-06-17 2016-06-17 偵測動作資訊的方法及感光陣列

Publications (1)

Publication Number Publication Date
TW201800901A true TW201800901A (zh) 2018-01-01

Family

ID=60661336

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105119125A TW201800901A (zh) 2016-06-17 2016-06-17 偵測動作資訊的方法及感光陣列

Country Status (2)

Country Link
US (3) US10192317B2 (zh)
TW (1) TW201800901A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110603457A (zh) * 2018-04-12 2019-12-20 深圳市汇顶科技股份有限公司 影像传感系统及电子装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739648B (zh) * 2018-12-28 2021-08-03 超级魔方(北京)科技有限公司 动画播放控制方法、装置、设备及存储介质
CN110505549A (zh) * 2019-08-21 2019-11-26 Oppo(重庆)智能科技有限公司 耳机的控制方法和装置
CN116580828B (zh) * 2023-05-16 2024-04-02 深圳弗瑞奇科技有限公司 一种猫健康的全自动感应识别的可视化监测方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6374681B1 (en) 1999-10-14 2002-04-23 Marcel Vanuytven Electronic scanning device to measure at high speed, physical properties of large multi-dimensional arrays
US6999599B2 (en) 2002-06-07 2006-02-14 Microsoft Corporation System and method for mode-based multi-hypothesis tracking using parametric contours
US7102617B2 (en) 2002-12-30 2006-09-05 Motorola, Inc. Compact optical pointing apparatus and method
JP2005354610A (ja) 2004-06-14 2005-12-22 Canon Inc 画像処理装置、画像処理方法および画像処理プログラム
US7535002B2 (en) * 2004-12-03 2009-05-19 Fluke Corporation Camera with visible light and infrared image blending
JP2006333132A (ja) 2005-05-26 2006-12-07 Sony Corp 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
US8283632B2 (en) * 2006-09-29 2012-10-09 Teledyne Scientific & Imaging, Llc Multi-color read-out integrated circuit
US8456388B2 (en) 2007-02-14 2013-06-04 Cree, Inc. Systems and methods for split processor control in a solid state lighting panel
CN101618277A (zh) 2008-07-04 2010-01-06 英属维京群岛速位互动股份有限公司 可感测使用者身体影像的电子游戏操控装置及方法
US8773352B1 (en) * 2008-07-16 2014-07-08 Bby Solutions, Inc. Systems and methods for gesture recognition for input device applications
KR100985844B1 (ko) 2008-10-07 2010-10-08 주식회사 애트랩 근접 센서를 구비하는 휴대 장치
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8619143B2 (en) * 2010-03-19 2013-12-31 Pixim, Inc. Image sensor including color and infrared pixels
WO2012051394A1 (en) 2010-10-14 2012-04-19 The Arizona Board Of Regents On Behalf Of The University Of Arizona Methods and apparatus for imaging detecting, and monitoring surficial and subdermal inflammation
CN102740003A (zh) 2011-04-01 2012-10-17 原相科技股份有限公司 可同时侦测红外线和可见光的光学感测装置
JP2012242948A (ja) * 2011-05-17 2012-12-10 Sony Corp 表示制御装置および方法、並びにプログラム
US20130021507A1 (en) 2011-07-22 2013-01-24 Hand Held Products, Inc. Image processors and methods for processing image data
KR20130100524A (ko) * 2012-03-02 2013-09-11 삼성전자주식회사 3차원 이미지 센서의 구동 방법
CN103294182A (zh) 2012-03-05 2013-09-11 群康科技(深圳)有限公司 动作识别系统及动作识别方法
TWI479362B (zh) 2012-09-19 2015-04-01 Wistron Corp 雙模式遙控方法
KR101938648B1 (ko) * 2012-10-23 2019-01-15 삼성전자주식회사 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
US9524028B2 (en) 2013-03-08 2016-12-20 Fastvdo Llc Visual language for human computer interfaces
US20140313294A1 (en) * 2013-04-22 2014-10-23 Samsung Display Co., Ltd. Display panel and method of detecting 3d geometry of object
WO2014174779A1 (ja) * 2013-04-26 2014-10-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 複数の光源を有するモーションセンサ装置
US10116883B2 (en) * 2013-08-29 2018-10-30 Texas Instruments Incorporated System and methods for depth imaging using conventional CCD image sensors
US9876966B2 (en) 2013-10-18 2018-01-23 Pixart Imaging Inc. System and method for determining image variation tendency and controlling image resolution
US9659403B1 (en) * 2014-01-06 2017-05-23 Leap Motion, Inc. Initializing orientation in space for predictive information for free space gesture control and communication
US9692968B2 (en) * 2014-07-31 2017-06-27 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
US11497406B2 (en) 2014-07-31 2022-11-15 Samsung Electronics Co., Ltd Apparatus and method for enhancing accuracy of a contactless body temperature measurement
US9628735B2 (en) * 2015-06-22 2017-04-18 Omnivision Technologies, Inc. Imaging systems with single-photon-avalanche-diodes and sensor translation, and associated methods

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110603457A (zh) * 2018-04-12 2019-12-20 深圳市汇顶科技股份有限公司 影像传感系统及电子装置

Also Published As

Publication number Publication date
US11087473B2 (en) 2021-08-10
US20170365062A1 (en) 2017-12-21
US20190108644A1 (en) 2019-04-11
US10192317B2 (en) 2019-01-29
US20210327073A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
US11455044B2 (en) Motion detection system having two motion detecting sub-system
US20210327073A1 (en) Method and pixel array for detecting motion information
US11094267B2 (en) Proximity detection method, storage medium, and electronic device
TWI540462B (zh) 手勢辨識方法及其裝置
US20140270413A1 (en) Auxiliary device functionality augmented with fingerprint sensor
JP4915367B2 (ja) 表示撮像装置および物体の検出方法
US20220268567A1 (en) Screen display control method and electronic device
US9733763B2 (en) Portable device using passive sensor for initiating touchless gesture control
US9552073B2 (en) Electronic device
US20150331491A1 (en) System and method for gesture based touchscreen control of displays
US20140101620A1 (en) Method and system for gesture identification based on object tracing
US11822365B2 (en) Ambient light sensing device and method, and interactive device using same
KR20210069491A (ko) 전자 장치 및 이의 제어 방법
CN104902186A (zh) 一种相机程序快捷启动方法及应用该方法的移动终端
SE538451C2 (sv) Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt
US20110285669A1 (en) Electronic Devices Including Interactive Displays Implemented Using Cameras and Related Methods and Computer Program Products
CN107563259B (zh) 检测动作信息的方法、感光数组及影像传感器
CN108390961B (zh) 触摸响应方法、装置、可读存储介质及移动终端
CN109164917B (zh) 电子设备控制方法、存储介质及电子设备
JP2008059253A (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
Le Ba et al. A 256 pixel, 21.6 μW infrared gesture recognition processor for smart devices
CN107678818B (zh) 一种用户界面控制方法及移动终端
CN101833398A (zh) 位置侦测装置及其方法
US20230146883A1 (en) Thermal-image proximity gesture recognition module, device having thermal-image proximity gesture recognition function, and thermal-image proximity gesture recognition
KR20140016483A (ko) 터치방식 휴대용 단말기 및 그 구동 방법