TW201541958A - 相機模組的阻擋偵測方法以及具備多相機模組之電子裝置 - Google Patents

相機模組的阻擋偵測方法以及具備多相機模組之電子裝置 Download PDF

Info

Publication number
TW201541958A
TW201541958A TW104105633A TW104105633A TW201541958A TW 201541958 A TW201541958 A TW 201541958A TW 104105633 A TW104105633 A TW 104105633A TW 104105633 A TW104105633 A TW 104105633A TW 201541958 A TW201541958 A TW 201541958A
Authority
TW
Taiwan
Prior art keywords
image
camera module
brightness
estimation result
view
Prior art date
Application number
TW104105633A
Other languages
English (en)
Other versions
TWI543608B (zh
Inventor
Chung-Hsien Hsieh
Ming-Che Kang
Original Assignee
Htc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Htc Corp filed Critical Htc Corp
Publication of TW201541958A publication Critical patent/TW201541958A/zh
Application granted granted Critical
Publication of TWI543608B publication Critical patent/TWI543608B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2116Picture signal recording combined with imagewise recording, e.g. photographic recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2166Intermediate information storage for mass storage, e.g. in document filing systems
    • H04N1/2179Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries
    • H04N1/2191Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries for simultaneous, independent access by a plurality of different users
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Studio Devices (AREA)

Abstract

適用於具有第一相機模組以及第二相機模組之電子裝置的一種方法,方法包含下列步驟。同步地利用第一相機模組感測第一影像以及利用第二相機模組感測第二影像。由第一影像產生第一亮度估測結果,並由第二影像產生第二亮度估測結果。根據第一亮度估測結果與第二亮度估測結果之比較,判斷第二相機模組是否被阻擋。

Description

相機模組的阻擋偵測方法以及具備多相機模組之電子裝置
本發明係有關攝影方法與裝置,特別是一種可偵測相機模組是否被阻擋的方法。
攝影曾經被視為是具有高度專業性的技術,這是因為每一張好照片的拍攝過程,須要有足夠的知識以決定適當的攝影參數(例如控制曝光時間、白平衡及對焦距離等)。若攝影過程中需要進行手動設定的複雜度愈高,則使用者需要了解的背景知識就愈多。
立體影像是基於人類雙眼視覺的原理進行設計的。其中一種建立立體影像的方式是利用間隔一定距離的兩台相機同步擷取兩張影像,其分別由不同位置/視角對應到同一場景中的相同物件。場景中各物件的X軸資訊與Y軸資訊(例如水平寬度與垂直高度)可由單一張影像中得到。對Z軸資訊而言,兩張影像可傳送至一處理器,由處理器計算場景中各物件的Z軸資訊(例如深度資訊)。深度資訊對於部分應用功能來說非常重要,例如三維視覺、物 件辨識、影像處理以及影像動態偵測等。
為了進行深度計算或其他三維應用,兩相機模組所取得的影像資訊均為必要。若是其中一個相機模組被阻擋(例如使用者的手指意外遮蔽了相機鏡頭)則兩相機模組取得的影像將不協調,而後續的計算與應用將無法實現。
本揭示文件之一態樣在於提供一種方法,適用於具有第一相機模組以及第二相機模組之電子裝置,方法包含下列步驟。同步地利用第一相機模組感測第一影像以及利用第二相機模組感測第二影像。由第一影像產生第一亮度估測結果,並由第二影像產生第二亮度估測結果。根據第一亮度估測結果與第二亮度估測結果之比較,判斷第二相機模組是否被阻擋。
本揭示文件之另一態樣在於提供電子裝置,其包含第一相機模組、第二相機模組、顯示面板以及處理模組。第一相機模組指向一方向並用以感測第一影像其對應場景。第二相機模組指向相同之方向並用以感測第二影像其對應大致上相同之場景。顯示面板用以將第一影像顯示為預覽影像。處理模組與第一相機模組以及第二相機模組耦接,處理模組用以由第一影像產生第一亮度估測結果以及由第二影像產生第二亮度估測結果,並用以根據第一亮度估測結果與第二亮度估測結果之比較而判斷第二相機模組是否被阻擋。
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附符號之說明如下:
100‧‧‧電子裝置
110‧‧‧第一相機模組
120‧‧‧第二相機模組
130‧‧‧顯示面板
140‧‧‧處理模組
150‧‧‧第三相機模組
300‧‧‧方法
S301~S306‧‧‧步驟
S302‧‧‧步驟
S303‧‧‧步驟
S304‧‧‧步驟
S305‧‧‧步驟
S306‧‧‧步驟
400‧‧‧方法
S401~S408‧‧‧步驟
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:第1A圖及第1B圖繪示根據本揭示文件之一實施例中一種電子裝置的背視示意圖以及正視示意圖;第2圖繪示第1A圖及第1B圖之實施例中電子裝置的功能方塊圖;第3圖繪示用以偵測雙鏡頭配置中一個相機模組是否被阻擋的方法的流程圖;第4A圖及第4B圖繪示根據本揭示文件之一實施例中雙鏡頭配置在第二相機模組未被遮蔽的情境下所拍攝的一對影像;第5A圖及第5B圖繪示根據本揭示文件之一實施例中雙鏡頭配置在第二相機模組被遮蔽的情境下所拍攝的一對影像;第6圖繪示用以偵測雙鏡頭配置中一個相機模組是否被阻擋的方法的流程圖;第7A圖繪示第一亮度分佈直方圖對應到第4A圖所示的第一影像;第7B圖繪示第二亮度分佈直方圖對應到第4B圖所示的第二影像;第8A圖繪示第一亮度分佈直方圖對應到第5A圖所示的第一影像;以及 第8B圖繪示第二亮度分佈直方圖對應到第5B圖所示的第二影像。
下文係舉實施例配合所附圖式作詳細說明,但所提供之實施例並非用以限制本發明所涵蓋的範圍,而結構運作之描述非用以限制其執行之順序,任何由元件重新組合之結構,所產生具有均等功效的裝置,皆為本發明所涵蓋的範圍。此外,圖式僅以說明為目的,並未依照原尺寸作圖。
關於本文中所使用之『第一』、『第二』、...等,並非特別指稱次序或順位的意思,亦非用以限定本發明,其僅僅是為了區別以相同技術用語描述的元件或操作而已。
其次,在本文中所使用的用詞「包含」、「包括」、「具有、「含有」等等,均為開放性的用語,即意指包含但不限於此。
請參照第1A圖、第1B圖以及第2圖。第1A圖及第1B圖繪示根據本揭示文件之一實施例中一種電子裝置100的背視示意圖以及正視示意圖。第2圖繪示第1A圖及第1B圖之實施例中電子裝置100的功能方塊圖。如上述圖式所示,此實施例中的電子裝置100包含第一相機模組110、第二相機模組120、顯示面板130以及處理模組140。顯示面板130用以顯示一使用者介面。
於此實施例中,第一相機模組110為雙鏡頭配置 (dual camera configuration)中的主要相機(main camera),第二相機模組120為雙鏡頭配置中的次要相機(subordinate camera,sub-camera)。如第1A圖所示,此實施例之雙鏡頭配置中的第一相機模組110與第二相機模組120均設置於電子裝置100的同一表面(例如電子裝置100的背表面)上,且彼此間隔一段軸間距離(interaxial distance)。第一相機模組110指向一方向(由背表面朝外的方向)並用以感測對應一場景的第一影像。第二相機模組120指向相同之方向並用以感測第二影像,其與第一相機模組110感測之第一影像大致上對應相同之場景。也就是說,第一相機模組110與第二相機模組120分別由些微不同的觀察位置(由於兩者之間的軸間距離)擷取對應相同場景的一對影像,如此一來,這一對影像便可用於深度資訊的計算、模擬或重建三維視覺、視差影像(又稱2.5D影像)處理、物件辨識、動態辨識或其他相似性影像應用。
於部分實施例中,若製造成本合理且電子裝置100的空間設計上允許(有足夠空間容納兩個相同大小的相機模組在雙鏡頭配置中)時,本揭示文件之第一相機模組110與第二相機模組120可採用相同的相機機型。於此實施例中,雙鏡頭配置中第一相機模組110與第二相機模組120採用不同的相機機型。一般來說,第一相機模組110,其於此實施例中為主要相機,通常具有較佳的光學效能(例如較大的光學感測器尺寸、較高的感光能力、較快的快門速度、較廣的視角、較高的解析度等至少一者),並且第一相機模 組110感測的第一影像通常被記錄為最後產生的擷取影像。另一方面,第二相機模組120,其於此實施例中為次要相機,可能具有相同或是某部分相對較弱的光學效能,並且第二相機模組120感測的第二影像通常作為影像處理(深度資訊的計算、模擬或重建三維視覺、視差影像處理、物件辨識、動態辨識等)中的輔助數據或是補充數據。
當雙鏡頭配置被觸發並進行影像擷取時,第一相機模組感測的第一影像通常被顯示在顯示面板130作為預覽影像,如此一來,使用者便可即時性地得知第一影像將擷取的內容為何。
一般來說,第二相機模組120感測的第二影像並不會被顯示在顯示面板130上。因此,當使用者意外阻擋了第二相機模組120(例如當使用者以不當的手勢握持電子裝置100時,使用者的手指遮擋了第二相機模組120)時,使用者將可能無法由顯示面板130得知目前第二相機模組120已被阻擋。如此一來,即使第一影像/第二影像是由第一相機模組110與第二相機模組120同步產生,第二相機模組120感測的第二影像與第一相機模組110感測的第一影像之間仍可能發生不協調且無法匹配的狀況。
於部分實施例中,電子裝置100可更進一步包含第三相機模組150,如第1B圖所示,第三相機模組150係設置於電子裝置100的前表面上。於此實施例中,第三相機模組150並非雙鏡頭配置的一部分。舉例來說,第三相機模組150可被觸發及利用來實現視訊串流、視訊通話、自 拍攝影等功能。
於此實施例中,處理模組140與第一相機模組110及第二相機模組120耦接。處理模組140用以由第一影像產生第一亮度估測結果以及由第二影像產生第二亮度估測結果。第一亮度估測結果與第二亮度估測結果由處理模組140進行比較,處理模組140根據第一亮度估測結果與第二亮度估測結果的比較結果而判斷第二相機模組120是否被阻擋。有關如何估測以及判斷第二相機模組120是否被阻擋的細節將在下列段落中詳細說明。
請一併參閱第3圖,其繪示用以偵測雙鏡頭配置中一個相機模組是否被阻擋的方法300的流程圖。方法300適用於前述第1A圖、第1B圖以及第2圖實施例中的電子裝置100。如第3圖所示,方法300執行步驟S301用以同步地利用第一相機模組110感測第一影像以及利用第二相機模組120感測第二影像。
請一併參閱第4A圖、第4B圖、第5A圖以及第5B圖。第4A圖及第4B圖繪示根據本揭示文件之一實施例中雙鏡頭配置在第二相機模組120未被遮蔽的情境下所拍攝的一對影像,包含第一相機模組110感測之第一影像IMG1a以及第二相機模組120感測之第二影像IMG2a。另一方面,第5A圖及第5B圖繪示根據本揭示文件之一實施例中雙鏡頭配置在第二相機模組120被遮蔽的情境下所拍攝的一對影像,包含第一相機模組110感測之第一影像IMG1b以及第二相機模組120感測之第二影像IMG2b。
如第4A圖以及第4B圖所示,由於第一影像IMG1a及第二影像IMG2a是由雙鏡頭配置同步拍攝,因此第一相機模組110感測之第一影像IMG1a與第二相機模組120感測之第二影像IMG2a大致上相同(若兩相機模組採用相同的相機機型)或是至少高度相似(若兩相機模組採用不同的相機機型)。實際情況下,由於相機之間的軸間距離,第一影像IMG1a及第二影像IMG2a彼此之間必然存在微小的不同。
如第3圖所示,方法300執行步驟S302以由第一影像IMG1a/IMG1b中的複數個像素資料計算第一平均亮度值,作為前述的第一亮度估測結果。舉例來說,第一影像IMG1a/IMG1b中的每筆像素資料具有一亮度值(luminance value)。於一實施例中,第一影像IMG1a/IMG1b中的每筆像素資料的亮度值可由第一影像IMG1a/IMG1b的YUV色域(或稱YCbCr色域)編碼中的Y參數值取到。上述第一影像IMG1a/IMG1b中所有像素資料各自的亮度值所計算得到的平均數即為本實施例中的第一平均亮度值(同時亦被視為第一亮度估測結果)。
方法300執行步驟S303以由第二影像IMG2a/IMG2b中的複數個像素資料計算第二平均亮度值,作為前述的第二亮度估測結果。舉例來說,第二影像IMG2a/IMG2b中的每筆像素資料具有一亮度值(luminance value)。上述第二影像IMG2a/IMG2b中所有像素資料各自的亮度值所計算得到的平均數即為本實施例中的第二平均 亮度值(同時亦被視為第二亮度估測結果)。此外,本揭示文件並不僅限於第3圖所示的特定步驟順序。舉例來說,於其他實施例中,步驟S302與步驟S303的次序可互換。
方法300執行步驟S304以比較第一平均亮度值與第二平均亮度值。於第二相機模組120未被阻擋的情境中,第一影像IMG1a與第二影像IMG2a的內容是高度相似的,因此第一平均亮度值也會趨近於第二平均亮度值。舉例來說,第一平均亮度值可能位於灰階亮度183的水平,第二平均亮度值可能位於灰階亮度186的水平。在未被阻擋的情境中,第一平均亮度值與第二平均亮度值是高度相似的。
於另一種第二相機模組120被阻擋的情境中,一部份的第二影像IMG2b可能被使用者的手指所阻擋,如第5B圖所示。於此種情況下,第二影像IMG2b的第二平均亮度值將偏移(例如低於原先的未阻擋時的亮度值),如此一來,將使第二平均亮度值將與第一平均亮度值之間產生差異。舉例來說,第一平均亮度值可能位於灰階亮度183的水平,第二平均亮度值可能位於灰階亮度80的水平。
方法300根據第一亮度估測結果與第二亮度估測結果的比較結果來判斷第二相機模組120是否被阻擋。於此實施例中,方法300執行步驟S305以根據第一平均亮度值與第二平均亮度值的比較差值是否超過門檻差值來判斷第二相機模組120是否被阻擋。此處的門檻差值代表一容許差值(例如5%、10%、15%、20%、25%等),其用以容許因第一相機模組110與第二相機模組120之間的軸間距離以 及兩相機模組之間的特性差異(例如感光度差異)所導致的亮度差異。
當第一平均亮度值與第二平均亮度值之間的比較差值超過門檻差值(例如5%、10%、15%、20%、25%等)時,則判斷第二相機模組120已被阻擋。然而,本揭示文件中的門檻差值並不僅限於5%~25%間的特定差值,亦可為考量相機特性差異與相關參數的其他合理門檻差值。當第二相機模組120判斷為已被阻擋時(如第5A圖以及第5B圖的情境),方法300執行步驟S306由處理模組140產生阻擋提示,並將阻擋提示顯示於顯示面板130的使用者介面上,如此以通知使用者調整其握持電子裝置100的手勢。
於部份實施例中,在步驟S305(當判斷為否時)或是在步驟S306(當判斷為是時)之後,方法300可進一步回到步驟S301以感測下一組第一影像以及第二影像(第3圖中未示),藉此方法300(包含迴圈方式執行的步驟S301~S306)可即時性地動態偵測第二相機模組120是否被阻擋。
於部份實施例中,第一相機模組110與第二相機模組120具有不同的視野(field of view,FOV),尤其是當第一相機模組110與第二相機模組120採用不同的機型的情況。於第4A圖與第4B圖所示之實施例中,第二相機模組120具有的視野廣於第一相機模組110具有的視野。如此一來,第二影像IMG2a相對於第一影像IMG1a涵蓋較廣的視野。視野上的不匹配將導致比較第一平均亮度值與第二平均亮度值時一定程度的偏差。
如此一來,本揭示文件的部份實施例中,若第二相機模組120具有相對於第一相機模組110較廣的視野,如第4A圖及第4B圖所示,或者如第5A圖及第5B圖所示,則在計算第二平均亮度值的步驟S303中進一步包含下列子步驟。首先,在第4B圖/第5B圖中所示的第二影像IMG2a/IMG2b中指定一個提取圖框ExF。理想情況下,提取圖框Exf的尺寸與位置對應視野較窄之第一相機模組110的視野。接著,提取提取圖框ExF內第二影像IMG2a/IMG2b的像素資料。再來,由第二影像IMG2a/IMG2b的提取圖框ExF內所提取到的像素資料計算第二平均亮度值。藉此,以消除第一相機模組110與第二相機模組120之間視野不匹配造成的影響。
另一方面,若第一相機模組110具有相對於第二相機模組120較廣的視野,圖中未示,則在計算第一平均亮度值時的步驟S302中進一步包含下列子步驟。首先,第一影像IMG1a/IMG1b中指定一個提取圖框(圖中未示)。理想情況下,提取圖框的尺寸與位置對應視野較窄之第二相機模組120的視野。接著,提取提取圖框內第一影像IMG1a/IMG1b的像素資料。再來,由第一影像IMG1a/IMG1b的提取圖框內所提取到的像素資料計算第一平均亮度值。藉此,以消除第一相機模組110與第二相機模組120之間視野不匹配造成的影響。
於前述實施例中,第二相機模組120(即次要相機)是否被阻擋的判斷是根據平均亮度值的比較。上述作法在 精確性上可能存在一定程度的限制。舉例來說,第一影像/第二影像之間存在不同的視野範圍將影響平均亮度值的比較。此外,第一相機模組110與第二相機模組120若採用不同的曝光設定亦可能影響平均亮度值的比較。本揭示文件中對雙鏡頭配置其中一部相機是否被阻擋的判斷並不僅限於第3圖所示的實施例。
請一併參閱第6圖,其繪示用以偵測雙鏡頭配置中一個相機模組是否被阻擋的方法400的流程圖。如第6圖所示,方法400執行步驟S401以同步地利用第一相機模組110感測第一影像以及利用第二相機模組120感測第二影像。
如第6圖所示,方法400執行步驟S402以由第一影像IMG1a/IMG1b中的複數個像素資料分析第一亮度分佈直方圖。方法400執行步驟S403以由第二影像IMG2a/IMG2b中的複數個像素資料分析第二亮度分佈直方圖。此外,本揭示文件並不僅限於第6圖所示的特定步驟順序。舉例來說,於其他實施例中,步驟S402與步驟S403的次序可互換。
請一併參閱第7A圖、第7B圖、第8A圖以及第8B圖。第7A圖繪示第一亮度分佈直方圖BH1a對應到第4A圖所示的第一影像IMG1a。第7B圖繪示第二亮度分佈直方圖BH2a對應到第4B圖所示的第二影像IMG2a在第二相機模組120未被阻擋的情況下。第8A圖繪示第一亮度分佈直方圖BH1b對應到第5A圖所示的第一影像IMG1b。第8B 圖繪示第二亮度分佈直方圖BH2b對應到第5B圖所示的第二影像IMG2b在第二相機模組120已被阻擋的情況下。
舉例來說,第一影像IMG1a/IMG1b中的每筆像素資料具有一亮度值(luminance value)。於一實施例中,第一影像IMG1a/IMG1b中的每筆像素資料的亮度值可由第一影像IMG1a/IMG1b的YUV色域(或稱YCbCr色域)編碼中的Y參數值取到。第一影像IMG1a中所有像素資料各自的亮度值以統計方式計數後形成第一亮度分佈直方圖BH1a。第一影像IMG1b中所有像素資料各自的亮度值以統計方式計數後形成另一個第一亮度分佈直方圖BH1b。
相似地,第二影像IMG2a/IMG2b中的每筆像素資料具有一亮度值(luminance value)。第二影像IMG2a中所有像素資料各自的亮度值以統計方式計數後形成第二亮度分佈直方圖BH2a。第二影像IMG2b中所有像素資料各自的亮度值以統計方式計數後形成另一個第二亮度分佈直方圖BH2b。
當第二相機模組120未被阻擋的情況下,第7A圖中所示的第一亮度分佈直方圖BH1a與第7B圖中所示的第二亮度分佈直方圖BH2a將十分相似。僅管第一亮度分佈直方圖BH1a與第二亮度分佈直方圖BH2a仍可能存在些微的差異,但兩直方圖BH1a與BH2a的大致上的分佈趨勢是相像的。
當第二相機模組120已被阻擋的情況下,第8A圖中所示的第一亮度分佈直方圖BH1b仍大致與第7A圖中所 示的第一亮度分佈直方圖BH1a相仿。但是,第8B圖中所示的第二亮度分佈直方圖BH2b已發生大幅改變(相較於第7B圖中所示的第二亮度分佈直方圖BH2a)。如第8B圖所示,第二亮度分佈直方圖BH2b在灰階較低的其中一部份,如灰階GL(0)至灰階GL(63)之間的亮度區間R1,其比重明顯增加;第二亮度分佈直方圖BH2b在另一部份,如灰階GL(64)至灰階GL(127)之間的亮度區間R2,其比重亦有增加;另一方面,第二亮度分佈直方圖BH2b在其他部份,如灰階GL(128)至灰階GL(191)之間的亮度區間R3以及灰階GL(192)至灰階GL(255)之間的亮度區間R4,兩者比重均有降低。
如第6圖所示,方法400執行步驟S404在第一亮度分佈直方圖BH1a/BH1b的多個亮度區間R1~R4內分別計算多個第一累積比率作為第一亮度估測結果。方法400執行步驟S405在第二亮度分佈直方圖BH2a/BH2b的多個亮度區間R1~R4內分別計算多個第二累積比率作為第二亮度估測結果。方法400執行步驟S406以比較上述多個第一累積比率與多個第二累積比率。此外,本揭示文件並不僅限於第6圖所示的特定步驟順序。舉例來說,於其他實施例中,步驟S404與步驟S405的次序可互換。
於一例子中,當第二相機模組120未被阻擋的情況下,第一亮度分佈直方圖BH1a(如第7A圖所示)的亮度區間R1~R4內各自的第一累積比率可能為35%、7%、38%以及20%。第二亮度分佈直方圖BH2a(如第7B圖所示)的亮度區 間R1~R4內各自的第二累積比率可能為33%、7%、41%以及19%。
於一例子中,當第二相機模組120已被阻擋的情況下,第一亮度分佈直方圖BH1b(如第8A圖所示)的亮度區間R1~R4內各自的第一累積比率可能為35%、7%、38%以及20%。第二亮度分佈直方圖BH2b(如第8B圖所示)的亮度區間R1~R4內各自的第二累積比率可能為55%、20%、11%以及14%。
於此實施例中,方法300執行步驟S407以判斷多個第一累積比率與多個第二累積比率之間的比較差值是否超過門檻差值。
於一例子中,當第二相機模組120未被阻擋的情況下(參照第4A圖、第4B圖、第7A圖以及第7B圖),比較差值的計算是基於各亮度區間相對應之第一累積比率與第二累積比率之間的差距進行加總,例如2%+0%+3%+1%=6%。
於一例子中,當第二相機模組120已被阻擋的情況下(參照第5A圖、第5B圖、第8A圖以及第8B圖),比較差值的計算是基於各亮度區間相對應之第一累積比率與第二累積比率之間的差距進行加總,例如20%+13%+27%+6%=66%。
當相對應之第一累積比率與第二累積比率之間的比較差值超過門檻差值(例如20%、30%、40%等)時,則判斷第二相機模組120已被阻擋。然而,本揭示文件所指的 門檻差值並不以20%~40%為限,實際上其亦可為考量相機特性差異與相關參數的其他合理門檻差值。當第二相機模組120判斷為已被阻擋時(如第5A圖以及第5B圖的情境),方法400執行步驟S408由處理模組140產生阻擋提示,並將阻擋提示顯示於顯示面板130的使用者介面上,如此以通知使用者調整其握持電子裝置100的手勢。
於部份實施例中,在步驟S407(當判斷為否時)或是在步驟S408(當判斷為是時)之後,方法400可進一步回到步驟S401以感測下一組第一影像以及第二影像(第6圖中未示),藉此方法400(包含迴圈方式執行的步驟S401~S408)可即時性地動態偵測第二相機模組120是否被阻擋。
此外,於部份實施例中,若第二相機模組120具有相對於第一相機模組110較廣的視野,如第4A圖及第4B圖所示,或者如第5A圖及第5B圖所示,則在分析第二亮度分佈直方圖時的步驟S403中進一步包含下列子步驟。首先,在第4B圖/第5B圖中所示的第二影像IMG2a/IMG2b中指定一個提取圖框ExF。理想情況下,提取圖框Exf的尺寸與位置對應視野較窄之第一相機模組110的視野。接著,提取提取圖框ExF內第二影像IMG2a/IMG2b的像素資料。再來,由第二影像IMG2a/IMG2b的提取圖框ExF內所提取到的像素資料分析第二亮度分佈直方圖BH1a/BH1b(如第7B圖及第8B圖所示)。藉此,以消除第一相機模組110與第二相機模組120之間視野不匹配造成的影響。
另一方面,若第一相機模組110具有相對於第二相 機模組120較廣的視野,圖中未示,則在分析第一亮度分佈直方圖時的步驟S402中進一步包含下列子步驟。首先,第一影像IMG1a/IMG1b中指定一個提取圖框(圖中未示)。相似的應用情況已在先前實施例中提及,再此不另贅述。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何本領域具通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
300‧‧‧方法
S301‧‧‧步驟
S302‧‧‧步驟
S303‧‧‧步驟
S304‧‧‧步驟
S305‧‧‧步驟
S306‧‧‧步驟

Claims (10)

  1. 一種方法,適用於包含一第一相機模組以及一第二相機模組之一電子裝置,該方法包含:同步地利用該第一相機模組感測一第一影像以及利用該第二相機模組感測一第二影像;由該第一影像產生一第一亮度估測結果,並由該第二影像產生一第二亮度估測結果;以及根據該第一亮度估測結果與該第二亮度估測結果之比較,判斷該第二相機模組是否被阻擋。
  2. 如請求項1所述之方法,其中產生該第一亮度估測結果與該第二亮度估測結果之步驟包含:由該第一影像中的複數個像素資料計算一第一平均亮度值作為該第一亮度估測結果;以及由該第二影像中的複數個像素資料計算一第二平均亮度值作為該第二亮度估測結果。
  3. 如請求項2所述之方法,其中當該第一相機模組與該第二相機模組其中一者的視野(field of view,FOV)比另一者的視野廣時,由視野較廣之該第一影像或該第二影像計算該第一平均亮度值或該第二平均亮度值的步驟更包含:在視野較廣之該第一影像或該第二影像中指定一提取 圖框,該提取圖框對應視野較窄之該另一者的視野;提取該提取圖框內該視野較廣之該第一影像或該第二影像的該些像素資料;以及由該提取圖框內所提取到的該些像素資料計算該第一平均亮度值或該第二平均亮度值。
  4. 如請求項1所述之方法,其中產生該第一亮度估測結果與該第二亮度估測結果之步驟包含:由該第一影像中的複數個像素資料分析一第一亮度分佈直方圖;由該第二影像中的複數個像素資料分析一第二亮度分佈直方圖;在該第一亮度分佈直方圖的複數個亮度區間內分別計算複數個第一累積比率作為該第一亮度估測結果;以及在該第二亮度分佈直方圖的複數個亮度區間內分別計算複數個第二累積比率作為該第二亮度估測結果。
  5. 如請求項4所述之方法,其中當該第一相機模組與該第二相機模組其中一者的視野(field of view,FOV)比另一者的視野廣時,由視野較廣之該第一影像或該第二影像計算該第一亮度分佈直方圖或該第二亮度分佈直方圖的步驟更包含: 在視野較廣之該第一影像或該第二影像中指定一提取圖框,該提取圖框對應視野較窄之該另一者的視野;提取該提取圖框內該視野較廣之該第一影像或該第二影像的該些像素資料;以及由該提取圖框內所提取到的該些像素資料分析該第一亮度分佈直方圖或該第二亮度分佈直方圖。
  6. 如請求項1所述之方法,更包含:根據該第一影像與該第二影像之間的視差,計算該第一影像中各物件的深度資訊。
  7. 一種電子裝置,包含:一第一相機模組,指向一方向並用以感測一第一影像其對應一場景;一第二相機模組,指向相同之該方向並用以感測一第二影像其對應大致上相同之該場景;一顯示面板,用以將該第一影像顯示為一預覽影像;以及一處理模組,與該第一相機模組以及該第二相機模組耦接,該處理模組用以由該第一影像產生一第一亮度估測結果以及由該第二影像產生一第二亮度估測結果,並用以 根據該第一亮度估測結果與該第二亮度估測結果之比較而判斷該第二相機模組是否被阻擋。
  8. 如請求項7所述之電子裝置,其中該第一相機模組為一雙鏡頭配置中的一主要相機,該第二相機模組為該雙鏡頭配置中的一次要相機,該第一相機模組所感測的該第一影像用以儲存為一擷取影像。
  9. 如請求項7所述之電子裝置,其中該第一相機模組與該第二相機模組間隔一軸間距離(interaxial distance),該處理模組根據該第一影像與該第二影像之間的視差而計算該第一影像中各物件的深度資訊。
  10. 如請求項7所述之電子裝置,其中該處理模組用以由該第一影像中的複數個像素資料計算一第一平均亮度值作為該第一亮度估測結果,以及由該第二影像中的複數個像素資料計算一第二平均亮度值作為該第二亮度估測結果。
TW104105633A 2014-03-19 2015-02-17 相機模組的阻擋偵測方法以及具備多相機模組之電子裝置 TWI543608B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461955219P 2014-03-19 2014-03-19
US14/294,175 US20150271471A1 (en) 2014-03-19 2014-06-03 Blocking detection method for camera and electronic apparatus with cameras

Publications (2)

Publication Number Publication Date
TW201541958A true TW201541958A (zh) 2015-11-01
TWI543608B TWI543608B (zh) 2016-07-21

Family

ID=54143307

Family Applications (2)

Application Number Title Priority Date Filing Date
TW104105633A TWI543608B (zh) 2014-03-19 2015-02-17 相機模組的阻擋偵測方法以及具備多相機模組之電子裝置
TW104107029A TWI536802B (zh) 2014-03-19 2015-03-05 電子裝置及其影像處理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW104107029A TWI536802B (zh) 2014-03-19 2015-03-05 電子裝置及其影像處理方法

Country Status (3)

Country Link
US (2) US20150271471A1 (zh)
CN (1) CN104980646B (zh)
TW (2) TWI543608B (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113472989A (zh) 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
CN105308947B (zh) 2013-06-13 2018-10-02 核心光电有限公司 双孔径变焦数字摄影机
US20150029601A1 (en) 2013-07-04 2015-01-29 Corephotonics Ltd. Miniature telephoto lens assembly
EP3028443A2 (en) 2013-08-01 2016-06-08 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
WO2016108093A1 (en) 2015-01-03 2016-07-07 Corephotonics Ltd. Miniature telephoto lens module and a camera utilizing such a lens module
EP3988984A3 (en) 2015-04-02 2022-07-13 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
EP3540492B1 (en) 2015-04-16 2021-12-15 Corephotonics Ltd. Auto focus and optical image stabilization in a compact folded camera
US10036895B2 (en) 2015-05-28 2018-07-31 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization in a dual-aperture digital camera
WO2017025822A1 (en) 2015-08-13 2017-02-16 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
WO2017037688A1 (en) 2015-09-06 2017-03-09 Corephotonics Ltd. Auto focus and optical image stabilization with roll compensation in a compact folded camera
US20170104733A1 (en) * 2015-10-09 2017-04-13 Intel Corporation Device, system and method for low speed communication of sensor information
KR102140882B1 (ko) 2015-12-29 2020-08-04 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
KR102063411B1 (ko) 2016-05-30 2020-01-07 코어포토닉스 리미티드 회전식 볼-가이드 음성 코일 모터
CN107465912A (zh) * 2016-06-03 2017-12-12 中兴通讯股份有限公司 一种成像差异检测方法和装置
KR101893722B1 (ko) 2016-06-19 2018-08-30 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
WO2018007951A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Dual-camera system with improved video smooth transition by image blending
KR102390572B1 (ko) 2016-07-07 2022-04-25 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
CN106210701A (zh) * 2016-07-25 2016-12-07 深圳市同盛绿色科技有限公司 一种用于拍摄vr图像的移动终端及其vr图像拍摄系统
CN106101687B (zh) * 2016-07-25 2018-05-15 深圳市同盛绿色科技有限公司 Vr图像拍摄装置及其基于移动终端的vr图像拍摄系统
EP3842853B1 (en) 2016-12-28 2024-03-06 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
CN113791484A (zh) 2017-01-12 2021-12-14 核心光电有限公司 紧凑型折叠式摄影机及其组装方法
KR101963547B1 (ko) 2017-02-23 2019-03-28 코어포토닉스 리미티드 폴디드 카메라 렌즈 설계
CN114137790A (zh) 2017-03-15 2022-03-04 核心光电有限公司 具有全景扫瞄范围的系统、移动电子装置及其方法
WO2019048904A1 (en) 2017-09-06 2019-03-14 Corephotonics Ltd. STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
CN113075776B (zh) 2017-11-23 2023-08-29 核心光电有限公司 移动电子设备
KR102242452B1 (ko) 2018-02-05 2021-04-20 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
WO2019155289A1 (en) 2018-02-12 2019-08-15 Corephotonics Ltd. Folded camera with optical image stabilization
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN112367448B (zh) 2018-04-23 2022-04-19 核心光电有限公司 感测机构
WO2020031005A1 (en) 2018-08-04 2020-02-13 Corephotonics Ltd. Switchable continuous display information system above camera
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
US10891757B2 (en) 2018-11-16 2021-01-12 Waymo Llc Low-light camera occlusion detection
WO2020144528A1 (en) 2019-01-07 2020-07-16 Corephotonics Ltd. Rotation mechanism with sliding joint
KR102648912B1 (ko) 2019-01-23 2024-03-19 삼성전자주식회사 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서
JP7276677B2 (ja) * 2019-02-18 2023-05-18 カシオ計算機株式会社 データ取得装置、その制御方法及び制御プログラム、並びに制御機器、データ取得機器
US10750077B1 (en) 2019-02-20 2020-08-18 Himax Imaging Limited Camera system with multiple camera
CN113891059B (zh) 2019-03-09 2024-02-13 核心光电有限公司 对双摄像机进行立体校准的方法
TWI702566B (zh) * 2019-03-20 2020-08-21 恆景科技股份有限公司 相機系統
CN111787184B (zh) * 2019-04-03 2023-02-28 恒景科技股份有限公司 相机系统
KR102254947B1 (ko) 2019-07-31 2021-05-24 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
EP3832537A1 (en) 2019-12-05 2021-06-09 Axis AB Thermal camera health monitoring
EP3832538B1 (en) 2019-12-05 2022-05-11 Axis AB Automatic malfunction detection in a thermal camera
US11770618B2 (en) 2019-12-09 2023-09-26 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN115580780A (zh) 2020-04-26 2023-01-06 核心光电有限公司 摄像机致动器及其移动装置
CN117372249A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
CN114080565B (zh) 2020-05-30 2024-01-19 核心光电有限公司 用于获得超微距图像的系统和方法
CN114730064A (zh) 2020-07-15 2022-07-08 核心光电有限公司 扫描折叠相机的视点像差校正
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
WO2022023914A1 (en) 2020-07-31 2022-02-03 Corephotonics Ltd. Hall sensor - magnet geometry for large stroke linear position sensing
KR20230154290A (ko) 2020-08-12 2023-11-07 코어포토닉스 리미티드 스캐닝 폴디드 카메라의 광학 이미지 안정화
US11610457B2 (en) 2020-11-03 2023-03-21 Bank Of America Corporation Detecting unauthorized activity related to a computer peripheral device by monitoring voltage of the peripheral device
CN115484407B (zh) * 2022-08-25 2023-07-04 奥比中光科技集团股份有限公司 一种多路采集数据的同步输出方法、系统及rgbd相机

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040712A (ja) * 2002-07-08 2004-02-05 Minolta Co Ltd 撮像装置
WO2005025224A1 (ja) * 2003-09-02 2005-03-17 Sony Corporation コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム
CN100505033C (zh) * 2006-04-03 2009-06-24 联詠科技股份有限公司 处理图像亮度的方法及相关装置
US7420477B2 (en) * 2006-08-02 2008-09-02 John P Taylor Method for an enhanced absolute position sensor system
KR100991804B1 (ko) * 2008-06-10 2010-11-04 유한회사 마스터이미지쓰리디아시아 이동 기기용 입체영상생성칩 및 이를 이용한입체영상표시방법
US8711207B2 (en) * 2009-12-28 2014-04-29 A&B Software Llc Method and system for presenting live video from video capture devices on a computer monitor
CN201726494U (zh) * 2009-12-31 2011-01-26 新谊整合科技股份有限公司 利用图像色彩信息执行图像比对的装置与系统
JP2012023546A (ja) * 2010-07-14 2012-02-02 Jvc Kenwood Corp 制御装置、立体映像撮像装置、および制御方法
JP5433610B2 (ja) * 2011-03-04 2014-03-05 日立オートモティブシステムズ株式会社 車載カメラ装置
EP2549759B1 (en) * 2011-07-19 2016-01-13 Axis AB Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
US9479762B2 (en) * 2011-12-05 2016-10-25 Tektronix, Inc. Stereoscopic video temporal frame offset measurement
JP5493055B2 (ja) * 2012-01-18 2014-05-14 パナソニック株式会社 立体画像検査装置、立体画像処理装置、および立体画像検査方法
KR101893406B1 (ko) * 2012-03-28 2018-08-30 삼성전자 주식회사 카메라의 이미지처리 장치 및 방법
TWI517669B (zh) * 2012-06-05 2016-01-11 晨星半導體股份有限公司 影像的同步方法及其裝置
US9204041B1 (en) * 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
US9565414B2 (en) * 2013-05-24 2017-02-07 Disney Enterprises, Inc. Efficient stereo to multiview rendering using interleaved rendering
US9154697B2 (en) * 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view

Also Published As

Publication number Publication date
TW201537951A (zh) 2015-10-01
TWI543608B (zh) 2016-07-21
CN104980646B (zh) 2018-05-29
US20150271471A1 (en) 2015-09-24
CN104980646A (zh) 2015-10-14
US20150271469A1 (en) 2015-09-24
TWI536802B (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
TWI543608B (zh) 相機模組的阻擋偵測方法以及具備多相機模組之電子裝置
US8508580B2 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
KR101452172B1 (ko) 깊이―관련 정보를 처리하기 위한 방법, 장치 및 시스템
US9185388B2 (en) Methods, systems, and computer program products for creating three-dimensional video sequences
US9210405B2 (en) System and method for real time 2D to 3D conversion of video in a digital camera
KR20140108078A (ko) 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지를 생성하는 방법과 기기 및 장치
EP3394832A1 (en) Depth perceptive trinocular camera system
US9615081B2 (en) Method and multi-camera portable device for producing stereo images
AU2016355215A1 (en) Methods and systems for large-scale determination of RGBD camera poses
KR20120051308A (ko) 3d 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
EP3451285B1 (en) Distance measurement device for motion picture camera focus applications
EP2509324A1 (en) Method and apparatus for analyzing stereoscopic or multi-view images
EP3857874B1 (en) Hybrid depth processing
US20120307023A1 (en) Disparity distribution estimation for 3d tv
CN106033614B (zh) 一种强视差下的移动相机运动目标检测方法
Li et al. HDRFusion: HDR SLAM using a low-cost auto-exposure RGB-D sensor
US8908012B2 (en) Electronic device and method for creating three-dimensional image
TWI491244B (zh) 調整物件三維深度的方法與裝置、以及偵測物件三維深度的方法與裝置
TWI500314B (zh) A portrait processing device, a three-dimensional portrait display device, and a portrait processing method
US20130011010A1 (en) Three-dimensional image processing device and three dimensional image processing method
TWI502271B (zh) 控制方法及電子裝置
WO2023036218A1 (zh) 视点宽度的确定方法及其装置
EP2866446B1 (en) Method and multi-camera portable device for producing stereo images
JP5765418B2 (ja) 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム
KR20110025020A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법