TWI604221B - 影像景深測量方法以及應用該方法的影像擷取裝置 - Google Patents

影像景深測量方法以及應用該方法的影像擷取裝置 Download PDF

Info

Publication number
TWI604221B
TWI604221B TW105116771A TW105116771A TWI604221B TW I604221 B TWI604221 B TW I604221B TW 105116771 A TW105116771 A TW 105116771A TW 105116771 A TW105116771 A TW 105116771A TW I604221 B TWI604221 B TW I604221B
Authority
TW
Taiwan
Prior art keywords
image
depth information
light incident
region
incident portion
Prior art date
Application number
TW105116771A
Other languages
English (en)
Other versions
TW201741723A (zh
Inventor
簡睿廷
Original Assignee
致伸科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 致伸科技股份有限公司 filed Critical 致伸科技股份有限公司
Priority to TW105116771A priority Critical patent/TWI604221B/zh
Priority to US15/288,344 priority patent/US10002440B2/en
Application granted granted Critical
Publication of TWI604221B publication Critical patent/TWI604221B/zh
Publication of TW201741723A publication Critical patent/TW201741723A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Description

影像景深測量方法以及應用該方法的影像擷取裝置
本發明係涉及影像光學的領域，尤其係關於一種影像景深測量方法以及應用該方法的影像擷取裝置。
近年來，隨著電子工業的演進以及工業技術的蓬勃發展，各種電子裝置設計及開發的走向逐漸朝輕便、易於攜帶的方向發展，以利使用者隨時隨地應用於行動商務、娛樂或休閒等用途。舉例而言，各式各樣的影像擷取裝置正廣泛應用於各種領域，例如智慧型手機、穿戴式電子裝置、空拍裝置等電子裝置，其具有體積小且方便攜帶之優點，使用者得以於有使用需求時隨時取出並進行影像擷取並儲存，或進一步透過行動網路上傳至網際網路之中，不僅具有重要的商業價值，更讓一般大眾的日常生活增添色彩。而隨著生活品質的提升，人們對影像有更多的訴求，特別是希望所獲得的影像具有更高的成像品質或更多的成像效果。
舉例來說，請參閱圖1，其為現有智慧型手機的外觀結構示意圖。智慧型手機9上設置有二個水平排列的光學鏡頭91、92，且由於該二個光學鏡頭91、92可以不同的角度對同一使 用環境進行拍攝，故透過對分別由該二個光學鏡頭91、92所擷取的二個影像進行分析與計算，就可獲得具有景深資訊的立體影像。而目前宏達電(HTC)、索尼(SONY)、樂金(LG)、華為等廠商皆有出產類似於圖1所示具有雙光學鏡頭91、92的智慧型手機9，故透過二個光學鏡頭91、92獲得景深資訊的技術係為熟知本技藝人士所知悉，在此即不再予以贅述。
然而，透過二個光學鏡頭91、92對同一使用環境進行拍攝來獲得景深資訊的方法具有精度不足的缺陷，原因在於，若使用環境中具有與二個光學鏡頭之排列方向相同的二個景物，即該二個景物相對應於智慧型手機9而言也是呈水平排列，則該二個景物的景深不容易被判斷，導致所獲得的景深資訊具有誤差。是以，習知獲得影像之景深資訊的方法具有改善的空間。
本發明之一目的在提供一種影像景深測量方法，該影像景深測量方法除了透過二個光學鏡頭獲得初步的影像景深資訊外，還輔助搭配從其中一個光學鏡頭所擷取之影像的相位檢測像素組而獲得的另一影像景深資訊，藉以補足初步的影像景深資訊中因被拍攝的環境中具有與二個光學鏡頭之排列方向相同的景物所導致的影像景深誤差。
本發明之一目的在提供一種影像擷取裝置，尤其係關於一種應用上述影像景深測量方法的影像擷取裝置。
於一較佳實施例中，本發明提供一種影像景深測量方法，包括：(a)利用一第一光學鏡頭擷取一第一影像以及利用一第二光學鏡頭擷取一第二影像；其中，該第一影像具有複數相位檢測像素組，並被分割為複數影像區域；(b)利用該第一影像與該第二影像之差異獲得每一該影像區 域之一第一區域景深資訊；(c)經由計算每一該影像區域之該第一區域景深資訊之一水平方向影像強度以及一垂直方向影像強度而決定選取該第一區域景深資訊或一第二區域景深資訊為一被採用的區域景深資訊；其中，該第二區域景深資訊係透過該複數相位檢測像素組中之至少部份相位檢測像素組而獲得。
於一較佳實施例中，本發明亦提供一種影像擷取裝置，包括：一第一光學鏡頭；一第二光學鏡頭；一第一感測元件，其係感應經過該第一光學鏡頭並入射至該第一感測元件之光束以獲得一第一影像，且該第一影像係供被分割為複數影像區域；其中，該第一感測元件包括複數相位檢測單元組，以使該第一影像中具有分別相對應於該複數相位檢測單元組之複數相位檢測像素組；一第二感測元件，其係感應經過該第二光學鏡頭並入射至該第二感測元件之光束以獲得一第二影像；一運算模組，連接於該第一感測元件以及該第二感測元件，其利用該第一影像與該第二影像之差異獲得每一該影像區域之一第一區域景深資訊，且經由計算每一該影像區域之該第一區域景深資訊之一水平方向影像強度以及一垂直方向影像強度而決定選取該第一區域景深資訊或一第二區域景深資訊為一被採用的區域景深資訊；其中，該第二區域景深資訊係透過該複數相位檢測像素組中之至少部份相位檢測像素組而獲得。
1‧‧‧影像擷取裝置
2‧‧‧影像
4‧‧‧第二影像
9‧‧‧智慧型手機
11‧‧‧第一光學鏡頭
12‧‧‧第一感測元件
13‧‧‧第二光學鏡頭
14‧‧‧第二感測元件
15‧‧‧運算模組
21‧‧‧影像區域
22‧‧‧相位檢測像素組
31‧‧‧第一圖像
32‧‧‧第二圖像
41‧‧‧影像區域
91‧‧‧光學鏡頭
92‧‧‧光學鏡頭
121‧‧‧相位檢測單元組
151‧‧‧影像分割單元
152‧‧‧運算單元
221‧‧‧第一入光部
222‧‧‧第二入光部
311‧‧‧第一圖像區塊
321‧‧‧第二圖像區塊
3221‧‧‧測試區塊
322m‧‧‧測試區塊
3231‧‧‧測試區塊
323n‧‧‧測試區塊
1211‧‧‧第一入光相位檢測單元
1212‧‧‧第二入光相位檢測單元
P1‧‧‧中心位置
P21‧‧‧中心位置
P2m‧‧‧中心位置
P31‧‧‧中心位置
P3n‧‧‧中心位置
S1‧‧‧步驟
S2‧‧‧步驟
S3‧‧‧步驟
圖1：係為現有智慧型手機的外觀結構示意圖。
圖2：係為本發明影像擷取裝置於一較佳實施例之方塊示意圖。
圖3：係為圖2所示影像擷取裝置之第一感測元件的一較佳概念示意圖。
圖4：係為本發明影像景深測量方法的一較佳方法流程圖。
圖5A：係為圖4所述步驟S1中所獲得之第一影像的一較佳概念示意圖。
圖5B：係為圖4所述步驟S1中所獲得之第二影像的一較佳概念示意圖。
圖6：係為圖4所述步驟S3中獲得第一影像之任一影像區域之第二區域景深資訊的一較佳方法流程圖。
圖7A：係為圖6所述第一圖像的一較佳概念示意圖。
圖7B：係為圖6所述第二圖像的一較佳概念示意圖。
圖8：係為圖2所示影像擷取裝置的運算模組於一較佳實施例的方塊示意圖。
首先說明本發明影像擷取裝置的組成。請參閱圖2與圖3，圖2為本發明影像擷取裝置於一較佳實施例之方塊示意圖，圖3為圖2所示影像擷取裝置之第一感測元件的一較佳概念示意圖。影像擷取裝置1包括第一光學鏡頭11、第一感測元件12、第二光學鏡頭13、第二感測元件14以及運算模組15，第一光學鏡頭11與第二光學鏡頭13之排列方向呈水平排列，且第一感測元件12係感應經過第一光學鏡頭11並入射至第一感測元件12的光束以獲得第一影像，而第二感測元件14則感應經過第二光學鏡頭13並入射至第二感測元件14的光束以獲得第二影像。
其中，第一感測元件12包括複數相位檢測單元組121，且每一相位檢測單元組121包括第一入光相位檢測單元1211以及與第一入光相位檢測單元1211呈垂直排列的第二入光相位檢 測單元1212，而運算模組15係連接於第一感測元件12以及第二感測元件14，因此可接收分別來自第一感測元件12以及第二感測元件14的第一影像以及第二影像。
接下來說明影像擷取裝置是如何進行影像景深測量。請參閱圖4~圖5B，圖4為本發明影像景深測量方法的一較佳方法流程圖，圖5A為圖4所述步驟S1中所獲得之第一影像的一較佳概念示意圖，圖5B為圖4所述步驟S1中所獲得之第二影像的一較佳概念示意圖，影像景深測量方法包括步驟S1~步驟S3，以下分別對步驟S1~步驟S3進行詳述。
步驟S1，當影像擷取裝置1欲進行拍攝時，係先透過第一感測元件12感應經過第一光學鏡頭11並入射至第一感測元件12的光束以獲得一第一影像2，並透過第二感測元件14感應經過第二光學鏡頭13並入射至第二感測元件14的光束以獲得一第二影像4；其中，第一影像2可被分割為複數影像區域，且每一影像區域包括至少一像素(pixel)，而為了清楚示意本案發明，圖5A僅在第一影像2中標示該些影像區域中的一個影像區域21。此外，第二影像4亦可被分割為複數影像區域，同樣地，為了清楚示意本案發明，圖5B僅在第二影像4中標示該些影像區域中的一個影像區域41，且影像區域41係對應於影像區域21。
又，由於第一感測元件12上設置有複數個相位檢測單元組121，故其所獲得的第一影像2中還具有分別相對應於複數相位檢測單元組121的複數相位檢測像素組22，且每一相位檢測像素組22包括相對應於第一入光相位檢測單元1211的第一入光部221以及相對應於第二入光相位檢測單元1212的第二入光部222，其如圖5A所示。
於本較佳實施例中，第一入光部221以及第二入光部222係分別為上入光部以及下入光部，且第一入光部221以及第二入光部222位在同一像素，但實際應用上並不以此為限，例如亦可變更設計為第一入光部221以及第二入光部222分別為下 入光像素以及上入光像素，還可變更設計為第一入光部221以及第二入光部222分別位在不同像素。
步驟S2，透過運算模組15計算第一影像2與第二影像4的差異獲得每一影像區域的第一區域景深資訊。以圖5A與圖5所示為例，由於第一影像2的影像區域21與第二影像4的影像區域41相對應，故透過運算模組計算影像區域21以及影像區域41的差異即可獲得第一影像2之影像區域21的第一區域景深資訊，當然，其他影像區域的第一區域景深資訊亦可被同理獲得。
於本較佳實施例中，第一影像以及第二影像的差異係透過計算峰值信號雜訊比(PSNR)而獲得；其中，峰值信號雜訊比是一種用來評斷二影像之相似度的客觀標準，而峰值信號雜訊比越高則代表影像相位差異越小。惟，上述僅為一實施例，實際應用上並不以此為限，舉例來說，第一影像以及第二影像的差異亦可透過一去均值歸一化相關法(ZNCC)而獲得。此外，有關於如何透過第一影像以及第二影像的差異獲得每一影像區域的第一區域景深資訊以及如何透過峰值信號雜訊比或去均值歸一化相關法獲得第一影像以及第二影像的差異，係為熟知本技藝人士所知悉，在此即不再予以贅述。
步驟S3，透過運算模組15計算第一影像2之每一影像區域之第一區域景深資訊的一水平方向影像強度以及一垂直方向影像強度，並依據計算結果而決定選取每一影像區域的第一區域景深資訊或第二區域景深資訊為該影像區域之被採用的區域景深資訊；其中，每一影像區域的第二區域景深資訊係透過第一影像2之複數相位檢測像素組22中的至少部份相位檢測像素組而獲得。而經由步驟S3所獲得之第一影像2之所有影像區域的被採用的區域景深資訊可供被組合為第一影像2的全域景深資訊。
進一步而言，當第一影像2的任一影像區域的第一區域景深資訊的水平方向影像強度大於垂直方向影像強度時，代表該影像區域的垂直影像資訊較少，而由於該影像區域的第二區 域景深資訊是透過第一影像2的至少部份相位檢測像素組22而獲得，且每一相位檢測像素組22的第一入光部221以及第二入光部222是呈垂直排列，因此該影像區域的第二區域景深資訊具有較多的垂直影像資訊，故此時運算模組15是選取該影像區域的第二區域景深資訊為該影像區域之被採用的區域景深資訊，以彌補原先垂直影像資訊較少的缺陷。相反地，當第一影像2的任一影像區域的第一區域景深資訊的垂直方向影像強度大於水平方向影像強度時，代表該影像區域已具有足夠的垂直影像資訊，故運算模組15就直接以該影像區域的第一區域景深資訊為該影像區域之被採用的區域景深資訊。
於本較佳實施例中，第一影像2的任一影像區域的的第一區域景深資訊的水平方向影像強度與垂直方向影像強度係透過一遮罩運算(mask opterators)而獲得。詳言之，上述水平方向影像強度透過一布里威特運算子(Prewitt operator)fx而獲得，而上述垂直方向影像強度則透過一另一布里威特運算子fy而獲得，其中，，；惟，上述僅為一實施例，獲得水平方向影像強度與垂直方向影像強度的方式並不以此為限。此外，有關於上述以遮罩運算(mask opterators)，如經由布里威特運算子獲得水平方向影像強度與垂直方向影像強度的具體實施方式，係為熟知本技藝人士所知悉，在此即不再予以贅述。
接下來說明第一影像2的任一影像區域的第二區域景深資訊是如何透過第一影像2中的相位檢測像素組22而獲得。請參閱圖6~圖8，圖6為圖4所述步驟S3中獲得第一影像之任一影像區域之第二區域景深資訊的一較佳方法流程圖，圖7A為圖6所述第一圖像的一較佳概念示意圖，圖7B為圖6所述第二圖像的一較佳概念示意圖，圖8為圖2所示影像擷取裝置的運算模組於 一較佳實施例的方塊示意圖。
於本較佳實施例中，影像擷取裝置1的運算模組15包括影像分割單元151以及運算單元152，且影像分割單元151係用以聚集第一影像2中的複數第一入光部221以形成一第一圖像31以及聚集第一影像2中的複數第二入光部222以形成一第二圖像32，其如圖7A以及圖7B所示。其中，第一圖像31上具有分別相對應於第一影像2之複數影像區域的複數第一圖像區塊，第二圖像32上具有分別相對應於第一影像2之複數影像區域的複數第二圖像區塊，而為了清楚示意本案發明，圖7A僅在第一圖像31中標示該些第一圖像區塊中的一個第一圖像區塊311，且其對應於圖5A所標示的影像區域21，而圖7B僅在第二圖像32中標示該些第二圖像區塊中的一個第二圖像區塊321，且其對應於圖5A所標示的影像區域21。
接著，運算單元152接收來自影像分割單元151的第一圖像31以及第二圖像32，並透過運算單元152分別獲得每一第一圖像區塊與相對應之第二圖像區塊的圖像相位差異以及分別獲得每一第一圖像區塊與複數測試區塊的圖像相位差異，並經由該些圖像相位差異中的一圖像相位差異最小者獲得第一影像2上之相對應的影像區域的第二區域景深資訊；其中，該些測試區塊係分別部份重疊或鄰近於相對應之第二圖像區塊。
以下以圖5A所示之影像區域21、圖7A所示之第一圖像區塊311以及圖7B所示之第二圖像區塊321為例進行說明。運算單元152係用以分別獲得第一圖像區塊311與相對應之第二圖像區塊321的圖像相位差異E1以及分別獲得第一圖像區塊311與複數測試區塊3221、3222…322m、3231、3232…323n的圖像相位差異E21、E22…E2m、E31、E32…E3n；其中，複數測試區塊3221、3222…322m、3231、3232…323n係分別於一水平方向上部份重疊或鄰近於相對應之第二圖像區塊321。
於本較佳實施例中，複數測試區塊3221、3222… 322m、3231、3232…323n中之部份測試區塊3221、3222…322m的中心位置P21…P2m位於第二圖像區塊321之中心位置P1的左側，而另一部份測試區塊3231、3232…323n的中心位置P31…P3m則位於第二圖像區塊321之中心位置P1的右側，且第二圖像區塊321以及該些測試區塊3221、3222…322m、3231、3232…323n具有相同大小；惟，上述僅為一實施例，該些測試區塊3221、3222…322m、3231、3232…323n的選定並不以此為限，熟知本技藝人士皆可依據實際應用需求而進行任何均等的變更設計。例如，可變更設計為，複數測試區塊是分別於一垂直方向上部份重疊或鄰近於相對應之第二圖像區塊。
特別說明的是，第一影像2中被對焦的區域係為影像景深的基準處，若第一影像2的影像區域21是被對焦的區域，第一圖像區塊311與第二圖像區塊321之間的圖像相位差異E1應趨近於零，而若第一圖像區塊311與第二圖像區塊321之間的圖像相位差異E1並非趨近於零，則代表第一影像2的影像區域21非為被對焦的區域，此時，第二圖像區塊321以及該些測試區塊3221、3222…322m、3231、3232…323n中與第一圖像區塊311之間圖像相位差異最小之區塊的位置，即代表第一影像2之影像區域21與被對焦的區域的相對關係，進而可獲得影像區域21的第二區域景深資訊。
於本較佳實施例中，第二區域景深資訊係以-m…-2,-1,0,1,2…n的級數表示，舉例來說，當與第一圖像區塊311之間圖像相位差異最小之區塊為測試區塊322m時，影像區域21的第二區域景深資訊以-m表示，當與第一圖像區塊311之間圖像相位差異最小之區塊為測試區塊3222時，影像區域21的第二區域景深資訊以-2表示，當與第一圖像區塊311之間圖像相位差異最小之區塊為第二圖像區塊321時，影像區域21的第二區域景深資訊以0表示，當與第一圖像區塊311之間圖像相位差異最小之區塊為測試區塊3231時，影像區域21的第二區域景深資訊以1表示，當與 第一圖像區塊311之間圖像相位差異最小之區塊為測試區塊323n時，影像區域21的第二區域景深資訊以n表示，當與第一圖像區塊311之間圖像相位差異最小之區塊為測試區塊為其它測試區塊時，影像區域21的第二區域景深資訊亦同理類推表示。惟，第二區域景深資訊的表示方式並不侷限於以級數表示。
再者，於本較佳實施例中，第一圖像區塊311與相對應之第二圖像區塊321之間的圖像相位差異E1以及分別與該些測試區塊3221、3222…322m、3231、3232…323n之間的圖像相位差異E21、E22…E2m、E31、E32…E3n係透過計算峰值信號雜訊比(PSNR)而獲得。一般來說，峰值信號雜訊比是一種用來評斷二圖像之相似度的客觀標準，而峰值信號雜訊比越高則代表圖像相位差異越小，其係為熟知本技藝人士所知悉，在此即不再予以贅述。
此外，在實際應用上，評價圖像相位差異的標準並不以峰值信號雜訊比為限，熟知本技藝人士亦可依據實際應用需求而進行任何均等的變更設計。舉例來說，第一圖像區塊311與相對應之第二圖像區塊321之間的圖像相位差異E1以及與分別與該些測試區塊3221、3222…322m、3231、3232…323n之間的圖像相位差異E21、E22…E2m、E31、E32…E3n亦可透過一去均值歸一化相關法(ZNCC)而獲得。同樣地，有關去均值歸一化相關法係為熟知本技藝人士所知悉，在此即不再予以贅述。
進一步而言，運算單元152於透過計算峰值信號雜訊比或去均值歸一化相關法獲得第一圖像區塊311與相對應之第二圖像區塊321之間的圖像相位差異E1以及分別與該些測試區塊3221、3222…322m、3231、3232…323n之間的圖像相位差異E21、E22…E2m、E31、E32…E3n後，經由該些圖像相位差異E1、E21、E22…E2m、E31、E32…E3n中的圖像相位差異最小者而找出與第一圖像區塊311之間相位差異最小之區塊的位置，進而可獲得第一影像2之影像區域21的第二區域景深資訊。
同理，第一影像2中其他每一影像區域的第二區域 景深資訊亦可透過第一圖像31上相對應於該影像區域的第一圖像區塊與第二圖像31上相對應於該影像區域的第二圖像區塊並經由上述說明的方法來獲得。惟，上述僅為一實施例，透過第一影像2之複數相位檢測像素組22中的至少部份相位檢測像素組獲得每一影像區域21之第二區域景深資訊的方法並不以圖6所示為限。
根據以上的說明可知，本發明影像擷取裝置以及影像景深測量方法除了透過二個光學鏡頭獲得初步的影像景深資訊外，還輔助搭配從其中一個光學鏡頭所擷取之影像的相位檢測像素組而獲得的另一影像景深資訊，以補足初步的影像景深資訊中因被拍攝的環境中具有與二個光學鏡頭之排列方向相同的景物所導致的影像景深誤差。補充說明的是，若是僅僅透過單一光學鏡頭並經由其所擷取之影像的相位檢測像素組獲得影像景深資訊，會因拍攝環境亮度不足或是平滑區域(也就是對比度較低的區域)而效果不佳，而採用本案影像擷取裝置以及影像景深測量方法即能夠克服上述的缺陷。
當然，上述皆僅為實施例，熟知本技藝人士亦可依據實際應用需求而進行任何均等的變更設計。舉例來說，可變更設計為，圖2所示影像擷取裝置12的第一光學鏡頭11與第二光學鏡頭13之排列方向呈垂直排列，而第一感測元件12之每一相位檢測單元組121的第一入光相位檢測單元1211與第二入光相位檢測單元1212呈水平排列，也就是相對應於第一入光相位檢測單元1211的第一入光部221以及相對應於第二入光相位檢測單元1212的第二入光部222係分別為左入光像素以及右入光像素，抑或是分別為右入光像素以及左入光像素，因此，圖4所述步驟S3中則應相對變更設計為，當第一影像2的任一影像區域的第一區域景深資訊的水平方向影像強度大於垂直方向影像強度時，運算模組15是直接以該影像區域的第一區域景深資訊為該影像區域之被採用的區域景深資訊，而當第一影像2的任一影像區域的第一區域景深資訊的垂直方向影像強度大於水平方向影像強度時，則 運算模組15選擇該影像區域的第二區域景深資訊為該影像區域之被採用的區域景深資訊。
以上所述僅為本發明之較佳實施例，並非用以限定本發明之申請專利範圍，因此凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾，均應包含於本案之申請專利範圍內。
S1‧‧‧步驟
S2‧‧‧步驟
S3‧‧‧步驟

Claims (19)

  1. 一種影像景深測量方法，包括：(a)利用一第一光學鏡頭擷取一第一影像以及利用一第二光學鏡頭擷取一第二影像；其中，該第一影像具有複數相位檢測像素組，並被分割為複數影像區域；(b)利用該第一影像與該第二影像之差異獲得每一該影像區域之一第一區域景深資訊；(c)經由計算每一該影像區域之該第一區域景深資訊之一水平方向影像強度以及一垂直方向影像強度而決定選取該第一區域景深資訊或一第二區域景深資訊為一被採用的區域景深資訊；其中，該第二區域景深資訊係透過該複數相位檢測像素組中之至少部份相位檢測像素組而獲得；其中每一該相位檢測像素組包括一第一入光部以及一第二入光部，且該第一光學鏡頭與該第二光學鏡頭之排列方向垂直於該第一入光部與該第二入光部之排列方向。
  2. 如申請專利範圍第1項所述之影像景深測量方法，其中於該步驟(b)中，該第一影像以及該第二影像之差異係透過計算一峰值信號雜訊比(PSNR)而獲得，抑或是該第一影像以及該第二影像之差異係透過一去均值歸一化相關法(ZNCC)而獲得。
  3. 如申請專利範圍第1項所述之景深測量方法，其中該第一光學鏡頭與該第二光學鏡頭之排列方向係呈水平排列，且於該步驟(c)中，當任一該影像區域之該第一區域景深資訊之該水平方向影像強度大於該垂直方向影像強度時，選取相對應之該第二區域景深資訊為該被採用的區域景深資訊，而當任一該影像區域之該第一區域景深資訊之該水平方向影像強度小於該垂直方向影像強度時，選取該第一區域景深資訊為該被採用的區域景深資訊。
  4. 如申請專利範圍第1項所述之景深測量方法，其中該第一光學鏡頭與該第二光學鏡頭之排列方向係呈垂直排列，且於該步驟(c)中，當任一該影像區域之該第一區域景深資訊之該水平方向影像強度大於該垂直方向影像強度時，選取該第一區域景深資訊為該被採用的區域景深資訊，而當任一該影像區域之該第一區域景深資訊之該水平方向影像強度小於該垂直方向影像強度時，選取相對應之該第二區域景深資訊為該被採用的區域景深資訊。
  5. 如申請專利範圍第1項所述之景深測量方法，其中於該步驟(c)中，每一該影像區域之該第一區域景深資訊之該水平方向影像強度以及該垂直方向影像強度係透過一遮罩運算(mask opterators)而獲得。
  6. 如申請專利範圍第5項所述之景深測量方法，其中該水平方向影像強度透過一布里威特運算子(Prewitt operator)fx而獲得，而該垂直方向影像強度透過一另一布里威特運算子fy而獲得；其中，
  7. 如申請專利範圍第1項所述之影像景深測量方法，其中每一該相位檢測像素組包括一第一入光部以及一第二入光部，且獲得任一該影像區域之該第二區域景深資訊之步驟包括：聚集該複數第一入光部以形成一第一圖像以及聚集該複數第二入光部以形成一第二圖像；其中，該第一圖像具有相對應於該任一影像區域的一第一圖像區塊，而該第二圖像具有相對應於該任一影像區域的一第二圖像區塊；以及獲得該第一圖像區塊與該第二圖像區塊之間以及與複數測試區塊之間的一圖像相位差異，並依據該複數圖像相位差異中之一圖像相位差異最小者獲得該任一影像區域之該第二區域景深資 訊；其中，該複數測試區塊係分別部份重疊或鄰近於該第二圖像區塊。
  8. 如申請專利範圍第7項所述之影像景深測量方法，其中該圖像相位差異係透過計算一峰值信號雜訊比(PSNR)而獲得，抑或是該圖像相位差異係透過一去均值歸一化相關法(ZNCC)而獲得。
  9. 如申請專利範圍第7項所述之影像景深測量方法，其中該第一入光部以及該第二入光部係分別為一上入光部以及一下入光部，抑或是該第一入光部以及該第二入光部係分別為一左入光部以及一右入光部。
  10. 一種影像擷取裝置，包括：一第一光學鏡頭；一第二光學鏡頭；一第一感測元件，其係感應經過該第一光學鏡頭並入射至該第一感測元件之光束以獲得一第一影像，且該第一影像係供被分割為複數影像區域；其中，該第一感測元件包括複數相位檢測單元組，以使該第一影像中具有分別相對應於該複數相位檢測單元組之複數相位檢測像素組；一第二感測元件，其係感應經過該第二光學鏡頭並入射至該第二感測元件之光束以獲得一第二影像；一運算模組，連接於該第一感測元件以及該第二感測元件，其利用該第一影像與該第二影像之差異獲得每一該影像區域之一第一區域景深資訊，且經由計算每一該影像區域之該第一區域景深資訊之一水平方向影像強度以及一垂直方向影像強度而決定選取該第一區域景深資訊或一第二區域景深資訊為一被採用的區域景深資訊；其中，該第二區域景深資訊係透過該複數相位檢測像素組中之至少部份相位檢測像素組而獲得。
  11. 如申請專利範圍第10項所述之影像擷取裝置，其中該運算模組係透過計算一峰值信號雜訊比(PSNR)而獲得該第一影像以及該第二影像之差異，抑或是該運算模組係透過一去均值歸一化相關法(ZNCC)而獲得該第一影像以及該第二影像之差異。
  12. 如申請專利範圍第10項所述之影像擷取裝置，其中每一該相位檢測像素組包括一第一入光部以及一第二入光部，且該第一光學鏡頭與該第二光學鏡頭之排列方向垂直於該第一入光部與該第二入光部之排列方向。
  13. 如申請專利範圍第12項所述之影像擷取裝置，其中該第一光學鏡頭與該第二光學鏡頭之排列方向係呈水平排列，且當任一該影像區域之該第一區域景深資訊之該水平方向影像強度大於該垂直方向影像強度時，該運算模組選取相對應之該第二區域景深資訊為該被採用的區域景深資訊，而當任一該影像區域之該第一區域景深資訊之該水平方向影像強度小於該垂直方向影像強度時，該運算模組選取該第一區域景深資訊為該被採用的區域景深資訊。
  14. 如申請專利範圍第12項所述之影像擷取裝置，其中該第一光學鏡頭與該第二光學鏡頭之排列方向係呈垂直排列，且當任一該影像區域之該第一區域景深資訊之該水平方向影像強度大於該垂直方向影像強度時，該運算模組選取該第一區域景深資訊為該被採用的區域景深資訊，而當任一該影像區域之該第一區域景深資訊之該水平方向影像強度小於該垂直方向影像強度時，該運算模組選取相對應之該第二區域景深資訊為該被採用的區域景深資訊。
  15. 如申請專利範圍第12項所述之影像擷取裝置，其中該運算模組係透過一遮罩運算(mask opterators)而獲得每一該影像區域之該 第一區域景深資訊之該水平方向影像強度以及該垂直方向影像強度。
  16. 如申請專利範圍第15項所述之影像擷取裝置，其中該運算模組係透過一布里威特運算子(Prewitt operator)fx而獲得該水平方向影像強度，並透過一另一布里威特運算子fy而獲得該垂直方向影像強度；其中，
  17. 如申請專利範圍第10項所述之影像擷取裝置，其中每一該相位檢測像素組包括一第一入光部以及一第二入光部，且該運算模組包括：一影像分割單元，聚集該複數第一入光部以形成一第一圖像以及聚集該複數第二入光部以形成一第二圖像；其中，該第一圖像具有分別相對應於該複數影像區域的複數第一圖像區塊，而該第二圖像具有分別相對應於該複數影像區域的複數第二圖像區塊；以及一運算單元，連接於該影像分割單元，用以獲得任一該第一圖像區塊與其相對應之該第二圖像區塊之間以及與複數測試區塊之間的一圖像相位差異，並依據該複數圖像相位差異中之一圖像相位差異最小者獲得相對應之該影像區域之該第二區域景深資訊；其中，該複數測試區塊係分別部份重疊或鄰近於相對應之該第二圖像區塊。
  18. 如申請專利範圍第17項所述之影像擷取裝置，其中該運算單元係透過計算一峰值信號雜訊比(PSNR)而獲得該圖像相位差異，抑或是該運算單元係透過一去均值歸一化相關法(ZNCC)而獲得該圖像相位差異。
  19. 如申請專利範圍第17項所述之影像擷取裝置，其中該第一入光部以及該第二入光部係分別為一上入光部以及一下入光部，抑或是該第一入光部以及該第二入光部係分別為一左入光部以及一右入光部。
TW105116771A 2016-05-27 2016-05-27 影像景深測量方法以及應用該方法的影像擷取裝置 TWI604221B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105116771A TWI604221B (zh) 2016-05-27 2016-05-27 影像景深測量方法以及應用該方法的影像擷取裝置
US15/288,344 US10002440B2 (en) 2016-05-27 2016-10-07 Method for measuring depth of field and image pickup device using same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105116771A TWI604221B (zh) 2016-05-27 2016-05-27 影像景深測量方法以及應用該方法的影像擷取裝置

Publications (2)

Publication Number Publication Date
TWI604221B true TWI604221B (zh) 2017-11-01
TW201741723A TW201741723A (zh) 2017-12-01

Family

ID=60419023

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105116771A TWI604221B (zh) 2016-05-27 2016-05-27 影像景深測量方法以及應用該方法的影像擷取裝置

Country Status (2)

Country Link
US (1) US10002440B2 (zh)
TW (1) TWI604221B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138438B2 (en) 2018-05-18 2021-10-05 Stats Llc Video processing for embedded information card localization and content extraction
KR20210028808A (ko) 2019-09-04 2021-03-15 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치
CN117252864B (zh) * 2023-11-14 2024-01-26 海澜智云科技有限公司 基于标识解析的钢铁生产器件光滑度检测系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009115893A (ja) * 2007-11-02 2009-05-28 Canon Inc 撮像装置
JP2012027263A (ja) * 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
TWI508526B (zh) * 2013-10-01 2015-11-11 Wistron Corp 產生視角平移影像之方法及其可攜式電子設備
JP2016009043A (ja) * 2014-06-24 2016-01-18 ソニー株式会社 イメージセンサ、演算方法、および電子装置
CN105611182B (zh) * 2014-11-25 2020-05-22 中兴通讯股份有限公司 亮度补偿方法及装置
KR102299575B1 (ko) * 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
US10264174B2 (en) * 2015-12-08 2019-04-16 Samsung Electronics Co., Ltd. Photographing apparatus and focus detection method using the same
US10015416B2 (en) * 2016-05-24 2018-07-03 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
US20170374306A1 (en) * 2016-06-23 2017-12-28 Semiconductor Components Industries, Llc Image sensor system with an automatic focus function

Also Published As

Publication number Publication date
US10002440B2 (en) 2018-06-19
TW201741723A (zh) 2017-12-01
US20170347014A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
CN110036410B (zh) 用于从视图中获得距离信息的设备和方法
JP2014174357A (ja) 撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体
CN109883391B (zh) 基于微透镜阵列数字成像的单目测距方法
TWI604221B (zh) 影像景深測量方法以及應用該方法的影像擷取裝置
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP6091318B2 (ja) 測距装置およびその制御方法
JP2017150878A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2016075658A (ja) 情報処理システムおよび情報処理方法
JP5375531B2 (ja) 距離画像取得装置及び距離画像取得処理方法
KR20230096057A (ko) 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법과 시스템 및 검출 생산 라인
JP2011147079A (ja) 撮像装置
CN108873302B (zh) 一种光场显微图像的自动校正和重新聚焦方法
TWI583996B (zh) 影像景深測量方法以及應用該方法的影像擷取裝置
TW201833510A (zh) 物體尺寸計算系統
JP6161874B2 (ja) 撮像装置、長さ計測方法及びプログラム
CN113345024A (zh) 判断相机模块的组装品质的方法
Sun et al. Blind calibration for focused plenoptic cameras
CN114746716B (zh) 形状复原方法和图像测量装置
JP2021004762A (ja) 計測装置、撮像装置、計測システム、制御方法、プログラム及び記録媒体
Chen et al. Depth estimation of light field data from pinhole-masked DSLR cameras
Birch et al. Depth measurements through controlled aberrations of projected patterns
CN112040203B (zh) 计算机存储介质、终端设备、图像处理方法及装置
WO2021020358A1 (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2007285753A (ja) 欠陥検出方法および欠陥検出装置
TWI604241B (zh) 影像對焦方法以及應用該方法的影像擷取裝置