TW201837595A - 有關深度資訊/全景影像的影像裝置及其相關影像系統 - Google Patents

有關深度資訊/全景影像的影像裝置及其相關影像系統 Download PDF

Info

Publication number
TW201837595A
TW201837595A TW107109930A TW107109930A TW201837595A TW 201837595 A TW201837595 A TW 201837595A TW 107109930 A TW107109930 A TW 107109930A TW 107109930 A TW107109930 A TW 107109930A TW 201837595 A TW201837595 A TW 201837595A
Authority
TW
Taiwan
Prior art keywords
image
image capture
capture device
images
depth information
Prior art date
Application number
TW107109930A
Other languages
English (en)
Other versions
TWI660231B (zh
Inventor
盧超群
林明華
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW201837595A publication Critical patent/TW201837595A/zh
Application granted granted Critical
Publication of TWI660231B publication Critical patent/TWI660231B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

有關深度資訊/全景影像的影像裝置包含至少二影像擷取器。該至少二影像擷取器中的第一影像擷取器和第二影像擷取器是分別擷取複數個第一影像以及複數個第二影像。該第一影像擷取器傳送該複數個第一影像至一影像處理器，該第二影像擷取器傳送該複數個第二影像至該影像處理器，以及該影像處理器根據該複數個第一影像產生一深度資訊和根據該複數個第二影像產生一全景影像或一全景視訊。

Description

有關深度資訊/全景影像的影像裝置及其相關影像系統
本發明是有關於一種有關深度資訊/全景影像的影像裝置及其相關影像系統，尤指一種可同時提供用於產生深度資訊的複數個第一影像以及用於產生全景影像或全景視訊的複數個第二影像的影像裝置及其相關影像系統。
近來消費者對於虛擬實境(Virtual Reality, VR)(或擴增實境(Augmented Reality, AR)或混合實境(Mixed Reality, MR))的需求越來越大，所以在手持式裝置上安裝虛擬實境(或擴增實境或混合實境)的應用日益普及。另外，該消費者對於自身的隱私的需求也越來越大，所以也漸漸採用生物辨識(例如人臉辨識)以解鎖該手持式裝置。然而，因為虛擬實境(或擴增實境或混合實境)以及人臉辨識現在還不是該手持式裝置的標準應用，所以如何在該手持式裝置上同時實現虛擬實境(或擴增實境或混合實境)以及生物辨識變成一項重要課題。
本發明的一實施例公開一種有關深度資訊/全景影像的影像裝置。該影像裝置包含至少二影像擷取器。該至少二影像擷取器中的第一影像擷取器和第二影像擷取器是分別擷取複數個第一影像以及複數個第二影像。該第一影像擷取器傳送該複數個第一影像至一影像處理器，該第二影像擷取器耦接傳送該複數個第二影像至該影像處理器，以及該影像處理器根據該複數個第一影像產生一深度資訊和根據該複數個第二影像產生一全景影像或一全景視訊。
本發明的另一實施例公開一種產生深度資訊/全景影像的影像系統。該影像系統包含至少二影像擷取器和一影像處理器。該至少二影像擷取器中的第一影像擷取器和第二影像擷取器是分別擷取複數個第一影像以及複數個第二影像。該影像處理器耦接該第一影像擷取器和通過該第一影像擷取器耦接該第二影像擷取器，且該影像處理器分別根據該複數個第一影像產生一深度資訊以及根據該複數個第二影像產生一全景影像或一全景視訊。
本發明的另一實施例公開一種有關深度資訊/全景影像的影像裝置。該影像裝置包含至少一第一影像擷取器。該至少一第一影像擷取器使該影像裝置外的至少一第二影像擷取器通過該至少一第一影像擷取器耦接於一影像處理器。該至少一第一影像擷取器所擷取的複數個第一影像是應用於一深度資訊，以及該至少一第二影像擷取器所擷取的複數個第二影像是應用以一全景影像或一全景視訊。
本發明公開一種有關深度資訊/全景影像的影像裝置及其相關影像系統。該影像裝置及該影像系統是利用至少二影像擷取器中的第一影像擷取器和第二影像擷取器分別擷取複數個第一影像以及複數個第二影像，以及利用包含在該第一影像擷取器的傳輸電路使該第一影像擷取器和該第二影像擷取器耦接一手持式裝置。然後該手持式裝置內的影像處理器可分別根據該複數個第一影像產生一深度資訊以及根據該複數個第二影像產生一全景影像或一全景視訊。因此，本發明不僅可利用該全景影像(或該全景視訊)提供虛擬實境(Virtual Reality, VR)、擴增實境(Augmented Reality, AR)或混合實境(Mixed Reality, MR)的應用，也可利用該深度資訊提供一人臉辨識操作。
請參照第1圖，第1圖是本發明的一第一實施例所公開的一種有關深度資訊/全景影像的影像裝置100的示意圖。如第1圖所示，影像裝置100包含一第一影像擷取器102和一第二影像擷取器104，第一影像擷取器102包含二個第一鏡頭1022，第二影像擷取器104包含二個第二鏡頭1042，且第一影像擷取器102和第二影像擷取器104為互相獨立的影像擷取器(也就是說第一影像擷取器102和第二影像擷取器104分別有各自的外殼)，其中因為二個第二鏡頭1042是背對背設置在第二影像擷取器104內，所以第1圖僅顯示在前方的第二鏡頭1042(在後方的第二鏡頭1042會被遮住)。另外，在本發明的一實施例中，第一影像擷取器102和第二影像擷取器104是可拆式的。但本發明並不受限於影像裝置100包含第一影像擷取器102和第二影像擷取器104，也就是說影像裝置100可包含二個以上的影像擷取器。另外，本發明也不受限於第一影像擷取器102包含二個第一鏡頭1022，以及第二影像擷取器104包含二個第二鏡頭1042，也就是說第一影像擷取器102可包含二個以上第一鏡頭1022，以及第二影像擷取器104也可包含二個以上第二鏡頭1042。另外，在本發明的一實施例中，第一影像擷取器102和第二影像擷取器104是照相機。
如第1圖所示，第一影像擷取器102直接通過一傳輸電路1024耦接一影像處理器106，第二影像擷取器104是通過傳輸電路1024耦接影像處理器106，其中傳輸電路1024是包含在第一影像擷取器102中，傳輸電路1024是一集線器(例如通用序列匯流排(universal serial bus, USB)集線器)或一切換器，影像處理器106是設置在一手持式裝置108中，以及手持式裝置108可為一智慧型手機、一平板電腦或一筆記型電腦。另外，在本發明的另一實施例中，影像處理器106是包含在一桌上型電腦中。另外，傳輸電路1024是利用其第一傳輸介面(未繪示於第1圖)和影像處理器106溝通，利用其第二傳輸介面(未繪示於第1圖)和第二影像擷取器104溝通，以及利用其第三傳輸介面(未繪示於第1圖)和第一鏡頭1022溝通，其中該第一傳輸介面、該第二傳輸介面和該第三傳輸介面可為C型(type-C)通用序列匯流排介面、非C型通用序列匯流排介面(例如A型(type-A)通用序列匯流排介面、B型(type-B)通用序列匯流排介面、Mini-A型通用序列匯流排介面、Mini-B型通用序列匯流排介面、Micro-A型通用序列匯流排介面或Micro-B型通用序列匯流排介面)，閃電(lightning)介面，或顯示埠(display port, DP)介面。另外，在本發明的另一實施例中，影像裝置100包含第一影像擷取器102、第二影像擷取器104和影像處理器106。
請參照第2圖，第2圖是說明當該第一傳輸介面為一非C型通用序列匯流排介面或一顯示埠介面時，第一影像擷取器102耦接手持式裝置108的示意圖，其中第一影像擷取器102是通過傳輸電路1024和手持式裝置108的外殼上的充電連接器(未繪示於第2圖)耦接手持式裝置108，且該充電連接器適用於一非C型通用序列匯流排介面或一顯示埠介面。因為該第一傳輸介面為一非C型通用序列匯流排介面或一顯示埠介面，所以當第一影像擷取器102耦接手持式裝置108時，手持式裝置108的外殼上的充電連接器會限制第一影像擷取器102的正面和手持式裝置108的正面朝同一方向。因此，第一影像擷取器102便可利用二個第一鏡頭1022朝手持式裝置108的前方(front side)(對應手持式裝置108的正面) 擷取複數個第一影像。例如第一影像擷取器102可利用二個第一鏡頭1022朝手持式裝置108的前方擷取有關手持式裝置108的一使用者臉部的複數個影像。在第一影像擷取器102利用二個第一鏡頭1022擷取有關該使用者臉部的複數個影像後，第一影像擷取器102可通過傳輸電路1024傳送有關該使用者臉部的複數個影像至手持式裝置108內的影像處理器106，以及影像處理器106即可根據有關該使用者臉部的複數個影像，產生有關該使用者臉部的深度資訊。因此，影像處理器106便可利用有關該使用者臉部的複數個影像的深度資訊執行一人臉辨識操作。例如影像處理器106可先利用有關該使用者臉部的複數個影像的深度資訊執行該人臉辨識操作，然後通過該人臉辨識操作對手持式裝置108的螢幕解鎖。
另外，在本發明的另一實施例中，第一影像擷取器102還可包含至少一紅外線光源，用於發射一隨機圖案(random pattern)或一結構光(structure light)，所以第一影像擷取器102便可利用二個第一鏡頭1022擷取有關該隨機圖案或該結構光的複數個影像，其中該至少一紅外線光源是根據影像裝置100所處環境的亮度、對應該複數個影像的深度資訊的品質和該深度資訊對應該至少一紅外線光源開啟與關閉時的差異的其中至少一項開啟。另外，本發明並不受限於第一影像擷取器102包含至少一紅外線光源，也就是說第一影像擷取器102可包含其他形式的光源。例如，第一影像擷取器102可包含至少一可見光源。或者，在本發明的其他實施例中，第一影像擷取器102也可包含至少一紅外線雷射光源。
當該至少一紅外線光源是根據影像裝置100所處環境的亮度開啟時，第一影像擷取器102(或第二影像擷取器104，或手持式裝置108的影像擷取器)可根據其目前所設定的一快門時間、一曝光時間和一ISO感亮度(增益)的其中至少一項，判斷影像裝置100所處環境的亮度。以該曝光時間為例，在本發明的一實施例中，當第一影像擷取器102的快門時間固定(或無快門)時, 第一影像擷取器102可根據式(1)所產生的值GEX，決定是否開啟該至少一紅外線光源：
GEX = gain * EXPT (1)
其中gain為對應第一影像擷取器102的增益以及EXPT為對應第一影像擷取器102的曝光時間。當值GEX大於一高臨界值時，意味著影像裝置100所處環境的亮度太暗，所以第一影像擷取器102開啟該至少一紅外線光源；當值GEX小於一低臨界值時，意味著影像裝置100所處環境的亮度夠亮，所以第一影像擷取器102關閉該至少一紅外線光源，其中該高臨界值大於該低臨界值。另外，當值GEX的一最大值(對應第一影像擷取器102的最大曝光時間與最大增益)都無法大於該高臨界值時，第一影像擷取器102會根據影像裝置100所處環境的目前亮度，開啟該至少一紅外線光源。
當該至少一紅外線光源是根據對應該複數個影像的深度資訊的品質開啟時，第一影像擷取器102可根據對應該複數個影像的深度資訊的無效區(invalid area)和對應該複數個影像的深度資訊的平滑度的其中至少一項，判斷對應該複數個影像的深度資訊的品質。例如，在本發明的一實施例中，第一影像擷取器102可根據式(2)所產生的成本值COST，決定是否開啟該至少一紅外線光源：
COST = a * mean(HPF(x)) + b * invalid_cnt(x) (2)
其中HPF(x)為對應一高通濾波器的回應(該複數個影像的深度資訊的平滑度是有關該複數個影像的深度資訊的高頻區域)，mean(HPF(x))為對應該高通濾波器的回應的平均值(但在本發明的另一實施例中，mean(HPF(x))可被對應該高通濾波器的回應的總和取代)，invalid_cnt(x)為該無效區的像數數目，x為對應該複數個影像的深度資訊，以及a、b為係數。當成本值COST大於一臨界值時，意味著影像裝置100所處環境的亮度太暗或是該複數個影像中的被攝物件無紋理，所以第一影像擷取器102開啟該至少一紅外線光源。另外，在該至少一紅外線光源開啟一預定時間後，第一影像擷取器102可嘗試關閉該至少一紅外線光源並擷取至少一影像，然後第一影像擷取器102計算出對應該至少一影像的成本值。如果對應該至少一影像的成本值仍然大於該臨界值，則第一影像擷取器102重新開啟該至少一紅外線光源直到該預定時間後再次重複上述動作；如果對應該至少一影像的成本值小於該臨界值，則第一影像擷取器102關閉該至少一紅外線光源直到對應該至少一影像的成本值再次大於該臨界值。
另外，第一影像擷取器102可開啟與關閉該至少一紅外線光源，並根據該深度資訊對應該至少一紅外線光源開啟與關閉時的差異，判斷該深度資訊的品質。如果該深度資訊對應該至少一紅外線光源開啟與關閉時的差異小於一參考值，意味著該至少一紅外線光源的開啟與關閉並不會影響該深度資訊的品質，所以第一影像擷取器102可關閉該至少一紅外線光源。
另外，當該至少一紅外線光源開啟後，第一影像擷取器102可根據對應該複數個影像的亮度和一目標值被選擇性地調整該至少一紅外線光源的強度，其中該目標值是根據一人體皮膚對該至少一紅外線光源的發射光的反射係數而設定。例如第一影像擷取器102可根據該複數個影像產生對應該複數個影像的亮度分佈圖，以及根據該亮度分佈圖中大於該目標值的至少一亮度值中的最大亮度值所在的面積占該深度資訊的百分比，選擇性地調整該至少一紅外線光源的強度。另外，在本發明的另一實施例中，第一影像擷取器102是根據該複數個影像產生對應該複數個影像的平均亮度，以及根據該平均亮度和該目標值，選擇性地調整該至少一紅外線光源的強度。另外，在本發明的另一實施例中，第一影像擷取器102是根據該複數個影像產生對應於該複數個影像的複數個像素的亮度長條圖，以及根據該亮度長條圖的中位數和該目標值或該亮度長條圖的四分位元數和該目標值，選擇性地調整該至少一紅外線光源的強度。
另外，在本發明的另一實施例中，當該至少一紅外線光源開啟後，第一影像擷取器102可根據該複數個影像中的至少一預定物件與第一影像擷取器102之間的距離和一第一查閱表，選擇性地動態調整該至少一紅外線光源的強度，其中該第一查閱表儲存物件距離與該至少一紅外線光源的強度之間的關係。另外，在本發明的另一實施例中，第一影像擷取器102是根據該複數個影像中的至少一預定物件與第一影像擷取器102之間的距離和一第一相關公式，選擇性地動態調整該至少一紅外線光源的強度。
另外，在本發明的另一實施例中，第一影像擷取器102一直偵測在該至少一紅外線光源關閉的情況下影像裝置100所處環境的亮度，當該環境的亮度越亮時，則根據一第二查閱表增加該至少一紅外線光源開啟時的強度，其中該第二查閱表儲存該至少一紅外線光源開啟時的強度與該環境的亮度之間的關係。另外，在本發明的另一實施例中，當該環境的亮度越亮時，第一影像擷取器102是根據一第二相關公式增加該至少一紅外線光源開啟時的強度。
另外，在本發明的另一實施例中，第一影像擷取器102先關閉該至少一紅外線光源後，偵測該環境的亮度。然後根據本發明領域具有熟知技藝者所熟知的自動曝光(AE)演算法，利用第一影像擷取器102的曝光時間(或快門時間、曝光時間和ISO感亮度(增益)的其中至少一項)將該環境的亮度降低至不會干擾第一影像擷取器102，並固定當下的第一影像擷取器102的曝光時間。然後第一影像擷取器102開啟該至少一紅外線光源並偵測該至少一紅外線光源的強度到一目標值。
另外，手持式裝置108可通過該充電連接器和傳輸電路1024驅動第一影像擷取器102，也就是說手持式裝置108可通過該充電連接器和傳輸電路1024傳送電能以驅動第一影像擷取器102。但在本發明的另一實施例中，第一影像擷取器102可由一外部電源供應器(非手持式裝置108)驅動，其中該外部電源供應器可為一有線外部電源供應器或一無線外部電源供應器。
另外，當該第一傳輸介面為一非C型通用序列匯流排介面或一顯示埠介面且手持式裝置108的前方是背對著該使用者時，第一影像擷取器102可利用二個第一鏡頭1022朝手持式裝置108的前方擷取有關該使用者所面對的環境的複數個影像。然後，第一影像擷取器102可通過傳輸電路1024傳送有關該使用者所面對的環境的複數個影像至影像處理器106，以及影像處理器106即可根據有關該使用者所面對的環境的複數個影像，產生有關該使用者所面對的環境的深度資訊。
另外，請參照第3圖，第3圖是說明當手持式裝置108的充電連接器是適用於一非C型通用序列匯流排介面或一顯示埠介面時，第二影像擷取器104耦接手持式裝置108的示意圖，其中第二影像擷取器104是通過手持式裝置108的外殼上的充電連接器(未繪示於第3圖)耦接手持式裝置108。雖然手持式裝置108的充電連接器是適用於一非C型通用序列匯流排介面或一顯示埠介面，但因為二個第二鏡頭1042是背對背設置在第二影像擷取器104內，所以第二影像擷取器104可利用二個第二鏡頭1042分別朝手持式裝置108的前方(front side)和後方(rear side，其中手持式裝置108的後方對應手持式裝置108的背面)擷取複數個第二影像。例如第二影像擷取器104可利用二個第二鏡頭1042分別朝手持式裝置108的前方和後方擷取有關手持式裝置108的所處環境的複數個影像。此外，在本發明的另一實施例中，第二影像擷取器104也可利用二個第二鏡頭1042分別朝手持式裝置108的其他方向來擷取複數個第二影像。換句話說，依照設計需求，本發明可使第二影像擷取器104中的二個第二鏡頭1042朝任意方向(world side)擷取複數個第二影像，而不僅限制於朝向特定方向。在第二影像擷取器104利用二個第二鏡頭1042擷取有關手持式裝置108的所處環境的複數個影像後，第二影像擷取器104可通過手持式裝置108的外殼上的充電連接器傳送有關手持式裝置108的所處環境的複數個影像至手持式裝置108內的影像處理器106，以及影像處理器106可根據有關手持式裝置108的所處環境的複數個影像，產生有關手持式裝置108的所處環境的360o 全景影像或360o 全景視訊，其中該360o 全景影像和該360o 全景視訊包含有關手持式裝置108的所處環境的色彩資訊。另外，在本發明的另一實施例中，手持式裝置108的影像處理器106是利用第二影像擷取器104所擷取的有關手持式裝置108的所處環境的複數個影像，執行一物體移動偵測。另外，當影像處理器106執行該物體移動偵測時，影像處理器106可繼續(或可停止)利用第二影像擷取器104所擷取的有關手持式裝置108的所處環境的複數個影像產生有關手持式裝置108的所處環境的360o 全景影像或360o 全景視訊。另外，手持式裝置108可通過該充電連接器驅動第二影像擷取器104，也就是說手持式裝置108可通過該充電連接器傳送電能以驅動第二影像擷取器104。但在本發明的另一實施例中，第二影像擷取器104可由該外部電源供應器(非手持式裝置108)驅動。另外，在本發明的另一實施例中，手持式裝置108的影像處理器106可利用內建於手持式裝置108的影像擷取器(未繪示於第3圖)所擷取的有關手持式裝置108的所處環境的複數個影像，執行該物體移動偵測。
另外，在本發明的另一實施例中，當第二影像擷取器104耦接手持式裝置108，且手持式裝置108的充電連接器是適用於一C型通用序列匯流排介面或一閃電介面時，第二影像擷取器104和手持式裝置108的耦接關係可參照第3圖，在此不再贅述。另外，當第二影像擷取器104耦接手持式裝置108，且手持式裝置108的充電連接器是適用於一C型通用序列匯流排介面或一閃電介面時，第二影像擷取器104和手持式裝置108的操作原理可參照第3圖的相關說明，在此也不再贅述。
請參照第4圖，第4圖是說明當該第一傳輸介面為一C型通用序列匯流排介面或一閃電介面時，第一影像擷取器102耦接手持式裝置108的示意圖，其中第一影像擷取器102是通過傳輸電路1024和手持式裝置108的外殼上的充電連接器(未繪示於第4圖)耦接手持式裝置108，且該充電連接器適用於一C型通用序列匯流排介面或一閃電介面。因為該第一傳輸介面為一C型通用序列匯流排介面或一閃電介面，所以第一影像擷取器102耦接手持式裝置108時，第一影像擷取器102的正面和手持式裝置108的正面可朝不同方向或朝同一方向(也就是說此時手持式裝置108的外殼上的充電連接器不會限制第一影像擷取器102的正面和手持式裝置108的正面朝同一方向)。例如，如第4圖所示，第一影像擷取器102的背面和手持式裝置108的正面朝同一方向。因此，如第4圖所示，第一影像擷取器102便可利用二個第一鏡頭1022朝手持式裝置108的後方(對應手持式裝置108的背面)擷取有關該使用者所面對的環境的複數個影像。在第一影像擷取器102通過傳輸電路1024傳送有關該使用者所面對的環境的複數個影像至手持式裝置108內的影像處理器106後，影像處理器106即可根據有關該使用者所面對的環境的複數個影像，產生有關該使用者所面對的環境的深度資訊。因此，例如影像處理器106便可利用有關該使用者所面對的環境(包含至少一人臉，其中該至少一人臉非該使用者的臉)的深度資訊執行該人臉辨識操作。但在本發明的另一實施例中，影像處理器106是利用有關該使用者所面對的環境的深度資訊產生有關該使用者所面對的環境的立體影像。
請參照第5圖，第5圖是說明當該第一傳輸介面為一非C型通用序列匯流排介面或一顯示埠介面時，第一影像擷取器102耦接手持式裝置108以及第二影像擷取器104通過第一影像擷取器102(傳輸電路1024)耦接手持式裝置108的示意圖。如第5圖所示，第一影像擷取器102的操作原理可參照第2圖的相關說明，在此不再贅述。另外，第二影像擷取器104的操作原理可參照第3圖的相關說明，在此也不再贅述。另外，第5圖所示的第一影像擷取器102、第二影像擷取器104和手持式裝置108之間的耦接關係可參照第1圖，在此也不再贅述。因此，如第5圖所示，第一影像擷取器102和手持式裝置108可執行對應該使用者的人臉辨識操作或產生有關該使用者所面對的環境的深度資訊，以及第二影像擷取器104和手持式裝置108可產生有關手持式裝置108的所處環境的360o 全景影像或360o 全景視訊。另外，在本發明的另一實施例中，影像處理器106是包含在影像裝置100中，且第一影像擷取器102、第二影像擷取器104和影像處理器106為互相獨立的硬體。因此，第一影像擷取器102和影像處理器106可執行對應該使用者的人臉辨識操作或產生有關該使用者所面對的環境的深度資訊，以及第二影像擷取器104和影像處理器106可產生有關手持式裝置108的所處環境的360o 全景影像或360o 全景視訊。另外，在本發明的另一實施例中，影像處理器106是包含在第一影像擷取器102中，其中第一影像擷取器102、第二影像擷取器104和影像處理器106的操作原理可參照上述說明，在此不再贅述。
另外，在本發明的另一實施例中，如第5圖所示，影像處理器106是利用第二影像擷取器104所擷取的有關手持式裝置108的所處環境的複數個影像，執行該物體移動偵測。另外，如第5圖所示，傳輸電路1024是通過一分時多工(time-division)的方式，傳送第一影像擷取器102所擷取的影像和第二影像擷取器104所擷取的影像至影像處理器106。另外，如第5圖所示，手持式裝置108可通過該充電連接器和傳輸電路1024利用該分時多工的方式驅動第一影像擷取器102以及第二影像擷取器104。但在本發明的另一實施例中，第一影像擷取器102和第二影像擷取器104可由該外部電源供應器驅動。另外，在本發明的另一實施例中，第一影像擷取器102由該外部電源供應器驅動，以及該外部電源供應器另通過第一影像擷取器102(傳輸電路1024)驅動第二影像擷取器104。
請參照第6圖，第6圖是說明當該第一傳輸介面為一C型通用序列匯流排介面或一閃電介面時，第一影像擷取器102耦接手持式裝置108以及第二影像擷取器104通過第一影像擷取器102耦接手持式裝置108的示意圖，其中第一影像擷取器102的操作原理可參照第2圖的相關說明，在此不再贅述。另外，第二影像擷取器104的操作原理可參照第3圖的相關說明，在此也不再贅述。另外，第6圖所示的第一影像擷取器102、第二影像擷取器104和手持式裝置108之間的耦接關係可參照第1圖，在此也不再贅述。因此，如第6圖所示，第一影像擷取器102和手持式裝置108可產生有關該使用者所面對的環境的深度資訊，以及第二影像擷取器104和手持式裝置108可產生有關手持式裝置108的所處環境的360o 全景影像或360o 全景視訊。另外，在本發明的另一實施例中，如第6圖所示，影像處理器106是利用第二影像擷取器104所擷取的有關手持式裝置108的所處環境的複數個影像，執行該物體移動偵測。另外，當該第一傳輸介面為一C型通用序列匯流排介面或一閃電介面時，該第一傳輸介面可提供至少二通道(channel)給第一影像擷取器102和第二影像擷取器104以使第一影像擷取器102和第二影像擷取器104與手持式裝置108溝通。例如在本發明的一實施例中，該第一傳輸介面提供該至少二通道中的第一通道(例如TX1/RX1)給第一影像擷取器102以使第一影像擷取器102與手持式裝置108溝通，以及提供該至少二通道中的第二通道(例如TX2/RX2)給第二影像擷取器104以使第二影像擷取器104與手持式裝置108溝通。另外，在本發明的另一實施例中，該第一傳輸介面同時提供該第一通道和該第二通道以及利用該分時多工的方式以使第一影像擷取器102和第二影像擷取器104選擇該第一通道和該第二通道的其中之一與手持式裝置108溝通。
請參照第7圖，第7圖是本發明的一第二實施例所公開的一種有關深度資訊/全景影像的影像裝置700的示意圖。如第7圖所示，影像裝置700包含第一影像擷取器102和第二影像擷取器104，第一影像擷取器102包含二個第一鏡頭1022和第二影像擷取器104包含二個第二鏡頭1042，且第一影像擷取器102、第二影像擷取器104和傳輸電路1024可以是設置在一電路板上以及一相同外殼中，其中因為二個第二鏡頭1042是背對背設置在第二影像擷取器104內，所以第7圖僅顯示在前方的第二鏡頭1042(在後方的第二鏡頭1042會被遮住)。另外，在本發明的另一實施例中，影像裝置700可包含二個以上的影像擷取器。另外，在本發明的另一實施例中，影像裝置700包含第一影像擷取器102、第二影像擷取器104和影像處理器106。另外，影像裝置700內的第一影像擷取器102的操作原理可參照第2圖的相關說明，在此不再贅述。另外，影像裝置700內的第二影像擷取器104的操作原理可參照第3圖的相關說明，在此也不再贅述。另外，第7圖所示的第一影像擷取器102、第二影像擷取器104和手持式裝置108之間的耦接關係可參照第1圖，在此也不再贅述。
綜上所述，本發明公開有關深度資訊/全景影像的影像裝置及其相關影像系統是利用該第一影像擷取器和該第二影像擷取器分別擷取該複數個第一影像以及該複數個第二影像，以及利用該傳輸電路使該第一影像擷取器和該第二影像擷取器耦接該手持式裝置。然後該影像處理器可分別根據該複數個第一影像產生一深度資訊以及根據該複數個第二影像產生一全景影像或一全景視訊。因此，本發明不僅可利用該全景影像(或該全景視訊)提供虛擬實境(Virtual Reality, VR)、擴增實境(Augmented Reality, AR)或混合實境(Mixed Reality, MR)的應用，也可利用該深度資訊提供人臉辨識操作。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100、700‧‧‧影像裝置
102‧‧‧第一影像擷取器
104‧‧‧第二影像擷取器
106‧‧‧影像處理器
108‧‧‧手持式裝置
1022‧‧‧第一鏡頭
1042‧‧‧第二鏡頭
1024‧‧‧傳輸電路
第1圖是本發明的一第一實施例所公開的一種有關深度資訊/全景影像的影像裝置的示意圖。 第2圖是說明當該第一傳輸介面為一非C型通用序列匯流排介面或一顯示埠介面時，第一影像擷取器耦接手持式裝置的示意圖。 第3圖是說明當手持式裝置的充電連接器是適用於一非C型通用序列匯流排介面或一顯示埠介面時，第二影像擷取器耦接手持式裝置的示意圖。 第4圖是說明當該第一傳輸介面為一C型通用序列匯流排介面或一閃電介面時，第一影像擷取器耦接手持式裝置的示意圖。 第5圖是說明當該第一傳輸介面為一非C型通用序列匯流排介面或一顯示埠介面時，第一影像擷取器耦接手持式裝置以及第二影像擷取器通過第一影像擷取器耦接手持式裝置的示意圖。 第6圖是說明當該第一傳輸介面為一C型通用序列匯流排介面或一閃電介面時，第一影像擷取器耦接手持式裝置以及第二影像擷取器通過第一影像擷取器耦接手持式裝置的示意圖。 第7圖是本發明的一第二實施例所公開的一種有關深度資訊/全景影像的影像裝置的示意圖。

Claims (19)

  1. 一種有關深度資訊/全景影像的影像裝置，包含: 至少二影像擷取器，其中該至少二影像擷取器中的第一影像擷取器和第二影像擷取器是分別擷取複數個第一影像以及複數個第二影像； 其中該第一影像擷取器傳送該複數個第一影像至一影像處理器，該第二影像擷取器通過該第一影像擷取器傳送該複數個第二影像至該影像處理器，以及該影像處理器根據該複數個第一影像產生一深度資訊和根據該複數個第二影像產生一全景影像或一全景視訊。
  2. 如請求項1所述的影像裝置，其中該第一影像擷取器包含至少二第一鏡頭和該第二影像擷取器包含至少二第二鏡頭，且該第一影像擷取器和該第二影像擷取器是設置在一電路板上以及一相同外殼中。
  3. 如請求項2所述的影像裝置，其中該第一影像擷取器通過一傳輸電路傳送該複數個第一影像至該影像處理器，以及該第二影像擷取器通過該傳輸電路傳送該複數個第二影像至該影像處理器，其中該傳輸電路是設置在該電路板上。
  4. 如請求項1所述的影像裝置，其中該第一影像擷取器包含至少二第一鏡頭和該第二影像擷取器包含至少二第二鏡頭，且該第一影像擷取器和該第二影像擷取器為互相獨立的擷取器。
  5. 如請求項4所述的影像裝置，其中該第一影像擷取器直接通過一傳輸電路傳送該複數個第一影像至該影像處理器，該第二影像擷取器是通過該傳輸電路傳送該複數個第一影像至該影像處理器，其中該傳輸電路是包含在該第一影像擷取器中。
  6. 如請求項3或5所述的影像裝置，其中該傳輸電路是一集線器或一切換器。
  7. 如請求項3或5所述的影像裝置，其中該傳輸電路包含至少一非C型通用序列匯流排介面，至少一C型通用序列匯流排介面，一閃電介面，或一顯示埠介面。
  8. 如請求項1所述的影像裝置，其中當該影像處理器另利用該複數個第二影像執行一移動偵測時，該影像處理器停止產生該全景影像或該全景視訊。
  9. 如請求項1所述的影像裝置，其中該影像處理器是設置在一手持式裝置或設置在該第一影像擷取器中。
  10. 如請求項9所述的影像裝置，其中該影像處理器是利用該手持式裝置內建的一影像擷取器所擷取的複數個第三影像執行一移動偵測。
  11. 一種產生深度資訊/全景影像的影像系統，包含： 至少二影像擷取器，其中該至少二影像擷取器中的第一影像擷取器和第二影像擷取器是分別擷取複數個第一影像以及複數個第二影像，其中該第一影像擷取器和該第二影像擷取器是可拆式的；及 一影像處理器，耦接該第一影像擷取器和該第二影像擷取器，且該影像處理器分別根據該複數個第一影像產生一深度資訊以及根據該複數個第二影像產生一全景影像或一全景視訊。
  12. 如請求項11所述的影像系統，其中該第一影像擷取器包含至少二第一鏡頭和該第二影像擷取器包含至少二第二鏡頭，且該第一影像擷取器和該第二影像擷取器是整合在一電路板上以及一相同外殼中。
  13. 如請求項11所述的影像系統，其中該第一影像擷取器包含至少二第一鏡頭和該第二影像擷取器包含至少二第二鏡頭，且該第一影像擷取器和該第二影像擷取器為互相獨立的擷取器。
  14. 如請求項11所述的影像系統，其中該影像處理器是設置在一手持式裝置。
  15. 一種有關深度資訊/全景影像的影像裝置，包含： 至少一第一影像擷取器；以及 至少一光源，用於發射一隨機圖案或一結構光，且該至少一光源的強度可選擇性地動態調整，其中該至少一第一影像擷取器是用於擷取包含該隨機圖案或該結構光的影像。
  16. 如請求項15所述的影像裝置，其中該至少一光源是根據該影像裝置所處環境的亮度、該深度資訊的品質和該深度資訊對應該至少一光源開啟與關閉時的差異的其中至少一項開啟。
  17. 如請求項16所述的影像裝置，其中當該至少一光源開啟後，該至少一光源的強度是根據對應該複數個第一影像的亮度和一目標值選擇性地動態調整。
  18. 如請求項15所述的影像裝置，其中該至少一光源的強度是根據包含該隨機圖案或該結構光的影像中的至少一物件與該影像裝置之間的距離，選擇性地動態調整。
  19. 如請求項15所述的影像裝置，其中該至少一光源的強度是根據該影像裝置所處環境的亮度，選擇性地動態調整。
TW107109930A 2017-03-31 2018-03-23 有關深度資訊/全景影像的影像裝置及其相關影像系統 TWI660231B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762479332P 2017-03-31 2017-03-31
US62/479,332 2017-03-31

Publications (2)

Publication Number Publication Date
TW201837595A true TW201837595A (zh) 2018-10-16
TWI660231B TWI660231B (zh) 2019-05-21

Family

ID=63671067

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107109930A TWI660231B (zh) 2017-03-31 2018-03-23 有關深度資訊/全景影像的影像裝置及其相關影像系統

Country Status (3)

Country Link
US (1) US11102401B2 (zh)
CN (1) CN108696694B (zh)
TW (1) TWI660231B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670407A (zh) * 2018-11-26 2019-04-23 维沃移动通信有限公司 一种人脸识别方法及移动终端
CN109982036A (zh) * 2019-02-20 2019-07-05 华为技术有限公司 一种全景视频数据处理的方法、终端以及存储介质
WO2020255824A1 (ja) * 2019-06-17 2020-12-24 株式会社小糸製作所 車載赤外線照明装置
TWI777141B (zh) * 2020-03-06 2022-09-11 技嘉科技股份有限公司 人臉辨識方法以及人臉辨識裝置
TWI756956B (zh) 2020-12-01 2022-03-01 財團法人工業技術研究院 用於環景影像的影像處理方法及裝置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355624A (ja) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 撮影装置
JP2001292085A (ja) * 2000-04-10 2001-10-19 Mitsubishi Electric Corp 非接触伝送装置
JP4061473B2 (ja) * 2002-04-26 2008-03-19 日本電気株式会社 折り畳み型携帯電話機
KR101411346B1 (ko) * 2004-07-14 2014-06-25 아사히 가세이 이-매터리얼즈 가부시키가이샤 감광성 조성물, 패턴형성재료, 감광성 적층체, 및 패턴형성장치 및 패턴형성방법
JP4448844B2 (ja) * 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US20100194860A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
US8922625B2 (en) * 2009-11-19 2014-12-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP5532297B2 (ja) * 2009-12-18 2014-06-25 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
TWI405030B (zh) * 2011-02-23 2013-08-11 Largan Precision Co Ltd 轉變成像軸線立體取像方法及裝置
JP5893262B2 (ja) * 2011-04-19 2016-03-23 株式会社ザクティ 複合カメラ装置
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9324190B2 (en) * 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
TWI446089B (zh) * 2012-04-24 2014-07-21 Wistron Corp 鏡頭擴充座
JP5828039B2 (ja) * 2012-06-11 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US9692966B2 (en) * 2012-06-11 2017-06-27 Sony Corporation Image capturing device and image capturing method
US9699379B1 (en) * 2012-09-17 2017-07-04 Amazon Technologies, Inc. Camera arrangements for wide-angle imaging
US9332167B1 (en) * 2012-11-20 2016-05-03 Amazon Technologies, Inc. Multi-directional camera module for an electronic device
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
TWI538512B (zh) * 2013-06-27 2016-06-11 聚晶半導體股份有限公司 調整對焦位置的方法及電子裝置
JP5541430B1 (ja) * 2013-08-19 2014-07-09 ソニー株式会社 撮像ユニット、装着装置
US20150085184A1 (en) * 2013-09-25 2015-03-26 Joel Vidal Smartphone and tablet having a side-panel camera
US20150103146A1 (en) * 2013-10-16 2015-04-16 Qualcomm Incorporated Conversion of at least one non-stereo camera into a stereo camera
US8730299B1 (en) * 2013-11-27 2014-05-20 Dmitry Kozko Surround image mode for multi-lens mobile devices
KR102277309B1 (ko) * 2014-01-29 2021-07-14 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
KR102249831B1 (ko) * 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
US9420177B2 (en) * 2014-10-10 2016-08-16 IEC Infrared Systems LLC Panoramic view imaging system with laser range finding and blind spot detection
TWI514065B (zh) * 2014-11-07 2015-12-21 Papago Inc 360 degree road traffic recorder
CN104408732B (zh) * 2014-12-10 2017-07-28 东北大学 一种基于全向结构光的大视场深度测量系统及方法
WO2016120887A1 (en) * 2015-01-27 2016-08-04 Muthukumar Prasad Autonomous mobility, orientation and rotation providing mechanism for mobile devices [amorpm].
US10178374B2 (en) * 2015-04-03 2019-01-08 Microsoft Technology Licensing, Llc Depth imaging of a surrounding environment
WO2016182502A1 (en) * 2015-05-14 2016-11-17 Medha Dharmatilleke Multi purpose mobile device case/cover integrated with a camera system & non electrical 3d/multiple video & still frame viewer for 3d and/or 2d high quality videography, photography and selfie recording
TWI558208B (zh) * 2015-07-14 2016-11-11 旺玖科技股份有限公司 影像處理方法、影像處理裝置及顯示系統
US9892488B1 (en) * 2015-08-28 2018-02-13 Amazon Technologies, Inc. Multi-camera frame stitching
US20170150112A1 (en) * 2015-11-25 2017-05-25 Google Inc. Methodologies for Mobile Camera Color Management
CN205430338U (zh) * 2016-03-11 2016-08-03 依法儿环球有限公司 带vr内容采集组件的智能手机或便携式电子通讯装置
CN105890520A (zh) * 2016-04-20 2016-08-24 感知控股集团有限公司 一种结构光发生装置及结构光测量系统
TWM533238U (en) * 2016-07-18 2016-12-01 Suyin Optronics Corp 360 degree panoramic camera module and apparatus

Also Published As

Publication number Publication date
CN108696694A (zh) 2018-10-23
CN108696694B (zh) 2023-04-07
US20180288324A1 (en) 2018-10-04
TWI660231B (zh) 2019-05-21
US11102401B2 (en) 2021-08-24

Similar Documents

Publication Publication Date Title
CN108696694B (zh) 有关深度信息/全景图像的图像装置及其相关图像系统
US8581966B2 (en) Tracking-enhanced three-dimensional display method and system
AU2014254219B2 (en) Active stereo with satellite device or devices
EP3134850A2 (en) System and method for controlling a camera based on processing an image captured by other camera
CN106101687B (zh) Vr图像拍摄装置及其基于移动终端的vr图像拍摄系统
US11582391B2 (en) Electronic device capable of controlling image display effect, and method for displaying image
US20190188914A1 (en) Terminal device, system, program, and method
KR20200117695A (ko) 외부 전자 장치를 이용하여 카메라를 제어하는 전자 장치 및 방법
TW202117384A (zh) 提供滑動變焦效果的方法以及電子裝置
KR20200067027A (ko) 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
KR20200094500A (ko) 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법
US10447998B2 (en) Power efficient long range depth sensing
US10082672B2 (en) Display apparatus and method of displaying using electromechanical faceplate
TWI634348B (zh) 具熱顯像功能的穿戴式裝置
GB2546273A (en) Detection system
CN207529033U (zh) 可热显像的穿戴式装置
CN115623338B (zh) 一种图像处理方法和电子设备
US11562496B2 (en) Depth image processing method, depth image processing apparatus and electronic device
WO2023040754A1 (zh) 一种图像补光方法及电子设备
TW201837536A (zh) 一種具夜視功能之虛擬實境影像之顯示之方法及其系統
CN212486589U (zh) 摄像装置
CN109246345B (zh) 美瞳拍摄方法、装置、存储介质及移动终端
US20240089605A1 (en) Head-Mounted Device with Spatially Aware Camera Adjustments
KR102490789B1 (ko) 움직임 변화량에 기반하여 영상 제공 방식을 변경하는 전자 장치 및 방법
CN116709003A (zh) 一种图像处理方法和电子设备