TW202022321A - 三維影像處理方法、攝影裝置及非暫態電腦可讀取儲存媒體 - Google Patents

三維影像處理方法、攝影裝置及非暫態電腦可讀取儲存媒體 Download PDF

Info

Publication number
TW202022321A
TW202022321A TW108142199A TW108142199A TW202022321A TW 202022321 A TW202022321 A TW 202022321A TW 108142199 A TW108142199 A TW 108142199A TW 108142199 A TW108142199 A TW 108142199A TW 202022321 A TW202022321 A TW 202022321A
Authority
TW
Taiwan
Prior art keywords
image
electronic device
objects
camera
depth information
Prior art date
Application number
TW108142199A
Other languages
English (en)
Other versions
TWI781357B (zh
Inventor
李經豪
何家駒
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202022321A publication Critical patent/TW202022321A/zh
Application granted granted Critical
Publication of TWI781357B publication Critical patent/TWI781357B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Prostheses (AREA)

Abstract

一種三維影像處理方法包括:藉由攝影裝置利用第一攝影機擷取第一影像和利用第二攝影機擷取第二影像;藉由攝影裝置傳送第一影像至電子裝置;藉由攝影裝置基於第二影像的深度資訊傳送第二影像中的一或多個物件影像至電子裝置;以及藉由電子裝置透過結合一或多個物件影像和第一影像重建第三影像。

Description

三維影像處理方法、攝影裝置及非暫態電 腦可讀取儲存媒體
本揭露內容係關於一種電子裝置和影像處理方法,且特別係關於應用視差效應的三維影像處理方法。
在一些三維影音串流應用中,用戶從兩隻眼睛相應地接收兩個不同的影像。由於視差效應,用戶可感覺到影像中的物件之距離/深度不同,因此實現了三維效果。
本揭露內容之一態樣係關於一種三維影像處理方法。根據本揭露內容的一些實施例,三維影像處理方法包括:藉由攝影裝置利用第一攝影機擷取第一影像和利用第二攝影機擷取第二影像;藉由攝影裝置傳送第一影像至電子裝置;藉由攝影裝置基於第二影像的深度資訊傳送第二影像中的一或多個物件影像至電子裝置;以及藉由電子裝置透過結合一或多個物件影像和第一影像重建第三影像。
本揭露內容之另一態樣係關於一種攝影裝置。根據本揭露內容的一些實施例,攝影裝置包括第一攝影機、第二攝影機、處理電路、通訊電路、記憶體、以及一或多個程式。處理電路電性連接至第一攝影機和第二攝影機。通訊電路電性連接至處理電路且用以讓攝影裝置與電子裝置進行通訊。記憶體電性連接至處理電路。一或多個程式儲存在記憶體中且用以由處理電路執行。一或多個程式包括指令用於控制第一攝影機擷取第一影像並控制第二攝影機擷取第二影像、控制通訊電路傳送第一影像至電子裝置、以及控制通訊電路基於第二影像的深度資訊傳送第二影像中的一或多個物件影像至電子裝置。第三影像藉由電子裝置透過結合一或多個物件影像和第一影像重建。
本揭露內容之另一態樣係關於一種非暫態電腦可讀取儲存媒體。根據本揭露內容的一些實施例,非暫態電腦可讀取儲存媒體,用以儲存包含複數指令的一或多個程式,當執行所述指令時,將致使處理電路執行複數操作包括:控制第一攝影機擷取第一影像並控制第二攝影機擷取第二影像、控制通訊電路傳送第一影像至電子裝置、以及控制通訊電路基於第二影像的深度資訊傳送第二影像中的一或多個物件影像至電子裝置。第三影像係藉由電子裝置結合一或多個物件影像和第一影像重建。
以上所述僅係用以闡述本發明所欲解決的問題、解決問題的技術手段、及其產生的功效等等,本發明之具體細節將在下文的實施方式及相關圖式中詳細介紹。
100‧‧‧攝影裝置
110、210‧‧‧處理電路
120、220‧‧‧記憶體
130、330‧‧‧通訊電路
140、150‧‧‧攝影機
160‧‧‧發光單元
170‧‧‧影像感測器
200‧‧‧電子裝置
240、250‧‧‧螢幕
900‧‧‧三維影像處理方法
S1~S5、S31~S33‧‧‧操作
IMG1‧‧‧第一影像
IMG2‧‧‧第二影像
IMGa、IMGb、IMGc‧‧‧物件影像
PR1、PR2‧‧‧程式
OB1~OB5‧‧‧物件
D1~D5‧‧‧距離
L1~L3‧‧‧光
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:
第1圖係根據本揭露內容的一些實施例繪示之介於攝影裝置和電子裝置之間的通訊情境的示意方塊圖。
第2圖係根據本揭露內容的一些實施例繪示之三維影像處理方法的流程圖。
第3A圖和第3B圖係根據本揭露內容的一些實施例繪示之第一影像和第二影像的示意圖。
第3C圖係根據本揭露內容的一些實施例繪示之第一影像和第二影像的場景的示意圖。
第4圖係根據本揭露內容的一些實施例繪示之詳細的操作的流程圖。
第5A圖~第5C圖係繪示應用了相應的方法以獲得第二影像的深度資訊之三維影像處理方法的操作示意圖。
以下將以圖式及詳細敘述清楚說明本揭露內容之精神,任何所屬技術領域中具有通常知識者在瞭解本揭露內容之實施例後,當可由本揭露內容所教示之技術,加以改變及修飾,其並不脫離本揭露內容之精神與範圍。下述說明中相同元件將以相同之符號標示來進行說明以便於理解。
關於本文中所使用之『電性連接』,可指二或多 個元件相互直接作實體或電性接觸,或是相互間接作實體或電性接觸。相反地,若使用「直接電性連接」,則指二或多個元件間相互直接作實體或電性接觸,中間不存在其他任何元件。此外,『電性連接』還可指二或多個元件相互之間操作或關係。
關於本文中所使用之『第一』、『第二』、...等,並非特別指稱次序或順位的意思,亦非用以限定本發明,其僅為了區別以相同技術用語描述的元件。
關於本文中所使用之『包含』、『包括』、『具有』、『含有』等等,均為開放性的用語,即意指包含但不限於。
關於本文中所使用之『及/或』,係包括所述事物的任一或全部組合。
關於本文中所使用之方向用語,例如:上、下、左、右、前或後等,僅是參考附加圖式的方向。因此,使用的方向用語是用來說明並非用來限制本案。
關於本文中使用之所有用詞(包含技術和科學用語),除有特別註明外,與所屬領域的具有通常知識者之通常理解含義相同。此外,如有出現在常用字典中定義的用語,除在本揭露中特別定義外,應就相關技術領域以及上下文中之意義進行理解,而非將其理解為過度正式的涵義。
請參考第1圖。第1圖係根據本揭露內容的一些實施例繪示之介於攝影裝置100和電子裝置200之間的通訊情境的示意方塊圖。攝影裝置100可用以利用攝影機140擷取一或多個第一影像IMG1,或利用攝影機150擷取一或多個第二影 像IMG2。從具有不同視角的不同鏡頭取得的多個影像可壓縮及傳送並顯示在電子裝置200的不同螢幕240和250上。由於螢幕240和250分別對應於用戶的兩隻眼睛,因此兩隻眼睛的影像之間的視差效果可為穿戴電子裝置200的用戶帶來三維影像。
舉例來說,在一些實施例中,攝影裝置100可擷取具有2K像素和每秒60幀的第一影像IMG1和第二影像IMG2。由攝影裝置獲得的原始資料大約是每秒36億位元(3.6Gbps),其在十倍壓縮之後,傳送到電子裝置200的資料大約是每秒3.6億位元(360Mbps)。
在一些實施例中,包括兩個顯示區域以同時顯示影像給兩隻眼睛的電子裝置200,可應用於虛擬實境(Virtual Reality,VR)、混合實境(Mixed Reality,MR)或擴增實境(Augmented Reality,AR)系統。舉例來說,電子裝置200可藉由獨立的頭戴式裝置(HMD)或VIVE頭戴式裝置來實現。在一些其它實施例中,電子裝置200亦可以是智慧型手機裝置、平板電腦或是具有無線通訊能力以從攝影裝置100接收影像資料的任一其它可攜式電子裝置。詳細來說,獨立的頭戴式裝置可進行位置和旋轉的定位資料處理、圖形處理或其它資料計算。
如第1圖所示,攝影裝置100和電子裝置200分別包括處理電路110和210、記憶體120和220及通訊電路130和230。攝影裝置100更包括攝影機140和150。電子裝置200更包括螢幕240和250。
一或多個程式PR1和PR2分別儲存在記憶體120和220中,並用以透過處理電路110和210執行,以便執行和控制攝影裝置100和電子裝置200之間的通訊。另外,一或多個程式PR1和PR2用以透過處理電路110和210執行,以便執行三維影像處理方法,其中三維影像處理方法之操作將在以下段落中說明。
在一些實施例中,處理電路110和210可藉由一或多個處理器(諸如中央處理器及/或微處理器)實現,但不以此為限。在一些實施例中,記憶體120和220分別包括一或多個記憶體裝置,其中每一記憶體裝置或多個記憶體裝置之集合包括電腦可讀取儲存媒體。電腦可讀取儲存媒體可包括唯讀記憶體(ROM)、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫、及/或本領域技術人員可輕易思及具有相同功能之任一儲存媒體。
在結構上,記憶體120和220分別電性連接至處理電路110和210。通訊電路130和230分別電性連接至處理電路110和210,並用以讓攝影裝置100與電子裝置200協作地進行通訊。在一些實施例中,通訊電路130和230包括一或多個射頻(Radio Frequency,RF)模組,其符合定義的RF通訊協定(例如Wifi),並用以在兩個裝置之間傳送及/或接收無線電訊號。舉例來說,通訊電路130和230可結合印刷電路板、一或多個傳送或接收電路、一或多個天線單元、及用於與處理電路110和210通訊的串列介面。本領域技術人員可理解如何實現通訊電路130和230,因此為了簡潔起見,在此省略了進一 步的說明。
攝影裝置100和電子裝置200的詳細操作將結合第2圖中所示之實施例來說明。第2圖係根據本揭露內容的一些實施例繪示的三維影像處理方法900的流程圖。值得注意的是,三維影像處理方法900可應用於具有相同或相似於第1圖中所示之攝影裝置100之結構的攝影裝置。為簡便以下的敘述,將根據本揭露內容之部分實施例,以第1圖所示之實施例為示例進行對三維影像處理方法900的說明,然而本揭露內容並不以第1圖的實施例之應用為限。
如第2圖所示,三維影像處理方法900包括操作S1、S2、S3、S4和S5。在操作S1中,處理電路110用以控制攝影機140擷取第一影像IMG1並控制攝影機150擷取第二影像IMG2。
在操作S2中,處理電路110用以控制通訊電路130以傳送第一影像IMG1至電子裝置200。
在操作S3中,處理電路110用以控制通訊電路130基於第二影像IMG2的深度資訊傳送第二影像IMG2中的一或多個物件影像至電子裝置200。
為了更好地理解,請參考第3A圖、第3B圖和第3C圖。第3A圖和第3B圖係根據本揭露內容的一些實施例繪示之第一影像IMG1和第二影像IMG2的示意圖。第3C圖係根據本揭露內容的一些實施例繪示之第一影像IMG1和第二影像IMG2的場景的示意圖。
如第3A圖~第3C圖所示,現實世界中的物件 OB1~OB5被擷取在第一影像IMG1和第二影像IMG2中。由於物件OB1~OB5與攝影裝置100之間的相應距離D1~D5不同,因此沿著兩條不同的視線觀察的物件OB1~OB5的位置之位移或差異在第一影像IMG1和第二影像IMG2中也不同。
具體來說,對於相對近的物件如物件OB1(例如,棕櫚樹)在兩個影像中觀察到的差異大於相對遠的物件如物件OB5(例如,鳥類)在兩個影像中觀察到的差異。另外,在物件遠離攝影裝置100的情況下,在兩個影像中物件的位置之差異很小,因此對於人眼來說可忽略不計。換句話說,不需要傳送完整的第一影像IMG1和第二影像IMG2,因為兩個影像的一部分(例如,背景區域)實質上相同,其該部分的影像之差異可忽略不計。
據此,攝影裝置100可基於第二影像IMG2的深度資訊傳送完整的第一影像IMG1及第二影像IMG2中的一或多個物件影像IMGa、IMGb、IMGc至電子裝置200。因此,僅傳送部分的第二影像IMG2,且可減少進入和經由無線傳輸系統的資料量。換句話說,減少了網路的流通量,並相應地減少了資料傳送的等待時間。攝影裝置100和電子裝置200可因此應用於需要低等待時間的各種應用中,例如直播/即時廣播或其它即時應用。
具體來說,在一些實施例中,攝影裝置100可基於第二影像IMG2的深度資訊辨識第二影像IMG2中的物件OB1~OB5的距離D1~D5,並在物件OB1、OB2和OB3靠近攝影裝置100的情況下傳送相應的物件影像IMGa、IMGb、 IMGc至電子裝置200。
請參考第4圖。第4圖係根據本揭露內容的一些實施例繪示之詳細的操作S3的流程圖。如第4圖所示,操作S3包括操作S31、S32和S33。在操作S31中,處理電路110用以辨識第二影像IMG2中的一或多個物件OB1~OB5或影像區域。
在操作S32中,處理電路110用以透過第二影像IMG2的深度資訊獲得攝影裝置100與一或多個物件OB1~OB5或影像區域之間的相應距離D1~D5。
在操作S33中,當攝影裝置100與一或多個物件OB1~OB3或影像區域之間的相應距離D1、D2和D3小於門檻值時,處理電路110用以控制通訊電路130將一或多個物件OB1~OB3或影像區域作為一或多個物件影像IMGa、IMGb和IMGc傳送至電子裝置200。在一些實施例中,門檻值可配置為大約1.5米,但本揭露內容不限於此。舉例來說,在一些其它實施例中,門檻值可配置為大約10米。門檻值可根據應用的實際要求而決定。舉例來說,對於需要更高的準確度和更多細節的三維效果之應用(例如,三維模型的設計軟體、關於真實飛行體驗的遊戲軟體),門檻值可配置為相對較低,例如0.5米至3米。在另一示例中,對於需要快速響應和高影格率之應用,門檻值可配置為相對較高,例如5米至20米。
因此,對於具有大於門檻值之距離的物件OB4和OB5及場景的背景區域來說,僅傳送第一影像IMG1至電子裝置200。另一方面,對於具有小於門檻值之距離的物件OB1~OB3來說,則提供兩個影像至電子裝置200以產生三維效果。
因此,在操作S4中,電子裝置200的處理電路210可用以透過結合一或多個物件影像IMGa、IMGb和IMGc及第一影像IMG1以重建第三影像IMG3。具體來說,在一些實施例中,處理電路210可用於以一或多個物件影像IMGa、IMGb和IMGc的多個相應像素替換第一影像IMG1中的多個相應像素。
最後,在操作S5中,處理電路210可用以控制螢幕240和250以分別在第一螢幕240和第二螢幕250上顯示第一影像IMG1和第三影像IMG3。因此,穿戴電子裝置200的用戶可藉由視差效果看到三維影像。
在各種實施例中,可藉由不同方法獲得第二影像IMG2的深度資訊。舉例來說,立體視覺、結構光(也稱為光編碼)和飛行時間(ToF)可單獨地或一併地應用在三維影像處理方法900中,以便獲得第二影像IMG2的深度資訊。
請參考第5A圖。第5A圖係繪示應用了立體視覺方法以獲得第二影像IMG2的深度資訊之三維影像處理方法900的操作示意圖。
如第5A圖說明性地所示,立體視覺方法包括比較第一影像IMG1和第二影像IMG2中的複數個相應像素以估算第二影像IMG2的深度資訊。具體來說,如以上段落所述,基於三角視差,相對於更遠的物件/背景,靠近的物件從兩個不同的攝影機140和150觀看起來像是在移動。因此,藉由比較第一影像IMG1和第二影像IMG2中的像素之差異並量測物件OB1~OB5的位置偏移量,可分別計算物件OB1~OB5的距 離。據此,可基於三角演算法來估算深度資訊。
請參考第5B圖。第5B圖係繪示應用了結構光方法以獲得第二影像IMG2的深度資訊之三維影像處理方法900的操作示意圖。
如第5B圖所示,在一些實施例中,攝影裝置100更包括發光單元160和影像感測器170,兩者皆電性連接至處理電路110。舉例來說,發光單元160可藉由紅外線發光二極體(IR LED)模組或紅外線雷射(IR雷射)模組實現。影像感測器170可以由紅外線攝影模組實現。藉由發光單元160和影像感測器170的操作,攝影裝置100可操作為深度攝影機並接收物件OB1~OB5的深度資訊。
在一些實施例中,結構光方法包括以下步驟:藉由發光單元160將具有編碼圖案的光L1投影到一或多個物件OB1~OB5,藉由影像感測器170擷取在一或多個物件上的光編碼,以及比較光編碼與編碼圖案以估算第二影像IMG2的深度資訊。
舉例來說,如第5B圖說明性地所示,發光單元160可用具有波長約700奈米(nm)至約1毫米(mm)的不規則圖案的點的光L1進行投影,投影的光對人類來說是不可見的。此圖案投影至整個空間中和並投影到物件OB1~OB5。在一些實施例中,發光單元160包括繞射光學元件,使得當產生紅外光時,光L1會產生繞射以形成不規則圖案的點。
影像感測器170用以擷取並記錄投影在物件OB1~OB5上的紅外光。在一些實施例中,影像感測器170包括複 數個互補式金屬氧化物版導體(CMOS)感測器用以檢測從物件OB1~OB5反射的紅外光。因此,紅外光的強度可由影像感測器170擷取。
將在擷取的影像中的光編碼與投影光的編碼圖案進行比較,且因物件OB1~OB5的距離使得在投影的圖案和記錄的光編碼之間具有偏移或差異。類似地,藉由應用三角測量方法,可相應地計算物件OB1~OB5的距離和第二影像IMG2的資訊。
請參考第5C圖。第5C圖係繪示應用了飛行時間方法以獲得第二影像IMG2的深度資訊之三維影像處理方法900的操作示意圖。
如第5C圖所示,在一些實施例中,攝影裝置100更包括發光單元160和影像感測器170。類似地,發光單元160可藉由紅外線發光二極體(IR LED)模組或紅外線雷射(IR雷射)模組實現。影像感測器170可藉由紅外線攝影模組實現。藉由發光單元160和影像感測器170的操作,攝影裝置100可操作為深度攝影機並接收物件OB1~OB5的深度資訊。
在一些實施例中,飛行時間方法包括以下步驟:藉由發光單元160將光L2投影到一或多個物件;藉由影像感測器170擷取從物件OB1~OB5反射的光L3;以及藉由影像感測器170量測光從發光單元160至物件OB1~OB5,並返回到影像感測器170的行進時間,以估算第二影像IMG2的深度資訊。
舉例來說,如第5C圖說明性地所示,發光單元160可投影光L2。類似地,在一些實施例中,光L2的波長可在約700 奈米至約1毫米之內,其對於人類來說是不可見的。
影像感測器170用以擷取並記錄從物件OB1~OB5反射的紅外光。在一些實施例中,影像感測器170包括複數個互補式金屬氧化物半導體感測器用以檢測從物件OB1-OB5反射的紅外光L3。具體來說,由於物件OB1~OB5的距離不同,所以從光投影到CMOS感測器接收來自物件OB1~OB5的反射光L3之間的時間延遲是不同的。據此,由於光速是已知值,故可基於光的行進時間(即飛行時間)來估算物件OB1~OB5的距離,並可估算第二影像IMG2的深度資訊。。
鑑於以上所述,可應用各種方法來獲得深度資訊。值得注意的是,上述實施例僅為示例,且未用以限制本揭露內容。
值得注意的是,上述實施例係經簡化以便較佳地理解本揭露內容。值得注意的是,在一些實施例中,電腦實施的三維影像處理方法900亦可以電腦程式實施。當電腦程式係由電腦、電子裝置、或第1圖中的處理電路110所執行時,此執行裝置執行三維影像處理方法900。電腦程式可被儲存於非暫態電腦可讀取儲存媒體,例如唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、快閃碟、隨身碟、磁帶、可由網路讀取之資料庫,或任何本揭露內容所屬技術領域中具通常知識者所能想到具有相同功能的儲存媒體。
另外,應瞭解到,在所提及的三維影像處理方法900的操作,除特別敘明其順序者外,均可依實際需要調整其前後順序,甚至可同時或部分同時執行。
再者,在本揭露內容的不同實施例中,三維影像處理方法900中的操作亦可適應性地增加、置換、及/或省略。
透過以上所述各個實施例之操作,三維影像處理方法係實現以降低網路的流通量,同時為電子裝置200提供足夠的影像資料以重建和顯示給用戶的左眼和右眼之兩個不同影像,以利在需要低傳送延遲(諸如直播/即時廣播或其他即時應用)的應用中實現三維效果。
各種功能性元件和方塊已於此公開。對於本技術領域具通常知識者而言,功能方塊可由電路(不論是專用電路,或是於一或多個處理器及編碼指令控制下操作的通用電路)實現,其一般而言包含用以控制於此描述之相應功能及操作之電路的電晶體或其他電路元件。如將進一步理解地,一般而言電路元件的具體結構與互連,可由編譯器(Compiler),例如暫存器轉移語言(Register Transfer Language,RTL)編譯器決定。暫存器轉移語言編譯器在與組合語言(Assembly Language)代碼相當相似的腳本(script)上進行操作,將腳本編譯為用於最終電路佈局或製作的形式。實際上,暫存器轉移語言以其促進電子和數位系統設計過程中的所扮演的角色和用途而聞名。
雖然本揭露內容已以實施方式揭露如上,然其並非用以限定本揭露內容,任何熟習此技藝者,在不脫離本揭露內容之精神和範圍內,當可作各種更動與潤飾,因此本揭露內容之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧攝影裝置
110、210‧‧‧處理電路
120、220‧‧‧記憶體
130、230‧‧‧通訊電路
140、150‧‧‧攝影機
200‧‧‧電子裝置
240、250‧‧‧螢幕
IMG1‧‧‧第一影像
IMG2‧‧‧第二影像
IMG3‧‧‧第三影像
IMGa、IMGb、IMGc‧‧‧物件影像
PR1、PR2‧‧‧程式

Claims (10)

  1. 一種三維影像處理方法,包括:
    藉由一攝影裝置,利用一第一攝影機擷取一第一影像和利用一第二攝影機擷取一第二影像;
    藉由該攝影裝置傳送該第一影像至一電子裝置;
    藉由該攝影裝置基於該第二影像的一深度資訊將該第二影像中的一或多個物件影像傳送至該電子裝置;以及
    藉由該電子裝置透過結合該一或多個物件影像和該第一影像重建一第三影像。
  2. 如請求項1所述之三維影像處理方法,更包括:
    辨識該第二影像中的一或多個物件或影像區域;
    透過該第二影像的該深度資訊獲得該攝影裝置與該一或多個物件或影像區域之間的複數個相應距離;以及
    當該攝影裝置與該一或多個物件或影像區域之間的該些相應距離小於一門檻值,將該一或多個物件或影像區域作為該一或多個物件影像傳送至該電子裝置。
  3. 如請求項1所述之三維影像處理方法,其中重建該第三影像包括:
    用該一或多個物件影像中的複數個相應像素替換該第一影像中的複數個相應像素。
  4. 如請求項1所述之三維影像處理方法,更包括:應用一立體視覺方法以獲得該第二影像的該深度資訊,且該立體視覺方法包括:
    比較該第一影像和該第二影像中的複數個相應像素,以估算該第二影像的該深度資訊。
  5. 如請求項1所述之三維影像處理方法,更包括:應用一結構光方法以獲得該第二影像的該深度資訊,且該結構光方法包括:
    藉由一發光單元將具有一編碼圖案的光投影到一或多個物件上;
    藉由一影像感測器擷取在該一或多個物件上的一光編碼;以及
    比較該光編碼與該編碼圖案,以估算該第二影像的該深度資訊。
  6. 如請求項1所述之三維影像處理方法,更包括:應用一飛行時間方法以獲得該第二影像的該深度資訊,且該飛行時間方法包括:
    藉由一發光單元將光投影到一或多個物件上;
    藉由一影像感測器擷取從該一或多個物件反射的光;以及
    藉由該影像感測器量測光從該發光單元到該一或多個物件並返回至該影像感測器的一行進時間,以估算該第二影像 的該深度資訊。
  7. 如請求項1所述之三維影像處理方法,更包括:
    藉由該電子裝置分別在一第一螢幕和一第二螢幕上顯示該第一影像和該第三影像。
  8. 一種攝影裝置,包括:
    一第一攝影機;
    一第二攝影機;
    一處理電路,電性連接至該第一攝影機和該第二攝影機;
    一通訊電路,電性連接至該處理電路且用以讓該攝影裝置與一電子裝置進行通訊;
    一記憶體,電性連接至該處理電路;以及
    一或多個程式,其中該一或多個程式儲存在該記憶體中且用以由該處理電路執行,該一或多個程式包括指令用於:
    控制該第一攝影機擷取一第一影像並控制該第二攝影機擷取一第二影像;
    控制該通訊電路傳送該第一影像至該電子裝置;以及
    控制該通訊電路基於該第二影像的一深度資訊將該第二影像中的一或多個物件影像傳送至該電子裝置;其中該電子裝置結合該一或多個物件影像和該第一影像 重建一第三影像。
  9. 如請求項8所述之攝影裝置,其中該一或多個程式更包括指令用於:
    辨識該第二影像中的一或多個物件或影像區域;
    透過該第二影像的該深度資訊獲得該攝影裝置與該一或多個物件或影像區域之間的複數個相應距離;以及
    當該攝影裝置與該一或多個物件或影像區域之間的該些相應距離小於一門檻值,控制該通訊電路將該一或多個物件或影像區域作為該一或多個物件影像傳送至該電子裝置。
  10. 一種非暫態電腦可讀取儲存媒體,用以儲存包含一或多個程式,該一或多個程式包含複數個指令,當該些指令執行時將致使一處理電路執行下列操作包含:
    控制一第一攝影機擷取一第一影像並控制一第二攝影機擷取一第二影像;
    控制一通訊電路傳送該第一影像至一電子裝置;以及
    控制該通訊電路基於該第二影像的一深度資訊傳送該第二影像中的一或多個物件影像至該電子裝置,其中一第三影像係藉由該電子裝置結合該一或多個物件影像和該第一影像重建。
TW108142199A 2018-12-06 2019-11-20 三維影像處理方法、攝影裝置及非暫態電腦可讀取儲存媒體 TWI781357B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/212,600 US11089279B2 (en) 2018-12-06 2018-12-06 3D image processing method, camera device, and non-transitory computer readable storage medium
US16/212,600 2018-12-06

Publications (2)

Publication Number Publication Date
TW202022321A true TW202022321A (zh) 2020-06-16
TWI781357B TWI781357B (zh) 2022-10-21

Family

ID=70971249

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108142199A TWI781357B (zh) 2018-12-06 2019-11-20 三維影像處理方法、攝影裝置及非暫態電腦可讀取儲存媒體

Country Status (3)

Country Link
US (1) US11089279B2 (zh)
CN (1) CN111294582B (zh)
TW (1) TWI781357B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11430190B2 (en) 2020-10-14 2022-08-30 Institute For Information Industry Virtual and real image fusion method, virtual and real image fusion system and non-transient computer readable medium
TWI834493B (zh) * 2023-02-08 2024-03-01 國立成功大學 基於多組編碼圖案的三維重建系統及方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3884321B2 (ja) * 2001-06-26 2007-02-21 オリンパス株式会社 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法
JP2008136061A (ja) * 2006-11-29 2008-06-12 Brother Ind Ltd 画像処理装置、画像形成システム、コンピュータ読取可能なプログラム
US20080231740A1 (en) * 2007-03-21 2008-09-25 Mcintyre Dale F Camera with multiple displays
US8248485B2 (en) * 2008-05-14 2012-08-21 Panasonic Corporation Imaging apparatus and imaging method
CN101610421B (zh) 2008-06-17 2011-12-21 华为终端有限公司 视频通讯方法、装置及系统
EP2327059B1 (en) 2008-10-02 2014-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intermediate view synthesis and multi-view data signal extraction
TW201021566A (en) * 2008-11-24 2010-06-01 E Ten Information Sys Co Ltd Image communication method and electronic apparatus using the same
JP4760973B2 (ja) * 2008-12-16 2011-08-31 カシオ計算機株式会社 撮像装置及び画像処理方法
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
TW201114244A (en) * 2009-10-15 2011-04-16 Chunghwa Picture Tubes Ltd Method for generating a 3D image
WO2011070774A1 (ja) * 2009-12-09 2011-06-16 パナソニック株式会社 3d映像処理装置および3d映像処理方法
US9194953B2 (en) * 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
KR101824501B1 (ko) * 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
JP5988790B2 (ja) * 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
US9058053B2 (en) * 2012-10-26 2015-06-16 The Boeing Company Virtual reality display system
TWM453168U (zh) * 2012-12-19 2013-05-11 J Touch Corp 立體影像產生裝置
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
CN104427291B (zh) 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
US9979952B2 (en) * 2013-12-13 2018-05-22 Htc Corporation Method of creating a parallax video from a still image
KR102220443B1 (ko) * 2014-06-09 2021-02-25 삼성전자주식회사 깊이 정보를 활용하는 전자 장치 및 방법
JP2016054450A (ja) * 2014-09-04 2016-04-14 株式会社東芝 画像処理装置、画像処理システム、画像処理方法及びプログラム
US9565361B2 (en) * 2015-05-14 2017-02-07 Altek Semiconductor Corp. Image capturing device and hybrid image processing method thereof
US20170243384A1 (en) * 2016-02-19 2017-08-24 Mediatek Inc. Image data processing system and associated methods for processing panorama images and image blending using the same
TWI573451B (zh) * 2016-04-27 2017-03-01 王公誠 可替換物件之影片播放系統
JP7200678B2 (ja) 2017-02-20 2023-01-10 ソニーグループ株式会社 画像処理装置および画像処理方法
US10666923B2 (en) * 2017-02-24 2020-05-26 Immervision, Inc. Wide-angle stereoscopic vision with cameras having different parameters

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11430190B2 (en) 2020-10-14 2022-08-30 Institute For Information Industry Virtual and real image fusion method, virtual and real image fusion system and non-transient computer readable medium
TWI816057B (zh) * 2020-10-14 2023-09-21 財團法人資訊工業策進會 虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體
TWI834493B (zh) * 2023-02-08 2024-03-01 國立成功大學 基於多組編碼圖案的三維重建系統及方法

Also Published As

Publication number Publication date
CN111294582A (zh) 2020-06-16
US20200186774A1 (en) 2020-06-11
CN111294582B (zh) 2022-04-15
TWI781357B (zh) 2022-10-21
US11089279B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
US11100664B2 (en) Depth-aware photo editing
US11199706B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US11143879B2 (en) Semi-dense depth estimation from a dynamic vision sensor (DVS) stereo pair and a pulsed speckle pattern projector
US20120050464A1 (en) Method and system for enhancing 3d effects for 3d video rendering
US10867408B1 (en) Estimation of spatial relationships between sensors of a multi-sensor device
TWI781357B (zh) 三維影像處理方法、攝影裝置及非暫態電腦可讀取儲存媒體
US10586394B2 (en) Augmented reality depth sensing using dual camera receiver
US20230316810A1 (en) Three-dimensional (3d) facial feature tracking for autostereoscopic telepresence systems
US9767580B2 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
US11533351B2 (en) Efficient delivery of multi-camera interactive content

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent