TWI784428B - 立體影像產生方法與使用該方法的電子裝置 - Google Patents
立體影像產生方法與使用該方法的電子裝置 Download PDFInfo
- Publication number
- TWI784428B TWI784428B TW110107488A TW110107488A TWI784428B TW I784428 B TWI784428 B TW I784428B TW 110107488 A TW110107488 A TW 110107488A TW 110107488 A TW110107488 A TW 110107488A TW I784428 B TWI784428 B TW I784428B
- Authority
- TW
- Taiwan
- Prior art keywords
- pixel
- image
- original image
- distance information
- depth map
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 210000001747 pupil Anatomy 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 8
- 238000009941 weaving Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 description 19
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000001179 pupillary effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Stereophonic System (AREA)
Abstract
一種立體影像產生方法與使用該方法的電子裝置。立體影像產生方法包括下列步驟。獲取對應至第一視角的二維原始影像，並估測二維原始影像的深度圖。偵測使用者的瞳距資訊。依據瞳距資訊與深度圖對二維原始影像進行像素偏移處理而產生對應至第二視角的參考影像。對參考影像進行影像修復處理而獲取經修復影像。合併經修復影像與二維原始影像而產生符合立體影像格式的立體影像。
Description
本發明是有關於一種電子裝置，且特別是有關於一種立體影像產生方法與使用該方法的電子裝置。
隨著顯示技術的進步，支援三維（three dimension，3D）影像播放的顯示器已逐漸普及。3D顯示與二維（two dimension，2D）顯示的差異在於，3D顯示技術可讓觀賞者感受到影像畫面中的立體感，例如人物立體的五官與景深（depth of field）等等，而傳統的2D影像則無法呈現出此種效果。3D顯示技術的原理是讓觀賞者的左眼觀看左眼影像及讓觀賞者的右眼觀看右眼影像，以讓觀賞者感受到3D視覺效果。隨著3D立體顯示器技術的蓬勃發展，可提供人們視覺上有身歷其境之感受。可知的，3D顯示器需針對特定3D影像格式的影像採用對應的3D顯示技術播放，否則將會造成顯示器無法正確顯示影像。此外，使用者可自行獲取的3D影像內容目前也非十分充足，因而即便使用者具有一台裸視3D顯示器，但使用者還是無法充分且任意享受裸視3D顯示器帶來的顯示效果。
有鑑於此，本發明提出一種立體影像產生方法與使用該方法的電子裝置，其可依據使用者的真實瞳距將二維影像轉換為符合立體影像格式的立體影像（stereo image）。
本發明實施例提供一種立體影像產生方法，其包括下列步驟。獲取對應至第一視角的二維原始影像，並估測二維原始影像的深度圖。偵測使用者的瞳距資訊。依據瞳距資訊與深度圖對二維原始影像進行像素偏移處理而產生對應至第二視角的參考影像。對參考影像進行影像修復處理而獲取經修復影像。合併經修復影像與二維原始影像而產生符合立體影像格式的立體影像。
本發明實施例提供一種電子裝置，其包括瞳距追蹤裝置、儲存裝置以及處理器。處理器連接儲存裝置，經配置以執行下列步驟。獲取對應至第一視角的二維原始影像，並估測二維原始影像的深度圖。透過瞳距追蹤裝置偵測使用者的瞳距資訊。依據瞳距資訊與深度圖對二維原始影像進行像素偏移處理而產生對應至第二視角的參考影像。對參考影像進行影像修復處理而獲取經修復影像。合併經修復影像與二維原始影像而產生符合立體影像格式的立體影像。
基於上述，於本發明的實施例中，可先依據一張二維原始影像產生其對應的深度圖，再依據觀看者的瞳距與深度圖來產生符合立體影像格式的立體影像。據此，本發明實施例可大幅擴充3D顯示器可顯示的3D內容，並提供更舒適的立體視覺觀看體驗。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。
圖1是依照本發明一實施例的電子裝置的示意圖。請參照圖1，電子裝置10可包括瞳距偵測裝置110、儲存裝置120與處理器130。處理器130耦接儲存裝置120。於一實施例中，電子裝置10可與立體（3D）顯示器20組成3D顯示系統。3D顯示器20可以是裸視3D顯示器或眼鏡式3D顯示器。從另一方面來看，3D顯示器可以是頭戴顯示裝置或提供3D影像顯示功能的電腦螢幕、桌上型螢幕或電視等等。3D顯示系統可為單一整合系統或分離式系統。具體而言，3D顯示系統中的3D顯示器20、瞳距偵測裝置110、儲存裝置120與處理器130可實作成一體式（all-in-one，AIO）電子裝置，例如頭戴顯示裝置、筆記型電腦、智慧型手機、平板電腦或遊戲機等等。或者，3D顯示器20可透過有線傳輸介面或是無線傳輸介面與電腦系統的處理器130相連，像是與電腦系統相連的頭戴顯示裝置、桌上型螢幕或電子看板等等。
瞳距偵測裝置110可用以偵測使用者的瞳距（Interpupillary Distance，IPD）資訊，其例如是眼球追蹤裝置、眼動儀或影像擷取裝置等等可獲取眼球資訊的相關裝置。於一些實施例中，具備計算能力的裝置（例如處理器130）可接收影像擷取裝置所拍攝的使用者影像，並可藉由執行人臉辨識、眼球辨識等影像處理，計算出使用者的瞳距資訊。或者，於一些實施例中，眼球追蹤裝置可透過發射紅外線光束來獲取瞳孔位置而計算出瞳距資訊。
儲存裝置120用以儲存影像、資料與供處理器130存取的程式碼（例如作業系統、應用程式、驅動程式）等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其組合。
處理器130耦接瞳距偵測裝置110與儲存裝置120，例如是中央處理單元（central processing unit，CPU）、應用處理器（application processor，AP），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、影像訊號處理器（image signal processor，ISP）、圖形處理器（graphics processing unit，GPU）或其他類似裝置、積體電路及其組合。處理器130可存取並執行記錄在儲存裝置120中的程式碼與軟體模組，以實現本發明實施例中的立體影像產生方法。
為了讓使用者透過3D顯示器20感受到3D視覺效果，3D顯示器20可基於多種設計讓使用者的左眼與右眼分別觀看到對應至不同視角的影像內容（即左眼影像與右眼影像）。於本發明的實施例中，電子裝置10可依據對應至單一視角的一張二維平面影像來產生符合立體影像格式的立體影像，而此立體影像可包括對應至不同視角的影像內容。據此，3D顯示器20便可基於其3D顯示技術顯示符合立體影像格式的立體影像，以讓使用者觀賞到立體影像內容。
圖2是依照本發明一實施例的立體影像產生方法的流程圖。請參照圖2，本實施例的方式適用於上述實施例中的電子裝置10，以下即搭配電子裝置10中的各項元件說明本實施例的詳細步驟。
於步驟S210，處理器130獲取對應至第一視角的二維原始影像，並估測二維原始影像的深度圖。二維原始影像可以是一般攝像裝置依據單一視角所拍攝的相片。二維原始影像也可以是由繪圖軟體所產生的影像內容。從另一方面來看，二維原始影像也可為操作於全螢幕模式下的某一應用程式所提供的影像內容。或者，此二維原始影像也可以是應用程式顯示於顯示器上的影像內容。或者，此二維原始影像也可為影像串流中的單幀影像。處理器130可使用像是Windows作業系統的“Desktop Duplication API”等等的螢幕擷取技術來獲取二維原始影像。又或者，處理器130可透過任何影像傳輸技術獲取二維原始影像。需特別說明的是，二維原始影像是適於利用二維顯示技術來進行顯示的影像資料。
於一些實施例中，處理器130可利用各式單目深度估測技術來估測二維原始影像的深度圖。單目深度估測技術可以利用卷積神經網路架構中的DenseNet模型、SeNet模型或MiDaS模型，或是生成對抗網路架構中的MegaDepth模型或CycleGAN模型來估測二維原始影像的深度資訊。換言之，處理器130可將二維原始影像輸入至訓練完成的深度學習模型，而使深度學習模型可據以產生二維原始影像的深度圖。經訓練的深度學習模型的模型參數（例如神經網路層數目與各神經網路層的權重等等）已經由事前訓練而決定並儲存於儲存裝置120中。或者，於一些實施例中，處理器130可利用移動估算（Structure From Motion，SFM）等技術來估測出二維原始影像的深度圖。
於步驟S220，處理器130透過瞳距偵測裝置110偵測使用者的瞳距資訊。瞳距資訊會因人而異，但主要與種族、性別、年齡較為相關。換言之，不同使用者會具有不同的瞳距。一般而言，3D顯示系統會依據使用者的瞳距資訊來進行立體顯示。像是，處理器130會依據使用者的瞳距資訊來控制3D顯示器20的硬件配置或執行對應的影像處理，從而進行立體顯示。
於步驟S230，處理器130依據瞳距資訊與深度圖對二維原始影像進行像素偏移處理而產生對應至第二視角的參考影像。基於二維原始影像而產生的深度圖包括多個深度值，這些深度值一對一地對應至二維原始影像中的多個像素。為了產生對應至第二視角的影像資料，處理器130可參考深度圖與使用者的瞳距資訊來建立出對應至第二視角的參考影像，而且第一視角不同於第二視角。更具體而言，處理器130可依據瞳距資訊與深度圖中各個深度值來決定二維原始影像中的各個像素所對應的像素偏移量（即像差資訊），並據此擷取二維原始影像的影像資料來建立對應至第二視角的參考影像。可知的，深度越深表示像素偏移量越小，深度越淺表示像素偏移量越大。
於步驟S240，處理器130對參考影像進行影像修復處理而獲取經修復影像。詳細而言，由於參考影像是包括對應至新的第二視角的影像內容，因此部分原本於二維原始影像中被遮擋的場景資訊可能會在參考影像中顯露出來，這些場景資訊是無法從對應至第一視角的二維原始影像中取得的。此外，對應至第二視角的參考影像的影像邊緣也包括原本就不存在於對應至第一視角的二維原始影像中的場景資訊。因此，基於深度圖與二維原始影像而建立的參考影像會包括影像缺失區塊。於一些實施例中，處理器130可進行影像修復處理來填補參考影像中的影像缺失區塊（或稱為破洞(hole)）。於一些實施例中，處理器130可利用影像缺失區塊周遭的像素資訊來填補參考影像中的影像缺失區塊。或者，於一些實施例中，處理器130可使用卷積神經網路模型來進行影像修復。舉例而言，處理器130可透過常數補洞法（constant color filling）、基於深度的水平深度資訊法（Horizontal extrapolation using depth information）、基於深度的變數修補法（variational inpainting using depth information）或其他相關演算法來對參考影像進行影像修復處理。
於步驟S250，處理器130合併經修復影像與二維原始影像而產生符合立體影像格式的立體影像。可知的，立體影像包括對應至第一視角的二維原始影像以及對應至第二視角的經修復影像。換言之，二維原始影像以及經修復影像可分別為左眼影像與右眼影像。立體影像格式包括左右並排（Side by Side，SBS）格式或上下並排（Top and Bottom，TB）格式。基於前述可知，對應至第二視角的經修復影像是依據瞳距偵測裝置110所偵測的瞳距資訊而產生，因此本發明實施例的電子裝置10可依據不同使用者的瞳距資訊產生不同的立體影像。換言之，本發明實施例的電子裝置10可依據二維原始影像產生符合使用者真實瞳距的立體影像，因而提昇立體影像的觀看體驗。
另外需要說明的是，於一些實施例中，處理器130需要依據使用者的瞳距資訊對符合立體影像格式的立體影像再進行其他影像處理，從而產生3D顯示器20適於播放的影像資料。舉例而言，當3D顯示器20為裸眼式3D顯示器時，其是透過透鏡折射原理或光柵技術而提供具有視差（parallax）的兩張影像給左眼與右眼，以讓觀看者體驗到立體顯示效果。因此，處理器130會對立體影像進行影像編織（image weaving）處理，以將左眼影像的像素資料與右眼影像的像素資料交錯排列而產生適於由裸眼式3D顯示器播放的單幀影像。為了將左眼影像與右眼影像準確地分別提供至左眼與右眼，處理器130需要依據使用者的瞳距資訊來進行影像編織處理，以決定如何交錯排列左眼影像的像素資料與右眼影像的像素資料。據此，由於本發明實施例所產生的立體影像是依據使用者的真實瞳距資訊而產生，且處理器130是依據一致的瞳距資訊來進行影像編織處理，因而可提昇立體影像內容的觀看舒適度並讓使用者可感受到立體效果更佳的3D視覺效果。
圖3是依照本發明一實施例的立體影像產生方法的流程圖。圖4是依照本發明一實施例的立體影像產生方法的示意圖。請參照圖3與圖4，本實施例的方式適用於上述實施例中的電子裝置10，以下即搭配電子裝置10中的各項元件說明本實施例的詳細步驟。
於步驟S310，處理器130獲取初始影像Img_int。舉例而言，處理器130可擷取電子裝置10的桌面影像而獲取初始影像Img_int。於步驟S320，處理器130透過瞳距偵測裝置110偵測使用者的瞳距資訊IPD_1。於步驟S330，處理器130判斷初始影像Img_int是否包括符合立體影像格式的立體影像Img_3D1。於一些實施例中，符合立體影像格式的立體影像Img_3D1為初始影像Img_int。於一些實施例中，符合立體影像格式的立體影像Img_3D1為初始影像Img_int中的部份影像區塊。
若步驟S330判斷為是，接續步驟S380，處理器130依據瞳距資訊IPD_1對立體影像Img_3D1進行影像編織處理，以獲取適於由3D顯示裝置20播放的影像資料。如同前述，處理器130將重新交錯排列立體影像Img_3D1中的左眼影像的像素資料與右眼影像的像素資料，以產生3D顯示裝置20可播放的影像資料。
若步驟S330判斷為否，於步驟S340，處理器130獲取對應至第一視角的二維原始影像Img_2D，並估測二維原始影像Img_2D的深度圖d_m。處理器130可將初始影像Img_int直接作為二維原始影像Img_2D，或是從初始影像Img_int擷取部份影像區塊而獲取二維原始影像Img_2D。深度圖d_m包括分別對應至二維原始影像Img_2D中各個像素的深度值，而這些深度值可介於一預設初始範圍內，例如0至255。
於步驟S350，處理器130依據瞳距資訊IPD_1與深度圖d_m對二維原始影像Img_2D進行像素偏移處理而產生對應至第二視角的參考影像Img_ref。步驟S350可包括子步驟S351～S352。
於步驟S351，處理器130依據瞳距資訊IPD_1與深度圖d_m中對應於二維原始影像Img_2D中第一像素的深度值獲取像素偏移量。具體而言，處理器130可依據瞳距資訊IPD_1與深度圖d_m中的各個深度值分別決定二維原始影像Img_2D中各個第一像素的像素偏移量。
於一些實施例中，處理器130可將深度圖d_m中的各深度值正規化至一預設數值範圍內，例如0至1，以產生適於計算像素偏移量的深度資訊。也就是說，處理器130可將介於一預設初始範圍內的深度值正規化至一預設數值範圍內。
於一些實施例中，像素偏移量可為瞳距資訊IPD_1與深度圖d_m中的深度值之間的相乘結果。亦即，處理器130可透過分別將深度圖d_m中的各深度值乘上使用者的瞳距資訊IPD_1，而獲取二維原始影像Img_2D中各第一像素的像素偏移量。於一些實施例中，當深度圖d_m中的各深度值正規化至介於0至1之間時，處理器130可依據四捨五入、無條件捨去或無條件進位等等整數化處理來決定像素偏移量。
於一些實施例中，像素偏移量可為瞳距資訊IPD_1與相關於深度圖d_m中的深度值的一函式輸出值的相乘結果。換言之，處理器130可先將某一深度值輸入至一函式而產生關於該深度值的函式輸出值，再將此函式輸出值乘上瞳距資訊IPD_1而決定對應的像素偏移量。此函式可例如為一次線性函數。亦即，像素偏移量可透過公式(1)而產生。
像素偏移量＝瞳距 × f(d) 公式(1)
其中，f(˙)為將深度值d作為輸入值的函數。相似的，當公式(1)所產生的像素偏移量並非為整數時，處理器130可依據四捨五入、無條件捨去或無條件進位等等整數化處理來決定像素偏移量。
於步驟S352，處理器130依據像素偏移量沿預設軸向平位移二維原始影像Img_2D中第一像素而獲取參考影像Img_ref中第二像素。上述預設軸向可包括正X軸方向或負X軸方向。亦即，處理器130可依據像素偏移量向右平移二維原始影像Img_2D中第一像素而獲取參考影像Img_ref中第二像素，在此情況下，是將二維原始影像Img_2D作為右眼影像而建立左眼影像。或者，處理器130可依據像素偏移量向左平移二維原始影像Img_2D中第一像素而獲取參考影像Img_ref中第二像素，在此情況下，是將二維原始影像Img_2D作為左眼影像而建立右眼影像。
於一些實施例中，在平位移二維原始影像Img_2D中第一像素而獲取第二像素之後，處理器130可判斷此第二像素的像素座標是否落在參考影像Img_ref之內。反應於第二像素的像素座標未落在參考影像Img_ref之內，處理器130可捨棄第二像素。舉例而言，假設第一像素的像素座標為(0,0)且像素偏移量為∆s，若處理器130沿負X軸向平移第一像素會獲取像素座標為(-∆s,0)的第二像素。基此，處理器130可據以判定此第二像素未落在參考影像Img_ref之內而捨棄像素座標為(-∆s,0)的第二像素。
於一些實施例中，處理器130可依據像素偏移量沿預設軸向平位移二維原始影像Img_2D中第一像素。處理器130還可依據另一像素偏移量沿預設軸向平位移二維原始影像Img_2D中的另一第一像素。反應於第一像素與另一像素皆對應至第二像素的像素座標，處理器130可選擇將第一像素設置為參考影像Img_ref中第二像素。換言之，若多個第一像素依據對應的像素位移量進行位移後皆對應至相同的像素座標，處理器130可選擇這些第一像素其中之一來作為參考影像Img_ref中第二像素。於一些實施例中，處理器130可依據各第一像素對應的深度值來決定參考影像Img_ref中第二像素。或者，於一些實施例中，處理器130可依據各第一像素對應的計算先後順序來決定參考影像Img_ref中第二像素。
於步驟S360，處理器130對參考影像Img_ref進行影像修復處理而獲取經修復影像Img_rec。於步驟S370，處理器130合併經修復影像Img_rec與二維原始影像Img_2D而產生符合立體影像格式的立體影像Img_3D2。圖5是依據本發明一實施例的產生符合立體影像格式的立體影像Img_3D2的範例示意圖。請參照圖5，處理器130可將經修復影像Img_rec與二維原始影像Img_2D左右並排而獲取符合並排格式的立體影像Img_3D2。於一些實施例中，處理器130也可先對經修復影像Img_rec與二維原始影像Img_2D進行影像縮放處理後再合併此兩張經縮放的影像。之後，於步驟S380，處理器130依據瞳距資訊IPD_1對立體影像Img_3D2進行一影像編織處理，以獲取適於由立體顯示裝置20播放的影像資料。
需說明的是，於本發明的實施例中，像素偏移量是依據使用者的真實瞳距資訊而產生，因此基於這些像素偏移量而建立參考影像與二維原始影像之間的像差資訊可符合使用者的兩眼真實距離。因此，當3D顯示系統依據真實瞳距資訊進行其他3D顯示所需的硬體配置或其他後續影像處理時，由於符合立體影像格式的立體影像也是基於真實瞳距資訊而產生，因而可大幅提昇觀看舒適度與感受到更佳的立體效果。
綜上所述，於本發明實施例中，使用者可將二維平面影像轉換為符合立體影像格式的立體影像，以豐富3D顯示器可顯示的3D內容。此外，由於依據使用者的真實瞳距資訊來產生立體影像，因此可確保裸視3D顯示技術中的影像編織處理所使用的瞳距資訊與生成立體影像的瞳距資訊一致。據以，可大幅提昇觀看舒適度並讓使用者可感受到更佳的立體效果。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:電子裝置
110:瞳距偵測裝置
120:儲存裝置
130:處理器
20:3D顯示器
Img_int:初始影像
IPD_1:瞳距資訊
Img_3D1、Img_3D2:立體影像
Img_2D:二維原始影像
d_m:深度圖
Img_ref:參考影像
Img_rec:經修復影像
S210～S250、S310～S380:步驟
圖1是依照本發明一實施例的電子裝置的示意圖。
圖2是依照本發明一實施例的立體影像產生方法的流程圖。
圖3是依照本發明一實施例的立體影像產生方法的流程圖。
圖4是依照本發明一實施例的立體影像產生方法的示意圖。
圖5是依據本發明一實施例的產生符合立體影像格式的立體影像的範例示意圖。
S210～S250:步驟
Claims (16)
- 一種立體影像產生方法，適用於一電子裝置，包括：獲取對應至第一視角的一二維原始影像，並估測該二維原始影像的一深度圖；偵測一使用者的一瞳距資訊；依據該瞳距資訊與該深度圖對該二維原始影像進行一像素偏移處理而產生對應至第二視角的一參考影像；對該參考影像進行一影像修復處理而獲取一經修復影像；以及合併該經修復影像與該二維原始影像而產生符合一立體影像格式的一立體影像(stereo image)，其中依據該瞳距資訊與該深度圖對該二維原始影像進行該像素偏移處理而產生對應至該第二視角的該參考影像的步驟包括：依據該瞳距資訊與該深度圖中對應於該二維原始影像中一第一像素的一深度值獲取一像素偏移量；以及依據該像素偏移量沿一預設軸向平位移該二維原始影像中該第一像素而獲取該參考影像中一第二像素，其中該像素偏移量係依據該瞳距資訊與該深度圖中的該深度值計算所得的結果。
- 如請求項1所述的立體影像產生方法，所述方法更包括：依據該瞳距資訊對該立體影像進行一影像編織處理，以獲取適於由一立體顯示裝置播放的影像資料。
- 如請求項1所述的立體影像產生方法，其中該立體影像格式包括左右並排格式或上下並排格式。
- 如請求項1所述的立體影像產生方法，其中該像素偏移量為該瞳距資訊與該深度圖中的該深度值之間的相乘結果。
- 如請求項1所述的立體影像產生方法，其中該像素偏移量為該瞳距資訊與相關於該深度圖中的該深度值的一函式輸出值的相乘結果。
- 如請求項4所述的立體影像產生方法，其中依據該瞳距資訊與該深度圖進行該像素偏移處理而產生該參考影像的步驟還包括：將該深度圖中的各深度值正規化至一預設數值範圍內。
- 如請求項1所述的立體影像產生方法，其中依據該像素偏移量沿該預設軸向平位移該二維原始影像中該第一像素而獲取該參考影像中該第二像素的步驟包括：判斷該第二像素的像素座標是否落在該參考影像之內；以及反應於該第二像素的像素座標未落在該參考影像之內，捨棄該第二像素。
- 如請求項1所述的立體影像產生方法，其中依據該像素偏移量沿該預設軸向平位移該二維原始影像中該第一像素而獲取該參考影像中該第二像素的步驟包括：依據該像素偏移量沿該預設軸向平位移該二維原始影像中該第一像素； 依據另一像素偏移量沿該預設軸向平位移該二維原始影像中另一第一像素；以及反應於該第一像素與該另一像素皆對應至該第二像素的像素座標，選擇該第一像素設置為該參考影像中該第二像素。
- 一種電子裝置，包括：一瞳距偵測裝置；一儲存裝置，記錄有多個模組；以及一處理器，連接該眼球裝蹤裝置與該儲存裝置，經配置以：獲取對應至第一視角的一二維原始影像，並估測該二維原始影像的一深度圖；透過該瞳距偵測裝置偵測一使用者的一瞳距資訊；依據該瞳距資訊與該深度圖對該二維原始影像進行一像素偏移處理而產生對應至第二視角的一參考影像；對該參考影像進行一影像修復處理而獲取一經修復影像；以及合併該經修復影像與該二維原始影像而產生符合一立體影像格式的一立體影像，其中該處理器更經配置以：依據該瞳距資訊與該深度圖中對應於該二維原始影像中一第一像素的一深度值獲取一像素偏移量；以及 依據該像素偏移量沿一預設軸向平位移該二維原始影像中該第一像素而獲取該參考影像中一第二像素，其中該像素偏移量係依據該瞳距資訊與該深度圖中的該深度值計算所得的結果。
- 如請求項9所述的電子裝置，其中該處理器更經配置以：依據該瞳距資訊對該立體影像進行一影像編織處理，以獲取適於由一立體顯示裝置播放的影像資料。
- 如請求項10所述的電子裝置，其中該立體影像格式包括左右並排格式或上下並排格式。
- 如請求項9所述的電子裝置，其中該像素偏移量為該瞳距資訊與該深度圖中的該深度值之間的相乘結果。
- 如請求項9所述的電子裝置，其中該像素偏移量為該瞳距資訊與相關於該深度圖中的該深度值的一函式輸出值的相乘結果。
- 如請求項12所述的電子裝置，其中該處理器更經配置以：將該深度圖中的各深度值正規化至一預設數值範圍內。
- 如請求項9所述的電子裝置，其中該處理器更經配置以：判斷該第二像素的像素座標是否落在該參考影像之內；以及反應於該第二像素的像素座標未落在該參考影像之內，捨棄該第二像素。
- 如請求項9所述的電子裝置，其中該處理器更經配置以：依據該像素偏移量沿該預設軸向平位移該二維原始影像中該第一像素；依據另一像素偏移量沿該預設軸向平位移該二維原始影像中另一第一像素；以及反應於該第一像素與該另一像素皆對應至該第二像素的像素座標，選擇該第一像素設置為該參考影像中該第二像素。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110107488A TWI784428B (zh) | 2021-03-03 | 2021-03-03 | 立體影像產生方法與使用該方法的電子裝置 |
| US17/583,139 US20220286658A1 (en) | 2021-03-03 | 2022-01-24 | Stereo image generation method and electronic apparatus using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110107488A TWI784428B (zh) | 2021-03-03 | 2021-03-03 | 立體影像產生方法與使用該方法的電子裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202236847A TW202236847A (zh) | 2022-09-16 |
| TWI784428B true TWI784428B (zh) | 2022-11-21 |
Family
ID=83117623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110107488A TWI784428B (zh) | 2021-03-03 | 2021-03-03 | 立體影像產生方法與使用該方法的電子裝置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220286658A1 (zh) |
| TW (1) | TWI784428B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130235155A1 (en) * | 2011-08-18 | 2013-09-12 | Beijing Goland Tech Co., Ltd. | Method of converting 2d into 3d based on image motion information |
| US20150130909A1 (en) * | 2013-11-11 | 2015-05-14 | Institute For Information Industry | Method and electrical device for taking three-dimensional (3d) image and non-transitory computer-readable storage medium for storing the method |
| US20170366795A1 (en) * | 2016-06-17 | 2017-12-21 | Altek Semiconductor Corp. | Stereo image generating method and electronic apparatus utilizing the method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7034819B2 (en) * | 2002-10-04 | 2006-04-25 | Silicon Integrated Systems Corp. | Apparatus and method for generating an interleaved stereo image |
| JP2008228199A (ja) * | 2007-03-15 | 2008-09-25 | Toshiba Corp | 立体画像表示装置及び立体画像表示方法並びに立体画像用データの構造 |
| JP2018137505A (ja) * | 2017-02-20 | 2018-08-30 | セイコーエプソン株式会社 | 表示装置およびその制御方法 |
-
2021
- 2021-03-03 TW TW110107488A patent/TWI784428B/zh active
-
2022
- 2022-01-24 US US17/583,139 patent/US20220286658A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130235155A1 (en) * | 2011-08-18 | 2013-09-12 | Beijing Goland Tech Co., Ltd. | Method of converting 2d into 3d based on image motion information |
| US20150130909A1 (en) * | 2013-11-11 | 2015-05-14 | Institute For Information Industry | Method and electrical device for taking three-dimensional (3d) image and non-transitory computer-readable storage medium for storing the method |
| US20170366795A1 (en) * | 2016-06-17 | 2017-12-21 | Altek Semiconductor Corp. | Stereo image generating method and electronic apparatus utilizing the method |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220286658A1 (en) | 2022-09-08 |
| TW202236847A (zh) | 2022-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9723289B2 (en) | Dynamic adjustment of predetermined three-dimensional video settings based on scene content | |
| US8514225B2 (en) | Scaling pixel depth values of user-controlled virtual object in three-dimensional scene | |
| TWI584222B (zh) | 立體影像處理器、立體影像互動系統、與相關立體影像顯示方法 | |
| CN108921050B (zh) | 一种基于移动端的虚拟现实图像处理系统 | |
| US8509521B2 (en) | Method and apparatus and computer program for generating a 3 dimensional image from a 2 dimensional image | |
| CN105894567B (zh) | 放缩三维场景中的用户控制的虚拟对象的像素深度值 | |
| WO2019159617A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2012058968A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
| JP2005295004A (ja) | 立体画像処理方法および立体画像処理装置 | |
| JP2005151534A (ja) | 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム | |
| US10979690B1 (en) | Systems and methods for using depth information to extrapolate two-dimensional images | |
| CN113795863A (zh) | 用于图像的深度图的处理 | |
| US20170104982A1 (en) | Presentation of a virtual reality scene from a series of images | |
| US20190281280A1 (en) | Parallax Display using Head-Tracking and Light-Field Display | |
| TW201907364A (zh) | 用於處理深度圖之設備及方法 | |
| TWI478100B (zh) | 影像深度估計方法及其裝置 | |
| TWI784428B (zh) | 立體影像產生方法與使用該方法的電子裝置 | |
| TWI790560B (zh) | 並排影像偵測方法與使用該方法的電子裝置 | |
| TWM626646U (zh) | 電子裝置 | |
| JP4214528B2 (ja) | 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム | |
| CN115118949A (zh) | 立体图像产生方法与使用该方法的电子装置 | |
| WO2018000610A1 (zh) | 一种基于图像类型判断的自动播放方法和电子设备 | |
| TWI628619B (zh) | 立體影像產生方法及其裝置 | |
| Wang et al. | Study of center-bias in the viewing of stereoscopic image and a framework for extending 2D visual attention models to 3D | |
| US9609313B2 (en) | Enhanced 3D display method and system |