TWI520576B - 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體 - Google Patents

將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體 Download PDF

Info

Publication number
TWI520576B
TWI520576B TW102120363A TW102120363A TWI520576B TW I520576 B TWI520576 B TW I520576B TW 102120363 A TW102120363 A TW 102120363A TW 102120363 A TW102120363 A TW 102120363A TW I520576 B TWI520576 B TW I520576B
Authority
TW
Taiwan
Prior art keywords
dimensional image
image
dimensional
depth map
motion
Prior art date
Application number
TW102120363A
Other languages
English (en)
Other versions
TW201408041A (zh
Inventor
律多 安國
黃維嘉
吳俊德
何佳航
Original Assignee
財團法人工業技術研究院
卡爾斯特有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院, 卡爾斯特有限公司 filed Critical 財團法人工業技術研究院
Publication of TW201408041A publication Critical patent/TW201408041A/zh
Application granted granted Critical
Publication of TWI520576B publication Critical patent/TWI520576B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Description

將二維影像轉換為三維影像的方法與系統及電腦可讀媒體 【相關申請案】
本專利申請案主張於2012年8月15日提交的美國專利暫時申請案第61/683,587號的優先權，在此請參照專利申請的整體內容並將其併入本文。
本揭露是關於影像處理，包括用於將二維影像轉換為三維影像的方法與裝置以及電腦可讀媒體。
成像系統在許多醫療應用以及非醫療應用中起重要作用。舉例而言，內視鏡檢查術(endoscopy)提供允許醫生檢查人體的內部器官或組織的微創方式(minimally invasive means)。內視鏡成像系統通常包括光學系統以及成像單元。光學系統包括一透鏡位於圓柱形空腔的遠端，所述圓柱形空腔含有光纖(optical fiber)以將信號傳輸至成像單元以形成內視鏡影像。在插入至人體中 時，透鏡系統形成人體的內部結構的影像，所述影像被傳輸至監視器以供使用者檢視。
由大多數現有成像系統(諸如，內視鏡)產生的影像為單像的(monoscopic)或二維的(two-dimensional，2D)。因此，未提供深度資訊，所述深度資訊可提供使用者場景內的結構的相對距離的視覺感知。由於未提供深度資訊的結果，操作者難以瞭解影像的視場內的結構的相對距離以及基於二維影像來進行檢查或操作。
本揭露提供一種將二維影像轉換為三維影像的方法。所述方法包括：自成像元件接收多個二維影像；自與所述成像元件相關聯的感測器獲得動作參數；基於所述動作參數而自所述多個二維影像選擇至少兩個二維影像；基於所述所選擇的二維影像以及對應於所述所選擇的二維影像的所述動作參數產生深度圖；以及基於所述深度圖以及所述多個二維影像中的一者來產生三維影像。
本揭露提供一種電腦可讀媒體。所述電腦可讀媒體包括儲存於所述電腦可讀媒體上的指令，所述指令在由處理器執行時使所述處理器執行用於將二維影像轉換為三維影像的方法。由所述處理器執行的方法包括：自成像元件接收多個二維影像；自與所述成像元件相關聯的感測器獲得動作參數；基於所述動作參數 而自所述多個二維影像選擇至少兩個二維影像；基於所述所選擇的二維影像以及對應於所述所選擇的二維影像的所述動作參數產生深度圖；以及基於所述深度圖以及所述所選擇的二維影像中的一者來產生三維影像。
本揭露提供一種將二維影像轉換為三維影像的系統。所述系統包括：電腦；成像元件，用以產生多個二維影像；以及感測器，與所述成像元件相關聯，用以量測所述成像元件的動作參數。所述電腦用以：自所述成像元件接收所述多個二維影像；自所述感測器獲得所述動作參數；基於所述動作參數而自所述多個二維影像選擇至少兩個二維影像；基於所述所選擇的二維影像以及對應於所述所選擇的二維影像的所述動作參數產生深度圖；且基於所述深度圖以及所述所選擇的二維影像中的一者來產生三維影像。
基於上述，本揭露提出的二維影像轉換為三維影像的系統與方法有效地解決了大多數現有成像系統(諸如，內視鏡)僅能產生單像的或二維的影像的缺點。也由於本案能夠提供具有深度資訊的視覺感知，也就是提供三維的影像資訊，也因此操作者能夠更容易瞭解影像的視場內的結構的相對距離，以便於藉由三維的影像資訊進行檢查等不同操作。此外，本揭露提出的二維影像轉換為三維影像的系統與方法可直接應用在各種成像系統上，且與目前一般2D轉3D技術相比，本揭露產生的立體影像品質更高，更接近真實拍攝場景。
為讓本揭露的上述特徵和優點能更明顯易懂，下文將根據本揭露的實施例於本說明書中的描述與構成本說明書的一部分的附圖說明用以解釋本揭露的原理。
100‧‧‧系統
102‧‧‧成像單元
104‧‧‧動作感測器
106‧‧‧電腦系統
108‧‧‧窺鏡
110‧‧‧透鏡系統
114‧‧‧基地台
116‧‧‧儲存元件
118‧‧‧處理器
120‧‧‧顯示元件
122‧‧‧輸入元件
124‧‧‧相機中心
130‧‧‧系統
202‧‧‧影像畫面
204‧‧‧影像圖樣
206‧‧‧影像畫面
208‧‧‧光流
210‧‧‧動作向量
212‧‧‧相機參考系統
302‧‧‧深度圖
304‧‧‧二維影像
306‧‧‧像素群組
308‧‧‧像素群組
310‧‧‧物件
312‧‧‧物件
314‧‧‧光軸
316‧‧‧像素群組深度
318‧‧‧像素群組深度
320‧‧‧複本
322‧‧‧複本
324‧‧‧三維視訊畫面/三維影像
402‧‧‧影像緩衝器
502‧‧‧第一影像畫面
504‧‧‧物件影像
506‧‧‧物件
508‧‧‧第二影像畫面
512‧‧‧成像
514‧‧‧物件反投影向量
516‧‧‧變換矩陣
518‧‧‧物件投影向量
520‧‧‧物件移動向量
602‧‧‧物件
604‧‧‧影像點
606‧‧‧影像畫面
608‧‧‧光線
610‧‧‧影像畫面
612‧‧‧影像點
614‧‧‧光線
616‧‧‧相機位置變換
618‧‧‧動作向量
640‧‧‧處理程序
642~654‧‧‧步驟
700‧‧‧校準板
800‧‧‧處理程序
802~812‧‧‧步驟
900‧‧‧處理程序
902~916‧‧‧步驟
A‧‧‧變換矩陣
B‧‧‧變換矩陣
d1‧‧‧深度/深度圖
d2‧‧‧深度/深度圖
d3‧‧‧距離/深度圖
f1‧‧‧光流
f2‧‧‧光流
f3‧‧‧光流
i至i+8‧‧‧影像畫面
M‧‧‧變換矩陣
(MBC)1‧‧‧變換矩陣
(MBC)0‧‧‧變換矩陣
(MTS)0‧‧‧變換矩陣
(MTS)1‧‧‧變換矩陣
Oc‧‧‧相機原點
Oi‧‧‧影像原點
P1‧‧‧位置
P2‧‧‧位置
T1‧‧‧時間
T2‧‧‧時間
T3‧‧‧時間
X‧‧‧變換矩陣
Xc‧‧‧相機軸
Xi‧‧‧影像軸
Yc‧‧‧相機軸
Yi‧‧‧影像軸
Zc‧‧‧相機軸
圖1A說明依照本揭露將二維(two-dimensional，2D)內視鏡影像轉換為三維內視鏡影像的系統的示意圖。
圖1B說明依照本揭露將二維內視鏡影像轉換為三維內視鏡影像的另一種系統的示意圖。
圖2A至圖2C說明依照本揭露基於兩個影像畫面而判定動作向量的處理程序。
圖3說明依照本揭露基於二維影像以及對應於所述二維影像的深度圖而形成三維影像的處理程序。
圖4A至圖4E說明依照本揭露選擇視訊畫面以計算當前影像畫面的光流以及深度圖的處理程序。
圖5A說明依照本揭露計算當前影像畫面的深度圖的系統示意圖。
圖5B說明依照本揭露估計初始深度圖的處理流程圖。
圖6說明依照本揭露基於再投影(re-projection)技術而判定深度圖的另一種處理程序。
圖7說明依照本揭露系統校準的示意圖。
圖8說明依照本揭露將二維影像轉換為三維影像的處理流程圖。
圖9說明依照本揭露基於二維影像畫面以及位置量測值而產生深度圖的處理流程圖。
現將詳細地參考例示性實施例，例示性實施例的實例說明於附圖中。以下描述參考附圖，在附圖中，除非另有表示或陳述，否則不同圖式中的相同數字表示相同或類似部件。例示性實施例的以下描述中所闡述的實施方案並不表示根據本揭露的所有實施方案。實際上，所述實施方案僅為如隨附申請專利範圍中所陳述的根據本揭露的態樣的系統以及方法的實例。此外，下文中，出於論述的目的，術語「立體」(stereoscopic)以及「三維」(three-dimensional，3D)可互換，且術語「單像」(monoscopic)以及「二維」可互換。
一般系統組態
圖1A說明依照本揭露將二維影像轉換為三維影像的系統100的示意圖。系統100包括成像單元102、動作感測器104以及電腦系統106。成像單元102可為內視鏡(endoscope)，包括窺鏡(telescope)108以及附接於窺鏡108的遠端的透鏡系統110。下文中，出於論述的目的，透鏡系統110亦稱為「相機」。在插入至人體中時，透鏡系統110在影像感測器平面上形成人體的內部結 構的影像。影像感測器平面可位於成像單元102或透鏡系統110自身中。若影像感測器平面位於成像單元102中，則由透鏡系統110形成的影像可經由封入於窺鏡108中的一捆光纖(optical fiber)而傳輸至影像感測器平面。
由成像單元102產生的影像經由有線連接或經由無線電、紅外線(infrared)或其他無線方式無線地傳輸至電腦系統106。電腦系統106接著在連接至電腦系統106的顯示元件120(諸如，監視器)上顯示影像以供使用者檢視。另外，電腦系統106可儲存並處理數位影像。每一數位影像包括多個像素，所述像素在顯示於顯示元件上時配置為二維陣列，從而形成影像。
動作感測器104(亦稱為導航感測器(navigation sensor))可為量測其位置以及定向的任何元件。如圖1A所示，動作感測器104提供相對於所定義的參考的位置以及定向量測值。根據一個實施例，動作感測器104包括磁性、無線電或光學收發器，其經由磁性、無線電或光學信號而與基地台114通信。動作感測器104或基地台114接著量測相對於基地台114的動作感測器104的位置以及定向。基地台114將位置以及定向量測值提供至電腦系統106。根據一個實施例，動作感測器104為絕對位置感測器，其提供相對於固定參考的絕對位置以及定向量測值。
根據圖1B所示的另一種實施例，動作感測器104提供相對於其較早位置以及定向中的一者的相對位置以及定向量測值。圖1B中的動作感測器104並不需要基地台來量測位置以及定向， 且可自動地將位置以及定向資訊傳輸至電腦系統106。下文中，出於論述的目的，需要時，動作感測器104以及基地台114統稱為動作感測器104。
動作感測器104以規則或不規則時間間隔量測其位置以及定向。舉例而言，每一毫秒，動作感測器104量測其位置以及定向，且向電腦系統106報告指示位置以及定向量測值的動作參數。用於量測位置以及定向的時間間隔可根據成像單元102的動作來調整。若成像單元102具有相對快的動作，則動作感測器104可按照相對小的時間間隔來產生位置以及定向資料，以便提供準確量測值。然而，若成像單元102具有相對慢的動作或為靜止的，則動作感測器104可按照相對大的時間間隔來產生位置以及定向量測值，以便減少不必要的或冗餘的資料。
電腦系統106亦包括記憶體或儲存元件116，其儲存與本文所述產生三維內視鏡影像的處理程序相關的電腦指令以及資料。電腦系統106更包括處理器118，其用以自儲存元件116擷取指令以及資料，執行所述指令以處理所述資料，且執行產生三維影像的處理程序。此外，指令在由處理器118執行時，進一步使電腦系統106在顯示元件120上產生使用者介面，且自輸入元件122(諸如，鍵盤、滑鼠或眼球追蹤元件)接收使用者輸入。
根據另一實施例，成像單元102產生呈視訊畫面的形式的二維影像，且將視訊畫面傳輸至電腦系統106以供顯示或處理。視訊資料的每一視訊畫面包括所觀測的場景的一部分的二維影 像。電腦系統106以時間序列接收視訊畫面，且根據本文所述的處理程序而處理視訊畫面。下文中，出於論述的目的，術語「視訊畫面」、「影像畫面」以及「影像」可互換。
根據另一實施例，電腦系統106自成像單元102接收呈影像序列的形式的二維影像，且自動作感測器104接收位置以及定向量測值，且將二維影像轉換為三維影像。位置以及定向量測值與影像序列同步或對應於影像序列。因此，對於每一視訊畫面，電腦系統106識別對應於視訊畫面的位置以及定向量測值，且判定在擷取視訊畫面時的透鏡系統110的位置以及定向。為了將二維影像轉換為三維影像，電腦系統106首先基於視訊畫面序列與位置以及定向量測值而計算二維影像畫面的光流，且接著基於光流以及其他相機參數(諸如，下文論述的內部參數)而計算二維影像畫面的深度圖。
光流為表示由透鏡系統110產生的至少兩個影像畫面之間的影像特徵的動作的資料陣列。影像特徵可包括影像畫面的全部像素或部分像素。在由透鏡系統110自不同視點擷取所觀測的場景時，在二維影像畫面中呈現的影像特徵相對於相機參考系統在影像平面內移動。光流表示在擷取對應的兩個影像畫面的時間之間的影像特徵的動作。光流可基於如由成像單元102提供的影像畫面或所述影像畫面的經重新取樣的版本而產生。因此，電腦系統106基於至少兩個影像畫面的分析而判定影像畫面的光流。此處，相機參考系統為與透鏡系統110的相機中心相關聯的座標 系統。相機中心可定義為透鏡系統110的光學中心或其等效物。
圖2A至圖2C說明依照本揭露評估光流的一個實施例。如圖2A所示，透鏡系統110在時間T1擷取影像畫面202，影像畫面202中具有影像圖樣204。參看圖2B，在時間T2，透鏡系統擷取另一影像畫面206，其中，影像圖樣204已相對於相機參考系統212移動至不同位置。參看圖2C，藉由比較影像畫面202以及206，電腦系統106判定影像畫面206的光流208，光流208包括動作向量210，動作向量210指示自影像畫面202至影像畫面206的影像圖樣204的動作。
此外，可根據(例如)以下文獻所述的方法基於兩個或兩個以上影像畫面來判定光流208：2009年，Statistical and Geometrical Approaches to Visual Motion Analysis，第5064/2008卷，第23至45頁，A.Wedel等人的「An Improved Algorithm for TV-L1 Optical Flow」，所述文獻全文特此以引用方式併入本文中。電腦系統106亦可使用此項技術中已知的判定光流的其他技術。
電腦系統106基於所計算的光流而產生深度圖，且在對應影像畫面中表示由成像單元102擷取的場景內的物件的相對距離。深度圖的每一像素群組深度表示二維影像中的結構或結構的一部分的相對距離。相對距離是相對於(例如)透鏡系統110的相機中心而定義的。
圖3說明依照本揭露對應於由透鏡系統110產生的二維影像304的由電腦系統106產生的深度圖302的表示。二維影像 304包括像素群組306及308，其表示場景內的各別物件310及312或其部分。物件310及312在場景內具有不同深度。深度是相對於包括透鏡系統110的光學中心且垂直於光軸314的平面而定義的。因此，物件310具有深度d1，而物件312具有深度d2，如圖3所示。深度圖302可基於灰階編碼方案而編碼以向使用者顯示。舉例而言，相對淺的灰色表示與光學中心相距相對小的距離，而相對深的灰色表示與光學中心相距相對大的距離。
或者，物件310及312的深度可相對於物件310的位置而定義。因此，物件310的深度為零，而物件312的深度為物件310與物件312之間的距離d3。或者，物件310及312的深度可相對於任何其他參考而定義。
如圖3進一步繪示，由電腦系統106產生的深度圖302為包括對應於像素群組306及308的像素群組深度316及318的二維資料集合或陣列。像素群組深度316及318處的資料值反映如上文所定義的像素群組306及308的相對深度。深度圖302的每一像素群組深度可對應於二維影像304的像素或二維影像304的像素群組，指示由所述像素或所述像素群組表示的物件的相對深度。深度圖302可能具有或可能不具有與二維影像304相同的大小(以像素為單位)。舉例而言，深度圖302可具有小於二維影像304的大小，其中每一像素群組深度表示對應於二維影像304中的像素群組的深度資訊。此外，電腦系統106可將深度圖302顯示為以像素群組306及308的相對深度編碼的二維灰階影像。
如圖3進一步繪示，使用深度圖302，電腦系統106產生三維影像324。舉例而言，三維影像324包括二維影像304的複本320以及基於原始二維影像304及深度圖302而產生的新創建的複本322。或者，電腦系統106可產生分別用於檢視者的右眼及左眼的二維影像304的兩個經移位的複本(320及322)，且整合兩個經移位的二維視訊畫面以形成三維視訊畫面324。
光流的計算
根據實施例，系統100向檢視者或操作者提供連續且均一的立體效果。亦即，隨著三維影像產生且顯示，立體效果的深度感知並不具有任何可顯著察覺的變化。此一致性是藉由對應於透鏡系統110的相機中心的既定動作量的光流的適當評估來確保。一般而言，自二維影像畫面評估光流。系統100選擇二維影像畫面以基於透鏡系統110的動作量及/或透鏡系統110的放大率而計算光流。
在系統100中，所觀測的場景相對於擷取畫面的速率與透鏡系統110的動作兩者大體上為靜止的，而隨著操作者、機器臂或其他動作致動構件移動透鏡系統110以及成像單元102，透鏡系統110相對於場景橫向移動。透鏡系統110與場景之間的相對動作是藉由相對於世界參考系統的透鏡系統110的動作來判定。此處，世界參考系統為與場景或其他靜止物件(諸如，所檢查的人體)相關聯的座標系統。
根據一個實施例，電腦系統106自成像單元102所提供的影像序列選擇至少兩個影像畫面以計算光流。大體而言，電腦系統106基於影像畫面內的內容的變化而選擇兩個影像畫面。因為影像畫面內的內容的變化與透鏡系統110的動作相關，所以電腦系統106監視透鏡系統110的動作，且基於透鏡系統110的動作速度或行進距離而選擇影像畫面，以判定選擇哪些畫面來計算光流。
圖4A至圖4D說明依照本揭露基於透鏡系統110的動作而自一序列視訊畫面選擇影像畫面以判定光流的處理程序。特定言之，取決於透鏡系統110的動作量及/或放大率，介入於所選擇的畫面之間的畫面之間的數目是可變的。若影像畫面所擷取的動作(對應於影像畫面中以像素為單位的動作)過大或過小，則無法適當地判定光流。若所述動作過大或過小，則無法建立用於光流評估的連續影像畫面之間的影像特徵之間的對應性。因此，在透鏡系統110相對於所觀測的場景以相對高的速度移動時，或在透鏡系統110具有相對高的放大率時，電腦系統106選擇在時間上接近或具有較少中介畫面(intervening frame)的影像畫面以便確保光流的適當評估。在透鏡系統110相對於場景以相對低的速度移動或具有相對低的放大率時，電腦系統106選擇在時間上較遠離的影像畫面或具有較大數目的中介畫面。根據透鏡系統110的動作及/或放大率調適中介畫面的數目進一步確保了光流的適當計算。
舉例而言，電腦系統106自成像單元102接收一序列影像畫面且將其儲存於影像緩衝器402中。影像緩衝器402可為此項技術中已知的先進先出緩衝器或其他合適儲存元件，其中以時間序列依序儲存了影像畫面i、i+1、i+2...。圖4A至圖4C說明在電腦系統106接收額外影像畫面的三個連續時間的影像緩衝器402的內容，且圖4D表示基於儲存於影像緩衝器402中的影像畫面而產生的光流的時間序列。在圖4A中，電腦系統106在時間T1自成像單元102接收畫面i至i+6，且將其作為時間序列儲存於影像緩衝器402中。在圖4B中，電腦系統106在遲於T1的時間T2接收額外畫面i+7，且將其儲存於影像畫面i至i+6的時間序列的末尾。在圖4C中，電腦系統106在遲於時間T2的時間T3接收額外畫面i+8，且將其儲存於影像緩衝器402中。
返回參看圖4A，在時間T1，在接收到畫面i+6(亦即，當前畫面)後，電腦系統106自影像緩衝器402選擇時間序列中的較早畫面，以與當前畫面比較，以判定對應光流f1(繪示於圖4D中)。在此特定實例中，電腦系統106選擇影像畫面i(其在時間上比當前畫面早六個畫面)以計算光流f1。
在時間T2，如圖4B所示，電腦系統106接收畫面i+7(其成為當前畫面)，且判定透鏡系統110的動作量已增大或放大率已增大。因此，電腦系統106選擇畫面i+4(其與畫面i+7之間的距離在時間上比畫面i與畫面i+6之間的距離小，且在時間上比當前畫面早三個畫面)以計算對應光流f2(繪示於圖4D中)。選 擇在時間上較接近於當前畫面的畫面確保基於所選擇的畫面來計算適當光流。
在時間T3，如圖4C所示，電腦系統106接收畫面i+8(其成為當前畫面)，且判定透鏡系統110的動作速度已減小。因此，電腦系統106選擇較早畫面(諸如，畫面i+1，其比當前畫面早七個畫面)以計算對應光流f3(繪示於圖4D中)。因為透鏡系統110在時間T3以較低速度移動或其放大率已減小，所以選擇在時間上較遠離當前畫面的畫面實現光流的適當評估。
此外，在電腦系統106基於來自動作感測器104的位置以及定向量測值而判定透鏡系統110實質上靜止時，電腦系統106並不計算當前畫面的新光流。此是因為由透鏡系統110產生的二維影像具有較少改變或不具有改變，且針對先前畫面而產生的深度圖可再用於當前畫面。或者，在透鏡系統110實質上靜止或僅具有小的動作量時，電腦系統106可使用如下所述的影像扭曲技術來更新先前深度圖。
根據另一實施例，影像緩衝器402的大小是根據正常成像程序期間的透鏡系統110的最小放大率的最小動作速度來判定。在透鏡系統110針對既定放大率以最小動作速度行進時，電腦系統106選擇第一影像畫面(其對應於影像緩衝器402內可用的最早影像畫面)以與當前畫面比較來判定對應光流。因此，如此判定的影像緩衝器402的長度提供充足儲存空間來儲存以大於 最小動作速度的任何速度以及大於最小放大率的任何放大率來計算光流所需的所有影像畫面。
根據另一種實施例，電腦系統106可基於透鏡系統110行進的距離來選擇畫面以判定光流而非監視透鏡系統110的動作速度。舉例而言，基於由動作感測器104提供的位置量測值，電腦系統106判定透鏡系統110行進的距離。在透鏡系統110在先前畫面與當前畫面之間行進相對大的距離時，電腦系統106選擇在時間上接近或具有較少中介畫面的影像畫面來計算光流。在透鏡系統110在先前畫面與當前畫面之間行進相對小的距離時，電腦系統106選擇在時間上較遠離或具有較大數目的中介畫面的影像畫面來計算光流。
可根據透鏡系統110的動作速度或行進距離來定義用於判定是否應產生新的光流以及新的深度圖的閥值。可根據具體影像程序以經驗判定閥值，且可以二維影像的像素為單位來指定閥值。舉例而言，在圖1A的系統100以及圖1B的系統130中，若透鏡系統110行進小於5個像素或每單位時間或每次迭代具有小於5個像素的速度，則電腦系統106認為透鏡系統110實質上為靜止的，且再使用先前深度圖或扭曲(warp)先前深度圖。扭曲運算是藉由使用由動作感測器104提供的位置及定向量測值來執行。其他閥值單位(諸如，毫米、公分、吋等)亦可用於判定透鏡系統110的動作是否實質上靜止。
根據另一實施例，電腦系統106自當前畫面以及所選擇的畫面中的每一者選擇一或多個區域，且基於所選擇的區域而計算光流。電腦系統106亦可基於所得光流來計算平均動作，且將其用作透鏡系統110的動作的評估值。
或者，電腦系統106可選擇緊接在當前畫面之前的畫面或影像緩衝器402內的較早畫面中的任一者，以計算光流，而不管透鏡系統110的動作速度或行進距離。
深度圖的計算
在針對每一二維影像畫面而計算光流之後，電腦系統106基於對應光流來判定深度圖。參看圖4E，深度圖d1、d2、d3等分別對應於光流f1、f2、f3等。
圖5A描繪依照本揭露基於上述光流而計算深度圖的處理程序。在圖5A中，與影像平面相關聯的影像參考系統是由影像原點Oi以及影像軸Xi及Yi來定義。成像單元102由針孔相機模型來模型化，且由相機參考系統表示，所述相機參考系統是由相機原點Oc以及相機軸Xc、Yc及Zc定義。因此，影像平面的中心相對於影像參考系統(Xi,Yi)具有座標(cx,cY)，且相對於相機參考系統具有座標(0,0,f)。符號f表示透鏡系統110的焦距，且可獲自相機校準程序。焦距f可(例如)以二維影像的像素為單位或以其他單位(例如，毫米、公分等)來指定。
進一步在圖5A中，透鏡系統110在時間T1處於位置P1，且在時間T2移動至位置P2。物件602上的點P是在位置P1 以及時間T1經由透鏡系統110來檢視。成像單元102經由透鏡系統110而在影像畫面606中產生影像。影像畫面606中的影像像素(亦即，影像點604)的位置是藉由自點P行進穿過透鏡系統110的光線608與位置P1處的影像平面之間的交叉點而獲得。影像點604在影像參考系統(Xi,Yi)中由座標(u,v)表示，且在相機參考系統(Xc,Yc,Zc)中由座標(u-c X ,v-c Y ,f)表示。
光線608可使用齊次座標由以下光線方程式(1)表示： 其中，r 1表示光線608的向量函數，x、y及z為相機參考系統中的P點座標，c X 及c Y 為上文定義的影像平面的中心的座標，f為上文定義的透鏡系統110的焦距，且t1表示沿著對應於影像畫面606的光線608的深度參數。
在時間T2，在透鏡系統110移動至位置P2時，由成像單元102產生影像畫面610，其包括物件602上的點P的影像點612。類似地，影像點612可藉由位置P2處的影像平面與始於物件602上的點P且行進穿過透鏡系統110的光線614之間的交叉點來模型化。此外，相對於影像參考系統的物件602的影像點的動作是由如上所述的自影像點604至影像點612的動作向量618表示。動作向量618是由結合圖2所述的處理程序提供，且由(△u, △v)表示，其中△u為沿著影像參考系統的影像軸Xi的動作向量618的分量，且△v為沿著影像參考系統的影像軸Yi的動作向量618的分量。
此外，在透鏡系統110行進至位置P2的時間T2，自位置P1至位置P2的透鏡系統110的相機位置變換616可由變換矩陣M表示：
電腦系統106在時間T1及T2自動作感測器104接收位置量測值(包括(例如)平移及旋轉)，且基於位置以及定向量測值而判定變換矩陣M。
因此，光線614可使用齊次座標由以下光線方程式(2)表示： 其中r 2表示光線614的向量函數，t2表示沿著對應於影像畫面610的光線614的深度參數。
為了簡化表示法，定義以下參數：
由於光線608及614在物件602處彼此交叉，因此使光線方程式(1)及(2)相等分別提供對應於影像畫面606及610的深度參數t1及t2的解。因此，可自以下方程式(3)判定深度t1及t2：
將方程式(3)求解提供深度t2。可如下針對深度t2而發現實質上相等的兩個解：
在一些實施例中，方程式(4)及(5)的結果可能不同。特定言之，在系統100中由於(例如)由動作感測器104提供的位置量測值或計算雜訊而存在數值誤差時，光線608及614可能不交叉。因此，光線之間的最小距離的計算(而非交叉)可提供用以判定深度t2的較健全的方式。
根據另一實施例中，在針對深度t2求解之後，電腦系統106可選擇將深度t2的解應用於方程式(3)，且針對對應於影像畫面606中的影像點604的深度t1求解。
根據另一實施例，電腦系統106判定對應於影像畫面606及610的每一像素或其一部分的深度且產生影像畫面606及610的深度圖。所得深度圖以及二維影像畫面606及610可具有相同解析度，使得深度圖的每一像素表示由影像畫面606或610中的對應像素表示的結構的深度。
根據另一種實施例，電腦系統106不需要使用光流即可產生深度圖。舉例而言，電腦系統106可根據以下文獻所述的方法而產生深度圖：Springer-Verlag Berlin Hedelberg 2010的Proceedings of the 32nd DAGM Conference on Pattern Recognition，第11至20頁，J.Stühmer等人的「Real-Time Dense Geometry from a Handheld Camera」，所述文獻全文特此以引用方式併入本文中。系統100整合Stühmer等人所述的方法與本文所述的動作感測器104。特定言之，電腦系統106自動作感測器104接收位置以及定向量測值，且基於位置量測值而計算透鏡系統110的動作。電腦系統106接著使用Stühmer等人所述的方法來判定深度圖。
Stühmer等人所提供的方法為迭代處理程序，且因此需要深度圖的初始估計。此初始估計可為場景中的物件與透鏡系統110之間的平均距離的估計。為了獲得初始估計，電腦系統106可執行圖5B所描繪的處理程序640。根據處理程序640，在步驟642處，將成像單元102插入至空腔中。在步驟644處，電腦系統106記錄成像單元102的來自動作感測器104的第一原點位置。在步 驟646處，將成像單元102移動得接近器官。在步驟648處，電腦系統106記錄成像單元102的來自動作感測器104的第二原點位置。在步驟650處，將成像單元102移動得離開器官。在步驟652處，電腦系統106記錄成像單元102的來自動作感測器104的額外位置。在步驟654處，電腦系統106基於步驟644至652中所收集的位置量測值來計算透鏡系統110的相機中心與器官之間的初始距離。基於所述初始距離，電腦系統106判定深度圖的初始估計。
根據另一實施例，由電腦系統106計算的深度圖可能並不適用於呈現三維影像或在顯示元件上顯示的比例。因此，電腦系統106可在產生三維影像之前對深度圖進行重定比例或正規化(normalize)。為了對深度圖進行正規化，電腦系統106首先判定初始深度比例，所述初始深度比例可使用上述處理程序640而獲得。 電腦系統106可接著使用初始深度比例來對深度圖進行正規化。 舉例而言，電腦系統106將深度圖的每一值除以初始深度比例且接著對結果進行調整，使得經正規化的深度圖的所有值落入適用於在顯示元件120上顯示的範圍內。
或者，電腦系統106藉由使用圖6所說明依照本揭露的扭曲技術而計算深度圖。特定言之，如圖6所述，在時間T1，透鏡系統110形成第一影像畫面502，其包括場景中的物件506的物件影像504。此後，透鏡系統110在時間T2行進至不同位置，且經物件投影向量518形成第二影像畫面508，此時物件506在第二 影像畫面的成像為512；且由物件影像504到成像512的物件移動向量為520。電腦系統106針對有位置資訊的先前深度圖應用扭曲運算，以產生新深度圖。在T1的第一影像畫面502的點使用成像單元102的內部參數以及由動作感測器104提供的動作參數而投影至物件空間上。此處，先前深度圖對應於在時間T1的影像畫面。在透鏡系統110的動作較小的時候，扭曲技術提供用於自透鏡系統110的動作計算新深度圖的快速方式。
電腦系統106首先依像素深度計算自物件影像504至物件空間的物件反投影向量(reverse projection)514，得到該像素點在3D空間中的位置。接著應用透鏡系統110的位置變換矩陣516將座標系由時間T1的相機位置轉換到時間T2的相機位置。最後再將轉換後的3D位置投影回影像座標系，即可得到該像素經扭曲(warp)後在新深度圖中的位置。電腦系統106接著如此項技術中所知而將先前深度圖扭曲為新深度圖。
系統校準
在執行成像程序(亦即，三維影像的計算)之前，系統100執行系統校準。系統校準可僅執行一次、週期性地執行、每次使用系統時執行或根據使用者的需要來執行。系統校準包括相機校準程序以及感測器至相機中心校準程序。
相機校準程序提供相機參數，所述相機參數包括透鏡系統110的內部參數以及外部參數。內部參數指定物件如何經由透鏡系統110投影至成像單元102的影像平面上。外部參數指定相 對於動作感測器104的相機中心的位置。由此項技術中可知，相機中心指透鏡系統110的中心。舉例而言，相機中心可為透鏡系統110的入射光瞳(entrance pupil)的中心。外部參數用於感測器至相機中心校準。相機校準可由電腦系統106使用此項技術中已知的相機校準工具(諸如，可在http：//www.vision.caltech.edu/bouguet獲得的MATLAB相機校準工具盒或此項技術中已知的任何其他相機校準程序或工具)而執行。
在動作感測器104附接至成像單元102的主體而不是直接附接至透鏡系統110時，動作感測器104提供成像單元102的主體的位置以及定向量測值，其可不同於透鏡系統110的相機中心的位置以及定向量測值。感測器至相機中心校準提供附接至成像單元102的主體的動作感測器104的位置與透鏡系統110的相機中心之間的變換關係。用以確保電腦系統106計算出來的變換矩陣M為成像程序期間的透鏡系統110的相機中心的動作的準確表示。透鏡系統110的相機中心為可能位於或可能不位於透鏡系統110的光學中心的虛擬點。
圖7描繪依照本揭露感測器至相機中心校準程序的例示性處理程序。動作感測器104與透鏡系統110之間的變換關係由變換矩陣X表示。在校準期間，在透鏡系統110之前呈現含有已知尺寸的黑正方形以及白正方形的校準板700。校準板的影像序列由成像單元102擷取且傳輸至電腦系統106。所述影像序列包括對應於透鏡系統110的至少兩個不同位置P0及P1的影像畫面。位 置P0及P1提供校準板700的不同視圖，且包括不同平移及旋轉動作。
動作感測器104提供相對於基地台114的位置以及定向量測值。在位置P0，動作感測器104提供由變換矩陣(M TS)0表示的位置量測值。此外，基於在位置P0處獲取的影像畫面，電腦系統106判定相對於由變換矩陣(M BC)0表示的校準板的透鏡系統110的位置。
類似地，在位置P1，動作感測器104提供由變換矩陣(M TS)1表示的位置量測值。基於在位置P1處獲取的影像畫面，電腦系統106判定相對於由變換矩陣(M BC)1表示的校準板的透鏡系統110的位置。
電腦系統106接著如下基於變換矩陣(M TS)0及(M TS)1而判定對應於自位置P0至位置P1的動作的動作感測器104的變換矩陣A：
此外，電腦系統106如下基於變換矩陣(M BC)0及(M BC)1而判定對應於自位置P0至位置P1的動作的透鏡系統110的相機中心124的變換矩陣B：
因此，電腦系統106藉由對以下方程式求解來判定動作感測器104與透鏡系統110之間的變換矩陣X：A．X=X．B.
根據另一實施例，在感測器至相機中心校準期間，動作感測器104以及透鏡系統110的中心在成像單元102的兩個連續位置之間行進的各別路徑並不共平面(coplanar)，以便確保電腦系統106正確地計算矩陣X。
根據另一實施例，為了提高矩陣X的精確度，記錄動作感測器104以及透鏡系統110的多組位置資料。在一個例示性實施例中，在校準期間，記錄動作感測器104以及透鏡系統110的12組位置資料。電腦系統106接著基於所述多組位置資料來判定變換矩陣X的結果，且藉由對所述結果求平均值或根據最小平方技術將變換矩陣X的結果的誤差降至最小來計算變換矩陣X。
在判定變換矩陣X之後，電腦系統106將結果儲存於儲存元件116中以供稍後在成像程序期間擷取，且使用所述結果來判定透鏡系統110的動作。特定言之，返回參看圖5A及圖7，在位置P1處，動作感測器104提供位置量測值(M TS)P1，且，在位置P2處，動作感測器提供位置量測值(M TS)P2。電腦系統106接著使用以下方程式來計算由上述矩陣M表示的透鏡系統110的從時間T1到時間T2的相機位置變換616：
根據一個實施例，上述矩陣為具有以下形式的4×4齊次變換矩陣： 其中R表示3×3旋轉矩陣，且T表示1×3平移向量。此矩陣表示法並非從時間T1到時間T2的相機位置變換616的唯一表示方式，熟習此項技術者亦可使用其他等價的方法表示。
總體成像處理程序
圖8描繪依照本揭露根據上文論述的使用系統100而自二維影像產生三維影像的處理程序800。處理程序800可經由儲存於儲存元件116內且由處理器118執行的電腦可執行指令而實施於電腦系統106上。
根據處理程序800，在步驟802處，將系統100初始化。舉例而言，電腦系統106自使用者接收成像單元102的參數(包括透鏡系統110的焦距f)，且將所述參數儲存於儲存元件116中。在初始化期間，電腦系統106亦準備儲存元件的空間以建立影像緩衝器402(繪示於圖4A至圖4C中)。
在步驟804處，如上文結合圖7所述，執行系統校準。在系統校準期間，電腦系統106判定自動作感測器104至透鏡系統110的相機中心124的變換矩陣X，且儲存變換矩陣X。
在步驟806處，電腦系統106自成像單元102接收影像畫面，且自動作感測器104接收位置量測值。電腦系統106將影像畫面儲存於影像緩衝器402中，供稍後擷取以計算深度圖。在獲取個別影像畫面時，位置量測值對應於個別影像畫面，且指定相對於與基地台114相關聯的世界座標的動作感測器104的位置。
在步驟808處，電腦系統106基於在步驟806處接收的影像畫面以及位置量測值而判定深度圖。舉例而言，如上文結合圖4至圖6所述，電腦系統106選擇至少兩個影像畫面來計算光流，且基於所述光流來計算深度圖。電腦系統106可基於如圖4所描繪由動作感測器104提供的位置量測值來選擇影像畫面。或者，如上所述，電腦系統106可計算深度圖，而不需要使用光流。
在步驟810處，電腦系統106基於二維影像以及在步驟808處產生的深度圖來產生三維影像。特定言之，為了獲得立體影像，電腦系統106執行視圖合成，從而將二維影像及對應深度圖轉變為一對左右影像、交錯(interlaced)影像、上下影像或既定立體顯示器所需的任何其他適當格式。在步驟812處，立體影像可在適當三維顯示元件上顯示，包括(例如)頭戴式元件、裸眼檢視元件或積分影像檢視元件。
圖9描繪依照本揭露在步驟806處進行的處理程序900，用於基於二維影像畫面以及位置量測值而產生深度圖。特定言之，根據處理程序900，在步驟902處，電腦系統106判定透鏡系統110是否具有產生深度圖所需足夠的橫向動作。舉例而言，電腦系統106檢查相對於世界參考系統的透鏡系統110的橫向動作(例如，△x或△y)是否超過各別閥值(例如，θ△x或θ△y)。閥值可(例如)以二維影像畫面的像素為單位或以任何其他單位來指定。
若在步驟902處橫向動作在兩個橫向方向(例如，x方向及y方向)中的一者上超過閥值，則電腦系統106判定是否應產生新深度圖(步驟904)。舉例而言，若橫向動作即使超過閥值仍相對小，則由於計算所述深度圖所需的計算成本，完整的新深度圖則未必是必需或所需的。因此，電腦系統106判定並不需要新的深度圖，且亦不用進行至步驟906以基於由動作感測器104提供的位置量測值來更新先前深度圖(亦即，在先前迭代中產生的深度圖)。舉例而言，電腦系統106可使用由動作感測器104提供的位置量測值基於方程式(9)來計算透鏡系統110的相機中心124的動作變換矩陣。基於由動作變換矩陣提供的平移，電腦系統106可對先前深度圖執行移位運算或扭曲運算，以使得先前深度圖根據透鏡系統110的相機中心124的動作而更新。
若在步驟904處電腦系統106判定新深度圖為所需的，則電腦系統106進行至步驟908以選擇影像緩衝器402中的影像畫面來產生新深度圖。舉例而言，在系統100初始化或透鏡系統110具有顯著動作而使先前深度圖不適於當前影像畫面時，則需要新的深度圖。
在步驟908處，電腦系統106根據結合圖4所述的處理程序而自影像緩衝器402選擇至少兩個影像畫面且產生當前影像畫面的光流。
在步驟910處，電腦系統106基於在步驟908處計算的光流而計算新深度圖。舉例而言，電腦系統106首先根據結合圖7 所述的處理程序而判定所選擇的影像畫面之間的變換矩陣M，且根據方程式(4)或(5)而判定當前影像畫面的新深度圖。
返回參考步驟902，若電腦系統106判定透鏡系統110的橫向動作小於閥值，則電腦系統106判定透鏡系統110的縱向動作△z(例如，沿著透鏡系統110的光軸的動作)是否大於閥值(例如，θ△z)(步驟912)。若縱向動作△z大於閥值θ△z，則電腦系統106進行至步驟914。因為透鏡系統110的縱向動作△z在二維影像中產生縮放效應，所以電腦系統106在步驟914處藉由將對先前深度圖進行縮放或重設大小來判定當前影像畫面的深度圖。或者，電腦系統106應用影像扭曲運算以更新先前深度圖。
若電腦系統106判定透鏡系統110的縱向動作△z小於閥值θ△z(亦即，透鏡系統110相對於所觀測的場景實質上靜止)，則電腦系統106將先前深度圖作為當前影像畫面的深度圖(步驟916)。或者，在步驟916處，電腦系統106藉由扭曲先前深度圖而產生當前影像畫面的深度圖。亦即，在相機中心124的動作保持小於針對x、y及z方向定義的閥值時，電腦系統106以動作感測器104所提供的動作參數來扭曲先前深度圖，以產生當前影像畫面的深度圖。
如上所述，在判定當前影像畫面的深度圖之後，電腦系統106進行至步驟810以產生三維影像。
綜上所述，本揭露提出的二維影像轉換為三維影像的系統與方法有效地解決了大多數現有成像系統僅能產生單像的或二 維的影像的缺點。也由於本案能夠提供具有深度資訊的視覺感知，也就是提供三維的影像資訊，也因此操作者能夠更容易瞭解影像的視場內的結構的相對距離，以便於藉由三維的影像資訊進行檢查等不同操作。此外，本揭露提出的二維影像轉換為三維影像的系統與方法可直接應用在各種成像系統上，且與目前一般2D轉3D技術相比，本揭露產生的立體影像品質更高，更接近真實拍攝場景。
應瞭解，本揭露不限於已在上文描述且在附圖中說明的精確構造，且可進行各種修改及改變而不偏離本揭露的範疇。出於說明目的而描述內視鏡成像程序。本文所述的影像處理技術可用於自二維影像產生三維影像的任何影像顯示與處理系統，而不限於內視鏡成像系統。舉例而言，所述影像處理技術可用於數位顯微鏡、視訊攝影機、數位相機等。本揭露的範疇意欲僅由隨附申請專利範圍限制。
110‧‧‧透鏡系統
302‧‧‧深度圖
304‧‧‧二維影像
306‧‧‧像素群組
308‧‧‧像素群組
310‧‧‧物件
312‧‧‧物件
314‧‧‧光軸
316‧‧‧像素群組深度
318‧‧‧像素群組深度
320‧‧‧複本
322‧‧‧複本
324‧‧‧三維視訊畫面/三維影像
d1‧‧‧深度/深度圖
d2‧‧‧深度/深度圖
d3‧‧‧距離/深度圖

Claims (16)

  1. 一種將二維影像轉換為三維影像的方法，包括：自成像元件接收多個二維影像；自與所述成像元件相關聯的感測器獲得動作參數；基於所述動作參數而自所述多個二維影像選擇至少兩個二維影像；根據相機參數而將所述所選擇的二維影像中的第一二維影像的至少一個影像點投影至物件空間中的至少一個物件點；根據對應於所述所選擇的二維影像中的第二二維影像的所述動作參數以及所述相機參數，而將所述物件空間中的所述至少一個物件點投影至所述所選擇的二維影像中的所述第二二維影像；擷取預定物件的至少第一二維影像及第二二維影像以及對應於所述第一二維影像及所述第二二維影像的所述成像元件的所述動作參數；基於所述預定物件的所述第一二維影像及所述第二二維影像以及對應於所述第一二維影像及所述第二二維影像的所述動作參數，而判定所述感測器與所述透鏡系統之間的所述變換關係；基於所述透鏡系統的所述變換而判定所述深度圖；以及基於所述深度圖以及所述多個二維影像中的所述第一二維影像及所述第二二維影像的一者來產生三維影像。
  2. 如申請專利範圍第1項所述的方法，其中對應於所述所選 擇的二維影像的所述成像元件的動作處於指定範圍內。
  3. 如申請專利範圍第1項所述的方法，更包括：根據來自所述感測器的所述動作參數而判定所述所選擇的二維影像之間的中介影像的數目。
  4. 如申請專利範圍第3項所述的方法，更包括：根據來自所述感測器的所述動作參數而調整中介畫面的所述數目。
  5. 如申請專利範圍第1項所述的方法，更包括：基於所述動作參數而判定相對於所觀測的場景的所述成像元件的橫向動作；比較所述橫向動作與閥值；以及若所述橫向動作超過所述閥值，則基於所述所選擇的二維影像以及對應於所述所選擇的二維影像的所述動作參數而產生新深度圖。
  6. 如申請專利範圍第5項所述的方法，更包括：若所述橫向動作小於所述閥值，則藉由扭曲先前深度圖而產生所述新深度圖。
  7. 如申請專利範圍第5項所述的方法，更包括：若所述橫向動作小於所述閥值，則藉由複製先前深度圖而產生所述新深度圖。
  8. 如申請專利範圍第1項所述的方法，其中所述深度圖的解析度不同於所述二維影像的解析度。
  9. 一種電腦可讀媒體，包括儲存於所述電腦可讀媒體上的指令，所述指令在由處理器執行時使所述處理器執行用於將二維影像轉換為三維影像的方法，所述方法包括：自成像元件接收多個二維影像；自與所述成像元件相關聯的感測器獲得動作參數；基於所述動作參數而自所述多個二維影像選擇至少兩個二維影像；根據相機參數而將所述所選擇的二維影像中的第一二維影像的至少一個影像點投影至物件空間中的至少一個物件點；根據對應於所述所選擇的二維影像中的第二二維影像的所述動作參數以及所述相機參數，而將所述物件空間中的所述至少一個物件點投影至所述所選擇的二維影像中的所述第二二維影像；擷取預定物件的至少第一二維影像及第二二維影像以及對應於所述第一二維影像及所述第二二維影像的所述成像元件的所述動作參數；基於所述預定物件的所述第一二維影像及所述第二二維影像以及對應於所述第一二維影像及所述第二二維影像的所述動作參數，而判定所述感測器與所述透鏡系統之間的所述變換關係；基於所述透鏡系統的所述變換而判定所述深度圖；以及基於所述深度圖以及所述所選擇的二維影像中的一者來產生三維影像。
  10. 如申請專利範圍第9項所述的電腦可讀媒體，其中對應 於所述所選擇的二維影像的所述成像元件的動作處於指定範圍內。
  11. 如申請專利範圍第9項所述的電腦可讀媒體，所述方法更包括：根據來自所述感測器的所述動作參數而判定所述所選擇的二維影像之間的中介畫面的數目。
  12. 如申請專利範圍第11項所述的電腦可讀媒體，所述方法更包括：根據來自所述感測器的所述動作參數而調整中介畫面的所述數目。
  13. 如申請專利範圍第9項所述的電腦可讀媒體，所述方法更包括：基於所述動作參數而判定相對於所觀測的場景的所述成像元件的橫向動作；比較所述橫向動作與閥值；以及若所述橫向動作超過所述閥值，則基於所述所選擇的二維影像以及對應於所述所選擇的二維影像的所述動作參數而產生新深度圖。
  14. 如申請專利範圍第13項所述的電腦可讀媒體，所述方法更包括：若所述橫向動作小於所述閥值，則藉由扭曲或複製先前深度圖而產生所述新深度圖。
  15. 一種將二維影像轉換為三維影像的系統，包括：成像元件，用以產生多個二維影像；感測器，與所述成像元件相關聯，用以量測所述成像元件的動作參數；電腦，經配置以：自所述成像元件接收所述多個二維影像；自所述感測器獲得所述動作參數；基於所述動作參數而自所述多個二維影像選擇至少兩個二維影像；根據相機參數而將所述所選擇的二維影像中的第一二維影像的至少一個影像點投影至物件空間中的至少一個物件點；根據對應於所述所選擇的二維影像中的第二二維影像的所述動作參數以及所述相機參數，而將所述物件空間中的所述至少一個物件點投影至所述所選擇的二維影像中的所述第二二維影像；擷取預定物件的至少第一二維影像及第二二維影像以及對應於所述第一二維影像及所述第二二維影像的所述成像元件的所述動作參數；基於所述預定物件的所述第一二維影像及所述第二二維影像以及對應於所述第一二維影像及所述第二二維影像的所述動作參數，而判定所述感測器與所述透鏡系統之間的所述變換關係；基於所述透鏡系統的所述變換而判定所述深度圖；以及基於所述深度圖以及所述所選擇的二維影像中的一者來產生 三維影像。
  16. 如申請專利範圍第15項所述的系統，其中所述成像元件包括內視鏡。
TW102120363A 2012-08-15 2013-06-07 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體 TWI520576B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261683587P 2012-08-15 2012-08-15
PCT/IB2013/000914 WO2014027229A1 (en) 2012-08-15 2013-03-15 Method and apparatus for converting 2d images to 3d images

Publications (2)

Publication Number Publication Date
TW201408041A TW201408041A (zh) 2014-02-16
TWI520576B true TWI520576B (zh) 2016-02-01

Family

ID=48626086

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102120363A TWI520576B (zh) 2012-08-15 2013-06-07 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體

Country Status (3)

Country Link
US (1) US20150237325A1 (zh)
TW (1) TWI520576B (zh)
WO (1) WO2014027229A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2848794C (en) * 2014-04-11 2016-05-24 Blackberry Limited Building a depth map using movement of one camera
US11463676B2 (en) * 2015-08-07 2022-10-04 Medicaltek Co. Ltd. Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
EP3130273B1 (en) * 2015-08-13 2019-05-15 MedicalTek Co., Ltd. Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
US10257505B2 (en) 2016-02-08 2019-04-09 Microsoft Technology Licensing, Llc Optimized object scanning using sensor fusion
KR102529120B1 (ko) * 2016-07-15 2023-05-08 삼성전자주식회사 영상을 획득하는 방법, 디바이스 및 기록매체
US10488195B2 (en) * 2016-10-25 2019-11-26 Microsoft Technology Licensing, Llc Curated photogrammetry
US10816693B2 (en) * 2017-11-21 2020-10-27 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in a field of interest
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
KR101988372B1 (ko) * 2018-11-30 2019-06-12 주식회사 큐픽스 사진 이미지를 이용한 3차원 건축물 모델 역설계 장치 및 방법
EP3933480A4 (en) * 2019-03-25 2022-05-11 Sony Olympus Medical Solutions Inc. MEDICAL OBSERVATION SYSTEM
US11503266B2 (en) * 2020-03-06 2022-11-15 Samsung Electronics Co., Ltd. Super-resolution depth map generation for multi-camera or other environments
WO2022251814A2 (en) 2021-05-24 2022-12-01 Stryker Corporation Systems and methods for generating three-dimensional measurements using endoscopic video data

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106366B2 (en) * 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
KR100904846B1 (ko) * 2007-08-27 2009-06-25 아주대학교산학협력단 움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법
US20110304693A1 (en) * 2010-06-09 2011-12-15 Border John N Forming video with perceived depth
US9185388B2 (en) * 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
KR20120073887A (ko) * 2010-12-27 2012-07-05 삼성전자주식회사 이미지 처리 장치 및 그 이미지 처리 방법

Also Published As

Publication number Publication date
TW201408041A (zh) 2014-02-16
US20150237325A1 (en) 2015-08-20
WO2014027229A1 (en) 2014-02-20

Similar Documents

Publication Publication Date Title
TWI520576B (zh) 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
JP3728160B2 (ja) 奥行き画像計測装置及び方法、並びに複合現実感提示システム
US6570566B1 (en) Image processing apparatus, image processing method, and program providing medium
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
US11276225B2 (en) Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity
JP5818857B2 (ja) 情報処理装置およびその制御方法
US8848035B2 (en) Device for generating three dimensional surface models of moving objects
JP2020506487A (ja) シーンから深度情報を取得するための装置および方法
US20140293007A1 (en) Method and image acquisition system for rendering stereoscopic images from monoscopic images
JP2014052758A (ja) 視線計測方法
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
JPH07129792A (ja) 画像処理方法および画像処理装置
CN104732586A (zh) 一种三维人体动态形体和三维运动光流快速重建方法
JP2008275366A (ja) ステレオ３次元計測システム
WO2013179905A1 (ja) 医療用３次元観察装置
JP6853928B2 (ja) 三次元動画像表示処理装置、並びにプログラム
JP2015050482A (ja) 画像処理装置、立体画像表示装置、画像処理方法およびプログラム
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法
JPWO2005091649A1 (ja) 単一の撮像装置で連続取得したビデオ映像による立体表示方法
JP6846165B2 (ja) 画像生成装置、画像表示システム及びプログラム
JP2006197036A (ja) 立体画像表示装置および立体画像表示方法
ES2734676T3 (es) Sistema de visualización estereoscópica y método para endoscopio usando un algoritmo de forma a partir de sombra
CN113925441A (zh) 一种基于内窥镜的成像方法及成像系统
JP4144981B2 (ja) 立体画像表示装置
JP3041420B1 (ja) 内視鏡システムおよび内視鏡画像の奥行き情報検出用制御プログラムを記録した記録媒体