TWI476729B - Dimensional image and three - dimensional model of the combination of the system and its computer program products - Google Patents

Dimensional image and three - dimensional model of the combination of the system and its computer program products Download PDF

Info

Publication number
TWI476729B
TWI476729B TW099141007A TW99141007A TWI476729B TW I476729 B TWI476729 B TW I476729B TW 099141007 A TW099141007 A TW 099141007A TW 99141007 A TW99141007 A TW 99141007A TW I476729 B TWI476729 B TW I476729B
Authority
TW
Taiwan
Prior art keywords
dimensional
dimensional image
space vector
display
dimensional model
Prior art date
Application number
TW099141007A
Other languages
English (en)
Other versions
TW201222470A (en
Inventor
Mao Yuan Chin
Jui Yi Kuo
Original Assignee
Inst Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inst Information Industry filed Critical Inst Information Industry
Priority to TW099141007A priority Critical patent/TWI476729B/zh
Priority to US12/970,627 priority patent/US8659595B2/en
Publication of TW201222470A publication Critical patent/TW201222470A/zh
Application granted granted Critical
Publication of TWI476729B publication Critical patent/TWI476729B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Description

二維圖像與三維模型結合之方法、系統及其電腦程式產品
本發明是有關於一種二維圖像與三維模型結合之方法、系統及其電腦程式產品,且特別是有關於一種特別適用於遠距離醫療系統之二維圖像與三維模型結合顯示之方法、系統及其電腦程式產品。
目前網路上或應用程式上,在顯示人、物件或空間時,還是以二維平面圖像為主,為了讓瀏覽者能夠從不同角度/方位來瀏覽所欲顯示的人、物件或空間,往往提供多張不同角度所拍攝的二維圖像,但其缺點是缺少立體感與方位的感覺。此外當有多張不同角度的二維圖像時,瀏覽者只能一張一張尋找,在選擇欲瀏覽圖像時無法直覺地選擇要看的特定位置,此外瀏覽者在瀏覽某張二維圖像時,也必須自行想像或判斷是從哪個方位來瀏覽。舉例來說,遠距離醫療系統上,若使用遠距離拍攝患者的方式來觀看患者臉部,醫生和患者必須同時在線上,醫生無法隨意操作選擇想觀看的角度,必須指示患者自行轉動。又或者是,當醫生和患者未同時在線上時,患者可自行拍攝多張照片傳送到系統端讓醫生瀏覽,但多張照片多只能逐一瀏覽,並無法讓醫生如同臨場觀看患者臉部一樣有立體感。
若要達到立體感之目的,習知則採用立體成像的技術來建立人或物件的三維模型。然,三維立體空間立體成像須使用特殊儀器,針對「特定對象」建立模型,成本高且耗時,並有失真的問題。一般常見的全景照片(Panorama)、Google街景服務、Photo Tourism。皆用定位點環看對外影像,非針對特定對象進行全方位角度的環繞視野。
全景照片主要技術作法在影像拼接,只能處理簡單的空間關係,無法呈現單一物體。Google街景服務須要特殊設備取得影像及空間資訊來建立影像間的空間關聯。Photo Tourism(Photo synth)須經過三維立體建模以建立影像空間,並利用特徵點相對位置檢索圖片。
另在中華民國專利申請號「098139045」案名「為複數影像建立關聯性之系統、方法及其記錄媒體」中依空間關聯檢索圖片,在技術上的作法為建立影像地圖決定鄰接關係,以供空間關聯檢索。缺點在於,若兩影像間找不到匹配特徵點時無法建立鄰接關係關聯。只能知道圖像間的鄰接關係,無法直接選取特定方位圖像。
此外,上述所有習知技術,雖然可建立二維圖形和三維模型之間的關係,都必須由專業技術的電腦程式人員來進行資料處理,成本高且耗時,不具有專業技術的一般人,並無法自行建立二維圖形和三維模型之間的關係。
本發明提供一種二維圖像與三維模型結合之方法、系統及其電腦程式產品,藉此以使二維圖像更具有形體和方位的感覺。
本發明提出一種二維圖像與三維模型結合之方法及系統,其係預先儲存一三維立體模型,然後取得一二維圖像,再提供一操作介面。該操作介面用以提供一二維操作功能以及一三維操作功能,二維操作功能係用以顯示二維圖像且用以提供設定一特徵點,而三維操作功能係用以提供於三維立體模型進行三維空間的顯示操作後,可決定一視角空間向量並顯示三維立體模型,然後用以提供指定對應特徵點之一確認點於三維立體模型上。最後,依據視角空間向量,決定二維圖像的一顯示空間向量。
本發明提出另一種二維圖像與三維模型結合之方法及系統,其係預先儲存一三維立體模型,然後取得一二維圖像,再提供一操作介面。該操作介面係用以提供一二維操作功能以及一三維操作功能,二維操作功能係用以顯示二維圖像且用以提供設定三個特徵點,而三維操作功能係用以提供於三維立體模型進行三維空間的顯示操作後,且用以提供指定分別對應每一特徵點之三個確認點於該三維立體模型上。最後,依據三個確認點以決定一視角空間向量,並依據視角空間向量決定二維圖像的顯示空間向量。
本發明提出一種電腦程式產品,經由電腦或電子裝置載入該程式以執行二維圖像與三維模型結合之方法,其如上所述,於此不再贅述。
在本發明之一實施例中,上述方法和系統更可取得複數個二維圖像後,分別決定每一二維圖像之顯示空間向量。操作介面依據一特定視角空間向量來顯示三維立體模型。最後,依據特定視角空間向量及每一二維圖像之顯示空間向量,選擇具有對應該特定視角空間向量之顯示空間向量的二維圖像,經由該操作介面進行顯示。
在本發明之一實施例中,上述之三維立體模型具有一三維空間座標系統,且三維立體模型係為一通用三維立體模型。
在本發明之一實施例中,上述之三維操作功能包括對三維模型進行旋轉、移動和放大縮小等其中之一操作。
在本發明之一實施例中,上述之二維圖像具有一攝影機焦距資訊,且依據攝影機焦距資訊於顯示對應的二維圖像時以放大縮小。
在本發明之一實施例中,依據確認點於三維空間座標系統中的座標,決定特徵點的顯示座標,且當操作介面依據一特定視角空間向量來顯示三維立體模型時,依據視角空間向量、確認點的座標、二維圖像的顯示空間向量以及特徵點的顯示座標,選擇對應的二維圖像並經由該操作介面顯示。
經由本發明方法和系統,可使用通用的三維模型,降低建置成本,不具有專業技術的一般使用者,都可自行提供二維圖像/照片,經由操作介面將二維圖像與三維模型結合,大幅提高實用性。之後,瀏覽者可直接操作三維立體模型即可察看相對應位置的二維圖像,不須要在成堆的二維圖像漫無目的的搜尋,或在瀏覽二維圖像之後必須自行想像二維圖像對應於實際物件/空間中的方位,大幅提高便利性。應用在遠距離醫療系統時,可透過結合有二維圖像的三維立體模型,讓醫護人員及病患可以更便利地進行溝通和評估,以提高遠端醫療在判斷病患病情之準確性。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式,作詳細說明如下。
圖1是本發明之二維圖像與三維模型結合之系統的元件方塊圖。本發明之二維圖像與三維模型結合之系統,主要包括一儲存單元110、一操作介面120和一處理單元130,更進一步時可包括一影像擷取單元。於另一些實施例中,可透過影像擷取單元140取得一二維圖像111,並儲存至儲存單元110中,影像擷取單元140可直接鏈結至儲存單元110,也可經由一通訊網路(圖1未顯示)進行遠端鏈結。
系統可預先儲存一三維立體模型112。操作介面120具有一二維操作功能121及一三維操作功能122,二維操作功能121係用以顯示二維圖像111,並指定一特徵點(圖未示,請容後描述)於二維圖像111上,三維操作功能122對三維立體模型112進行三維空間的顯示操作,以決定一視角空間向量並顯示三維立體模型,並指定一對應該特徵點(圖未示,請容後描述)之確認點於三維立體模型112上。處理單元130依據視角空間向量,決定二維圖像111的一顯示空間向量。
在另一些實施例中,儲存單元110可儲存複數個二維圖像,處理單元130可如上所述,分別決定每一個二維圖像的顯示空間向量,當操作介面120依據一特定視角空間向量顯示三維立體模型112時,處理單元130可依據特定視角空間向量以及每一二維圖像之顯示空間向量,選擇具有對應該特定視角空間向量之顯示空間向量的二維圖像,經由該操作介面進行顯示。例如,複數個二維圖像的顯示空間向量分別是(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)......等,特定視角空間向量則是(a,b,c)。處理單元130在選擇對應的顯示空間向量時,可分別比對(a,b,c)和(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)......等之間,是否有完全相符者,或是差距在一誤差值範圍之內者,或是從複數個比對結果中選擇其中差距最小者。空間向量的差距計算,例如可由畢氏定理來計算,亦即,座標軸的投影長之平方和等於向量長的平方,可得知兩向量相減之向量長,選擇所得差異值最小的空間向量之圖片顯示。另一種差距計算方式,也可看成將顯示空間向量轉換為視角與三維空間座標X、Y、Z 軸之夾角,找視角差異最小者。
在另一些實施例中,三維立體模型具有一三維空間座標系統,且三維立體模型係為一通用三維立體模型,亦即是不具有個別化特徵的模型,例如只具有形狀的頭形、人體身形、車子模型等。
在另一些實施例中,二維圖像具有一攝影機焦距資料,且依據攝影機焦距資料來決定於顯示對應的二維圖像時的大小。例如,當依據一視角空間向量來三維立體模型時,雖可決定二維圖像的顯示空間向量,但三維立體模型所顯示的畫面可能和二維圖像的顯示畫面比例並不相同,例如一頭部立體模型顯示一眼睛的畫面面積約10平方公分,但二維圖像中眼睛的畫面面積約5平方公分,在視覺上落差頗大。此時,處理單元130可依據攝影機焦距資料來校正和修改,以放大或縮小二維圖像,使得三維立體模型和二維圖像的顯示比例大約相同。另一種調整三維立體模型和二維圖像的顯示比例,亦可藉由分析物體投影平面面積來進行校正和修改。
在本發明一些實施例中,更可多儲存二維圖像與水平面夾角參數,以決定二維圖像在顯示時,對於垂直於二維圖像之軸、二維圖像的圖片旋轉角度。也就是說,儲存二維圖像之長邊與三維空間之水平面的夾角參數,避免對應顯示時,可能會有圖片自轉問題。
在另一些實施例中,處理單元130依據確認點於三維 空間座標系統中的座標,決定特徵點的顯示座標,例如,將確認點的三維座標值作為特徵點的顯示座標值,並紀錄為其所在二維圖像的相關資料中。當操作介面顯示三維立體模型時,可以得知三維立體模型的顯示畫面上是否有確認點,當判斷有時,則可依據該確認點的座標值,搜尋複數個二維圖像的相關資料,看是否有相符的特徵點座標值,並將相符的二維圖像,作為處理單元130在選擇二維圖像時的輔助參考依據。例如,處理單元130可先依據確認點的三維座標值,找出確認點的座標值相符的數張二維圖像,再將相符的二維圖像進行顯示空間向量的比對。
於以下實施例說明中,二維圖像可為一人體二維病理圖像,但本發明不限於此,任何二維圖像皆可適用。
請同時參閱圖2A及圖2B,圖2A是本發明之二維圖像與三維模型結合之方法的步驟流程圖,圖2B是圖2A的操作介面示意圖。本發明之二維圖像與三維模型結合之方法,於下列步驟之前,先提供一通用三維立體模型,主要步驟包括步驟S210~S260:
步驟S210:提供至少一二維圖像。
於本實施例中,三維立體模型係為一通用三維立體模型。因此,使用者可將所取得的任意二維圖像與此三維立體模型相結合,而不須依照不同的對象另外建立一個新的三維立體模型。
步驟S220:提供一操作介面,該操作介面具有一二維 操作功能以及一三維操作功能。
步驟S230:操作介面的二維操作功能可以顯示二維圖像,並用以供指定一特徵點於二維圖像上。如圖2B所示,於二維圖像220上指定一特徵點221。例侞,提供一功能鍵啟動指定特徵點功能,讓使用者操作滑鼠於二維圖像上直接點選即可進行指定。
步驟S240:操作介面的三維操作功能,可對三維立體模型進行三維空間的顯示操作,以決定一視角空間向量並顯示三維立體模型。例如,使用者於本實施例中,必須利用經由三維操作功能將三維立體模型調整旋轉至與二維圖像具有相同視覺效果之角度進行顯示,在三維操作功能中即可獲得此時的視角空間向量。此為一般三維模型系統之習知技術,在此不贅述。
步驟S250:操作介面的三維操作功能,可指定一確認點於三維立體模型上,並使確認點係對應特徵點,如圖2B所示,於三維立體模型210上指定一確認點211。
步驟S260:依據確認點的視角空間向量,決定二維圖像的一顯示空間向量。
更進一步時,該方法更可包括下面步驟S270~S280。
步驟S270:操作介面可依據一特定視角空間向量於操作介面上顯示三維立體模型。
步驟S280:依據至少一二維圖像之顯示空間向量,選擇對應之二維圖像並進行顯示。
於本實施例中,依據確認點於三維空間座標系統中的座標,決定特徵點的顯示座標,且當操作介面依據一特定視角空間向量來顯示三維立體模型時,依據視角空間向量、確認點的座標、至少一二維圖像的顯示空間向量以及特徵點的顯示座標,選擇對應的二維圖像並進行顯示。
於本實施例中,經由操作已結合二維圖像之三維立體模型來切換顯示的二維圖像,以提供直覺式的操作顯示效果。使用通用三維立體模型,無須做建模運算,只要建立與模型關聯,可使圖像更具有形體與方位的感覺。包含透視圖像也可關聯瀏覽。利用通用的三維立體模型,與特定對象(如患者)的多張二維圖像建立關聯性,瀏覽者(如醫生)經由三維立體瀏覽操作的系統,直覺操控三維立體模型,讓對應三維立體模型的相同角度的二維圖像即時顯示,達到如現場觀看的效果。即使無特徵關係的其他身體部位,也可因為與通用模建立關聯而可操作切換瀏覽。
在本發明一些實施例中,步驟S240中,更可多儲存一二維圖像與水平面夾角參數,以決定二維圖像在顯示時,對於垂直於二維圖像之軸、二維圖像的圖片旋轉角度。然後在S260中,在顯示二維圖像時,可再計算欲顯示的二維圖像長邊與三維空間的水平面夾角,確認是否和三維模型相符。
請同時參閱圖3A及圖3B,圖3A是本發明之二維圖像與三維模型結合之另一實施方法的步驟流程圖,圖3B是圖3A的操作介面示意圖。本實施例主要在說明當此技術應用在遠端醫療時,所採取之方法。於下列步驟之前,須於系統中建立一通用三維立體模型,主要步驟為步驟S310~S360:
步驟S310:提供至少一二維圖像。
此二維病理圖像係從病患身體部位所取得之二維病理圖像,當醫生要透過此三維立體模型來作為病患病症的診治時,藉由通用三維立體模型的建立,可適用於各個使用者,不須耗費時間再依據各個病患的差異建立每一個病患的相對三維的模型。
步驟S320:提供一操作介面,該操作介面具有一二維操作功能以及一三維操作功能。。
步驟S330:操作介面之二維操作功能,顯示二維圖像,並供指定三個特徵點於二維圖像上。如圖3B所示,於二維圖像320上指定特徵點321、特徵點322及特徵點323。
步驟S340:操作介面之三維操作功能,對三維立體模型進行三維空間的顯示操作,以顯示三維立體模型。
於本實施例中,三維立體模型不須旋轉至與二維圖像據有相同視覺效果之角度,只要能夠在三維立體模型上點選與二維圖像上的三個特徵點相吻合的三個確認點之角度即可。
步驟S350:操作介面可供指定三個確認點於三維立體模型上。如圖3B所示,於三維立體模型310上指定確認點311、確認點312及確認點313。
步驟S360:依據三個確認點決定一視角空間向量,近以決定二維圖像的一顯示空間向量。
更進一步時,該方法更可包括下面步驟S370~S380。
步驟S370:依據一特定視角空間向量於操作介面上顯示三維立體模型。
步驟S380:依據至少一二維圖像之顯示空間向量,選擇對應之二維圖像並進行顯示。
在本發明一些實施例中,依據三個確認點決定一視角空間向量,可以取二維圖像三特徵點如a(x1,y1)、b(x2,y2)、c(x3,y3),並分別對應三維模型座標A、B、C,在完成定義二維圖像與三維立體模型的對應比例時,在二維圖像上取設定基準點a,對應三維立體模型的相對點A,藉由二維圖像上的向量ab與向量ac值,將三維模型投影平面座標,其對應基準點與另兩點的向量值作調整轉動,與ab、ac向量值有唯一之對應結果,得出二維圖像對應三維立體模型之旋轉角度方向,以決定三維空間中的視角空間向量,進而決定二維圖像的顯示空間向量。
在本發明另一些實施例中,上述的二維圖像上三個特徵點時和該三維立體模型上分別對應每一特徵點的三個確認點,可以經由影像分析偵測技術,來自動被偵測和決定。 例如,當二維影像是一臉部照片、三維立體模型是一頭部模型時,可依據習知的臉部特徵偵測技術(如模版配對template matching、臉部模式量化模型qualitative model of face pattern、邊界運算技術Marr-Hildreth、臉部特寫影像分類器等),決定二維影像上的至少三個臉部特徵點,例如點左眼球中心點、右眼球中心點、鼻尖點、左耳與臉的下交接點、右耳與臉的下交接點......等,而這些臉部特徵點可以事先在頭部模型上定義好其三維座標,一但在自動偵測出二維影像上的特徵點時,就可自動對應到頭部模型上上的三維座標。
將病患的多張二維圖像建立與通用三維立體模型關聯性利用,醫生經由三維立體瀏覽操作的系統,直覺操控通用三維立體模型,讓對應通用三維立體模型的相同角度的二維圖像即時顯示,以達到如現場觀看的效果。即使無特徵關係的其他身體部位,也可因為與通用模建立關聯而可以任意的操作並切換瀏覽。
圖4是本發明一實施例之二維圖像對應三維模型的示意圖。圖4中,通用三維模型430是預先建立好的,當透過影像擷取裝置取得腿部二維圖片410及腹部二維圖片420,其中腿部二維圖片410有標示出腿部傷處411,而腹部二維圖片420有標示出腹部傷處421,接著在腿部二維圖片410及腹部二維圖片420中,找出其所分別具有之特徵點並標記於腿部二維圖片410及腹部二維圖片420上。 再於通用三維模型430找到與腿部傷處411及腹部傷處421相對應的確認點,將腿部傷處411及腹部傷處421標記於通用三維模型430,藉此以建立腿部二維圖片410及腹部二維圖片420與通用三維模型430的關連性,將腿部傷處411貼附到通用三維模型430的腿部標記432,而腹部傷處421貼附到通用三維模型430的腹部標記431。
於本實施例中,在腿部二維圖片410及腹部二維圖片420上可分別以一個特徵點對應通用三維模型430上的一個確認點,或者是以腿部二維圖片410及腹部二維圖片420上的三個特徵點對應三維模型430上的三個確認點。
雖然本發明以前述實施例揭露如上,然其並非用以限定本發明,任何熟習相像技藝者,在不脫離本發明之精神和範圍內,所作更動與潤飾之等效替換,仍為本發明之專利保護範圍內。
110...儲存單元
111...二維圖像
112...三維立體模型
120...操作介面
121...二維操作功能
122...三維操作功能
130...處理單元
140...影像擷取單元
S210~S280...步驟流程
210...三維立體模型
211...確認點
220...二維圖像
221...特徵點
S310~S380...步驟流程
310...三維立體模型
311、312、313...確認點
320...二維圖像
321、322、323...特徵點
410...腿部二維圖片
411...腿部傷處
420...腹部二維圖片
421...腹部傷處
430...通用三維模型
431...腹部標記
432...腹部傷處
圖1是本發明之二維圖像與三維模型結合顯示之系統的元件方塊圖。
圖2A是本發明之二維圖像與三維模型結合顯示之方法的步驟流程圖。
圖2B是圖2A的操作介面示意圖。
圖3A是本發明之二維圖像與三維模型結合顯示之方法的另一實施例步驟流程圖。
圖3B是圖3A的操作介面示意圖。
圖4是本發明一實施例之二維圖像對應三維模型的示意圖。
S210~S280...步驟流程

Claims (21)

  1. 一種二維圖像與三維模型結合之方法,其係預先儲存一三維立體模型,該方法包含下列步驟:提供一二維圖像;提供一操作介面,該操作介面係用以提供一二維操作功能以及一三維操作功能,其中,該二維操作功能係用以顯示該二維圖像且用以提供設定一特徵點於該二維圖像上,而該三維操作功能係用以提供於該三維立體模型進行三維空間的顯示操作,以決定一視角空間向量並顯示該三維立體模型,以及用以提供指定對應該特徵點之一確認點於該三維立體模型上;以及依據該視角空間向量,決定該二維圖像的一顯示空間向量。
  2. 如申請專利範圍第1項所述之二維圖像與三維模型結合之方法,其中該方法更包括有下列步驟:提供複數個二維圖像,並經由上述步驟分別決定每一二維圖像之顯示空間向量;該操作介面依據一特定視角空間向量,顯示該三維立體模型;以及依據該特定視角空間向量以及每一二維圖像之顯示空間向量,選擇具有對應該特定視角空間向量之顯示空間向量的二維圖像,經由該操作介面進行顯示。
  3. 如申請專利範圍第1項所述之二維圖像與三維模型結合之方法,其中該三維立體模型具有一三維空間座標系統,且該三維立體模型係為一通用三維立體模型。
  4. 如申請專利範圍第1項所述之二維圖像與三維模型結合之方法,其中該三維操作功能包括對該三維模型進行旋轉、移動和放大縮小等其中之一操作。
  5. 如申請專利範圍第1項所述之二維圖像與三維模型結合顯示之方法,其中該二維圖像具有一攝影機焦距資料,且該方法更包括以下步驟:於顯示對應的二維圖像時,係依據該攝影機焦距資料來放大或縮小該二維圖像。
  6. 如申請專利範圍第1項所述之二維圖像與三維模型結合之方法,其中該方法更包括以下步驟:依據該確認點於該三維空間座標系統中的座標,決定該特徵點的顯示座標,且當該操作介面依據一特定視角空間向量來顯示該三維立體模型時,依據該視角空間向量、確認點的座標、該至少一二維圖像的顯示空間向量以及該特徵點的顯示座標,選擇對應的二維圖像並經由該操作介面顯示。
  7. 一種二維圖像與三維模型結合之方法,其係預先儲存一三維立體模型,該方法包含下列步驟:提供一二維圖像;提供一操作介面,該操作介面係用以提供一二維 操作功能以及一三維操作功能,其中,該二維操作功能係用以顯示該二維圖像且用以提供設定三個特徵點於該二維圖像上,而該三維操作功能係用以提供於該三維立體模型進行三維空間的顯示操作,以及用以提供指定分別對應每一特徵點之三個確認點於該三維立體模型上;以及依據該等確認點以決定一視角空間向量,並依據該視角空間向量決定該二維圖像的一顯示空間向量。
  8. 如申請專利範圍第7項所述之二維圖像與三維模型結合之方法,其中該方法更包括下列步驟:提供複數個二維圖像,並經由上述步驟分別決定每一二維圖像之顯示空間向量;該操作介面依據一特定視角空間向量,顯示該三維立體模型;以及依據該特定視角空間向量以及每一二維圖像之顯示空間向量,選擇具有對應該特定視角空間向量之顯示空間向量的二維圖像,經由該操作介面進行顯示。
  9. 如申請專利範圍第7項所述之二維圖像與三維模型結合之方法,其中該方法更包括下列步驟:該二維圖像上之三個特徵點時,以及該三維立體模型上分別對應每一特徵點之三個確認點,係自動被偵測和決定。
  10. 一種二維圖像與三維模型結合顯示之系統,包括:一儲存單元,係儲存一二維圖像及一三維立體模型;一操作介面,係用以提供一二維操作功能及一三維操作功能,其中,該二維操作功能係用以顯示該二維圖像且用以提供設定一特徵點於該二維圖像上,而該三維操作功能係用以提供於該三維立體模型進行三維空間的顯示操作,以決定一視角空間向量並顯示該三維立體模型,以及用以提供指定對應該特徵點之一確認點於該三維立體模型上;以及一處理單元,鏈結至該儲存單元及該操作介面,依據該視角空間向量,決定該二維圖像的一顯示空間向量。
  11. 如申請專利範圍第10項所述之二維圖像與三維模型結合之系統,其中,儲存單元更包括儲存複數個二維圖像,該處理單元更包括分別決定每一二維圖像之顯示空間向量,且該操作介面依據一特定視角空間向量,顯示該三維立體模型時,該處理單元更包括依據該特定視角空間向量以及每一二維圖像之顯示空間向量,選擇具有對應該特定視角空間向量之顯示空間向量的二維圖像,經由該操作介面進行顯示。
  12. 如申請專利範圍第10項所述之二維圖像與三維模型 結合之系統,其中該三維立體模型具有一三維空間座標系統,且該三維立體模型係為一通用三維立體模型。
  13. 如申請專利範圍第10項所述之二維圖像與三維模型結合之系統,其中該三維操作功能包括對該三維模型進行旋轉、移動和放大縮小等其中之一操作。
  14. 如申請專利範圍第10項所述之二維圖像與三維模型結合顯示之系統,其中該二維圖像具有一攝影機焦距資料,且該操作介面於顯示對應的二維圖像時,係依據該攝影機焦距資料來放大或縮小該二維圖像。
  15. 如申請專利範圍第10項所述之二維圖像與三維模型結合之系統,其中該處理單元更依據該確認點於該三維空間座標系統中的座標,決定該特徵點的顯示座標,且當該操作介面依據一特定視角空間向量來顯示該三維立體模型時,該處理單元更依據該視角空間向量、確認點的座標、該至少一二維圖像的顯示空間向量以及該特徵點的顯示座標,選擇對應的二維圖像並經由該操作介面顯示。
  16. 如申請專利範圍第10項所述之二維圖像與三維模型結合之系統,更包括一影像擷取單元,擷取該二維圖像以儲存在該儲存單元中。
  17. 一種二維圖像與三維模型結合之系統,包括:一儲存單元,係儲存一二維圖像及一三維立體模 型;一操作介面,該操作介面係用以提供一二維操作功能以及一三維操作功能,其中,該二維操作功能係用以顯示該二維圖像且用以提供設定三個特徵點於該二維圖像上,而該三維操作功能係用以提供於該三維立體模型進行三維空間的顯示操作,以及用以提供指定分別對應每一特徵點之三個確認點於該三維立體模型上;以及一處理單元,鏈結至該儲存單元及該操作介面,依據該等確認點以決定一視角空間向量,並依據該視角空間向量決定該二維圖像的一顯示空間向量。
  18. 如申請專利範圍第17項所述之二維圖像與三維模型結合之系統,其中,該儲存單元更儲存有複數個二維圖像,該處理單元更分別決定每一二維圖像之顯示空間向量,且當該操作介面依據一特定視角空間向量顯示該三維立體模型時,該處理單元更依據該特定視角空間向量以及每一二維圖像之顯示空間向量,選擇具有對應該特定視角空間向量之顯示空間向量的二維圖像,經由該操作介面進行顯示。
  19. 如申請專利範圍第17項所述之二維圖像與三維模型結合之系統,其中該處理單元更包括:自動被偵測和決定該二維圖像上之三個特徵點 時,以及該三維立體模型上分別對應每一特徵點之三個確認點。
  20. 一種電腦程式產品,經由電腦載入該程式以執行二維圖像與三維模型結合之方法,包括:一三維立體模型;一第一程式碼,接收一二維圖像;一第二程式碼,提供一操作介面,該操作介面係用以提供一二維操作功能以及一三維操作功能,其中,該二維操作功能係用以顯示該二維圖像且用以提供設定一特徵點於該二維圖像上,而該三維操作功能係用以提供於該三維立體模型進行三維空間的顯示操作,以決定一視角空間向量並顯示該三維立體模型,以及用以提供指定對應該特徵點之一確認點於該三維立體模型上;以及一第三程式碼,依據該視角空間向量,決定該二維圖像的一顯示空間向量。
  21. 一種電腦程式產品,經由電腦載入該程式以執行二維圖像與三維模型結合之方法,包括:一三維立體模型;一第一程式碼,提供一二維圖像;一第二程式碼,提供一操作介面,該操作介面係用以提供一二維操作功能以及一三維操作功能,其 中,該二維操作功能係用以顯示該二維圖像且用以提供設定三個特徵點於該二維圖像上,而該三維操作功能係用以提供於該三維立體模型進行三維空間的顯示操作,以及用以提供指定分別對應每一特徵點之三個確認點於該三維立體模型上;以及一第三程式碼,依據該等確認點以決定一視角空間向量,並依據該視角空間向量決定該二維圖像的一顯示空間向量。
TW099141007A 2010-11-26 2010-11-26 Dimensional image and three - dimensional model of the combination of the system and its computer program products TWI476729B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW099141007A TWI476729B (zh) 2010-11-26 2010-11-26 Dimensional image and three - dimensional model of the combination of the system and its computer program products
US12/970,627 US8659595B2 (en) 2010-11-26 2010-12-16 Method and system for combining 2D image and 3D model and non-transitory computer readable storage medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW099141007A TWI476729B (zh) 2010-11-26 2010-11-26 Dimensional image and three - dimensional model of the combination of the system and its computer program products

Publications (2)

Publication Number Publication Date
TW201222470A TW201222470A (en) 2012-06-01
TWI476729B true TWI476729B (zh) 2015-03-11

Family

ID=46126300

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099141007A TWI476729B (zh) 2010-11-26 2010-11-26 Dimensional image and three - dimensional model of the combination of the system and its computer program products

Country Status (2)

Country Link
US (1) US8659595B2 (zh)
TW (1) TWI476729B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI714225B (zh) * 2018-09-28 2020-12-21 大陸商北京市商湯科技開發有限公司 注視點判斷方法和裝置、電子設備和電腦儲存介質

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9235929B2 (en) 2012-05-23 2016-01-12 Glasses.Com Inc. Systems and methods for efficiently processing virtual 3-D data
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US9691175B2 (en) * 2013-04-30 2017-06-27 Bentley Systems, Incorporated 3-D models as a navigable container for 2-D raster images
CA2820305A1 (en) 2013-07-04 2015-01-04 University Of New Brunswick Systems and methods for generating and displaying stereoscopic image pairs of geographical areas
TWI553565B (zh) * 2014-09-22 2016-10-11 銘傳大學 利用二維臉部影像估測其三維角度方法,及其臉部置換資料庫建立方法與臉部影像置換方法
US10318102B2 (en) * 2016-01-25 2019-06-11 Adobe Inc. 3D model generation from 2D images
CN107547604B (zh) * 2016-06-28 2020-04-10 中国石油天然气股份有限公司 物品展示方法及系统
US10416836B2 (en) * 2016-07-11 2019-09-17 The Boeing Company Viewpoint navigation control for three-dimensional visualization using two-dimensional layouts
WO2019028853A1 (zh) * 2017-08-11 2019-02-14 深圳前海达闼云端智能科技有限公司 建立物体三维图像模型的方法、众包平台及系统
CN109144393B (zh) * 2018-08-28 2020-08-07 维沃移动通信有限公司 一种图像显示方法及移动终端
TWI747500B (zh) * 2020-09-16 2021-11-21 國立臺灣科技大學 自動物件取像方法及裝置
US11100721B1 (en) 2020-11-02 2021-08-24 Bentley Systems, Incorporated Integrating 2D images into a display of a 3D reality mesh to recover lost context

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060177133A1 (en) * 2004-11-27 2006-08-10 Bracco Imaging, S.P.A. Systems and methods for segmentation of volumetric objects by contour definition using a 2D interface integrated within a 3D virtual environment ("integrated contour editor")

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US8675951B2 (en) * 2007-05-11 2014-03-18 Three Pixels Wide Pty Ltd. Method and system for generating a 3D model
US20110187703A1 (en) * 2010-01-29 2011-08-04 Kedar Anil Patwardhan Method and system for object tracking using appearance model

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060177133A1 (en) * 2004-11-27 2006-08-10 Bracco Imaging, S.P.A. Systems and methods for segmentation of volumetric objects by contour definition using a 2D interface integrated within a 3D virtual environment ("integrated contour editor")

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
1、陳正軒, "以視訊影像進行三維房屋模型實景紋理敷貼之研究", 2006/07/10, http://fedetd.mis.nsysu.edu.tw/FED-db/cgi-bin/FED-search/view_etd?identifier=oai:thesis.lib.ncu.edu.tw:93322086&index_word=%E9%81%AE%E8%94%BD%E6%95%88%E6%87%89 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI714225B (zh) * 2018-09-28 2020-12-21 大陸商北京市商湯科技開發有限公司 注視點判斷方法和裝置、電子設備和電腦儲存介質
US11295474B2 (en) 2018-09-28 2022-04-05 Beijing Sensetime Technology Development Co., Ltd. Gaze point determination method and apparatus, electronic device, and computer storage medium

Also Published As

Publication number Publication date
US8659595B2 (en) 2014-02-25
TW201222470A (en) 2012-06-01
US20120133640A1 (en) 2012-05-31

Similar Documents

Publication Publication Date Title
TWI476729B (zh) Dimensional image and three - dimensional model of the combination of the system and its computer program products
TWI554976B (zh) 監控系統及其影像處理方法
US9665936B2 (en) Systems and methods for see-through views of patients
KR101569600B1 (ko) 증강 현실 표현을 위한 2차원 이미지 캡쳐
JP4434890B2 (ja) 画像合成方法及び装置
JP5093053B2 (ja) 電子カメラ
US20120120113A1 (en) Method and apparatus for visualizing 2D product images integrated in a real-world environment
US11335456B2 (en) Sensing device for medical facilities
JP6368142B2 (ja) 情報処理装置、情報処理方法
CN102724398B (zh) 图像数据提供方法、组合方法及呈现方法
TWM364920U (en) 3D human face identification device with infrared light source
JP5963006B2 (ja) 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体
JP2007233971A (ja) 画像合成方法及び装置
TWI615808B (zh) 全景即時影像處理方法
JP2013008257A (ja) 画像合成プログラム
US10102638B2 (en) Device and method for image registration, and a nontransitory recording medium
WO2017003424A1 (en) Metric 3d stitching of rgb-d data
JP2004326179A (ja) 画像処理装置、画像処理方法および画像処理プログラムならびに画像処理プログラムを記録した記録媒体
US11937967B2 (en) Automating a medical environment
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
JP2000306106A (ja) 3次元有向体の定位方法及び画像処理装置
JP2009055332A (ja) 映像合成表示装置
JP2009124204A (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP7439398B2 (ja) 情報処理装置、プログラム及び情報処理システム
WO2013044642A1 (zh) 亮度函数获取方法以及相关装置