TWI737371B - 虛實整合系統與方法 - Google Patents

Abstract

本發明提供一種虛實整合系統與方法。此系統包含伺服器以及手持式電腦裝置。在此方法中，首先利用手持式電腦裝置從伺服器下載一目標空間之虛擬模型。此目標空間中設置有一實體定位標誌，而此虛擬模型則包含對應至實體定位標誌之虛擬定位點。然後，利用手持式電腦裝置來擷取目標空間之影像。此目標空間影像包含實體定位標誌之圖案。接著，利用手持式電腦裝置來根據虛擬定位點和實體定位標誌圖案將虛擬模型與目標空間影像疊合，以產生疊合影像。然後，利用手持式電腦裝置來顯示疊合影像。

Description

虛實整合系統與方法

本發明是有關於一種虛實整合系統與方法。特別是有關於一種具有將虛擬模型整合至真實空間以提供使用者互動功能之虛實整合系統與方法。

隨著經濟的快速發展，人們對於物業管理的需求也越來越高。例如，建築物內的各項硬體設施需要定期維護與修繕，而且相應的維護與修繕資訊也需要管理。傳統的物業管理方式大多依靠管理人員到現場進行記錄。然而，建築物的某些物件無法直接透過目視來觀察到，而且物件修繕和維護紀錄也通常是零星地記錄於各物件上，因此管理人員難以有效率管理建築物內的各項硬體設施。

本發明之一方面提供一種虛實整合系統與方法，以將虛擬模型整合至真實空間，如此使用者便能透過虛擬模型了解真實空間中各物件的資訊。

根據本發明之一些實施例，前述之虛實整合系統包含伺服器以及手持式電腦裝置。伺服器用以提供一目標空間之一虛擬模型，其中此目標空間中設置有實體定位標誌，虛擬模型包含與實體定位標誌相應之虛擬定位點。手持式電腦裝置係用以從伺服器下載虛擬模型，並將虛擬模型與目標空間之目標空間影像疊合。手持式電腦裝置包含影像擷取裝置、處理器以及顯示裝置。影像擷取裝置係用以擷取目標空間之目標空間影像，其中目標空間影像包含實體定位標誌之實體定位標誌圖案。處理器電性連接至影像擷取裝置，以根據虛擬定位點和實體定位標誌圖案來將虛擬模型與該目標空間影像疊合，以產生疊合影像。顯示裝置係電性連接至處理器，以顯示疊合影像。

在一些實施例中，手持式電腦裝置為智慧型手機。

在一些實施例中，處理器更用以：提供一使用者介面來供使用者移動虛擬模型，以產生修正疊合影像。

在一些實施例中，處理器更用以：根據修正疊合影像來產生位置校正資料；以及將位置校正資料回傳至伺服器。

在一些實施例中，虛擬模型包含虛擬物件以及虛擬物件所對應之物件紀錄標籤，物件紀錄標籤包含虛擬物件之一物件訊息，處理器更用以：控制顯示裝置於疊合影像中顯示該物件紀錄標籤，以供使用者查看物件訊息。

在一些實施例中，處理器更用以：提供使用者介面來供使用者修改物件紀錄標籤中之物件訊息；以及將修改 後之該物件訊息回傳至伺服器。

在一些實施例中，實體定位標誌為二維條碼。

在一些實施例中，實體定位標誌為矩形標誌。

在一些實施例中，處理器更用以進行一幾何校正步驟來進行視角校正。

根據本發明之一些實施例，前述之虛實整合方法包含：提供一目標空間之一虛擬模型，其中目標空間中設置有一實體定位標誌，虛擬模型包含與實體定位標誌相應之一虛擬定位點；利用影像擷取裝置來擷取該目標空間之目標空間影像，其中目標空間影像包含該實體定位標誌之一實體定位標誌圖案；根據虛擬定位點和實體定位標誌圖案來將虛擬模型與目標空間影像疊合，以產生一疊合影像；以及利用一顯示裝置來顯示疊合影像。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100:虛實整合系統

110:伺服器

120:手持式電腦裝置

122:影像擷取裝置

124:處理器

126:顯示裝置

200:目標空間

210:實體定位標誌

300:虛擬模型

310:虛擬定位點

320:虛擬物件

330:虛擬物件

400:虛實整合方法

410~430:步驟

432~436:步驟

500:目標空間影像

510:實體定位標誌圖案

700:疊合影像

圖1係繪示根據本發明一實施例之虛實整合系統的功能方塊示意圖。

圖2係繪示根據本發明一實施例之目標空間的示意圖。

圖3係繪示根據本發明一實施例之目標空間所對應之虛擬模型的示意圖。

圖4係繪示根據本發明實施例之虛實整合系統所對應之虛 實整合方法的流程示意圖。

圖5係繪示根據本發明實施例之手持式電腦裝置顯示目標空間影像的示意圖。

圖6係繪示根據本發明實施例之虛擬模型與目標空間疊合的示意圖。

圖7係繪示根據本發明實施例之手持式電腦裝置顯示包含虛擬物件的目標空間影像的示意圖。

關於本文中所使用之『第一』、『第二』、...等，並非特別指次序或順位的意思，其僅為了區別以相同技術用語描述的元件或操作。

請參照圖1，圖1係繪示根據本發明一實施例之虛實整合系統100的功能方塊示意圖。虛實整合系統100包含伺服器110以及手持式電腦裝置120。伺服器110儲存有多個虛擬模型，每個虛擬模型係對應至一目標空間。例如，若目標空間為一間辦公室，則對應此辦公室的虛擬模型包含辦公室隔局(牆壁、隔間...等)以及辦公室內的各種物件(以下稱為虛擬物件)。這些虛擬物件包含但不限於桌子、椅子、設備管線以及電子器材。另外，針對這些虛擬物件，虛擬模型也提供相應的物件紀錄標籤，以記載虛擬物件的相關訊息。

手持式電腦裝置120係用以供使用者操作來從伺服器下載虛擬模型，並進行虛擬模型與目標空間的疊合。 例如，當使用者位於前述之辦公室時，使用者可操作手持式電腦裝置120來下載此辦公室所對應的虛擬模型，而手持式電腦裝置120會將辦公室的虛擬模型與辦公室現場疊合，以方便使用者了解辦公室的狀況。

手持式電腦裝置120包含影像擷取裝置122、處理器124以及顯示裝置126。影像擷取裝置122係用以擷取目標空間的影像，處理器124用以將虛擬模型與目標空間影像疊合，而顯示裝置126則用以以顯示疊合影像。在本發明之實施例中，目標空間中設置有實體定位標誌，而對應的虛擬模型也會有相應的虛擬定位點，如此處理器124便可根據虛擬模型的虛擬定位點以及目標空間影像中的實體定位標誌圖案來將虛擬模型與目標空間影像疊合。另外，在本實施例中，手持式電腦裝置120為智慧型手機，而實體定位標誌為二維條碼(例如QR code)，但本發明之實施例並不受限於此。在本發明之其他實施例中，手持式電腦裝置122可為具有攝影功能的其他電子裝置，例如平板電腦，而實體定位標誌可為具有平面標座標軸(X-Y)延伸方向的外型，例如矩形標誌。

請參照圖2和圖3，圖2係繪示目標空間200的示意圖，圖3係繪示目標空間200所對應之虛擬模型300的示意圖。如圖2所示，目標空間200中設置有實體定位標誌210，其邊界的長邊和短邊延伸方向對應至Y軸和X軸。如圖3所示，目標空間200所對應之虛擬模型300包含虛擬定位點310以及多個虛擬物件，例如虛擬物件 320~330。虛擬定位點310係對應實體定位標誌210。在本實施例中，實體定位標誌210被設定為目標空間200的座標原點，而虛擬定位點310被設定為虛擬模型300的座標原點，以利目標空間200和虛擬模型300的疊合。然而，在本發明之其他實施例中，實體定位標誌210和虛擬定位點310並不受限於設定為座標原點。

在本實施例中，虛擬物件320對應至目標空間200中實體的設備，例如配電箱。虛擬物件320對應至目標空間200中實體的線路，例如電路管線，虛擬物件330對應至目標空間200的天花板。在目標空間200中，由於配電箱和電路管線位於天花板上方，因此配電箱和電路管線是屬於被天花板所遮蔽而無法直接觀察的物件。

請參照圖4，圖4係繪示根據本發明實施例之虛實整合系統100所對應之虛實整合方法400的流程示意圖。在虛實整合方法400中，首先進行步驟410，以提供目標空間之虛擬模型。如以上所述，目標空間之虛擬模型係預先建立並儲存於伺服器110中。如此，伺服器110便可提供使用者所需的虛擬模型。接著，進行步驟420，以利用手持式電腦裝置120之影像擷取裝置122來擷取目標空間200之影像500。如圖5所示，當使用者進入目標空間200後，使用者可先利用手持式電腦裝置120之影像擷取裝置122來擷取目標空間影像500，其中目標空間影像500包含有實體定位標誌210的圖案510。

然後，進行步驟430，以下載目標空間200所對 應之虛擬模型300至手持式電腦裝置120中，並根據虛擬模型300之虛擬定位點310以及實體定位標誌圖案510來將虛擬模型300與目標空間200疊合，以在手持式電腦裝置120上顯示整合虛擬模型300的影像。

在步驟430中，首先進行步驟432。在步驟432中，處理器124會根據實體定位標誌210上的資訊(例如二維條碼數值)從伺服器110下載目標空間200所對應的虛擬模型300。然後，進行步驟434。在步驟434中，處理器124會根據虛擬模型300之虛擬定位點310以及目標空間影像500中的實體定位標誌圖案510來進行定位，以將虛擬模型300的座標位置與目標空間200相對應(疊合)，如圖6所示。

在疊合虛擬模型300與目標空間200時，處理器124會以實體定位標誌圖案510來作為放樣的量尺，以決定虛擬模型的大小比例。例如，在本實施例中，實體定位標誌圖案510為QR CODE，其具有明顯的邊界圖案，而處理器124會根據此邊界圖案的大小來決定虛擬模型300與目標空間200疊合時所需的邊界方向以及模型放大/縮小比例。當虛擬模型300與目標空間200疊合後，處理器124便可得到虛擬模型300與目標空間200的座標對應關係。

接著，進行步驟436，以根據步驟434所獲得的疊合結果，將虛擬模型300疊合至手持式電腦裝置120目前所顯示的目標空間影像，以使其顯示相應的虛擬物件， 如圖7所示。在本實施例中，使用者利用手持式電腦裝置120拍攝目標空間200的實體定位標誌210後，便會移動手持式電腦裝置120，以拍攝目標空間200的天花板。在目標空間200中，由於配電箱和電路管線位於天花板上方，因此使用者無法直接觀察到配電箱和電路管線。然而，透過手持式電腦裝置120將虛擬模型300疊合至手持式電腦裝置120目前所顯示的目標空間影像後，手持式電腦裝置120所顯示的疊合影像700便會示出配電箱和電路管線所對應的虛擬物件320和330。如此，使用者便能在手持式電腦裝置120上查看目標空間200中所有被遮蔽的物件。

在一些實施例中，處理器124也會根據實體定位標誌210來進行手持式電腦裝置120的視角校正(例如，應用幾何校正技術)，以使模型疊合的結果更為精確。

另外，手持式電腦裝置120可提供使用者介面來移動手持式電腦裝置120上所顯示的虛擬模型300。在一些實施例中，虛擬模型300與目標空間200的疊合可能會產生一些小誤差，而使得虛擬模型300與手持式電腦裝置120目前所顯示的目標空間影像中的物件沒有完全疊合。為此，使用者可在手持式電腦裝置120上利用使用者介面來移動虛擬模型300，以使虛擬模型300之物件與目前所顯示的目標空間影像中的相應物件疊合。在使用者確認疊合完成後，處理器124會根據使用者修正後的疊合影像產生虛擬模型300的位置校正資料，並將其回傳至伺服器110，以更新伺服器110所儲存的虛擬模型300的資料。

使用者介面也可提供虛擬物件訊息的瀏覽與修正功能。例如，虛擬模型300包含有虛擬物件320和330的物件紀錄標籤，其包含虛擬物件320和330的物件訊息。當手持式電腦裝置120顯示虛擬物件320和330時，使用者可透過物件紀錄標籤來查看虛擬物件320和330的物件訊息，並利用使用者介面來修改/更新虛擬物件320和330的物件訊息。當使用者修改/更新虛擬物件320和330的物件訊息後，處理器124會將使用者修改/更新後的物件訊息後回傳至伺服器110，以更新伺服器110所儲存的物件訊息。

由以上說明可知本發明實施例之虛實整合系統100與虛實整合方法400可將虛擬模型整合至真實空間，以避免真實空間中的物件被遮蔽而無法被使用者觀察到。另外也同時提供這些物件的資訊，以供使用者瀏覽和修改。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:虛實整合系統

110:伺服器

120:手持式電腦裝置

122:影像擷取裝置

124:處理器

126:顯示裝置

Claims (9)

1. 一種虛實整合系統，包含：一伺服器，用以提供一目標空間之一虛擬模型，其中該目標空間中設置有一實體定位標誌，該虛擬模型包含與該實體定位標誌相應之一虛擬定位點；以及一手持式電腦裝置，用以從該伺服器下載該虛擬模型，並將該虛擬模型與該目標空間之一目標空間影像疊合，其中該手持式電腦裝置包含：一影像擷取裝置，用以擷取該目標空間之該目標空間影像，其中該目標空間影像包含該實體定位標誌之一實體定位標誌圖案；一處理器，電性連接至該影像擷取裝置，用以根據該虛擬定位點和該實體定位標誌圖案來將該虛擬模型與該目標空間影像疊合，以產生一疊合影像；以及一顯示裝置，電性連接至該處理器，用以顯示該疊合影像；其中該處理器更用以：提供一使用者介面來供使用者移動該虛擬模型，以產生一修正疊合影像。
2. 如請求項1所述之虛實整合系統，其中該手持式電腦裝置為智慧型手機。
3. 如請求項1所述之虛實整合系統，其中該處理器更用以：根據該修正疊合影像來產生一位置校正資料；以及將該位置校正資料回傳至該伺服器。
4. 如請求項1所述之虛實整合系統，其中該虛擬模型包含一虛擬物件以及該虛擬物件所對應之一物件紀錄標籤，該物件紀錄標籤包含該虛擬物件之一物件訊息，該處理器更用以：控制該顯示裝置於該疊合影像中顯示該物件紀錄標籤，以供使用者查看該物件訊息。
5. 如請求項4所述之虛實整合系統，其中該處理器更用以：提供一使用者介面來供使用者修改該物件紀錄標籤中之該物件訊息；以及將修改後之該物件訊息回傳至該伺服器。
6. 如請求項4所述之虛實整合系統，其中該實體定位標誌為二維條碼。
7. 如請求項4所述之虛實整合系統，其中該實體定位標誌為矩形標誌。
8. 如請求項1所述之虛實整合系統，其中該處理器更用以進行一幾何校正步驟來進行視角校正。
9. 一種虛實整合方法，由一虛實整合系統所實施，其中該虛實整合方法包含：提供一目標空間之一虛擬模型，其中該目標空間中設置有一實體定位標誌，該虛擬模型包含與該實體定位標誌相應之一虛擬定位點；利用一影像擷取裝置來擷取該目標空間之一目標空間影像，其中該目標空間影像包含該實體定位標誌之一實體定位標誌圖案；根據該虛擬定位點和該實體定位標誌圖案來將該虛擬模型與該目標空間影像疊合，以產生一疊合影像；利用一顯示裝置來顯示該疊合影像；以及提供一使用者介面來供使用者移動該虛擬模型，以產生一修正疊合影像。

Images