TW201621799A - 擴增實境方法與系統 - Google Patents

Abstract

擴增實境(AR)方法包括：拍攝一實體空間的所有實體物件，以得到該些實體物件的各自深度資訊；產生這些實體物件的各自實體座標；建構出該實體空間的一立體地圖；找出對應該實體空間的一AR配置；將該AR配置中的複數AR物件的各自AR虛擬座標轉換為該些AR物件在該實體空間中的各自實體座標；判斷是否發生AR擺放錯誤；如果發生AR擺放錯誤的話，則對導致AR擺放錯誤的該些AR物件之至少一第一AR物件調整該第一AR物件的一第一AR虛擬座標；以及進行AR展示。

Description

擴增實境方法與系統

本案是有關於一種擴增實境方法與系統。

透過實體宅妝，看屋者能看到屋內傢俱擺置情況，使得房屋成交率能被提高，並藉此瞭解消費者的喜好。自從擴增實境(Augment Reality,AR)被提出後，設計業者/廠商將設計風格及虛擬傢俱上傳到擴增實境開發平台，讓消費者可以在行動裝置上看到虛擬傢俱與實體房屋物件的結合。

本案提出一種擴增實境方法與系統，可隨著使用者客戶喜好/需求來更換不同的展示風格與展示坪數。

本案係有關於一種擴增實境方法與系統，其對實體空間預先拍攝，以建構出實體空間下的所有實體物件之各自實體座標及立體地圖，並將所有實體物件之各自實體座標比對於所有虛擬物件之實體座標，來據以調整該些虛擬物件之顯示位置。

根據本案一實施例，提出一種擴增實境(AR)方法，包括：由一使用者行動裝置拍攝一實體空間的所有實體物件，以得到該些實體物件的各自深度資訊；由該使用者行動裝置產生這些實體物件的各自實體座標，並傳送至一AR伺服系統；由該AR 伺服系統建構出該實體空間的一立體地圖；由該AR伺服系統找出對應該實體空間的一AR配置；由該AR伺服系統將該AR配置中的複數AR物件的各自AR虛擬座標轉換為該些AR物件在該實體空間中的各自實體座標；由該AR伺服系統判斷是否發生AR擺放錯誤；如果發生AR擺放錯誤的話，則該AR伺服系統對導致AR擺放錯誤的該些AR物件之至少一第一AR物件調整該第一AR物件的一第一AR虛擬座標；以及由該使用者行動裝置進行AR展示。

根據本案另一實施例，提出一種一種擴增實境(AR)系統，包括：一使用者行動裝置，拍攝一實體空間的所有實體物件，以得到該些實體物件的各自深度資訊，並產生這些實體物件的各自實體座標；以及一AR伺服系統，耦接至該使用者行動裝置。該AR伺服系統包括：一實體空間建構模組，接收該使用者行動裝置所產生的這些實體物件的該些實體座標，以建構出該實體空間的一立體地圖；一AR物件智慧推薦模組，找出對應該實體空間的一AR配置；一AR空間轉換模組，將該AR配置中的複數AR物件的各自AR虛擬座標轉換為該些AR物件在該實體空間中的各自實體座標；以及一AR空間配置校正模組，判斷是否發生AR擺放錯誤，如果發生AR擺放錯誤的話，則該AR空間配置校正模組對導致AR擺放錯誤的該些AR物件之至少一第一AR物件調整該第一AR物件的一第一AR虛擬座標。該AR物件智慧推薦模組將調整後的該AR配置回傳給該使用者行動裝 置，由該使用者行動裝置進行AR展示。

為了對本案之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式，作詳細說明如下：

100‧‧‧使用者行動裝置

111‧‧‧3D深度照相機

113‧‧‧3D空間建立模組

115‧‧‧AR基本模組

117‧‧‧螢幕

150‧‧‧AR伺服系統

151‧‧‧實體空間建構模組

153‧‧‧AR物件智慧推薦模組

155‧‧‧AR空間配置校正模組

157‧‧‧AR空間轉換模組

159‧‧‧實體空間資料庫

161‧‧‧AR配置資料庫

163‧‧‧AR基本模組

210‧‧‧人物

220‧‧‧檯燈

230‧‧‧實體參考物件

245‧‧‧AR虛擬沙發

240‧‧‧AR虛擬參考物件

310~380‧‧‧步驟

第1圖顯示根據本案一實施例之擴增實境(Augmented Reality)系統之功能示意圖。

第2A圖~第2E圖顯示根據本案一實施例之AR展示及解決AR擺放錯誤之示意圖。

第3圖顯示根據本案一實施例之AR方法之流程圖。

本說明書的技術用語係參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋係以本說明書之說明或定義為準。本揭露之各個實施例分別具有一或多個技術特徵。在可能實施的前提下，本技術領域具有通常知識者可選擇性地實施任一實施例中部分或全部的技術特徵，或者選擇性地將這些實施例中部分或全部的技術特徵加以組合。

現請參考第1圖，其顯示根據本案一實施例之擴增實境(Augmented Reality)系統之功能示意圖。如第1圖所示，根據本案實施例之使用者行動裝置100至少包括：3D(三維)深度照相機111、3D空間建立模組113、AR基本模組115與螢幕117。 AR伺服系統150則至少包括：實體空間建構模組(physical space generation module)151、AR物件智慧推薦模組(AR object intelligent suggestion module)153、AR空間配置校正模組(AR space correction module)155、AR空間轉換模組(AR space converting module)157、實體空間資料庫(physical space database)159、AR配置資料庫(AR deposition database)161與AR基本模組163。3D空間建立模組113與AR基本模組115可由安裝於使用者行動裝置100上的AR應用程式(未示出)來提供。

雖然於第1圖中並未示出，但使用者行動裝置100更包括處理器、記憶體等其他元件。使用者行動裝置100可以是智慧型手機、平板電腦等。

使用者行動裝置100之3D深度照相機111用以對實體空間進行照相、感測等，以得到在此實體空間中的所有實體物件之2D影像及其相關深度資訊。3D深度照相機111將所拍攝到的2D影像及其相關深度資訊傳送給3D空間建立模組113。3D空間建立模組113據以建立出在此實體空間下的所有實體物件之各自實體3D座標。比如，以5坪大小的房間為例，使用者手持使用者行動裝置100，對此房間內進行環繞式拍攝，來拍攝此房間的的所有實體物件(包括牆壁、椅子、桌子、實體參考物件(physical marker)等)，以得到所有實體物件的各自深度資料。進一步說，3D深度照相機111對於所拍到的每一個2D影像點，偵測其深度值。

在拍攝時，可能是一張一張地拍攝，然後由使用者行動裝置100的AR應用程式將所拍攝的2D影像組合起來。接著，3D空間建立模組113建立出此實體空間內的所有實體物件的各自實體座標。

更進一步地說，在拍攝時，可將使用者行動裝置100及實體參考物件置於實體空間的中心位置。使用者行動裝置100的3D空間建立模組113取得所有牆壁相距於此中心的各自距離，以估算出此實體空間的面積/坪數。

由3D空間建立模組113所得到的所有實體物件的相關實體座標則透過網路而傳送至AR伺服系統150。

AR基本模組115則是與AR應用相關的基本模組，其細節在此不予詳述。螢幕117則可顯示出由3D深度照相機111所拍攝出的照片，及顯示出由AR伺服系統150所來的AR空間配置。

AR伺服系統150的實體空間建構模組151則根據由3D空間建立模組113所得到的所有實體物件的該些實體座標來建構出此實體空間的3D地圖，並存放於實體空間資料庫159內。也就是說，實體空間建構模組151來建構出在此實體空間的所有實體物件(如實體椅子與實體桌子)在此5坪房間中的各自真實3D位置，並存放於實體空間資料庫159內。

AR物件智慧推薦模組153從AR配置資料庫161中所預先設計好的多個AR配置中，來找出適合此實體空間的AR 配置。比如，以5坪房間為例，AR物件智慧推薦模組153從AR配置資料庫161中找出適合放置於5坪房間中的AR配置。

如果AR物件智慧推薦模組153所推薦的AR配置造成AR物件在實體空間中的遮蔽、穿牆等問題，則AR空間配置校正模組155將調整AR物件在此實體空間的AR物件位置，以解決遮蔽、穿牆等問題，其細節將於底下說明之。

於AR配置中，會配置一AR虛擬參考物件(marker)，所有的AR物件的位置、方向、大小、距離等乃是參考此AR參考物件而定。故而，在本案實施例中，由AR空間轉換模組157從AR配置資料庫161中，找出所有欲配置的AR物件相對於此AR參考物件之位置、方向、大小、距離等空間參數，以傳送給AR空間配置校正模組155。也就是說，AR空間轉換模組157可將AR配置中的所有AR物件的虛擬座標轉換成該些AR物件在實體空間的各自實體座標。

AR空間轉換模組157計算出所找出的AR配置所組合出的面積；找出AR虛擬參考物件於虛擬空間中所佔的面積；計算出AR虛擬參考物件在實體空間中所佔的面積。

AR基本模組163則包括AR伺服系統150在執行AR功能時可能用到的其他AR模組，其細節在此不詳述。

現將說明本案一實施例如何解決AR物件所造成的擺放錯誤問題。

如第2A圖所示，首先，使用者行動裝置100對實 體空間進行拍攝，以建立出此實體空間內的所有實體物件的相關實體座標。人物210的實體座標為(x1,y1,z1)，而檯燈220的實體座標為(x2,y2,z2)。此外，使用者行動裝置100亦可預估出此實體空間的大小。使用者行動裝置100將此實體空間內的所有實體物件(人物210、檯燈220與實體參考物件230)的相關實體座標透過網路來傳送給實體空間建構模組151，來建構出此實體空間中的3D地圖。也就是說，實體空間建構模組151可以得到所有實體物件(人物210、檯燈220與實體參考物件230)在此實體空間中的實際位置。

AR物件智慧推薦模組153從AR配置資料庫161找出適合此實體空間的AR配置、AR物件配置關係、AR空間等，如第2B圖所示。AR空間的大小乃是配合於實體空間的大小，比如，如果實體空間大小約5坪的話，則所找出的AR空間也是5坪左右。請注意，為方便了解，在第2B圖中只顯示出AR物件及其配置，而暫將實體物件不顯示在第2B圖。如第2B圖所示，AR物件智慧推薦模組153所找出的AR物件包括：AR虛擬參考物件240與AR虛擬沙發245。當然，本案並不受限於此。

AR空間轉換模組157能將AR空間的虛擬座標轉換成實體空間的實體座標。也就是說，AR空間轉換模組157找出AR虛擬沙發245相對於AR虛擬參考物件240之位置、方向、大小、距離等空間參數，來推算出這些AR物件在實體空間中的各自實體座標，以傳送給AR空間配置校正模組155。詳細地說， 由於已預先設計好AR空間(故能得知AR空間所對應的空間大小)，且AR虛擬參考物件240在此AR空間中的尺寸與位置也是由設計師所事先設計好，故而，AR空間轉換模組157能據此來找出所有AR物件在此AR空間中的位置參數，並轉換成這些AR物件在實體空間的座標。亦即，AR空間轉換模組157可推算出，AR虛擬沙發245在此實體空間的座標(xar1,yar1,zar1)。

所以，AR空間配置校正模組155可根據這些實體物件的各自實體座標以及該些AR物件的各自實體座標，來判斷出是否有AR擺放錯誤。比如，經過空間轉換後，AR空間轉換模組157判斷出，AR虛擬沙發245的初始位置(xar1,yar1,zar1)將有可能導致，在進行AR展示時，此AR虛擬沙發245遮蔽到實體空間中的任何實體物件，或者是導致此AR虛擬沙發245穿過牆壁，如第2C圖所示。

如果有AR擺放錯誤的話，由AR空間配置校正模組155來校正AR物件的位置/實體座標/虛擬座標。比如，在本案一實施例中，AR空間轉換模組157計算出待移動的AR虛擬沙發245在x方向與y方向上的移動量；並據以計算出，移動後的AR虛擬沙發245在實體空間的(位置移動/調整後)實體座標。

所以，AR空間配置校正模組155據以調整AR虛擬沙發245在AR空間中的位置，直到人物210不被AR虛擬沙發245遮蔽為止。比如，經過調整後，AR虛擬沙發245的實體座標被調整為(xar1’,yar1’,zar1’)，如第2D圖所示。也就是說， AR空間配置校正模組155調整AR物件的擺放位置、方向等，以解決AR擺放錯誤。

AR空間配置校正模組155將AR物件的校正後座標(比如，轉換成AR空間中的虛擬座標)存回至AR配置資料庫161。之後，AR物件智慧推薦模組153從AR配置資料庫161讀出經校正過後的AR物件配置，並傳給使用者行動裝置100。使用者行動裝置100將AR物件配置與所拍攝的即時影像即時地顯示於螢幕117上，如第2E圖所示。由第2E圖可看出，經過AR配置調整後，顯示在使用者行動裝置100的螢幕117上的AR虛擬沙發245將不再遮蔽人物210。

此外，在本案一實施例中，當AR空間配置校正模組155在校正AR物件的擺放位置時，會將在生活習慣/使用習慣上被人們視為一對的AR物件進行連動調整。比如，以AR物件包括成對展示的AR虛擬沙發與AR虛擬茶几為例做說明。當AR空間配置校正模組155判斷出AR虛擬沙發的擺放位置需要調整時，AR空間配置校正模組155會一併連動調整AR虛擬沙發與AR虛擬茶几的擺放位置。這樣的話，經過位置調整時，在進行AR展示，即便是經過位置調整，初始設計為成對展示的AR虛擬沙發與AR虛擬茶几仍是成對展示，以讓使用者不會覺得突兀。否則的話，如果在調整位置時，只對成對展示的其中一件AR物件調整其位置，但成對展示的其他AR物件的位置不調整的話，則在進行AR展示時，原本該成對展示的這些AR物件可能不再 被使用者視為是成對物件，使得用者友善度降低。本案實施例能兼顧到此方面的使用者觀感。

現請參考第3圖，其顯示根據本案一實施例之AR方法之流程圖。於步驟310中，拍攝實體空間的所有實體物件，以得到該些實體物件的各自深度資訊。於步驟320中，產生這些實體物件的各自實體座標。於步驟330中，建構出實體空間的立體地圖。於步驟340中，找出對應此實體空間的AR配置。於步驟350中，將所找出AR配置中的AR物件的各自AR虛擬座標轉換為AR物件在實體空間中的各自實體座標。於步驟360中，判斷是否發生AR擺放錯誤(比如，遮蔽、疊合、穿牆等)。如果發生AR擺放錯誤的話，則調整AR物件的AR虛擬座標，直到解決AR擺放錯誤為止，如步驟370。於步驟380中，進行AR展示。至於各步驟的細節，於上述實施例已進行相關描述，故在此不重述。

本案實施例之AR方法能解決習知技術中，以實體宅妝展示裝潢室內所導致的龐大物流通路成本以及耗時、費工之缺點。使用者在使用者行動裝置中預先安裝好AR應用程式。當使用者到達實體空間(比如，待租/售的房屋物件)時，使用者操作AR應用程式，即可達到即時AR展示的功能。故而，不再須要實體展示傢俱，能節省成本與時間。

在習知技術上，一個AR虛擬參考物件通常只能代表單一AR配置，在AR展示時，需要有很多AR虛擬參考物件， 才能達到多AR配置展示。相反地，在本案實施例中，無須使用眾多AR虛擬參考物件來構建AR展示，甚至可以透過單一AR虛擬參考物件即可建構一個實體空間的多傢俱AR展示。

更甚至，在使用者想要更換單一傢俱款式時，透過本案實施例，使用者無須重新下載並註冊AR物件，使用者可點選使用者行動裝置上的AR應用程式的選單，以達到單一物件更換。

此外，由於房屋格局彼此不同，且有些房屋格局複雜，傳統作法乃是為各種坪數客製化擺設風格，這樣需要費時且需付出額外設計成本/設計時間。但在本案實施例中，由於使用者可透過AR應用程式來即時更換AR展示，故而更能節省相關成本花費。

本案實施例可以不透過設計師，讓使用者在AR應用程式上進行AR展示空間坪數調整，達到多坪數適應性的AR展示，更能提供使用者友善便利性。

在進行AR展示的同時，本案實施例的AR伺服系統/平台可收集使用者行為/喜好，以提供房仲業者瞭解客戶的習慣及喜好，提升房仲成交物件的成交率。

此外，以本案實施例而言，使用者行動裝置只需要配置能感測深度資訊的3D深度照相機，並預先下載AR應用程式。在進行AR展示時，使用者行動裝置連線至AR伺服系統，將所得到的實體物件的實體座標傳送給AR伺服系統。故而，使 用者行動裝置的硬體需求並不太高。相反地，在習知技術中，如果讓使用者行動裝置來解決AR擺放錯誤的話，則對使用者行動裝置的硬體需求甚高。

綜上所述，雖然本案已以實施例揭露如上，然其並非用以限定本案。本案所屬技術領域中具有通常知識者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾。因此，本案之保護範圍當視後附之申請專利範圍所界定者為準。

310~380‧‧‧步驟

Claims (14)

1. 一種擴增實境(AR)方法，包括：由一使用者行動裝置拍攝一實體空間的所有實體物件，以得到該些實體物件的各自深度資訊；由該使用者行動裝置產生這些實體物件的各自實體座標，並傳送至一AR伺服系統；由該AR伺服系統建構出該實體空間的一立體地圖；由該AR伺服系統找出對應該實體空間的一AR配置；由該AR伺服系統將該AR配置中的複數AR物件的各自AR虛擬座標轉換為該些AR物件在該實體空間中的各自實體座標；由該AR伺服系統判斷是否發生AR擺放錯誤；如果發生AR擺放錯誤的話，則該AR伺服系統對導致AR擺放錯誤的該些AR物件之至少一第一AR物件調整該第一AR物件的一第一AR虛擬座標；以及由該使用者行動裝置進行AR展示。
2. 如申請專利範圍第1項所述之擴增實境方法，更包括：將具有一三維(3D)深度照相機的該使用者行動裝置及一實體參考物件置於該實體空間的一中心位置；以及該使用者行動裝置取得該實體空間的所有牆壁相距於該中心位置的各自距離，以估算出該實體空間的一面積。
3. 如申請專利範圍第1項所述之擴增實境方法，其中，該AR伺服系統將所建構出的該實體空間的該立體地圖存放 於一實體空間資料庫內；以及該AR伺服系統從一AR配置資料庫找出適合該實體空間的該AR配置。
4. 如申請專利範圍第1項所述之擴增實境方法，其中，該AR伺服系統計算該AR配置所組合出的一面積；該AR伺服系統找出一AR虛擬參考物件於一AR虛擬空間中所佔的一面積；以及該AR伺服系統計算該AR虛擬參考物件在該實體空間中所佔的一面積。
5. 如申請專利範圍第1項所述之擴增實境方法，其中，判斷是否發生AR擺放錯誤之該步驟包括：根據該些實體物件的各自實體座標以及該些AR物件的各自實體座標，來判斷是否有AR擺放錯誤。
6. 如申請專利範圍第5項所述之擴增實境方法，其中，判斷該些AR物件是否遮蔽/疊合在該實體空間中的該些實體物件之至少一者，來判斷是否有AR擺放錯誤；以及判斷該些AR物件是否穿透該實體空間中的至少一牆壁，來判斷是否有AR擺放錯誤。
7. 如申請專利範圍第1項所述之擴增實境方法，其中，如果該第一AR物件跟一第二AR物件屬於成對展示的話，則於調整該第一AR物件的該第一AR虛擬座標時，亦對該第二AR物件的一第二AR虛擬座標進行連動調整。
8. 一種擴增實境(AR)系統，包括：一使用者行動裝置，拍攝一實體空間的所有實體物件，以得到該些實體物件的各自深度資訊，並產生這些實體物件的各自實體座標；以及一AR伺服系統，耦接至該使用者行動裝置，該AR伺服系統包括：一實體空間建構模組，接收該使用者行動裝置所產生的這些實體物件的該些實體座標，以建構出該實體空間的一立體地圖；一AR物件智慧推薦模組，找出對應該實體空間的一AR配置；一AR空間轉換模組，將該AR配置中的複數AR物件的各自AR虛擬座標轉換為該些AR物件在該實體空間中的各自實體座標；以及一AR空間配置校正模組，判斷是否發生AR擺放錯誤，如果發生AR擺放錯誤的話，則該AR空間配置校正模組對導致AR擺放錯誤的該些AR物件之至少一第一AR物件調整該第一AR物件的一第一AR虛擬座標；其中，該AR物件智慧推薦模組將調整後的該AR配置回傳給該使用者行動裝置，由該使用者行動裝置進行AR展示。
9. 如申請專利範圍第8項所述之擴增實境系統，其中，該使用者行動裝置包括： 一三維(3D)深度照相機，用以拍攝；以及一3D空間建立模組；其中，當該使用者行動裝置及一實體參考物件置於該實體空間的一中心位置時，該3D空間建立模組取得該實體空間的所有牆壁相距於該中心位置的各自距離，以估算出該實體空間的一面積。
10. 如申請專利範圍第8項所述之擴增實境系統，其中，該AR伺服系統更包括一實體空間資料庫與一AR配置資料庫；該實體空間建構模組將所建構出的該實體空間的該立體地圖存放於該實體空間資料庫內；以及該AR物件智慧推薦模組從該AR配置資料庫找出適合該實體空間的該AR配置。
11. 如申請專利範圍第8項所述之擴增實境系統，其中，該AR空間轉換模組計算該AR配置所組合出的一面積；該AR空間轉換模組找出一AR虛擬參考物件於一AR虛擬空間中所佔的一面積；以及該AR空間轉換模組計算該AR虛擬參考物件在該實體空間中所佔的一面積。
12. 如申請專利範圍第8項所述之擴增實境系統，其中，根據該些實體物件的各自實體座標以及該些AR物件的各自實體座標，該AR空間配置校正模組判斷是否有AR擺放錯誤。
13. 如申請專利範圍第12項所述之擴增實境系統，其中， 該AR空間配置校正模組判斷該些AR物件是否遮蔽/疊合在該實體空間中的該些實體物件之至少一者，來判斷是否有AR擺放錯誤；以及該AR空間配置校正模組判斷該些AR物件是否穿透該實體空間中的至少一牆壁，來判斷是否有AR擺放錯誤。
14. 如申請專利範圍第8項所述之擴增實境系統，其中，如果該第一AR物件跟一第二AR物件屬於成對展示的話，則該AR空間配置校正模組調整該第一AR物件的該第一AR虛擬座標時，該AR空間配置校正模組亦對該第二AR物件的一第二AR虛擬座標進行連動調整。