TW201337830A - 資訊處理裝置，資訊處理方法及程式 - Google Patents

Abstract

本發明揭露一種裝置，包括一影像處理器，其係被架構以接收包括一物體的視頻、決定該裝置與該物體之間的位置關係、以及當該裝置與該物體之間的位置關係改變時，改變被重疊在該視頻上之影像與該物體之間的位置關係。

Description

資訊處理裝置，資訊處理方法及程式 [相關申請案之交互參考]

在35U.S.C.§119之下，本申請案依據並且主張日本優先權專利申請案JP2011-247568之優先權的權益，其係於2011年11月11日於日本專利局提出申請，全部內容在此以引用的方式併入本文。

本發明係關於一種資訊處理裝置、一種資訊處理方法以及被編碼於非暫態電腦可讀取媒體上的程式。

近幾年來，稱為擴增實境(AR)的技術已經引起注意，其中額外資訊會被重疊在真實影像上以便呈獻給使用者。在AR技術中，呈獻給使用者的資訊亦稱為註解，且該資訊係以種種虛擬物體來形象化，譬如例如，文字、圖像或動畫。專利文件1揭露一技術以當作AR技術的實例，其中模仿真實物體(譬如傢俱)的虛擬物體影像會被重疊在真實影像上以便被顯示，藉此可輕易地試著安排傢俱等等。

[引用列表] [專利文獻]

[PTL1]

JP 2003-256876A

例如藉由使用由使用者所握持的裝置來捕捉真實影像以及藉由重疊相關於在影像中所反射之真實物體的虛擬物體的顯示，可實施上述的AR技術。在此情形中，例如，所反射之真實物體的姿勢可依據使用者的移動而各自被改變，或者以握持該裝置的方法來改變。也就是說，即使在相同的真實物體中，在該影像中的尺寸或角度可依據環境而變。因此，即使顯示相同真實物體的捕捉影像，仍會有額外資訊的適當顯示方法有所不同的情形。

因此，令人希望的是提供新且改善的資訊處理裝置、資訊處理方法、以及在非暫態電腦可讀取媒體上被編碼的程式，其係能夠適當地顯示額外資訊以便適合一真實物體的姿勢。

在一個實施例中，本發明包括包括影像處理器的裝置，其係被架構以接收包括一物體的視頻，決定在該裝置與該物體之間的位置關係，並且當在該裝置與該物體之間的位置關係改變時，將重疊在該視頻上的影像與該物體之間的位置關係改變。

如以上所說明，根據本發明的實施例，可能可適當地顯示額外資訊以便適合一真實物體的姿勢。

在下文，本發明之較佳實施例將參考附圖被詳細說明。要注意的是，在本說明書與附圖中，實質具有相同功能與結構的結構性元件會被標以相同參考符號，且這些結構性元件的重複解釋會被省略。

此外，本說明將按以下順序來進行。

1. 第一實施例(關於真實物體來改變顯示部份的實例)

2. 第二實施例(改變顯示資訊數量的實例)

3. 第三實施例(改變顯示資訊內容的實例)

4. 關於裝置架構的其他實施例

5. 補充

1. 第一實施例

本發明的第一實施例將參考圖1至8來說明。在本發明的第一實施例中，虛擬物體相關於真實物體的顯示部份，會依據在該影像中所反射的真實物體與捕捉該影像的裝置之間的相關位置關係而改變。

1-1. 參考技術

首先，將對參考技術進行說明，以較佳理解本實施例。圖1係為顯示關於本發明第一實施例之參考技術的圖。

相關於該參考技術的資訊處理裝置10係被顯示於圖1中。該資訊處理裝置10包括一影像拾取單元(未顯示)與顯示單元12，且該資訊處理裝置10執行AR應用。

在此，顯示單元12顯示一影像，在此，資訊處理裝置10將相關於真實物體obj_r的虛擬物體obj_v重疊在一影像上，其中，由該影像拾取單元所捕捉的真實物體obj_r會被反射。在所示的實例中，在如在圖1(a)中所示之真實物體obj_r(書)係從前側被捕捉的情形中，且在如在圖1(b)中所示之真實物體obj_r被傾斜地捕捉的情形中，該虛擬物體obj_v(關於該書內容的影像)會被轉換成不同形式並且被顯示。換句話說，由於在真實物體obj_r姿勢的變化，虛擬物體obj_v會被轉換並且被顯示以適合外觀的改變。

同樣地，在AR應用中，會有真實物體被轉換以適合真實物體之姿勢並且被配置在AR空間中的情形。因此，例如，使用者會確認該虛擬物體猶如該虛擬物體被反射在真實物體表面上並且存在於其中，並因此可輕易地理解在該真實物體與該虛擬物體之間的關係。

然而，如在所示實例之圖1(b)中所示，會有難以根據真實物體obj_r之姿勢，將所轉換虛擬物體obj_v在視覺上被確認的情形。在此情形中，難以說，該虛擬物體obj_v是以適當方式來顯示。

因此，在本實施例中，藉由依據被反射在一影像之真實物體與捕捉該影像之裝置之間的位置關係來改變虛擬物體相關於真實物體的顯示位置，甚至在該情形中，均有可能以適當的方式來顯示虛擬物體obj_v。

1-2. 裝置架構

接著，參考圖2，來說明根據本發明所設計的功能性架構。圖2係為顯示根據本發明第一實施例之資訊處理裝置之功能性架構實例的方塊圖。

參考圖2，根據本實施例所設計的資訊處理裝置100，包括影像拾取單元102、影像識別單元104、模型資料庫106、位置關係檢測單元108、選擇單元110、物體資料庫112、顯示目標資訊輸出單元114、訊息資訊輸出單元116、顯示控制單元118、與顯示單元120。

在本實施例中，資訊處理裝置100將被說明為終端裝置，包括影像拾取單元與顯示單元(譬如智慧型手機、平板型PC(個人電腦)、PDA(個人數位助理)、可攜式遊戲機或者可攜式音樂播放器)的各別單元則會被整合於內。不過，該資訊處理裝置100可為其他的資訊處理裝置，譬如筆電型或桌上型PC。在本情形中，例如，影像拾取單元或顯示單元可與其他單元分開提供。此外，在該資訊處理裝置100被分為複數個單元的情形中，在該揭露中的〝資訊處理裝置100〞，譬如〝在該資訊處理裝置100與真實物體之間的位置關係〞或者〝相關於資訊處理裝置 100之真實物體的角度〞，其係意指一部份，在此部份，該資訊處理裝置100的影像拾取單元會被提供，除非另外被具體明確定義於此。

在以上所說明的功能性架構之間，該影像拾取單元102係藉由例如被包括在資訊處理裝置100中的影像拾取裝置來實施。此外，影像識別單元104、位置關係檢測單元108、選擇單元110、顯示目標資訊輸出單元114、訊息資訊輸出單元116與顯示控制單元118，其係可例如藉由根據一程式來操作之資訊處理裝置100的CPU(中央處理單元)、RAM(隨機存取記憶體)與ROM(唯讀記憶體)來實施。模型資料庫106與物體資料庫112係例如藉由資訊處理裝置100的內或外儲存裝置所實施。顯示單元120係例如藉由種種顯示器來實施，其係被包括在資訊處理裝置100中，以當作輸出裝置，或者被連接到資訊處理裝置100，以當作外部連接裝置。

〈影像拾取單元〉

影像拾取單元102捕捉一真實空間以產生影像。該影像拾取單元102捕捉移動影像。該移動影像可藉由複數個影像來架構以形成連續訊框。該影像拾取單元102提供所產生的影像到該影像識別單元104與該顯示控制單元118兩者。同時，所產生的影像可被暫時儲存在例如RAM或儲存裝置中。

〈影像識別單元〉

影像識別單元104使用被儲存在模型資料庫106中的資料來進行物體識別。模型資料庫106為一資料庫，該資料庫事先儲存關於該物體形狀或外表的模型資料，其為該資訊處理裝置100所識別的目標。在本實施例中，由該資訊處理裝置100所識別的目標為在真實空間中的任何物體。模型資料包括定義每一物體形狀的資料、譬如被添加到每一物體之預定符號標記或文字標籤的影像資料、從每一物體之現存影像所擷取之特徵數量組的資料、與類似物。

更具體地，該影像識別單元104使用由該影像拾取單元102所捕捉的影像來當作輸入影像，因此識別哪一個物體被反射在該輸入影像中。該影像識別單元104例如比較從該輸入影像所擷取的特徵點設定與由該模型資料所定義的物體形狀。此外，該影像識別單元104可比較影像資料(譬如由該模型資料所定義的符號標記或文字標籤)與該輸入影像。更者，該影像識別單元104可比較由該模型資料所定義之現存物體影像的特性數量與從該輸入影像所擷取的特性數量。

〈位置關係檢測單元〉

該位置關係檢測單元108檢測由該影像識別單元104所識別的物體與資訊處理裝置100(更具體地，影像拾取單元102)之間的位置關係。在本實施例中，相關於該資訊處理裝置100之物體的角度會被使用當作該物體與該資 訊處理裝置100之間的位置關係。此角度例如以從事先被設定用於一物體之參考姿勢的傾角來表達。換句話說，在本實施例中，位置關係檢測單元108檢測該物體與該資訊處理裝置100之間的姿勢關係，以當作該物體與該資訊處理裝置100之間的位置關係。

更具體地，該位置關係檢測單元108使用由該影像拾取單元102所捕捉的影像來當作一輸入影像，藉此而檢測被反射於該輸入影像中之物體的姿勢。在此，在本實施例中，該物體的姿勢係以4×4均勻轉換矩陣來共同表示，其係意指在被儲存於模型資料庫106之模型資料中之模型座標系統與被反射在輸入影像之物體之座標系統之間的轉換。該位置關係檢測單元108從該均勻轉換矩陣，擷取該物體相關於該資訊處理裝置100的角度。

此外，由位置關係檢測單元108所取得位置關係的詳細實例將於稍後說明。因為由該位置關係檢測單元108所執行的處理係為譬如參考模型資料庫106之藉由該影像識別單元104所執行之處理所共有，故該處理可連同該影像識別單元104所進行之處理來進行。

〈選擇單元〉

根據該位置關係檢測單元108所檢測的位置關係，從包括相關於真實物體之複數種虛擬物體的虛擬物體組，該選擇單元110選出被重疊在一影像上的顯示目標物體。更具體地，根據該真實物體相關於該資訊處理裝置100的角 度，該選擇單元110從包括複數個虛擬物體的虛擬物體組選出一虛擬物體，其相關於該真實物體的顯示位置係彼此不同。虛擬物體係被顯示於可被使用者在視覺上所輕易識別的位置上。該真實物體相關於該資訊處理裝置100的角度係由位置關係檢測單元108所取得。此一虛擬物體與藉由該選擇單元110來選出虛擬物體的實例將於稍後說明。

在本實施例中，虛擬物體組的資料係被儲存在物體資料庫112中。物體資料庫112為事先儲存對應每一真實物體之虛擬物體組之資料的資料庫。此外，物體資料庫112為暫時儲存虛擬物體組的資料庫，其對應由該影像識別單元104所識別的真實物體並且從外部裝置被下載。

更者，物體資料庫112為暫時儲存虛擬物體的資料庫，其係藉由處理在該影像拾取單元102所捕捉之影像中所反射的一部份或全部真實物體來得到。真實物體的處理係藉由處理單元(沒顯示)來進行。根據由選擇單元110所進行選擇的結果，該處理單元可藉由處理一影像來產生一虛擬物體。在本情形中，例如，該選擇單元110參考被儲存在物體資料庫112中之指出〝哪種虛擬物體可被產生〞的資訊。該選擇單元110同樣選出欲被顯示的該種虛擬物體，並且命令該處理單元產生虛擬物體。

此外，如稍後描述為替代性選擇與訊息顯示的實例，在選出的虛擬物體無法被顯示於影像區域的情形中，選擇單元110可進行虛擬物體的替代性選擇，其係可無關該選擇結果而被顯示於該影像區域中。

此外，該選擇單元110可調整一選擇結果，以致於相同種虛擬物體能夠被選擇用於複數種彼此相關的真實物體。在本情形中，例如，選擇單元110可平均由位置關係檢測單元108所檢測的結果以用於各別真實物體。該選擇單元110同樣使用該平均結果來當作各別真實物體所共有的位置關係。此外，選擇單元110可計算由該位置關係檢測單元108所檢測以用於各別真實物體的結果，並且可使用從更多真實物體所檢測的檢測結果來當作各別真實物體所共有的位置關係。因此，例如，顯示用於複數種彼此相關之真實物體的該些虛擬物體種類係可被統一化，且用於真實物體之虛擬物體的統一化則可被顯示給使用者。

〈顯示目標資訊輸出單元〉

該顯示目標資訊輸出單元114將由該選擇單元110所選出之顯示目標物體的資訊輸出到顯示控制單元118，以致於該資訊能夠被重疊在藉由影像拾取單元102所捕捉的影像上以便被顯示。在此，該顯示目標物體的輸出資訊係為虛擬物體的影像資料本身，或者譬如ID的識別資訊，以用於各別參考該虛擬物體的影像資料。在此，在輸出虛擬物體之影像資料的情形中，例如根據該真實物體與該資訊處理裝置100之間的位置關係，該顯示目標資訊輸出單元114可產生虛擬物體的重疊影像。該位置關係係藉由該位置關係檢測單元108來檢測。該顯示目標資訊輸出單元114亦可將重疊影像的資訊輸出到該顯示控制單元118。 就此處理而言，該顯示目標資訊輸出單元114可參考物體資料庫112。

〈訊息資訊輸出單元〉

訊息資訊輸出單元116會被另外提供。該訊息資訊輸出單元116產生一訊息的資訊，其係會被重疊在一影像上並且被顯示，且該訊息資訊輸出單元116將資訊輸出到顯示控制單元118。例如，在由於影像拾取單元102所捕捉影像的區域限制而選出替代性顯示目標物體的情形中，如稍後所說明，該訊息資訊輸出單元116產生訊息資訊，以促使使用者藉由移動該影像拾取單元102來改變該影像的區域，且該訊息資訊輸出單元116會將資訊輸出到該顯示控制單元118。

〈顯示控制單元〉

顯示控制單元118將係顯示目標物體的虛擬物體重疊在由該影像拾取單元102所捕捉的影像上。該重疊使用從該顯示目標資訊輸出單元114所輸出的資訊。該顯示控制單元118同樣導致顯示單元120顯示該重疊結果以當作一AR應用影像。同時，該顯示控制單元118可產生一重疊影像，在此該顯示目標物體會被配置並且轉換以適合在該影像中所反射之真實物體的位置、姿勢與尺寸，且該顯示控制單元118可重疊該重疊影像於該影像上。如以上所說明，該重疊影像可藉由顯示目標資訊輸出單元114來產生 。當該重疊影像產生時，該顯示控制單元118可例如使用指出在該真實物體與該資訊處理裝置100之間位置關係的資訊。該位置關係則由該位置關係檢測單元108所檢測。在提供訊息資訊輸出單元116的情形中，藉由進一步使用從該訊息資訊輸出單元116所輸出的資訊，該顯示控制單元118可將一訊息重疊在該影像上。

〈顯示單元〉

該顯示單元120可將AR應用影像呈給使用者。AR應用影像係由顯示控制單元118所產生。如以上所說明，該顯示單元120係由種種顯示裝置來實施，其係可與資訊處理裝置100一體地或者分開地形成。該顯示單元120例如為使用LCD(液晶顯示)、OLED(有機發光二極體)、或PDP(電漿顯示面板)或者看穿型或非看穿型HMD(頭戴式顯示器)的顯示螢幕，其係由使用者所安裝。

如以上所說明，在根據本實施例所設計的資訊處理裝置100中，可根據真實物體與資訊處理裝置100之間的位置關係來選出一顯示目標物體。同樣地，該顯示目標物體係從包括複數種相關於真實物體之虛擬物體的一虛擬物體組來選出。此外，在此，〝複數種虛擬物體〞係可根據彼此不同的複數段影像資料(換句話說，原始資料)來產生重疊影像的虛擬物體。複數段影像資料會被儲存在物體資料庫112中，譬如例如，〝看似猶如它存在於真實物體內部空間中的影像〞或者〝看似猶如它從真實物體伸出的影 像〞。此外，〝虛擬物體〞係指出如以上所說明之真實物體額外資訊(註解)的物體。

1-3. 顯示變化的實例

接著，根據本發明之顯示變化的實例將參考圖3至5來說明。圖3為顯示第一狀態的圖式，在此，一虛擬物體係藉由根據本發明第一實施例所設計的資訊處理裝置來顯示。圖4為顯示第二狀態的圖式，在此，一虛擬物體係藉由根據本發明第一實施例所設計的資訊處理裝置來顯示。圖5為顯示藉由根據本發明第一實施例之資訊處理裝置之虛擬物體顯示變化的圖式。

圖3顯示第一狀態，在此，一虛擬物體係藉由根據本實施例所設計的資訊處理裝置100來顯示。如以上所說明，在本實施例中，係顯示目標的該種虛擬物體可根據真實物體相關於資訊處理裝置100的角度來選擇。在所示的實例中，在第一狀態中，因為真實物體obj_r(書本)相關於該資訊處理裝置100的角度A1相當小，所以看似猶如它存在於真實物體obj_r之內部空間中的虛擬物體obj_v1(關於該書本內容的影像)則會被顯示。在以下說明中，當真實物體obj_r被反射於在接近前視之狀態之影像中時，該虛擬物體的顯示會被稱為〝前視顯示〞。

在此，當來自資訊處理裝置100之影像拾取單元102之觀察方向的線被使用當作參考時，真實物體obj_r相關於資訊處理裝置100的角度A可以真實物體obj_r之姿勢 自一參考姿勢的傾角來表達。真實物體的參考姿勢例如為事先定義用於每一真實物體的姿勢，其並且為根據上述模型座標系統之真實物體的姿勢。在所示實例的真實物體obj_r(書本)中，其蓋子面對影像拾取單元102的姿勢可被設定當作參考姿勢。在此，因為真實物體obj_r具有平板形狀，所以角度A係以由垂直該表面的線以及從影像拾取單元102所看見的線所形成的角度來定義。此外，真實物體obj_r的形狀不限於平板形狀，其可為任何形狀。因此，除了所示的實例以外，該真實物體obj_r相關於資訊處理裝置100的角度A可被不同地定義。

圖4顯示第二狀態，在此，虛擬物體係藉由根據本發明所設計的資訊處理裝置100所顯示。在所示的實例中，在第二狀態中，因為真實物體obj_r(書本)相關於該資訊處理裝置100的角度A2相當大，所以看似猶如它從真實物體obj_r伸出的虛擬物體obj_v2(關於該書本內容的影像)則會被顯示。在以下說明中，當真實物體obj_r被反射於在斜視之狀態之影像中時，該虛擬物體的顯示會被稱為〝斜視顯示〞。

同樣地，在本實施例中，相關於真實物體obj_r之顯示位置彼此不同的虛擬物體obj_v1與虛擬物體obj_v2，其係根據資訊處理裝置100與真實物體obj_r之間的位置關係而被選擇性地顯示。在所示的實例中，當真實物體obj_r的表面被使用當作參考表面時，虛擬物體obj_v1與虛擬物體obj_v2在深度方向上具有不同位置。更具體地 ，在真實物體obj_r係在接近前視之狀態之該影像中被反射的情形中，看似猶如它被反射於真實物體obj_r中並且存在於其中的虛擬物體obj_v1則會被顯示。另一方面，在真實物體obj_r被反射於在斜視狀態中之影像的情形中，看似猶如它從真實物體obj_r表面伸出的虛擬物體obj_v2則會被顯示。

因此，使用者可呈獻視覺上能夠被輕易識別並且與真實物體obj_r之關係亦可被輕易理解的虛擬物體obj_v，以便適合甚至在被反射於該影像上之真實物體obj_r之姿勢會被不同改變之情形中的每一姿勢。此外，在此，雖然顯示目標物體係從包括在前視顯示之虛擬物體obj_v1與在斜視顯示之虛擬物體obj_v2的虛擬物體組選出的一實例已經被說明，但是被包括在虛擬物體組的虛擬物體則不會受限於這兩種。例如，有更多種虛擬物體可被包括在虛擬物體組中，且根據在真實物體與資訊處理裝置100之間的位置關係，顯示目標物體可以更多的步驟來改變。進一步，在該虛擬與真實物體之間之位置關係的改變可被線性或非線性地進行。

圖5顯示藉由根據本實施例之資訊處理裝置100之虛擬物體顯示變化的實例。如以上所說明，在本實施例中，藉由資訊處理裝置100之虛擬物體的顯示可依據真實物體相關於資訊處理裝置100的角度來變化。此外，在在此所說明的實例中，平板形真實物體obj_r相關於資訊處理裝置100的角度A，其係被定義為藉由垂直真實物體obj_r 表面的線與從資訊處理裝置100之影像拾取單元102看到的線所形成的角度。圖5為在角度A與該虛擬物體的前視顯示與斜視顯示之間關係中、經由僅僅在二維平面上之一方向中的簡化、來顯示在資訊處理裝置100與真實物體obj_r之間位置關係的圖。實際上，熟諳該技藝者將輕易明瞭，類似的關係可被建立用於在三維空間中的任一方向。

在所示的實例中，當資訊處理裝置100面對真實物體obj_r時，角度A為0°。在A=0°的狀態中，虛擬物體的顯示係為前視顯示，如在圖3所示之角度A=A1的情形中。假如資訊處理裝置100相關於來自該狀態的真實物體obj_r而逐漸傾斜且角度A超過臨界值T1的話，虛擬物體的顯示會改變為斜視顯示，誠如在圖4所示之角度A=A2的情形中。另一方面，假如資訊處理裝置100逐漸接近來自虛擬物體之顯示為斜視顯示之狀態之真實物體obj_r的前表面且角度A變得比臨界值T2更小的話，虛擬物體的顯示隨後可改變成前視顯示。

同樣地，在本實施例中，關於在資訊處理裝置100與真實物體obj_r之間的位置關係，變成顯示目標物體的該種虛擬物體可使用設定當作指標值(角度A)的臨界值來選擇。在影像拾取單元102捕捉移動影像且該種虛擬物體被選擇以用於每一影像以形成連續訊框的情形中，不同臨界值則可依據虛擬物體來使用，該虛擬物體已經被顯示直到那時，也就是，該種虛擬物體在先前訊框的影像中被選 出，譬如上述臨界值T1與T2。同樣地，藉由對虛擬物體的選擇產生遲滯，因為虛擬物體之顯示會由於照相機搖動等等所導致臨界值周圍角度A的振動而經常改變，所以可能可避免能見度減少的發生。

1-4. 處理流程的實例

接著，參考圖6與7，將對根據本實施例之資訊處理裝置所進行的處理流程實例進行說明。圖6為顯示根據本發明第一實施例之資訊處理裝置中影像顯示處理之處理流程實例的流程圖。圖7為顯示在根據本發明第一實施例之資訊處理裝置中之顯示目標設定處理之處理流程實例的流程圖。

圖6為顯示根據本實施例之影像顯示處理的流程圖。在此所說明的影像顯示處理為一系列處理，其係被進行直到虛擬物體被重疊在影像上以致於在資訊處理裝置100取得一真實空間用影像以後被顯示。在所示的實例中，該影像拾取單元102取得移動影像，而且因此，該影像顯示處理會被重複進行，以用於形成連續訊框的各別影像。

首先，在步驟S101中，該影像拾取單元102會取得一影像。在此，所取得影像為藉由捕捉真實空間而得到的影像，其係並且反射真實物體obj_r於其中。

接著，在步驟S103中，影像識別單元104對所取得影像進行物體識別。在此，藉由使用被儲存在模型資料庫106中的模型資料，該影像識別單元104會識別被反射在 該影像中的真實物體obj_r。

接著，在步驟S105中，該位置關係檢測單元108會檢測在資訊處理裝置100與真實物體obj_r之間的位置關係。在此，該位置關係檢測單元108會檢測真實物體obj_r相關於資訊處理裝置100的角度A。

接著，在步驟S107中，選擇單元110決定在該資訊處理裝置100與真實物體obj_r之間的位置關係相較於先前視框的影像是否會變。該位置關係係由角度A指出。假如位置關係改變的話，那麼在步驟S109中，選擇單元110會依據改變以後的位置關係來選擇一顯示目標物體。另一方面，假如位置關係沒改變的話，因為選擇做為先前訊框影像用之顯示目標物體的該種虛擬物體會被連續使用，所以選擇單元110便會跳過步驟S109。

此外，在步驟S109中的顯示目標選擇處理將於稍後參考圖7來說明。

接著，在步驟S111中，顯示目標資訊輸出單元114將與選擇單元110所選出顯示目標物體有關的資訊輸出到顯示控制單元118。

接著，在步驟S113中，根據從該顯示目標資訊輸出單元114所輸出之顯示目標物體的資訊，顯示控制單元118將虛擬物體重疊在影像上，以便能夠被顯示在顯示單元120上。藉此，由該選擇單元110所適當選出之虛擬物體重疊於上的影像，其係可呈現給使用者以當作AR應用影像。

圖7為顯示根據本實施例之顯示目標設定處理的流程圖。在此所說明的該顯示目標設定處理為在以上所說明之影像顯示處理之步驟S109中所進行的處理。在所示的實例中，該影像拾取單元102捕捉移動影像，而且因此該顯示目標設定處理亦可被進行，以用於形成連續訊框的各別影像。

首先，在步驟S201中，該選出單元110可決定在先前訊框中虛擬物體的顯示是否為前視顯示。如以上所說明，當真實物體obj_r被反射於接近前視之狀態中的影像中時，前視顯示為虛擬物體obj_v1的顯示，其係看似它存在於真實物體obj_r的內部空間中。

在此，假如在先前訊框中虛擬物體的顯示為前視顯示的話，那麼在步驟S203中的選擇單元110，會將臨界值T1設定當作被使用來決定連續顯示目標之角度A的臨界值。另一方面，假如在先前訊框中虛擬物體的顯示不是前視顯示的話，也就是，該顯示為斜視顯示的話，在步驟S205中的選擇單元110則會將臨界值T2設定當作臨界值。如參考圖5來說明，在本實施例中角度A的臨界值T1與T2具有關係T2<T1。藉此，可能可選擇具有遲滯的目標物體。

接著，在步驟S207中，選擇單元110決定位置關係檢測單元108所檢測的角度A是否等於或小於在步驟S203或步驟S205中所設定的臨界值。

在此，假如決定角度A等於或小於臨界值的話，也 就是，真實物體obj_r被反射於接近前視之狀態中的影像中，在步驟S209中，選擇單元110則會將在前視顯示中的虛擬物體設定當作一顯示目標。另一方面，假如不決定角度A等於或小於臨界值的話，也就是，真實物體obj_r被反射於在斜視狀態中的影像中，在步驟S211中，選擇單元110則會將在斜視顯示中的虛擬物體設定當作一顯示目標。

如以上，顯示目標設定處理會完成，且該設定顯示目標物體的資訊會藉由顯示目標資訊輸出單元114而輸出到顯示控制單元118。

1-5. 替代選擇與訊息顯示的實例

接著，參考圖8，將說明根據本實施例之替代選擇與訊息顯示的實例。圖8為顯示根據本發明第一實施例之替代選擇與訊息顯示實例的圖式。

圖8顯示用於比較進行替代選擇與訊息顯示之情形與不進行它們之情形的圖式。在圖8(a)所示的情形中，真實物體obj_r會被反射於在斜視狀態中的影像中。因此，看似猶如它從真實物體obj_r突出的虛擬物體obj_v2會被顯示。

另一方面，在圖8(b)所示的情形中，以圖8(a)的類似方式，真實物體obj_r會被反射於在斜視狀態中的影像中。不過，在圖8的(b)中，因為真實物體obj_r在接近螢幕末端處被反射，所以假如虛擬物體obj_v2如 在圖8(a)中地被顯示的話，虛擬物體obj_v2的顯示位置將超過影像有效區域。因此，不管真實物體obj_r相關於資訊處理裝置100之角度A所得到的決定結果，選擇單元110會選出可被顯示在影像有效區域中以當作顯示目標的虛擬物體obj_v1。

藉此，因為虛擬物體的顯示超過該影像區域，所以可能可避免虛擬物體在視覺上不為使用者所識別。不過，在圖8(b)之狀態中虛擬物體obj_v2的顯示不一定在可由使用者在視覺上可輕易識別的狀態中，例如，因為其尺寸可根據真實物體obj_r表面的斜度而明顯轉換。此外，在此狀態中，難以讓使用者知道虛擬物體obj_v2可如圖8(a)地被顯示。

因此，在所示的實例中，依據由訊息資訊輸出單元116所產生資訊的訊息msg會被重疊在影像上以便被顯示。該訊息msg為促使使用者注意真實物體obj_r以便相應地改變影像區域的訊息，其係並且被引導到最初被選擇之虛擬物體obj_v2可被顯示的狀態，譬如例如〝注視該物體！〞。此外，訊息資訊輸出單元116可將指定被調整以致於不會重疊虛擬物體obj_v1之訊息msg之顯示位置的資訊輸出，以當作訊息資訊。

在以上實例中，例如，圖像或類似物的影像可被顯示，以取代訊息。此外，經由被包括在資訊處理裝置100之LED(發光二極體)燈的發光或閃爍或者來自資訊處理裝置100的聲音輸出，可將通知提供給使用者。換句話說， 在本實施例中之訊息資訊輸出單元116為通知單元的實例，該通知單元會將通知發送給使用者，以便當替代顯示目標物體被選出時來改變影像區域。藉由如上述實例的訊息資訊輸出單元116、顯示控制單元118與顯示單元120，此通知可經由顯示的改變來進行。該通知亦可藉由視覺通知單元(譬如燈)來進行，或者藉由聲音通知單元(譬如喇叭)來進行。

如同上述，本發明的第一實施例會被說明。在本發明的第一實施例中，依據在一影像中所反射的真實物體與捕捉該影像的裝置之間的位置關係，真實物體相關於虛擬物體的顯示位置會被改變。雖然一角度可被使用當作在上述實例中的位置關係，但是其他的位置關係則可被使用。例如，在真實物體與裝置之間的距離可被使用做為位置關係。在本情形中，例如，假如真實物體與裝置之間的距離比預定距離更短，且因此真實物體會被顯示以致於相對大的話，虛擬物體可被顯示在真實物體中，且相反地，假如真實物體可被顯示以致於相對小的話，虛擬物體則可從真實物體向外突出。

根據本發明的第一實施例，例如，被顯示在產生最舒服視覺之位置上的虛擬物體可被重疊在一影像上，以便根據在真實物體與裝置之間的位置關係而呈現給在每一情形中的使用者。

2. 第二實施例

，接著，將參考圖9至11來說明本發明的第二實施例。在本發明的第二實施例中，藉由虛擬物體來顯示的資訊數量，其係可依據在該影像中所反射的真實物體與捕捉該影像的裝置之間的位置關係來改變。

此外，在第二實施例的架構中，除了在下文中所說明部件以外的部件係類似第一實施例的那些。這些部件的架構可藉由根據以下說明來適當替代第一實施例的說明而被充分地說明，而且因此其重複的詳細說明將會被省略。

在此，根據本實施例之在顯示中變化的實例將被說明在圖9至11。圖9為顯示第一狀態的圖式，在此，虛擬物體可藉由根據本發明第二實施例的資訊處理裝置來顯示。圖10為顯示第二狀態的圖式，在此，虛擬物體可藉由根據本發明第二實施例的資訊處理裝置來顯示。圖11為顯示藉由根據本發明第二實施例之資訊處理裝置而在虛擬物體顯示中變化的圖式。

圖9顯示第一狀態，在此一虛擬物體可藉由根據本實施例的資訊處理裝置100來顯示。在本實施例中，為顯示目標的該種虛擬物體可根據真實物體距資訊處理裝置100的距離被選出。在所示實例中的第一狀態中，因為從資訊處理裝置100至真實物體obj_r(招牌)的距離d1相當長，且反射在該影像中的真實物體obj_r相當小，所以顯示較小數量資訊的虛擬物體obj_v3(僅僅顯示〝銷售〞)則會被顯示。在以下的說明中，當此較小數量資訊被顯示時之虛擬物體的顯示會被稱為〝輪廓顯示〞。

圖10顯示第二狀態，在此，虛擬物體可由根據本實施例的資訊處理裝置100來顯示。在所示實例的第二狀態中，因為從資訊處理裝置100至真實物體obj_r(招牌)的距離d2相當短，且被反射在該影像中的真實物體obj_r相當大，所以顯示更大數量資訊的虛擬物體obj_v4(該時間時期或地點會被進一步顯示)則會被顯示。在以下說明中，當此一更大數量資訊被顯示時之虛擬物體的顯示則被稱為〝詳細顯示〞。

圖11顯示藉由根據本實施例之資訊處理裝置100之虛擬物體顯示變化的實例。如以上所說明，在本實施例中，藉由資訊處理裝置100之虛擬物體的顯示，其係依據從資訊處理裝置100至真實物體的距離d而變。圖11為經由僅僅在距離d與真實物體之詳細顯示與輪廓顯示之間關係中二度平面上之一方向中的簡化來顯示在資訊處理裝置100與真實物體obj_r之間位置關係的圖式。那些熟諳該技藝者將會輕易理解到，事實上，類似的關係會被建立於三度空間上的任一方向。

在所示的實例中，當資訊處理裝置100最接近真實物體obj_r時，距離d為0。在距離d=0的狀態中，虛擬物體的顯示為詳細顯示，誠如在圖9所示距離d=d1的情形中。假如資訊處理裝置100從該狀態變得遠離真實物體obj_r，且距離d超過臨界值L1的話，虛擬物體的顯示會變為輪廓顯示，誠如在圖10所示距離d=d2的情形中。另一方面，假如資訊處理裝置100從虛擬物體為輪廓顯示之 狀態逐漸靠近真實物體obj_r，且隨後距離d變得小於臨界值L2的話，虛擬物體的顯示會被改變為詳細顯示。

同樣地，在本實施例中，使用臨界值設定當作關於該資訊處理裝置100與真實物體obj_r之間位置關係的參數(距離d)，可將變成顯示目標物體的該種虛擬物體選出。在該影像拾取單元102捕捉移動影像且該種虛擬物體被選擇以用於形成連續訊框之各別影像的情形中，不同臨界值可依據被顯示的虛擬物體來使用，直到那時，也就是，該種虛擬物體在先前訊框中被選出，譬如上述的臨界值L1與L2。以此方式，藉由對虛擬物體的選擇產生遲滯，可能可避免可見度減少的發生，其係因為虛擬物體的顯示會由於照相機晃動或類似物所造成臨界值周圍距離d的振動而經常改變。

如以上，本發明的第二實施例會被說明。在本發明的第二實施例中，依據被反射在一影像中的真實物體與捕捉該影像的裝置之間的位置關係，虛擬物體所顯示的資訊數量會改變。雖然在上述實例中，距離可被使用當作位置關係，但是其他位置關係則可被使用。例如，真實物體相關於裝置的角度可被使用當作位置關係。例如，在此情形中，假如真實物體的表面可幾乎從前側被觀看且因此該顯示區域大的話，顯示更多資訊的虛擬物體則可被顯示，且相反地，假如真實物體的表面可被斜視觀看且因此該顯示區域小的話，那麼顯示較少資訊的虛擬物體則可被顯示。

根據本發明第二實施例，例如，有效顯示產生最舒服 觀看之資訊數量的虛擬物體，其係可根據真實物體與裝置之間的位置關係，而被重疊在影像上以便呈現給每一情形中的使用者。

3. 第三實施例

隨後，本發明的第三實施例將參考圖12至16被說明。在本發明的第三實施例中，依據被反射在影像中的真實物體與捕捉該影像的裝置之間的位置關係，由虛擬物體所顯示的該種資訊會改變。

此外，在第三實施例的架構中，除了在下文所說明之部件以外的部件類似第一實施例的那些。這些部件的架構可藉由根據以下說明來適當替代第一實施例的說明而被充分地說明，而且因此其重複的詳細說明將會被省略。

3-1. 檢測位置關係的實例

首先，根據本實施例來檢測的真實物體與裝置之間的位置關係將參考圖12來說明。圖12為顯示根據本發明第三實施例之被檢測真實物體與裝置之間位置關係的圖式。

圖12顯示顯示在本實施例中之檢測位置關係的四個實例(a)-(d)。在本實施例中，被反射在該影像中之真實物體obj_r的轉動角度B，其係被當作資訊處理裝置100與真實物體obj_r之間的位置關係被檢測。例如，在圖12(a)所示的狀態中，在資訊處理裝置100被安裝的狀態中，影像拾取單元102可捕捉包括真實物體obj_r的 影像。在所示的實例中，在此情形中，轉動角度B為0°。在此，假如資訊處理裝置100從在圖12(a)所示的狀態朝著順時針方向轉動90°並且進入在圖12(b)所示之狀態的話，真實物體obj_r則可以從圖12(a)所示的狀態轉動轉動角度B=90°的狀態而顯示在由影像拾取單元102所捕捉並且顯示在顯示單元120上的影像中。

更者，當資訊處理裝置100朝著順時鐘方向轉動並且進入圖12(c)所示之狀態的時候，真實物體obj_r則可以從圖12(a)所示的狀態轉動轉動角度B=180°的狀態而顯示在顯示單元120上所顯示的影像中。另一方面，當資訊處理裝置100從在圖12(a)所示的狀態朝著逆時針方向轉動90°並且進入在圖12(d)所示之狀態的時候，真實物體obj_r則可以從圖12(a)所示的狀態轉動轉動角度B=-90°的狀態而顯示在被顯示於顯示單元120上的影像中。

在本實施例中，資訊處理裝置100的位置關係檢測單元108檢測真實物體obj_r相關於資訊處理裝置100的轉動，如以上所說明的實例，以做為真實物體與資訊處理裝置100的位置關係。更具體地，位置關係檢測單元108檢測與影像拾取單元102之影像拾取軸平行之軸轉動之真實物體obj_r的轉動，以當作一位置關係。在此，影像拾取單元102的影像拾取軸可例如被定義當作在最接近影像拾取單元102之光學系統之真實物體obj_r部份中的光軸。

此外，在本實施例以及第一與第二實施例之間差異的 其中一者為，在真實物體與資訊處理裝置100之間位置關係的改變並沒有實質改變在一影像中真實物體的顯示。

例如，在圖12所示的實例中，可以說是，真實物體obj_r的顯示係在使用資訊處理裝置100為參考的座標系統中轉動。不過，在許多情形中，如圖12(a)-(d)中所示狀態的變化實際上可藉由使用者改變握持資訊處理裝置100的方法而發生。在這些情形中，因為資訊處理裝置100本身以相反在顯示單元120中真實物體obj_r之顯示之轉動的方向來轉動，所以由使用者在視覺上所識別的真實物體obj_r則不會實質地轉動。例如，在圖12(c)所示的實例中，被顯示在顯示單元120上的真實物體obj_r會轉動轉動角度B=180°；然而，假如資訊處理裝置100本身由使用者以從最初姿勢轉動180°的狀態來握持的話，由使用者在視覺上所識別之真實物體obj_r的顯示則與在圖12(a)中所示者相同。

換句話說，本實施例指出，即使在使用者由於真實物體與資訊處理裝置100之間位置關係的改變而不一定難以在視覺上識別一真實物體或一虛擬物體的情形中，相關於本發明的技術係有效的。

3-2. 顯示改變的實例

接著，將參考圖13至15來說明根據本實施例之顯示變化的實例。圖13為顯示第一狀態的圖式，在此，虛擬物體可藉由根據第三實施例的資訊處理裝置來顯示。圖 14為顯示第二狀態的實例，在此，虛擬物體可藉由根據本發明第三實施例之資訊處理裝置來顯示。圖15為顯示藉由根據本發明第三實施例之資訊處理裝置之虛擬物體顯示變化的圖式。

圖13顯示第一狀態，在此，一虛擬物體藉由根據本實施例之資訊處理裝置100來顯示。如以上所說明，在本實施例中，為顯示目標的該種虛擬物體可根據真實物體相關於資訊處理裝置100的轉動來選出。在所示實例的第一狀態中，該資訊處理裝置100係在與真實物體obj_r(監視器)水平放置的狀態中。在此情形中，真實物體obj_r的顯示內容(細節)係以虛擬物體obj_v5來顯示以便從真實物體obj_r突出。在以下說明中，虛擬物體的此種顯示同樣稱為〝內容顯示〞。

圖14顯示第二狀態，在此，一虛擬物體藉由根據本實施例之資訊處理裝置100來顯示。在所示實例的第二狀態中，該資訊處理裝置100係在與真實物體obj_r(監視器)垂直放置的狀態中。在此情形中，與真實物體obj_r之顯示內容(細節)相關的資訊係以虛擬物體obj_v6來顯示以便從真實物體obj_r突出。在以下說明中，虛擬物體的此種顯示同樣被稱為〝相關資訊顯示〞。

圖15顯示藉由根據本實施例之資訊處理裝置100之虛擬物體顯示之變化的實例。如以上所說明地，在本實施例中，藉由資訊處理裝置100之虛擬物體的顯示，其係依據真實物體相關於資訊處理裝置100的轉動來改變。在本 實施例中，可將一範圍設定在一轉動角度，且由虛擬物體所顯示的該種資訊可依據該範圍來改變。

在所示的實例中，資訊處理裝置100係在與真實物體obj_r垂直放置的狀態中，且真實物體obj_r相關於資訊處理裝置100的轉動角度B，其係使用資訊處理裝置100被當作參考來安裝的狀態來偵測。範圍R1或者範圍R2係被設定用於檢測轉動角度B，且假如轉動角度B在此範圍內的話，虛擬物體則被當作內容顯示地被顯示。另一方面，假如轉動角度B在此範圍外的話，虛擬物體則被當作相關資訊顯示地被顯示。

在此，範圍R1與範圍R2為在真實物體obj_r之轉動角度的範圍，在此，該資訊處理裝置100被決定為在與真實物體obj_r水平放置的狀態中。因此，範圍R1與範圍R2兩者係在大約例如±90°的範圍。此外，範圍R1被使用在虛擬物體的顯示為內容顯示的情形中，且範圍R2被使用在虛擬物體為相關資訊顯示的情形中。換句話說，內容顯示係在已經進行內容顯示之狀態中被連續進行的範圍R2，其係大於從進行相關資訊顯示之狀態改變成內容顯示的範圍R1。同樣地，藉由對虛擬物體的選擇產生遲滯，可能可避免可見度減少的發生，其係因為虛擬物體的顯示會由於照相機晃動或類似物所造成範圍邊界周圍之轉動角度B的振動而經常改變。

3-3. 處理流程的實例

接著，參考圖16，將對根據本實施例之資訊處理裝置所進行的處理流程實例來進行說明。圖16為一流程圖，其係顯示在根據本發明第三實施例之資訊處理裝置中之顯示目標設定處理之處理流程實例的流程圖。

圖16為顯示在本實施例之顯示目標設定處理的流程圖。在此所說明的顯示目標設定處理為在影像顯示處理之步驟S109中所進行的處理，其係類似參考圖6所說明者。在所示的實例中，該影像拾取單元102捕捉移動影像，且因此，該顯示目標設定處理亦可被進行以用於形成連續訊框的各別影像。

首先，在步驟S301中，選擇單元110決定在先前訊框中虛擬物體的顯示是否為內容顯示。如以上所說明，該內容顯示為虛擬物體obj_v5的顯示，其係當資訊處理裝置100與真實物體obj_r呈水平放置時顯示真實物體obj_r的內容。

在此，假如在先前訊框中虛擬物體的顯示為內容顯示的話，那麼在步驟S303中，選擇單元110會設定範圍R1為使用以決定連續顯示目標之轉動角度B的範圍。另一方面，假如在先前訊框中虛擬物體的顯示不是內容顯示的話，亦即，該顯示為相關資訊顯示的話，那麼在步驟S305中，選擇單元110則設定範圍R2為該範圍。參考圖15來說明，在本實施例中轉動角度B的範圍R1與R2具有R1大於R2的關係。藉此，可能可選出具有遲滯的顯示目標物體。

接著在步驟S307中，選擇單元110決定該檢測obj_r的轉動角度B是否在步驟S303或步驟S305中所設定的範圍內。

在此，假如決定轉動角度B是在該範圍內的話，也就是，資訊處理裝置100會與真實物體obj_r水平地放置，在步驟S309中，選擇單元110會將在該內容顯示中的虛擬物體設定當作一顯示目標。另一方面，假如決定轉動角度B不在該範圍內的話，也就是，資訊處理裝置100會垂直真實物體obj_r地放置，在步驟S311中，選擇單元110會將在該相關資訊顯示中的虛擬物體設定當作一顯示目標。

如以上，該顯示目標設定處理完成，且設定在此之顯示目標物體的資訊會藉由顯示目標資訊輸出單元114被輸出到顯示控制單元118。

如以上，本發明的第三實施例會被說明。在本發明的第三實施例中，由虛擬物體所顯示的該種資訊，其係依據被反射在影像中的真實物體與捕捉該影像的裝置之間的位置關係來改變。雖然在上述實例中，一轉動角度可被使用當作位置關係，但是其他位置關係則可被使用。例如，真實物體相關於一裝置的角度可被使用當作該位置關係。例如，在本情形中，假如幾乎可從前側觀看真實物體之表面的話，真實物體的內容則可被顯示，且相反地，假如真實物體的表面可斜看的話，相關於真實物體內容的資訊則可被顯示。

根據本發明第三實施例，例如，藉由改變真實物體與裝置之間的位置關係，可能可改變藉由相關於真實物體來顯示之虛擬物體所顯示的該種資訊。例如，假如使用者打算改變位置關係的話，使用者可使用該裝置姿勢的變化來當作改變顯示內容的指令操作。此外，例如，假如位置關係不打算被改變的話，使用者則可得到之前沒被看到的不同種類資訊。

4. 關於裝置架構的其他實施例

隨後，關於一裝置架構之本發明的其他實施例將參考圖17與18來說明。

〈包括感應器單元的實例〉

圖17為顯示根據本發明實施例之資訊處理裝置之功能性架構之另一實例的方塊圖。參考圖17，資訊處理裝置200包括感應器單元222以及影像拾取單元102、影像識別單元104、模型資料庫106、位置關係檢測單元108、選擇單元110、物體資料庫112、顯示目標資訊輸出單元114、訊息資訊輸出單元116、顯示控制單元118以及顯示單元120。

感應器單元222包括測量影像拾取單元102之動作的動作感應器組。該動作感應器例如是測量影像拾取單元102之加速度的加速度感應器、測量斜角度的迴轉感應器、測量影像拾取單元102所定位之方位的地磁感應器、或 者類似物。此外，感應器單元222包括GPS(全球定位系統)感應器，其係接收GPS(全球定位系統)訊號並且測量該裝置的緯度、經度與海拔高度。

在所示的實例中，依據感應器單元222所取得影像拾取單元102的動作，位置關係檢測單元108檢測在真實物體與資訊處理裝置200(更具體地，影像拾取單元102)之間的位置關係。例如，依據影像拾取單元102之加速度或傾斜角度的資訊，位置關係檢測單元108檢測資訊處理裝置200的姿勢。假如有真實物體位置之資訊的話，真實物體是否在譬如地面的水平面上，或者真實物體是否在譬如牆壁的垂直面上，可能可藉由檢測資訊處理裝置200的姿勢來得到與真實物體的位置關係。此外，如在圖式中所示，位置關係檢測單元108，其係可使用來自感應器單元222的資訊而檢測一位置關係，並且可一起使用來自影像識別單元104的資訊來檢測位置關係。

〈網路上伺服器的實例〉

圖18為顯示根據本發明實施例之資訊處理裝置之功能性架構之仍另一實例的方塊圖。參考圖18，資訊處理裝置300包括影像識別單元104、模型資料庫106、位置關係檢測單元108、選擇單元110、物體資料庫112、顯示目標資訊輸出單元114、訊息資訊輸出單元116以及通訊單元324。

在所示的實例中，資訊處理裝置300不包括影像拾取 單元102、顯示控制單元118與顯示單元120。該資訊處理裝置300例如為被安裝在網路上的伺服器，其並且經由通訊單元324接收由為客戶端之裝置之影像拾取單元所獲取影像的資料，以當作輸入影像。此外，資訊處理裝置300將從顯示目標資訊輸出單元114輸出的顯示目標物體資訊以及從訊息資訊輸出單元116所輸出訊息的進一步資訊，經由通訊單元324，傳送到客戶端。一虛擬物體被重疊於上的影像被產生，且該影像可使用所傳送的資訊而被顯示在終端裝置的顯示控制單元中。

同樣地，根據本發明實施例之資訊處理裝置，不一定包括影像拾取單元102或顯示單元120，並且具有種種架構。例如，在上述資訊處理裝置300中，顯示控制單元118可被提供，且虛擬物體被重疊於上的影像可被產生並經由通訊單元324被傳送到客戶端。再者，資訊處理裝置不包括影像拾取單元102，但包括顯示單元120，並且重疊一虛擬物體在由外部裝置所獲取的影像上，以便被顯示。更者，該資訊處理裝置不包括影像拾取單元102，但卻包括顯示單元120，並且將虛擬物體被重疊在捕捉影像上的影像傳送到外部裝置。

5. 補充文件 〈硬體架構〉

最後，參考圖19，將說明能夠實施根據本發明實施例之資訊處理裝置之資訊處理裝置900的硬體架構。圖 19為顯示資訊處理裝置之硬體架構的方塊圖。

資訊處理裝置900包括CPU(中央處理單元)901、ROM(唯讀記憶體)903與RAM(隨機存取記憶體)905。更者，資訊處理裝置900包括主匯流排907、橋接器909、外部匯流排911、界面913、輸入裝置915、輸出裝置917、儲存裝置919、驅動器921、連接埠923與通訊裝置925。除了或替代CPU901，資訊處理裝置900包括譬如DSP(數位訊號處理器)的處理電路。

CPU901的功能如同算術處理單元與控制單元，並且根據被記錄在ROM903、RAM905、儲存器919、或可移動記錄媒體927上的種種程式，來控制在資訊處理裝置900或一部份內的整個操作。ROM903儲存由CPU901所使用的程式、操作參數與類似物。RAM905暫時儲存在執行CPU901中所使用的程式、在執行期間適當改變的參數與類似物。CPU901、ROM903與RAM905可藉由從譬如CPU匯流排之內部匯流排而架構的主匯流排907而相互連接。更者，主匯流排907係經由橋接器909而連接到外部匯流排911，譬如PCI(週邊組件互連/界面)。

輸入裝置915為由使用者所使用的裝置，譬如例如滑鼠、鍵盤、觸控面板、按鈕、切換器或操縱桿。輸入裝置915例如為使用紅外線或其它電磁波的遙控裝置，或者譬如對應資訊處理裝置900之操作之可攜式電話的外部連接裝置929。輸入裝置915包括輸入控制電路，其係依據使用者所輸入的資訊來產生輸入訊號並且將該輸入訊號輸出 到CPU901。藉由操作輸入裝置915，使用者可輸入種種資料到資訊處理裝置900，或者下令該資訊處理裝置900來進行處理操作。

輸出裝置917包括可在視覺上或聽覺上通知使用者所取得資訊的裝置。輸出裝置917例如為顯示裝置，譬如LCD(液晶顯示器)、PDP(電漿顯示面板)、有機EL(電激發光)顯示器；聲音輸出裝置，譬如麥克風或耳機；或者列印裝置。輸出裝置917將經由處理資訊處理裝置900所得到的結果，以文字或譬如影像的視頻或者以譬如聲音或音頻的音來輸出。

儲存裝置919為用來儲存資料的裝置，其係以資訊處理裝置900之儲存單元的實例來架構。儲存裝置919例如包括譬如HDD(硬碟驅動器)的磁性儲存裝置、半導體儲存裝置、光學儲存裝置或磁光儲存裝置。本儲存裝置919例如包括由CPU901所執行的程式或種種資料，或者從外面得到的種種資料。

驅動器921為可移動記錄媒體927(譬如磁碟、光碟、磁光碟、或半導體記憶體)的閱讀器/撰寫器，其係並且可被合併入或從外部被附著到資訊處理裝置900。驅動器921讀取被記錄在被安裝之可移動記錄媒體927上的資訊，並且將該資訊輸出到RAM905。驅動器921同樣將資訊寫入到被安裝的可移動記錄媒體927。

連接埠923為用來將一裝置直接連接到資訊處理裝置900之埠。連接埠923例如為USB(通用串列匯流排)埠 、IEEE1394埠、或SCSI(小電腦系統界面)埠。此外，連接埠923為RS-232埠、光學聲音端或者HDMI(高解析度多媒體界面)埠。當外部連接裝置929被連接到連接埠923的時候，資訊處理裝置900與外部連接裝置929可交換種種資料。

通訊裝置925例如為一通訊界面，其包括用來連接到通訊網路931的通訊裝置或類似物。通訊裝置925例如為有線或無線LAN(局部區域網路)或用於藍芽(註冊商標)或WUSB(無線通用串列匯流排)的通訊卡。或者，通訊裝置925為用於光學通訊的路由器、用於ADSL(不對稱數位用戶線)的路由器或者用於種種通訊的數據機。例如使用預定協定(譬如傳輸控制協定/網際網路協定)，通訊裝置925可經由網際網路或往返其他通訊裝置來傳送或接收訊號或類似物。此外，被連接到通訊裝置925的通訊網路931為有線或無線連接的網路，其並且例如為網際網路、家用LAN、紅外線通訊、電磁波通訊或衛星通訊。

影像拾取裝置933例如為捕捉真實世界的裝置，並且，藉由使用譬如CCD(電荷耦合裝置)或CMOS(互補式金屬氧化物半導體)的影像感應器與種種組件(譬如透鏡)，來拾取到該影像感應器的物體影像，而產生一捕捉影像。該影像裝置933可被架構以拾取靜止影像或移動影像。

感應器935為種種型態的感應器，譬如加速度感應器 、迴轉感應器、地磁感應器、光學感應器、與聲波感應器。感應器935取得關於資訊處理裝置900之狀態的資訊，譬如資訊處理裝置900之外殼的形狀，以及相關於資訊處理裝置900之周圍環境的資訊，譬如在資訊處理裝置900周圍的亮度或噪音。更者，感應器935包括GPS(全球定位系統)感應器，其係接收GPS訊號並且測量該裝置的緯度、經度與海拔高度。

該資訊處理裝置900之硬體架構的實例已經被說明。以上所說明的各別組件可使用一般目的之元件來架構，其並且可藉由專門用於各別組件之功能的硬體來架構。此架構可根據當實施本實施例時的技術水平來適當地改變。

雖然本發明的較佳實施例可參考附圖而詳細說明如上，但是本發明則不限於此。那些熟諳該技藝者應該理解到，種種改良、組合、子組合與改變可依據設計規格與其他因子而發生，只要它們是在附加申請專利範圍或其等同物的範圍內。

此外，以下架構同樣地在本發明的技術範圍內。

(1)一種裝置，包括：一影像處理器，被架構以接收一包括一物體的視頻，決定該裝置與該物體之間的一位置關係，當該裝置與該物體之間的位置關係改變時，改變被重疊在該視頻上之影像與該物體之間的位置關係。

(2)如(1)之裝置，其中該影像處理器決定該物體 方向與該裝置方向之間的角度，並且依據該角度來改變被重疊在該視頻上的影像與該物體之間的位置關係。

(3)如(2)之裝置，其中當該角度在第一臨界角度以下時，該影像處理器決定被重疊在該視頻上的影像與該物體之間的位置關係為前視關係。

(4)如(3)之裝置，其中當該角度超過該第一臨界角度時，該影像處理器將被重疊在該視頻上的影像與該物體之間的位置關係從該前視關係改變為斜視關係。

(5)如(4)之裝置，其中當角度下降到第二臨界角度以下時，該影像處理器將被重疊在該視頻上的影像與該物體之間的位置關係從該斜視關係改變為該前視關係。

(6)如(5)之裝置，其中該第二臨界角度小於該第一臨界角度。

(7)如(4)之裝置，其中該影像處理器在該前視關係中將該影像重疊在該物體之平面中的該視頻上，並且在該斜視關係中將該影像重疊在該物體之上的該視頻上。

(8)如(1)至(7)之裝置，其中該影像處理器將文字訊息重疊在具有該影像的該視頻上。

(9)如(8)之裝置，其中當該影像被修改以適合在顯示螢幕上時，該影像處理器將一文字訊息重疊在具有該影像的該視頻上。

(10)如(9)之裝置，其中該影像處理器重疊一文字訊息，其提供指令來刪除該影像之修改，以適合在該顯示螢幕上。

(11)如(1)之裝置，其中該影像處理器決定該物體與該裝置之間的距離，並且依據該距離，改變被重疊在該視頻上的影像與該物體之間的位置關係。

(12)如(11)之裝置，其中該影像處理器依據該距離改變被重疊在該視頻上的影像。

(13)如(12)之裝置，其中該影像處理器依據該距離來改變被重疊在該視頻上的影像，以致於當該距離小於第一臨界距離時，顯示額外的細節。

(14)如(13)之裝置，其中該影像處理器依據該距離來改變被重疊在該視頻上的影像，使得當該距離超過第二臨界距離時，移除額外的細節。

(15)如(14)之裝置，其中該第二臨界距離比該第一臨界距離更短。

(16)如(1)至(15)之裝置，進一步包含：一接收器，被架構以接收來自外部裝置的該影像。

(17)如(1)至(16)之裝置，進一步包含：一顯示器，被架構以顯示被重疊在該視頻上的影像。

(18)如(1)至(17)之裝置，進一步包含：一感應器，被架構以測量該裝置的位置資訊。

(19)一種方法，包括：接收一包括一物體的視頻，決定該裝置與該物體之間的位置關係，當該裝置與該物體之間的位置關係改變時，改變被重疊在該視頻上之影像與該物體之間的位置關係。

(20)一種用一程式來編碼的非暫態電腦可讀取媒體，當被載於處理器上時，該程式導致該處理器執行一種方法，該方法包含：接收包括一物體的一視頻，決定該裝置與該物體之間的一位置關係，當該裝置與該物體之間的位置關係改變時，改變被重疊在該視頻上之影像與該物體之間的位置關係。

10‧‧‧資訊處理裝置

12‧‧‧顯示單元

100‧‧‧資訊處理裝置

102‧‧‧影像拾取單元

104‧‧‧影像識別單元

106‧‧‧模型資料庫

108‧‧‧位置關係檢測單元

110‧‧‧選擇單元

112‧‧‧物體資料庫

114‧‧‧顯示目標資訊輸出單元

116‧‧‧訊息資訊輸出單元

118‧‧‧顯示控制單元

120‧‧‧顯示單元

200‧‧‧資訊處理裝置

222‧‧‧感應器單元

300‧‧‧資訊處理裝置

324‧‧‧通訊單元

900‧‧‧資訊處理裝置

901‧‧‧中央處理單元

903‧‧‧唯讀記憶體

905‧‧‧隨機存取記憶體

907‧‧‧主匯流排

909‧‧‧橋接器

911‧‧‧外部匯流排

913‧‧‧界面

915‧‧‧輸入裝置

917‧‧‧輸出裝置

919‧‧‧儲存裝置

920‧‧‧儲存裝置

921‧‧‧驅動器

923‧‧‧連接埠

925‧‧‧通訊裝置

927‧‧‧可移動記錄媒體

929‧‧‧外部連接裝置

931‧‧‧通訊網路

933‧‧‧影像拾取裝置

935‧‧‧感應器

obj_r‧‧‧真實物體

obj_v‧‧‧虛擬物體

msg‧‧‧訊息

A‧‧‧角度

B‧‧‧轉動角度

T1‧‧‧臨界值

T2‧‧‧臨界值

L1‧‧‧臨界值

L2‧‧‧臨界值

d1‧‧‧距離

d2‧‧‧距離

R1‧‧‧範圍

R2‧‧‧範圍

圖1為顯示關於本發明第一實施例之參考技術的圖式；圖2為顯示根據本發明第一實施例之資訊處理裝置之功能性架構之實例的方塊圖；圖3為顯示第一狀態的圖式，在此一虛擬物體可藉由根據本發明第一實施例所設計的資訊處理裝置來顯示；圖4為顯示第二狀態的圖式，在此一虛擬物體可藉由根據本發明第一實施例所設計的資訊處理裝置來顯示；圖5為顯示藉由根據本發明第一實施例之資訊處理裝置之虛擬物體顯示之變化的圖式；圖6為顯示在根據本發明第一實施例之資訊處理裝置中影像顯示處理之處理流程實例的流程圖；圖7為顯示在根據本發明第一實施例之資訊處理裝置中顯示目標設定處理之處理流程實例的流程圖；圖8為顯示根據本發明第一實施例之交替選擇與訊息 顯示實例的圖式；圖9為顯示第一狀態的圖式，在此一虛擬物體係藉由根據本發明第二實施例之資訊處理裝置來顯示；圖10為顯示第二狀態的圖式，在此，虛擬物體係藉由根據本發明第二實施例所設計的資訊處理裝置來顯示；圖11為顯示藉由根據本發明第二實施例之資訊處理裝置之虛擬物體顯示之變化的圖式；圖12為顯示根據本發明第三實施例之在檢測真實物體與裝置之間位置關係的圖式；圖13為顯示第一狀態的圖式，在此，一虛擬物體可藉由根據本發明第三實施例之資訊處理裝置來顯示；圖14為顯示第二狀態的圖式，在此，一虛擬物體係藉由根據本發明第三實施例之資訊處理裝置來顯示；圖15為顯示藉由根據本發明第一實施例之資訊處理裝置之虛擬物體顯示之變化的圖式；圖16為一流程圖，其係顯示在根據本發明第三實施例之資訊處理裝置中之顯示目標設定處理之處理流程實例的流程圖；圖17為顯示根據本發明一實施例之資訊處理裝置之功能性架構之另一實例的方塊圖；圖18為顯示根據本發明實施例之資訊處理裝置之功能性架構之進一步另一實例的方塊圖；以及圖19為顯示該資訊處理裝置之硬體架構的方塊圖。

10‧‧‧資訊處理裝置

12‧‧‧顯示單元

obj_r‧‧‧真實物體

obj_v‧‧‧虛擬物體

Claims (20)

1. 一種裝置，包含：一影像處理器，被架構以接收一包括一物體的視頻，決定該裝置與該物體之間的一位置關係，當該裝置與該物體之間的位置關係改變時，改變被重疊在該視頻上之影像與該物體之間的位置關係。
2. 如申請專利範圍第1項之裝置，其中該影像處理器決定該物體方向與該裝置方向之間的角度，並且依據該角度來改變被重疊在該視頻上的影像與該物體之間的位置關係。
3. 如申請專利範圍第2項之裝置，其中當該角度在第一臨界角度以下時，該影像處理器決定被重疊在該視頻上的影像與該物體之間的位置關係為前視關係。
4. 如申請專利範圍第3項之裝置，其中當該角度超過該第一臨界角度時，該影像處理器將被重疊在該視頻上的影像與該物體之間的位置關係從該前視關係改變為斜視關係。
5. 如申請專利範圍第4項之裝置，其中當角度下降到第二臨界角度以下時，該影像處理器將被重疊在該視頻上的影像與該物體之間的位置關係從該斜視關係改變為該前視關係。
6. 如申請專利範圍第5項之裝置，其中該第二臨界角度小於該第一臨界角度。
7. 如申請專利範圍第4項之裝置，其中該影像處理器在該前視關係中將該影像重疊在該物體之平面中的該視頻上，並且在該斜視關係中將該影像重疊在該物體之上的該視頻上。
8. 如申請專利範圍第1項之裝置，其中該影像處理器將文字訊息重疊在具有該影像的該視頻上。
9. 如申請專利範圍第8項之裝置，其中當該影像被修改以適合在顯示螢幕上時，該影像處理器將一文字訊息重疊在具有該影像的該視頻上。
10. 如申請專利範圍第9項之裝置，其中該影像處理器重疊一文字訊息，其提供指令來刪除該影像之修改，以適合在該顯示螢幕上。
11. 如申請專利範圍第1項之裝置，其中該影像處理器決定該物體與該裝置之間的距離，並且依據該距離，改變被重疊在該視頻上的影像與該物體之間的位置關係。
12. 如申請專利範圍第11項之裝置，其中該影像處理器依據該距離改變被重疊在該視頻上的影像。
13. 如申請專利範圍第12項之裝置，其中該影像處理器依據該距離來改變被重疊在該視頻上的影像，以致於當該距離小於第一臨界距離時，顯示額外的細節。
14. 如申請專利範圍第13項之裝置，其中該影像處理器依據該距離來改變被重疊在該視頻上的影像，使得當該距離超過第二臨界距離時，移除額外的細節。
15. 如申請專利範圍第14項之裝置，其中該第二臨 界距離比該第一臨界距離更短。
16. 如申請專利範圍第1項之裝置，進一步包含：一接收器，被架構以接收來自外部裝置的該影像。
17. 如申請專利範圍第1項之裝置，進一步包含：一顯示器，被架構以顯示被重疊在該視頻上的影像。
18. 如申請專利範圍第1項之裝置，進一步包含：一感應器，被架構以測量該裝置的位置資訊。
19. 一種方法，包含：接收一包括一物體的視頻，決定該裝置與該物體之間的位置關係，當該裝置與該物體之間的位置關係改變時，改變被重疊在該視頻上之影像與該物體之間的位置關係。
20. 一種用一程式來編碼的非暫態電腦可讀取媒體，當被載於處理器上時，該程式導致該處理器執行一種方法，該方法包含：接收包括一物體的一視頻，決定該裝置與該物體之間的一位置關係，當該裝置與該物體之間的位置關係改變時，改變被重疊在該視頻上之影像與該物體之間的位置關係。