TW201108037A - Information processing device, information processing method, and program - Google Patents

Description

201108037 六、發明說明： 【發明所屬之技術領域】 本發明係關於一種資訊處理裝置、及資訊處理方法、以 及=式。更詳細而言，本發明係關於利用融合有現實世界 之實際物體與電子顯示之混合實境（MR: Mixed Reality)而 進行資料處理之資訊處理裝置、及f訊處理方法、以及程 式。 【先前技術】 例如於用戶利用PC(Personal c〇mputer，個人電腦）而進 行資料處理之情形時，用戶係對PC之顯示部（顯示器）之顯 不資料進行處理。然而，僅將受限定之範圍之顯示部作為 對象之資料處理存在如下所述之問題。 (1) 當藉由滑鼠而對顯示於PC等之顯示部之滑鼠游標進 行操作時，於顯示部之晝面區域之端部，該滑鼠游標之移 動停止°因此’即便藉由滑鼠游標而對顯示部内之物件或 視窗進行操作，亦無法使其移動至顯示部之晝面區域外。 (2) 當PC等之顯示部之顯示區域充斥於用戶所利用之視 由等中時，重疊地顯示多數個視窗且欲觀察位於下側之視 窗時，需要由用戶選擇下側之視窗且將其顯示於上側之處 理，或將重疊之視窗予以圖符化等之操作。然而，若進行 刚者之處理，則無法觀察拖向下側之視窗，於後者之情形 時’無法觀察圖符化後之視窗之内容。 存在如上所述之問題。再者，作為用以利用PC等之顯示 部之尺寸以上之區域的處理，可進行以下之處理。 147270.doc 201108037 ⑷準備新的物理性顯示器，將其連接於用戶所操作之 電腦，從而可利用複數個顯示器。 (b)將虛擬桌面設定於—個顯示部内並加以利用。 然而，於前者⑷之情形時，存在需要用以追加顯示器之 成本、空間之問題。又，後者（b)存在如下問題，即，為對 實際顯示於顯示部之以外之部分進行存取， 操作而輸人指令，或對顯示於托盤等之圖符進行=用戶 本發明係利用例如使用有混合實境（MR : Mixed Rality) 之請處理而解決如上所述之問題者。再者，作為關於混 合實境而已說明之先前技術，例如有專利文獻i(日本專利 特開2008-304268號公報）、或專利文獻2(日本專利特開 2008-304269號公報）。於該等文獻中，揭示有利用相機所 拍攝之圖像而製作現實世界之三維地圖之處理。 [先行技術文獻] [專利文獻] [專利文獻1]曰本專利特開2008-3〇4268號公報 [專利文獻2]日本專利特開2008-304269號公報 【發明内容】 [發明所欲解決之問題] 本發明之目的在於提供可實現如下資料處理之資訊處理 裝置、及資訊處理方法、以及程式，該資料處理係藉由利 用混合實境（MR : Mixed Reality)之處理，而有效率地利用 例如PC等之顯示部（顯示器）、及顯示部以外之空間區域。 [解決問題之技術手段] 147270.doc 201108037 本發明之第1側面在於一種資訊處理裝置’其包括： 座標處理模組，其判定顯示於第i顯示部之位 游標之位置處於上诚筮〗 十即 .^ . 、这第頌不。卩之區域内還是處於區域 ’於處於區域外之情形時’將游標 物件管理部； 荆出至虛擬 圖^機彡拍攝由包含上述第鳴示部之實際物件構成之 貧訊解析部，其對相機攝影圖像令所含之實際物件 之三維位置進行解析； 物件 第2頒不部’其顯示上述相機攝影圖像；以及 虛擬物件管理部，其產生與上述相機攝影圖料所含之 實㈣件不同之虛擬物件，產生包含所產生之虛擬物件與 上述貫際物件之合成圖像，且將該合成圖像顯示於上 2顯示部；且 上述虛擬物件管理部基於自上述座標處理模組輸入之游 ^置資訊而算出游標之三維位置，且於算出之位置，將 设定游標作為虛擬物件之合成圖像顯示於上述第2顯示 部。 一進而，料發明之資訊處理裝置之—實施形態中，上述 資A處理裝置包括應用程式執行部’該應用程式執行部對 上述位置指針所指；^之減物件進行處理，上述應用程式 執行部判定上述指定物件處於上述第丨顯示部之區域内還 是處於區域外’於處於區域外之情形時，將物件位置資讯 輸出至虛擬物件管理部，上述虛擬物件管理部基於自上述 147270.doc 201108037 座標處理模組輸入之物件位置資訊而算出物件之三維位 置，且於算出之位置，將設定物件作為虛擬物件之合成圖 像顯示於上述第2顯示部。 進而，於本發明之資訊處理裝置之一實施形態中上述 虛擬物件管理部於基於自上述座標處理模組輸入之物件2 置資訊而算出之物件之三維位置包含上述第i顯示部之顯 示區域之情形時，將刪除重疊於該上述第〗顯示部之顯示 區域之物件區域圖像的合成圖像顯示於上述第2顯示部。 —進而，於本發明之資訊處理裝置之一實施形態中，上述 資訊處理裝置進而包括物件資訊取得部，該物件資訊取得 部取得設定為上述虛擬物件之游標所指定之實際物件之圖 像資料’且進行基於所取得之圖像資料之資料檢當而進行 物件資訊之取得處理，上述物件資訊取得部進行如下處 里即>1冬所取付之物件資訊輸出為顯示於上述第】顯示 部之顯示資料。 進而，於本發明之資訊處理裝置之—實施形態中，上述 物件資訊取得部執行對於使實際物件之圖像資料與物件資 訊相對應之資料庫、哎伺服哭 服盗之存取，且ϋ由基於上述實 際物件之圖像資料之㈣處理㈣得物件資訊。 進而’於本發明之資訊處理裳置之-實施形態中，上述 虛擬物件官理部進行如下處理1，基於上述相機攝影圖 像中所含之第i顯示部之構成部位之三維位置資訊而算出 包含弟1顯不部之顯示面之平面’且以將上述游標之位置 設定於該平面上之方式，算出上述游標之三維位置。 147270.doc 201108037 進而’於本發明之資訊處理I置之—實施形態中，上述 游標為因滑鼠操作而移動之滑鼠游標，上述座標處理模組 進行如下處理，即，輸入因滑氧操作而產生之滑鼠游標之 位移資訊，判定滑鼠游標之位置處於上述第丄顯示部之區 域内還是處於區域外。 進而，本發明之第2侧面在於—種資訊處理方法， 其係於資訊處理裝置中執行之資訊處理方法，其包括： /標處理步驟，其由座標處理模組判^顯示於第旧示 二=置指針即游標之位置處於上述第_示部之區域内 =於區域外，於處於區域外之情形時，將游標位置資 成輸出至虛擬物件管理部； 物Π:驟，其由相機拍攝由包含上述第1顯示部之實際 物件構成之圖像； 像朴步驟’其由三維資訊解析部對相機攝影圖 3貫際物件之二維位置進行解析：以及 二=管理步驟’其由虛擬物件管理部產生與上述相 機攝影圖像中戶斤合音 甲斤3之貫際物件不同之虛擬物件，產生包含 生之虛擬物件與上”際物件之合 成圖像顯示於第2顯示部；1 且將4合 上述虛擬物件管理步驟為如下步驟，即， 基於自上述座標處理模組輸人之游標 標之三維位置，且"山 罝貝。孔而异出游 件之人成圖傻/ 置，將設定游標作為虛擬物 口成圖像顯示於上述第2顯示部。 進而本發明之第3側面在於一種使資訊處理裝置執行 147270.doc 201108037 資訊處理之程式，其包括： 座標處理步驟，其使座標處理 供、及刦夂顯不於第1顯示 部之位置指針即游標之位置處於 m甘 处％上述第1顯示部之區域内 還是處於區域外，於處於區域外 埤外之情形時，將游標位置資 訊輸出至虛擬物件管理部； 攝影步驟’其使相機拍攝由包含上述第i顯示部之實際 物件構成之圖像； τ 二維貧sfl解析步驟，豆传=給咨& 八使一、准育讯解析部對相機攝影圖 像中所含之實際物件之三維位置進行解析；以及 虛擬物件管理步驟’其使虛擬物件管 機攝影圖像中所含之實際物门^ 興上这相 耳U物件不同之虛擬物件，產生包含 所產生之虛擬物件與上述實際物件之合成圓像，且將該合 成圖像顯示於第2顯示部；且 上述虛擬物件管理步驟為如下步驟，即， 基於自上述座標處理模組輸入之游標位置資訊而算出游 標之三維位置’且於算出之位置，將設定游標作為虛擬物 件之合成圖像顯示於上述第2顯示部。 ，者，本發明之程式例如為可藉由記憶媒體、通信媒體 提仏之程式，§亥S己憶媒體、通信媒體係以電腦可讀取之 形式朝可執仃各種程式碼之圖像處理裝置或電腦系統提 供者由於以電腦可讀取之形式而提供如上所述之程式， 故而於圖像處理裝置或電腦系統中，可實現與程式相對應 之處理。 本@明之進而其他目的、特徵或優點藉由基於後述之本 147270.doc 201108037 發明之實施例或隨附圖式之更詳細的說明而變得明確。再 者，於本說明書中，所謂系統，係指複數個裝置之邏輯性 集合構成’且各構成之裝置並不限於處在同一框體内。 [發明之效果] 根據本發明之一實施例之構成，將偏出至pc等之顯示部 之外側區域之游標或物件顯示為虛擬物件。例如於用戶所 佩戴之眼鏡之顯示器中，顯示PC等之顯示裝置及其外部區 域之圖像。算出假定為根據用戶操作而移動之游標或物件 之二維位置，於算出之位置顯示虛擬物件。又，取得且提 示與游標所指定之物件相對應之物件資訊^根據本構成， 可經常觀察且確認位於顯示部之外之資料，從而可提高資 料處理效率。 【實施方式】 Μ 卜 一面對本發明之資訊處理裝置、 及資訊處理方法、以及程式之詳情進行說明。 依照以下之項目，依序對本發明進行說明。 1. 關於本發明之資訊處理裝置所執行之處理之概要 2. 關於本發明之資訊處理裝置之第1實施例之構成及處理 3·關於本發明之資訊處理裝置之第2實施例之構成及處理 4.關於本發明之資訊處理裝置之第3實施例之構成及處理 [1.關於本發明之資訊處理裝置所執行之處理之概要] :先’參照圖1〜圖3’對本發明之資訊處理裝置所執行 之處理之概要進行說明。本發明可實現如 ； 資料處理係藉由利用混合實貝/ ，該 貝兄（MR . Mlxed Reality)之處 147270.doc 201108037 理，而有效率地利用例wPC等之顯示部（顯示器）以外之空 間區域。 圖1係表示本發明之資訊處理裝置所執行之處理之一例 的圖。於圖1中表示有用戶所操作之例如PC等之顯示部 再者，詳細構成將於後文中敍述，用戶佩戴具有顯示 态之眼鏡而對PC進行操作，該顯示器顯示混合實境: Mixed Reality)產生裝置之產生圖像。 眼鏡中包括拍攝周圍環境之相機，於眼鏡之顯示器中， 顯示相機之攝影圖像與混合實境（MR: Mixed尺⑶出乃產生 裝置所產生之虛擬物件之合成圖像。圖1(幻、圖i(b)之各 圖係顯示於用戶所佩戴之眼鏡之顯示器且由用戶觀察之 像。 例如如圖1(a)所示，用戶將文字顯示於顯示部1〇而進行 文字處理。該處理為-般之PC之操作。於圖丄⑷所示之顯 示部1〇中，顯示有作為對應於用戶所操作之滑鼠而移動之 位置指針的滑鼠游標11 a。 用戶可藉由對滑鼠進行操作而使滑鼠游標na移動。於 先前裝置中，滑鼠游標之移動範圍限定於顯示部1〇之顯示 區域。然而，若應用本發明之構成，則滑鼠游標之移動範 圍不會限定於顯示部10之顯示區域。 例如’右藉由用戶之滑鼠操作’依照圖i⑷所示之移動 線12而使滑鼠游標lla移動’則如圖1(b)所*，可使滑鼠游 標移動至顯示部10之外側之空間。該滑鼠游標為圖❿）所 示之滑鼠游標i 1 b。該® 1 (b)所示之滑鼠游標i i b為混合實 147270.doc -10- 201108037 兄（）產生裝置所產生之虛擬物件。用戶觀察用戶所㈣ 之眼鏡之顯示器中所顯示的虛擬物件即滑鼠游標爪。如 此，若應用本發明之構成，則無論顯示部Π)之内外，均可 自如地使滑鼠游標11移動。 圖2亦係表示本發明之資訊處理裝置所執行之處理之一 例的圖。與圖i同樣地，於圖2中亦表示有用戶所操作之例 如PC等之顯示部10。用戶佩戴包括顯示器之眼鏡，該顯示 器顯示混合實境_ ·· Mixed Reality)產生裝置所產生之圖 像：圖2⑷、圖叫之各圖係顯示於用戶所佩戴之眼鏡之 顯示器且由用戶觀察之圓像。 於圖2⑷所示之顯示部附，顯示有滑鼠游標山、以及 滑鼠，標Ua所指定之物件21a。於該例中，物件係藉 由執行位於pc内部之時鐘顯示應用程式而顯示於顯示部 之物件。 用戶藉由滑鼠操作而使滑鼠游標i i a移動至物件2 i a上， 進行滑鼠操作’執行物件指定處理，進而，依照圖2⑷所 示之移動線22而使滑鼠游標！丨a移動。 藉由忒處理可使滑鼠游標與所指定之物件21移動至顯 示部10之外側之空間。該物件為圖2(b)所示之物件2ib。該 圖2(b)所示之物件21b係混合實境（MR)產生裝置所產生之 虛擬物件。用戶觀察顯示於用戶所佩戴之眼鏡之顯示器的 物件2lb。如此，若應用本發明之職，則無論顯示部之 内外，均可使滑鼠游標及顯示於顯示部丨〇之物件自如地移 動0 147270.doc 201108037 圖3亦係表示本發明之資訊處理裝置所執行之處理之一 例的圖。與^、圖2同樣地，於圖3令亦表示有用戶所操 作之例如PC等之顯示部1〇。用戶佩戴包括顯示器之眼鏡， 該顯示器顯示混合實境（MR : Mixed Reaihy)產生裝置所產 生之圖像_。圖3(a)、圖3(b)之各圖係顯示於用戶所佩戴之 眼鏡之顯示器且由用戶觀察之圖像。 A於圖3(a)中’表示有藉由先前參照圖1所說明之操作而設 疋至顯不部10外之滑鼠游標lla、與滑鼠游標i la所指定之 實際物件3la。於該例中，物件31a為實際存在於空間中之 貫際物件，於該例中，該物件…為儲存有音樂資料之碟 片即CD(c〇mpact disk ,壓縮碟片）之碟套照片。 用戶藉由滑鼠操作而將滑鼠游標Ua設定至物件…上， 鼠操作’執行物件之指定處理。自資料庫或词服器 取付與該物件指定處理所指定之物件相關之資訊，即，物 :責訊等。使所取得之物件資訊顯示於顯示部…該物件 貧訊為圖3(b)所示之物件圖像爪或物件資訊…。 如此，右應用本發明之構成，則可由作為虛擬物件之滑 氣游標而指定位於實際空間中之各種實際物件，取得指定 物件之關聯資訊，取入取得資料作為pc等之資訊處理裝置 之處理貧料’藉由執行pc内之應用程式而使之顯示於 部 1 0 〇 ‘ [2·關於本發明之資訊處理裝置之第1實施例之構成及處理] /、人作為本發明之資訊處理裝置之第i實施例，對執 行參照圖1所說明之處理之裝置之構成與處理的詳情進行 H7270.doc 12 201108037 說明。實施例1係實現如下處理之構成例，該處理如圖 示’藉由用戶之滑鼠操作，依照圖1(a)所示之移動線12而 使滑鼠游標11 a移動’藉此’如圖1 (b)所示’使滑鼠游標移 動至顯示部10之外側之空間。 圖4係表示執行上述處理之本發明之一實施例之資訊處 理裝置的構成之圖。用戶1〇〇對PC(個人電腦）12〇進行操作 而進行各種資料處理。如圖所示，PC12〇包括滑鼠驅動器 121、滑鼠座標處理模組 122、GUI(Graphical User Interface ’圖形用戶介面）部123、通信部124、應用程式執 行部125、控制部126、記憶體127、以及顯示部128。又， 包括圖之上部所示之滑鼠〗29。 滑鼠驅動器121將來自滑鼠129之輸入資訊即位置資訊、 操作資訊予以輸入。滑鼠座標處理模組122根據經由滑鼠 驅動器121而輸入之滑鼠129之位置資訊，決定滑鼠游標之 顯不位置。再者，於本發明之構成中，滑鼠游標之顯示位 置不限於顯示部128之顯示區域。 GUI部123係進行來自用戶之輸入資訊之處理、以及相 對於用戶之輸出資訊之處理等的用戶介面。通信部124進 行與混合實境（MR : Mixed Realhy)產生裝置13〇之通信處 理。 應用私式執行部丨25執行與於pC丨2〇内執行之各種資料處 理相對應之應用程式。控制部126進行於pci2()内執行之處 理之總體性控制。記憶體127係藉由儲存有程式、資料處 /數等之RAM(Random Access Memory，隨機存取記憶 147270.doc -13- 201108037 體）、R〇M(Read 0n】y Memory，唯讀記憶體）等而構成之記 憶體。顯示部128係例如藉由IXD(Uquid Crystal Display，液晶顯示器）等而構成之顯示部。 用戶100佩戴有具有顯示虛擬物件之顯示器之眼鏡⑷。 於眼鏡141中包括拍攝周圍之環境之相㈣2。眼鏡141與 相機142連接於混合實境（MR: Mixed 出力產生裝置 130。用戶100 一面觀察設置於眼鏡i4i之顯示器之顯示圖 像，一面進行作業。 於眼鏡141之顯示器中，顯示有作為相機M2之攝影圖像 之現實世界圖像，進而與現實世界圖像一併顯示有混合實 境（MR)產生裝置130所產生之虛擬物件。 於圖4之例中，用戶100對1>(：(個人電腦）12〇進行操作， 相機142拍攝用戶100所操作之pc(個人電腦）12〇。因此， 於眼鏡之顯示器中，作為現實世界圖像，例如顯示有 包含用戶100所操作之PC(個人電腦）12〇之顯示器（顯示部 128)及其周圍之各種實際物件的圖像。進而，於該現實世 界圖像上重疊地顯示有混合實境（MR)產生裝置i 3〇所產生 之虛擬物件。根據用戶100之移動，相機142之朝向亦會變 更。 於用戶100朝PC120之晝面而進行處理之情形時，相機 142拍攝以PC 120之畫面之圖像為中心之圖像。其結果，例 如，如圖5所示之顯示資料15〇顯示於用戶ι〇〇所佩戴之眼 鏡141之顯示器。該圖5所示之顯示資料15〇係實際物件盥 虛擬物件之合成圖像。 ' 147270.doc •14· 201108037 其次，對圖4所示之混合實境（MR)產生裝置130之構成進 行說明。如圖4所示，混合實境（MR)產生裝置130包括三維 資訊解析部131、虛擬物件管理模組132、記憶體133、以 及通信部134。 三維資訊解析部13 1輸入用戶所佩戴之相機142之攝影圖 像’且進行對攝影圖像中所含之物件之三維位置進行解析 的處理。該三維位置解析處理例如係作為應用有SLam (simultaneous localization and mapping，同步定位與製圖） 之處理而進行。SLAM係如下處理，即，自相機之攝影圖 像中所含之各種實際物件選擇特徵點，且一併檢測所選擇 之特徵點之位置與相機之位置姿勢。再者，slam已揭示 於上述專利文獻1(曰本專利特開2008-3 04268號公報）或專 利文獻2(曰本專利特開2008_304269號公報）中。再者，關 於SLAM之基本處理，於論文[Andrew j Davis〇n,「Real_ time simultaneous localisation and mapping with a single cameraj , Proceedings of the 9th International Conference on Computer Vision ’ Ninth，（2003)]中有所揭示。 三維資訊解析部131例如應用上述SLAM而算出用戶所佩 戴之相機142之攝影圖像中所含之實際物件的三維位置。 然而，三維資訊解析部131並不限於利用上述SLam，亦可 為如下較’ ，利用其他方法而求出相機攝影圖像 含之物件之三維位置。 虛擬物件管理模組132管理顯示於用戶所佩戴之眼鏡⑷ 之顯示器的虛擬物件。虛擬物件為儲存於記憶體⑴之資 147270.doc -15· 201108037 料。具體而言，例如，於用戶所佩戴之眼鏡14 i之顯示器 中，顯示有圖5所示之顯示資料15〇。顯示資料15〇中所含 之PC圊像15 1係相機142所拍攝之實際圖像（實際物件）。 例如，於用戶使PC120之滑鼠129移動之情形時，顯示於 圖5所示之PC圖像1 51内之滑鼠游標1 52a移動至pc圖像i 5 i 之外側為止’顯示作為虛擬物件之滑鼠游標丨52b β 圖4所示之用戶loo例如可於眼鏡ι41之顯示器中，觀察 圖5所示之實際物件與虛擬物件之合成圖像。圖5所示之pc 圖像1 5 1係相機142所拍攝之實際物件。pC圖像i 5丨内之滑 鼠游標152a亦係實際地顯示於Pc圖像151内之資訊，且係 貫際物件。再者，此處，將存在於相機丨42所拍攝之現實 世界，且可由相機拍攝之物件作為實際物件而加以說明。 圖5所示之PC圖像151之外側之滑鼠游標15孔並非為現實 世界之物件（實際物件）。該滑鼠游標152b係混合實境（MR) 產生裝置130所產生之虛擬物件。該滑鼠游標15几係雖不 存在於現實世界，但顯示於用戶所佩戴之眼鏡141之顯示 器的物件。 參照圖6所示之流程圖，對進行如上所述之滑鼠游標之 顯示處理之處理序列進行說t再者，用戶對連接於圖4 所示之PC12〇滑鼠129進行操作。操作資訊輸入至滑鼠驅動 器。於該處理之後，進行圖6所示之流程圖之步驟以〇1以 下的處理。 圖6所示之流程圖之步驟S101〜Sl〇5之處理係圖4所示之 PC 120之處理。 147270.doc -16- 201108037 步驟S106〜S109之處理係圖4所示之混合實境（MR)產生 裝置13 0之處理。 於步驟S101中，PC120之滑鼠座標處理模組丨22自滑鼠 驅動器12 1輸入滑鼠之位移（dx，dY)資訊。 於步驟S102中，滑鼠座標處理模組i22根據以前之滑鼠 游標位置（XP，YP)、與滑鼠之位移（dx，dY)資訊，算出 更新後之滑鼠游標位置（XQ，YQ)。 於步驟S103中，滑鼠座標處理模組122對更新後之滑鼠 游私位置（XQ，YQ)是否位於顯示部外進行判定。若更新 後之滑鼠游標位置（XQ，YQ)位於顯示部區域内，則前進 至步驟S104，執行PC内之通常之滑鼠游標顯示更新處理。 於更新後之滑鼠游標位置（XQ，YQ)位於顯示部區域外之 情形時’前進至步驟S105。 於步驟S105中，儲存於記憶體之滑鼠游標位置資訊 (XQ，YQ)經由通信部而傳輸至混合實境（mr)產生裝置 130。再者，於本實施例中，自pcl2〇傳輸至混合實境 (MR)產生裝置13〇之位置資訊僅為滑鼠游標之位置資訊， 預先已對混合實境（MR)產生裝置13〇進行設定，使位置資 汛為滑鼠游標之位置資訊。於傳輸與其他物件相關之位置 資Λ等之情形時，必需傳輸各物件之識別資訊、或物件之 描繪資料。 於步驟S106之後，進行混合實境（MR)產生裝置13〇之處 理。 首先，於步驟S106中，混合實境（MR)產生裝置13〇將自 147270.doc •17· 201108037 PC120傳輸而來之滑鼠游標位置資訊以卩，γ⑺儲存至混合 實i兄（MR)產生裝置130側之記憶體133。於自pcI2〇接收非 顯示資料（滑鼠游標描繪資料）或其識別碼之情形時，亦將 接收資料儲存錢合實境(MR)產生裝£13〇側之記憶體 133 ° 繼而，於步驟3107中，混合實境（MR)產生裝置13〇之虛 擬物件管理模組132取得儲存於記憶體133之資料，即，非 顯示資料（滑鼠游標描繪資料）與位置資訊（XQ，YQ)。 於步驟测中，虛擬物件管理模組132進行如下處理， 即，將自記㈣取得之非顯*資料（滑鼠游標）之位置資 訊’轉換為與自三維資訊解析部131取得之相機攝影圖像 相對應之相機座標系統。 明。二維資訊解析部1 3 1取得 顯不部200之四個角落的標記 如圖7所示， 參照圖7，對該處理進行說 相機攝影圖像中所含之PC之 201a〜201d之三維位置資訊。 才示吕己 20 1 a=(xa ， ya ， za) 才示 §i201b=(xb，yb，zb) 才示呑己 201c = (xc ， yc ， zc) 才示舌己 201d=(xd，yd，zd) 取得該等位置資訊。 再者，該位置資訊係相機座標系統（x，y，勾之位置資 訊。 置資訊（XQ， ’例如係將顯 另一方面，自PC120接收之滑鼠游標之位 YQ)係PC顯示部平面座標系統，如圖7所示 147270.doc 201108037 示部之左上端作為原點（x，Y)=(G，Q)，且將橫方向設為 X，將縱方向設為Y之座標面之位置資訊。 虛擬物件官理顯示模組132基於標記201a〜d之三維位置 資訊而算出相機座標系統之PC之顯示部之平面，於該算出 之平面上決疋自PC 120取得之非顯示資料（滑鼠游標描繪 資料）之設定位置。為進行該處理，執行自PC120取得之顯 示。卩平面座標系統（X，Y)所表示之位置資訊（XQ，YQ)之 座k轉換算出相機座標系統（X，y，Z)中之滑鼠游標2 ^ i q 之顯示位置（xq，yq，Zq)。 滑鼠游標211q之顯示位置（xq，yq , z幻係設定於圖7所示 之顯不部200之四個角落之標記2〇1&〜2〇1(1所形成的顯示面 之平面上之位置。首先，求出該顯示部2〇〇之四個角落之 標記201 a〜201 d所形成之顯示面。 可自顯示部200之四個角落之標記2〇1 a〜2〇id之四個座標 中使用任意之二個座標而規定上述顯示面。例如， 標記 201a=(xa，ya，za) 標記 201b=(xb，yb，zb) 標記 201c=(xc，yc，zc) 可使用上述二個點之座標而規定上述顯示面。 經由顯示面之xyz平面（相機座標系統，y，z)中之平 面）可使用該等三個點之座標而以下式（式丨）之方式表示。 (x-xa)(yb-ya)(zc-za)+(xb-xa)(yc-ya)(z-za)+(xc-xa)(y-ya) (zb-za)-(xc-xa)(yb-ya)(z-za)-(xb-xa)(y-ya)(zc-za)-(x-xa)(yc-ya) (zb-za)=0 …（式 1) 147270.doc -19- 201108037 虛擬物件&理顯示模組1 3 2進行如下處理，即，將自 PC 120取彳于之顯不部平面座標系統（X，γ)所表示之位置資 訊（XQ ’ YQ)，轉換為相機座標系統（X ’ y ’ z)中之上述xyz 平面上之位置座標（xq，yq，zq)。 將求出之座標設為圖7所示之滑鼠游標2叫於相機座標 系統（X，y，Z)中之座標位置（xq，yq，Zq)。 又，分別以如下方式設置 標記 201a=(xa，ya，za) 才示 s己 20lb=(xb，yb，zb) 標記 201c=(xe，yc，zc) 上述三個點之顯示部平面座標系（x，Y)中之位置。 標記 201a=(0，〇) 標記 201b=(XB，〇) 標記 20 1 c = (0，γ〇 顯不部平面座標系統（χ，γ)中之以下之各座標亦即， 標記 201a=(〇，〇) 標記 201b=(XB，〇) 標記 201c=(0，YC) 滑鼠游標211p之位置（χρ，γρ) 滑鼠游標2 11 q之位置（XQ，yq) 該等位置關係、與 相機座標系統（X ’ y ’ z)中之以下之各座標，亦即， 標言己 201 a=(xa ， ya ， za) 標記 20lb=(xb，yb，zb) 147270.doc -20- 201108037 標記 201c=(xc，yc，zc) 滑鼠游標2 1 1 p之位置（χρ，yp，zp) 滑鼠游標211 q之位置（xq，yq，zq) 該等位置關係為相同之位置關係。 因此，下式成立。 (0-XQ)/(0-XB)=(xa-xq)/(xa-xb) (0-YQ)/(0-YC)=(ya-yq)/(ya-yc) 根據上述式， xq=xa-XQ(xa-xb)/XB ...(式 2) yq=ya-YQ(ya-yb)/YC ...(式 3) 推導上述關係式（式2)、（式3)。 將上述關係式（式2)、（式3)代入至上述式（式丨），藉此推 導zq。如此’算出滑鼠游標2Uq之位置（xq，yq，zq)。 如此，虛擬物件管理模組132於圖6之流程所示之步驟 S 1〇8中進行如下處理，即，將自記憶體133取得之非顯示 貝料之位置資訊（Xq ’ YQ)，轉換為與自三維資訊解析部 13 1取什之相機攝影圖像相對應之相機座標系統的位置 (xq ， yq ， zq) 〇 /繼而’於步驟S109中，虛擬物件管理模組132將滑鼠游 標配置且顯示於所產生之與相機座標系統相對應之座標位 料iUL’zq)。再者於apci20接收滑鼠游標描繪資 資料Μ A存至記憶體133之情料，將記憶體133之儲存 示資料(滑資料’即，自PC12°傳輸而來之非顯 ϋ田繪資料）配置且_示於所產生之與相機 I47270.doc •21 - 201108037 座標系統相對應之座標位置（xq，yq，zq)。 藉由該處理，圖5所示之顯示資料1 5〇顯示於用戶1 〇〇所 佩戴之眼鏡141之顯示器。圖5所示之顯示資料15〇係一併 顯示有作為貫際物件之PC圖像15 1、與作為虛擬物件之滑 鼠游標1 52b之合成圖像》如圖5所示，虛擬物件管理模組 132將虛擬物件之顯示位置設定於pc顯示部之外部空間。 藉由此種顯示處理，用戶可將滑鼠游標之移動範圍擴大至 PC顯示部外之空間為止而非限定於pc顯示部内從而可 利用更大之作業區域而進行資料處理。 再者，每當用戶對PC120之滑鼠129進行操作，且滑鼠游 標之位置發生變更時，進行參照圖6所示之流程圖而說明 之處理。每當滑鼠游標之位置發生變更時，滑鼠座標處理 模組122將更新資料發送至混合實境（MR)產生裝置13〇。混 合實境（MR)產生裝置13〇將如下處理作為即時處理而加以 =仃該處理係基於經更新之資料而使虛擬物件（滑鼠游 標）之顯示位置發生變更之處理。 [3·關^本發明之資訊處理裝置之第2實施例之構成及處理: > 、人作為本發明之資訊處理裝置之第2實施例，對幸 4亍先前參照圖2所說明夕_丨田> 況月之處理之裝置之構成與處理的詳精 進行說明。實施例2俾音招丄π # 〗2係貫現如下處理之構成例該處理如 ，照圖2所說明般，莊Λ 精由用戶之滑鼠操作而指定物件21， 進而依照圖2(a)、圄9α、私_ 狡t 圖（b)所不之移動線22而使滑鼠游標11, 移動’藉此，如圖2rM祕-丄 ..y ()所不，使物件21移動至顯示部1〇之 外側之空間。 147270.d〇c •22· 201108037 本實轭例與第1實施例同樣地，係藉由具有圖4所示之構 成之裝置而執行。於圖4之例中，用戶1〇0對PC(個人電 腦）120進行操作，相機142拍攝用戶1〇〇所操作之pc(個人 電細）120。因此，於用戶100所佩戴之眼鏡141之顯示器 中作為現貫世界圖像，例如顯示有包含用戶1 〇〇所操作 之PC(個人電腦）12〇之顯示器（顯示部128)及其周圍之各種 實際物件的圖像。進而，於該現實世界圖像上重疊地顯示 有混合實境（MR)產生裝置130所產生之虛擬物#。根據用 戶100之移動’相機142之朝向亦會變更。 於用戶100朝PC 120之畫面而進行處理之情形時，相機 142拍攝以PC12〇之畫面之圖像為中心的圖像。其結果，例 如圖8所不之顯示資料25〇係顯示於用戶1〇〇所佩戴之眼鏡 141之顯示器。該圖8所示之顯示資料25〇係實際物件與虛 擬物件之合成圖像。 顯示資料250中所含之PC圖像251係相機142所拍攝之實 際圖像（實際物件）。例如，圖8表示用戶使圖4所示之 PC120之滑鼠129移動時之處理。藉由滑鼠游標271&而指定 顯示於圖8所示之PC圖像251内之物件25仏之後，若該物件 252a移動至PC圖像251之外側為止，則物件252與滑鼠游標 271均會移動。藉由使移動持續，作為虛擬物件之物件 252b與滑鼠游標27lb顯示於PC圖像25 1外。 圖4所示之用戶100可於眼鏡141之顯示器中，觀察例如 圖8所示之實際物件與虛擬物件之合成圖像。圖8所示之 圖像251係相機142所拍攝之實際物件。pc圖像251内之物 147270.doc •23- 201108037 件252a及滑鼠游標27la均係實際地顯示於pc圖像151内之 資sil且為貫際物件。另一方面，圖8所示之pc圖像25〗之外 側之物件252b與滑鼠游標27lb並非現實世界之物件（實際 物件）。該物件252b與滑鼠游標271b係混合實境（MR)產生 裝置130所產生之虛擬物件。該物件乃訃與滑鼠游標27比 係雖不存在於現實世界，但顯示於用戶所佩戴之眼鏡〗^ 之顯不器的物件。 參照圖9所示之流程圖，對進行此種虛擬物件顯示處理 之處理序列進行說明。再者，用戶對連接於圖4所示之 PC120之滑鼠129進行操作。 再者，根據圖8所示之顯示資料25〇亦可理解，本實施例 亦”第1實施例同樣地，進行作為虛擬物件之滑鼠游標 271 b之顯不處理。用以進行該滑鼠游標2川之顯示處理之 序列係以與參照圆6所說明之序列相同之序列而執行。 於本貫施例2申，進而追加有滑鼠所指定之物件μ〗之顯 示處理。圖9所示之流程圖係僅對該滑鼠指定物件之顯示 序列進行說明之流程。亦即，於產生且顯示圖8所示之顯 不資料250之情形時’ 一併執行依照圖㈣示之流程之處 理、與依照圖9所示之流程之處理。 圖9所示之流程圖之步驟S2〇1〜s2〇4之處理係圖*所示之 PC 1 20之處理。 理係圖4所示之混合實境（MR)產生 步驟S205〜S208之處 裝置13 0之處理。 於步驟S201中 將PC120之滑鼠129所指定之物件資訊 147270.doc •24· 201108037 :=12:側之記憶體127。再者，於儲存至記憶_ 之物件資讯中包含物件之描繪用資料與位置資訊。位置資 訊例如為成為物件之基準之中心位 之複數個位置資訊等。 …、定義輪廓 例如’如圖10所示之物件魏般，於矩形資料之情形 將四個頂點pQRS之各座標資訊作為物件資訊之構成 儲存至記憶體。再者，位置資訊只要為可於特定之 位置描繪物件之位置資訊即可，亦可設為如下設定，即， 僅將冑點p之座標資訊而非將全部之四個頂點之座 標資訊儲存至記憶體。其原因在於：由於表示物件之形狀 之物件描繪資料亦儲存於記憶體，故而即便僅將一㈣， 例如點卩之座標作為位置資訊而儲存至記憶體，亦可將以乍 為起點而進行物件之描繪處理（顯示處理）。 於步㈣02中’驗μ否由於因用戶操作而使Μ·之 滑鼠129產生的移動’導致於滑鼠指定物件區域中產生顯 示部外區域。於該處理中’ P⑽之應用程式執行部125基 於滑鼠座標處理模組122所取得之移動目標之滑鼠游標位 置與物件形狀而進行驗證。 、，當步驟㈣之判定為否，亦即，於滑鼠指定物件區域中 亚未產生顯示部外區域時，前進至步驟S2〇3，pci2〇之應 用程式執行部125將滑鼠指定物件顯示於ρ(：ΐ2㈣之顯示部 内。 另-方面，當步驟S202之判定為是，亦即，於滑鼠指定 物件區域產生有顯示部外區域時，前進至步驟讓。該情 147270.doc -25- 201108037 形例如係藉由用戶操作而使物件移動至圖所示之物件 3〇lb之位置、或圓u所示之物件3〇卜之位置等之情形。再 者’表示有如下之例，即，圖1〇、圖u所示之物件3〇. 3〇1C之至少—部分作為虛擬物件而顯示於用戶所佩戴之眼 鏡之顯示器。 於步驟S204中，將記錄於記憶體之資料（非顯示資料⑽ 件描繪資料))與位置資訊發送至混合實境_)產生裝置 】3〇。例如，於圖】〇所示之例令，自心2〇側記憶體127取 得物件3Glb之時鐘之描繪資料、與物们仙之四個頂點 PQRS之座標資料，將該耸咨 /寺資科發送至混合實境（MR)產生 裝置130。 再者’與先前之實施例1同樣地，所傳輸之位置資訊係 PC顯示部平面座標系統，如圖1〇所示，例如係將顯示部之 左上端作為原點（X，γ)=⑺ λ㈧，〇) ’且將橫方向設為X，將縱 方向設為Υ之座標面之位置資訊。於圖1〇所示之例中， Ρ = (ΧΡ，ΥΡ) Q=(XQ，YQ) R=(XR，YR) S=(XS，YS) 傳輸該等四個頂點座標資tK。 於步驟S205之後 理。 進行混合實境（MR)產生裝置13〇之處 首先，於步驟S205中， 自PC120之接收資料，即 混合實境（MR)產生裝置13〇將來 ，非顯示資料（物件描繪資料）與 147270.doc • 26 - 201108037 位置資訊（PQRS之座標資訊）儲存至混合實境產生裝 置130側之記憶體133。 其次，於步驟S206中，混合實境（MR)產生裝置13〇之虛 擬物件管理模組！32取得儲存於記憶體133之資料，即，非 顯不資料（物件描繪資料）與位置資訊（pqrs之座標資訊）。 繼而，於步驟S207中，虛擬物件管理模組132進行如下 處理，即，將自記憶體133取得之位置資訊PqRS ,轉換為 與自三維資訊解析部131取得之相機攝影圖像相對應之相 機座標系統。 該座払轉換處理係作為與先前之第丨實施例中所說明之 /月鼠游標之座標轉換處理相同之處理而執行，因此詳情省 略。 例如，於圖10所示之例中， 物件301b之顯示部平面座標系統（χ，γ)中之pQRs之各 座標係以如下方式轉換為相機座標系統（χ，y，z)中之各座 私0 P-(XP，YP)~Kxp ’ yp，zp) Q~(XQ ’ YQ)~»(xq ’ yq，zq) R=(XR ’ YR)〜(Xr，yr，zr) s-(xs ’ YS)、xs，ys，zs) 如此，虛擬物件管理模組132於圖9之流程所示之步驟 S207中進行如下處理，#，將自記憶體⑴取得之非顯示 資料之位置資訊’轉換為與自三維資訊解析部⑶取得之相 機攝影圖像相對應之相機座標系統之位置（xq，yq，zq)。 147270.doc -27- 201108037 繼而，於步驟S208中，虛擬物件管理模組132取得記憶 體133之儲存資料中所含之非顯示資料（物件描繪用資料）， 如圖10所示，於與所產生之相機座標系統相對應之座標位 置描繪’即，顯示物件。 藉由該處理’圖8所示之顯示資料25〇顯示於用戶1〇〇所 佩戴之眼鏡141之顯示器。圖8所示之顯示資料25〇係一併 顯示有作為實際物件之PC圖像251、作為虛擬物件之物件 252b、以及滑鼠游標271b之合成圖像。如圖8所示，虛擬 物件f理模組1 3 2將虛擬物件之顯示位置設定於pC顯示部 之外部空間。藉由此種顯示處理，用戶可將各種物件顯示 於PC，’’具示。卩外之空間，而並不將各種物件限定於顯示 部内，從而可利用更大之作業區域而進行資料處理。 再者母虽用戶對PC 120之滑鼠129進行操作，且滑鼠游 標之位置發生變更時，進行參照圖9所示之流程圓而說明 之處理。每當滑鼠游標之位置發生變更時U程式執行 2 12 5將更新資料發送至混合實境（M R)產生裝置！ 3 〇。混合 實i兄（MR)產生裝f 13〇將如下處理作為即時處理而加以執 行，該處理係基於經更新之資料而使虛擬物件（時鐘）之顯 示位置發生變更之處理。 " 再者，當圖9所示之流程圖之步驟S202之判定處理為是 時’例如於圖u所示之物件3〇lc之位置亦會產生上述顯示 料區域。亦即，步驟s搬之判定於滑鼠指定物件之一部 刀處於PC ·’、’頁示之顯示區域外之情形時，判定為是。 於6玄情形時，作為物件3〇lc之位置資訊，圖工^所 147270.doc •28· 201108037 PQRS之位置資訊自PC 120傳輸至混合實境（MR)產生裝置 13〇。於混合實境（MR)產生裝置130中，可以一部分與pc 之顯示部重複之形態而顯示物件301c。 • 再者，於該情形時，亦可設為如下設定，即，僅將圖i i 所不之物件301C中t顯示部外之區域叫尺^^顯示為虛擬物 件’區域PUVS之物件部分並不顯示為虛擬物件，將顯示 於PC之顯示部之實際物件，即，相機攝影圖像本身顯示於 用戶所佩戴之眼鏡的顯示器。 於進行該處理之情形時，混合實境（MR)產生裝置13〇之 虛擬物件管理模組132於虛擬物件之顯示處理時，產生且 顯不僅包含圖11所示之UQRV之部分資料之虛擬物件顯示 貧料。亦即，進行使自Pc接收之物件描管資料之puvs之 部分資料透明化的處理。 K關於本發明之資訊處理裝置之第3實施例之構成及處理] 其次’作為本發明之資訊處理裝置之第3實施例，對執 行先前參照圖3所說明之處理之裝置之構成與處理的詳情 :行說明。實施例3係實現如下處理之構成例，該處理如 >照圖3所說明般’藉由用戶之滑鼠操作而指定％顯示部 外之貫際空間中之物件3 1，兹* ❹訊3卜 藉此’如圖叫所示，顯示物 本實施例係藉由具有圖12所示之構成之裝置而執行。 ⑵::構成與先前於實施㈣參照圖4所說 同。混合錢（M戦生裝細包括三料轉析細、 虛擬物件管理模組132、記憶㈣、通信部"A、物件資 147270.doc -29- 201108037 轉得部135、以及物件資訊資料庫136。再者，物件資訊 資料庫136並非必需設定於混合實境（mr)產生裝置⑽内， 只要為可經由混合實境（,MR)產生裝置⑽之通信部而存取 之例如可連接網路之資料庫即可。 二維育訊解析部131、虛擬物件管理模組132、記憶體 133、以及通信部134該等構成與於第1實施例中參照圖4所 說月之構成相同。其中，通信部134經由網路而執行盘外 部伺服器140或物件資訊資料庫136之通信。 ” 物件資訊取得部135自用戶⑽所佩戴之相機142之攝5 圓像取得各種實際物件之圖像，執行與儲存於物件資^ 料庫136之資料之對照處理，分別選出類似之圖像，取得 與該選擇圖像相對應之物件資訊。 例如，於實際物件圖像為音樂CD之碟套圖像之情形 時’物件資訊為該CD之曲名或類型、藝術家、價格等之 各種資訊。該等物件資訊係與物件圖像相對應地儲存於物 件資訊資料庫136。 =者，飼服器⑽亦保持有與儲存於物件f訊資料庫136 ^育訊相同之資訊。混合實境（難)產生褒置130經由通信 部134 ’將用戶⑽所佩戴之相機142之攝影圖像或自攝聲 圖像選擇之實際物件圖像（例如CD碟套圖像）發送至飼服 器。伺服器根據接收圖像而抽出相對應之物件資訊，且將 该物件資訊提供至混合實境（MR)產生裝置13〇。 如此’混合實境（MR)產生裝置13〇自物件資訊資料庫 136、或飼服器14〇取得物件資訊，將所取得之資訊與相機 147270.doc -30- 201108037 142所㈣之實際物件圓像資料-併提供至PC120qPC120 使用該等取得資訊而將取得資訊顯示於pc之顯示部。 作為5亥結果，例如，如固1】 — 如圖13所不之顯示資料450顯示於 用戶1〇0所佩戴之眼鏡141之顯示器。顯示資料450中所含 之PC圖像451為相機142所拍攝之實際圖像(實際物件％ 圖像451外之物件471a亦為實際物件。滑鼠游標條為虛 擬物件。 顯示於PC圖像451内之物件圖像471b '與物件資訊 於PC120之應用程式執行部125中為顯示於顯示部⑵之資 料。因此’圖U所示之顯示資料45〇中1鼠游標她以 外之資訊為顯示於用戶⑽之眼鏡141之顯示器之圖像，並 且為未佩戴眼鏡之用戶亦可觀察之資訊。 亦即，顯示於PC圖像45!内之物件圖像471b與物件資訊 471c為PC120之顯示部之顯示資料，且任何人均可觀察。 參照圖14所示之流程圖，對進行此種資料處理之處理序 列進行說明。再者，用戶對連接於圖12所示之pci2〇之滑 鼠12 9進行操作。 再者，根據圖13所示之顯示資料450亦可理解，本實施 例亦與^實施例、第2實施例同樣地’進行作為虛擬物件 之滑鼠游標彻a之顯示處理。用以進行該滑鼠游標她之 顯示處理之序列係以與參照圖6所說明之序列相同之序列 而執行。 於本實施例3中，進而追加有對於滑鼠所指定之實際物 件之處王里。圖14所巾之流程圖係僅對相#於該#鼠指定物 M7270.doc -31- 201108037 之處理序列進行說明之流程。亦即，於產生且顯示圖工3 斤丁之.”、員不資料450之情形時，—併執行依照圖6所示之流 程之處理、與依照圖14所示之流程之處理。 圖Μ所示之流程圖之步驟S3〇1之處理係伴隨圖以所示之 PCM20與混合實境（MR)產生裝置之雙方之處理者，步 驟S3〇2〜S3G9之處理係、圖⑽示之混合實境（)產生裝置 130之處理。步驟S310之處理係圖I2所示之PC12〇之處理。 於步驟S301之處理之前’執行依照於先前之第1實施例 中所說明之圖6所示之流程的處理，將滑鼠游標設定於pc 之顯示部外區域。例如，使上述滑鼠游標處於圖i3所示之 滑鼠游標480a之位置。 於步驟S301中，判疋是否已藉由滑鼠操作而指定實際物 件。於已指定實際物件之情形日夺，前進至步驟S3〇2，於未 指定實際物件之情形時結束處理。指定實際物件時之處理 如下所述。首先’滑鼠點擊之操作資訊經由pci之滑鼠 驅動器m而輸人至應用程式執行部125之後，應用程式執 灯部125將滑鼠操作（點擊）資訊經由通信部124而通知混合 實境(MR)產生裝置130。混合實境(MR)產生裝置⑽經由 通信部134而接收滑鼠操作資訊，且通知虛擬物件管理模 組132 。 ' 於步驟S302中’虛擬物件管理模組132判定於所指定之 實際物件之物件區域中是否包含pc顯示部外區域，且其是 否處於相機攝影範圍。相機為用戶1〇〇所佩戴之相機M2。 於步驟S302之判定為否之情形時結束處理。於步驟§3〇2之 147270.doc -32- 201108037 判定為是之㈣時前進至步驟S303。 :步驟S3 03中，藉由用戶1〇〇所佩戴之相機142而拍攝包 3 π鼠私疋物件之圖像，將攝影圖像儲存至記憶體。該處 理係藉由虛擬物件管理模組⑴之控制而進行。 其後之步驟S304〜S306之處理為自物件資訊資料庫136取 付物件資讯時之處理，步驟S3〇7〜s3〇8之處理為自伺服器 取得物件資訊時之處理。關於該等處理，可進行其令 任一方之處理’亦可設為執行雙方之處理之設定。 首先，對自物件資訊資料庫136取得物件資訊之步驟 S304〜S306之處理進行說明。 於步驟S3G4中’將儲存於記憶體之滑鼠指定物件圖像作 為檢索鍵，對物件資訊資料庫剛136進行檢索。該處理 係作為物件資訊取得部135之處理而執行。 :物件資訊資料庫⑽)136中登錄有各種實際物件之圖 像資料及與該圖像f料相對應之物件之物件資訊。例如， 登錄有CD碟套之圖像及與該CD相關之曲名、價格等之物 件資訊。 物件資訊取得部135於步驟S305中，對物件資訊資料庫 (DB)136進行檢索。亦# ’判定與滑鼠指定物件圖像—致 或類似之登錄圖像資料是否已登錄於物件資訊資料庫 (DB)136。於未抽出—致或類似之登錄圖像之情形時結束 處理。於抽出一致或類似之登錄圖像之情形時前進至步 S306。 夕— 於步驟S306中，物件資訊取得部135自物件資訊資料庫 147270.doc -33· 201108037 (DB)136，取得對廡再 登錄圖像之登錄資料、二曰定物件圖像-致或類似之 且錄貧科，即’物件圖像與物件資訊。

其-人’對利用伺服M 進行今明於本B 40之處理即步驟S3〇7〜S3〇8之處理 進仃說明。於步驟S307中 . 牛資3孔取得部1 3 5經由通信 口/Π 3 4而將錯存於記憶说 器14〇。 心 π鼠尨定物件圓像發送至伺服 於步驟S308中，物养眘％ 苴从 讯取传部135自伺服器140，取得 =司服器之登錄資訊而選擇之物件圖像與 服咨14G進行與物件資訊取得和5㈣之處理，對飼服器

Γ而之Λ料庫進行檢索，將滑鼠指定物件之圖像作為檢索 鍵而抽出物件資訊。H 者，於未能夠抽出物件資訊之情形 時，通知錯誤訊息。 =步驟S309中，混合實境（MR)產生裝置13〇將自飼服器 或資料庫取得之物件資訊、與物件圖像資料發送至 PC120。再者’物件圖像資料可為自祠服器或資料庫取得 之物件圖像’亦可為相機142之攝影圖像。 最，之步驟S310之處理為pci2〇之處理。於步驟s3i〇 中’藉由PC側應用程式之處理，將來自混合實境（MR)產 生裝置130之取得資料顯示於pc側顯示部。 作為該結果，圖13所示之顯示資料45〇顯示於用戶丨〇〇所 佩戴之眼鏡141之顯示器。如先前之說明所述，顯示於pc Θ像45 1内之物件圖像471b、與物件資訊471c於PC120之應 用程式執行部125中為顯示於顯示部128之資料。因此，圖 13所不之顯示資料45〇除滑鼠游標48〇a之外，為未佩戴眼 147270.doc •34· 201108037 鏡之用戶亦可觀察之資訊β 以上，一面參照特定之實施例，〜 而，不言而喻於不脫離本發明之^面詳解了本發明。然 實施例進行修正或代用。亦即，::9之範圍内’業者可對 本笋明，&丁也B ^ 所謂例示之形態揭示了 月而不應限疋性地進行解魏 旨，庙4 土 。為判斷本發明之宇 曰應參考申請專利範圍之攔。 个货乃之不 又’說明書中所說明之一連 軟體、之處理係可藉由硬體、或 專人體或者兩者之複合構成而執杆 理之_ 丁。於藉由軟體而執行處 埋之匱形時，可將記錄有處理 m ^ + 幻之程式安裝至裝入於專 用之硬體之電腦内的記憶體而執 料卜办 羽1订’或可將程式安裝至可 執仃各種處理之通用電腦而執行。 4年私4炫 例如’可將程式預先記 錄於"錄媒體。除自記錄媒體將程式安襄至電腦之外，可 :!—一一一’區域網路)、網際網路等之 體❶ 发至内置之硬碟等之記錄媒 再者，說明書中所揭示之各種處理不僅可依據記載“ 時間序列之方式執行，亦可根據執行處理之裝置之處理$ 力或需要而平行地或個別地執行。又，於本說明書中，戶, 謂系統’係指複數個裝置之邏輯性集合構成，且各構成戈 裝置並不限於處在同一框體内。 [產業上之可利用性] 以上，如說明所述，根據本發明之一實施例之構成，將 偏出至PC等之顯示部之外側區域之游標或物件顯示為虛擬 物件。例如於用戶所佩戴之眼鏡之顯示器中，顯示pc等之 147270.doc -35· 201108037 .•員丁裝置及其外部區域之圖像。算出假定為根據用戶操作 =動之游標！物件之三維位置，於算出之位置顯示虛擬 又，取仔且提不與游標所指定之物件相對應之物件 貧讯。根據本構成，可經常觀察且確認位於顯示部之外之 貧料，從而可提高資料處理效率。 【圖式簡單說明】 圖1(a)、圖1(b)係對本發明之資訊處理裝置所執行之一 處理例進行說明的圖； =2⑷、圖2⑻係對本發明之資訊處理裝置所執行之一 處理例進行說明的圖； 圖3⑷ '圖3⑻係對本發明之資訊處理裝置所執行之一 處理例進行說明的圖； 圖圖4係對本發明之資訊處理裝置之構成例進行說明之 圖5係對藉由本發明之資訊處理 戶所佃拼七β地 且心爽理而顯不於用 戶=之眼鏡之顯示器的顯示資料之例進行說明之圖； 進行說明的流程圖之圖； 冑置所執仃之處理序列 圖7係對表示本發明之資訊處理裝置所執行之處理之一 例的具體處理例進行說明之圖； 戶=對藉由本發明之資訊處理裝置之處理而顯示於用 眼鏡之顯…顯示資料之例進行說明之圖； 圖係表不對本發明之資訊處理裝置戶 進行說明的流程圖之圖； 了之處理序列 147270.doc •36· 201108037 圖ίο係對表示本發明之資訊處理裝置所執行之處理之一 例的具體處理例進行說明之圖； 圖11係對表示本發明之資訊處理裝置所執行之處理之一 例的具體處理例進行說明之圖； 圖12係對本發明之資訊處理裝置之構成例進行說明之 圖； 圖13係對藉由本發明之資訊處理裝置之處理而顯示於用 戶所佩戴之眼鏡之顯示器的顯示資料之例進行說明之圖；及 圖14係表示對本發明之資訊處理裝置所執行之處理序列 進行說明的流程圖之圖。 【主要元件符號說明】 10 顯示部 11 滑鼠游標 12 移動線 21 物件 22 移動線 31a、31b 物件 31c 物件資訊 100 用戶 120 PC(個人電腦） 121 滑鼠驅動器 122 滑鼠座標處理模組 123 GUI部 124 通信部 147270.doc - 37, 201108037 125 應用程式執行部 126 控制部 127 記憶體 128 顯示部 129 滑鼠 130 混合實境（MR)產生裝置 131 三維資訊解析部 132 虛擬物件管理模組 133 記憶體 134 通信部 135 物件資訊取得部 136 物件資訊資料庫 140 伺服器 141 眼鏡 142 相機 150 顯示資料 151 PC圖像 152 滑鼠游標 200 顯示部 201 標記 211 滑鼠游標 250 顯示資料 251 PC圖像 252 物件 147270.doc -38- 201108037 271 滑鼠游標 301 物件 450 顯不資料 451 PC圖像 471a > 471b 物件 471c 物件資訊 I47270.doc -39-

Claims (1)

1. 201108037 七、申請專利範圍： 1. 一種資訊處理裝置，其包括： 座標處理模組，其判定銪 、j疋顯不於第1顯示部之位置指 針，即游標之位置處於上诚笛 心… 恩於上述第1 2 3 4顯不部之區域内抑或區 擬物件管理部； 另字料位置貝訊輸出至虛 相機’其拍攝由包含上诚坌,％ A 之圖像； 这第1顯不部之實際物件構成 杜貝訊解析部’其對相機攝影圖像中所含之實際物 件之二维位置進行解析； 第2顯不部’其顯示上述相機攝影圖像；以及 f擬物件管理部，其產生與上述相機攝影圖像中所含 之霄際物件不同之虛擬物件， .^ L .. 座生包含所產生之虛擬物 與上述實際物件之合成圖像， ,^ 务立將5亥合成圖像顯示於 上述弟2顯示部，·且 上述虛擬物件管理部基於自 I丞於自上述座標處理模組輸入之 游“位置資訊而算出游 ^ 丹®符如之—維位置，且於算出之位 將叹定游標作為虛擬物件之合成圖像顯示於上述 2顯示部。 J47270.d〇c 1 ^求項1U訊處理裝置，丨中上述資訊處理裝置包 2 …用程^執行部’該應用程式執行部係對上述位置指 3 針所指定之指定物件進行處理， 4 县上述應用程式執行部判定上述指定物件處於上述第i 5 心部之區域内抑或區域外，處㈣域外之情形時，將 201108037 物件位置資訊輸出至虛擬物件管理部， 上述虛擬物件管理部基於自上述 物件位置資訊而算出物件之 模、，且輸入之 心—雖位置，且於曾山今 置，將設定物件作為虎丑4 ^ 之位 2顯示部。“虛擬物件之合成圖像顯示於上述第 3. 資訊處理裝置’其中上述虛擬物件管理部 二Γ 標處理模組輪入之物件位置資訊而算出 之二維位置包含上述第1顯示部之顯示區域之产 =將刪除重疊於該上述第!顯示部之顯示區域= 4. A。、圖像的合成圖像顯示於上述第2顯示部。 如請求項1之資訊處理裝置，其中上述資訊處理裝置進 而包括物件資訊取得部，該物件資訊取得部係取得設定 為上述虛擬物件之游標所指定之實際物件之圖像資料， 且進行基於所取得之圖像資料之資料檢索而進行物件資 訊之取得處理， 上㈣件資訊取得部進行如下處理，即，將所取得之 物件貢訊輸出為顯示於上述第i顯示部之顯示資料。 5·如請求項4之資訊處理裝置，其中上述物件資訊取得部 係執行對於使實際物件之圖像資料與物件資訊相對應之 資料庫、或伺服器之存取，且藉由基於上述實際物件之 圖像資料之檢索處理而取得物件資訊。 月长項1之資吼處理裝置，其中上述虛擬物件管理部 進行如下處理，即，基於上述相機攝影圖像中所含之第 1顯不部之構成部位之三維位置資訊而算出包含第丄顯示 147270.doc 201108037 部之顯示面之平面，且以將 δ U ^ ^ ,咕 义舒铩之位置設定於該平 式，vr出上述游標之三维位置。 如請求項〗之資訊處理裝置，豆 操作而移動之滑鼠游標，、逑游“藉由滑鼠 而模組進行如下處理，即’輸入滑鼠操作 於上、二 標之位移資訊，判定滑鼠游標之位置處 8. 於上述第1顯示部之區域内抑或區域外。 種Μ机處理方法，係於資却考撕壯姐丄 押η 係、於貝Λ處理裝置中執行之資訊處 理万法，其包括： 座標處理步驟，其由座標處理模組判定顯 :部之位置指針，即游標之位置處於上述第i顯示部： =域内抑或區域外’處於區域外之情形時，將游標位置 貝訊輸出至虛擬物件管理部； 攝影步驟，其由相機拍攝由包含上述第旧㈣以 際物件構成之圖像； 資fl解析步驟，其由二維資訊解析部對相機攝影 圖像申所含之實際物件之三維位置進行解析；以及 虛擬物件管理步驟，其由虛擬物件管理部產生與上述 相機攝影圖像中所含之實際物件不同之虛擬物件，產生 包含所產生之虛擬物件與上述實P祭物件之合成圖像，且 將该合成圖像顯示於第2顯示部；且 上述虛擬物件管理步驟為如下步驟，即，基於自上述 座標處理模組輸人之游標位置資訊而算出游標之三維位 置，且於算出之位置，將設定游標作為虛擬物件之合成 147270.doc 201108037 圖像顯示於上述第2顯示部。 9. -種使資tfl處縣置執行f訊處理之程式，其包括： 座標處理步驟，盆伟庙择Λ 八使座標處理棋組判定顯示於第i 不部之位置指針，gp游P 即游軚之位置處於上述第1顯示部之 區域内抑或區域外，虚π a M . 卜4於區域外之情形時，將游標位置 資sfl輸出至虛擬物件管理部· 攝影步驟，其使相滅1 Μ姐+ A A 便相機拍攝由包含上述第1顯示部之眘 際物件構成之圓像； I 三維資訊解析步驟，其使= 、准貧矾解析部對相機攝影 圖像中所含之實際物件之 卓位置進行解析；以及 虛擬物件管理步驟，盆佶， 八虛擬物件管理部產生盥上述 相機攝影圖像中所含之實 ^这 勺人所姦4 ^ '、物件不同之虛擬物件，產生 匕δ斤產生之虛擬物件與 ^ ^ ^ ^ V, 、上34貫際物件之合成圖像，且 將该&成圖像顯示於第2顯示部；且 上述虛擬物件管理步驟Α 诹為如下步驟’#，基於自上述 座枯處理模組輸入之游標位 里 Η _ 置資机而算出游標之三維位 置，且於算出之位置， 圖德顧_ °游標作為虛擬物件之合成 圖像顯不於上述第2顯示部。 147270.doc