TW201350912A - 資訊處理裝置，資訊處理系統及資訊處理方法 - Google Patents

資訊處理裝置，資訊處理系統及資訊處理方法 Download PDF

Info

Publication number
TW201350912A
TW201350912A TW102108327A TW102108327A TW201350912A TW 201350912 A TW201350912 A TW 201350912A TW 102108327 A TW102108327 A TW 102108327A TW 102108327 A TW102108327 A TW 102108327A TW 201350912 A TW201350912 A TW 201350912A
Authority
TW
Taiwan
Prior art keywords
mark
virtual information
display
real space
section
Prior art date
Application number
TW102108327A
Other languages
English (en)
Inventor
Tetsuro Goto
Masatoshi Ueno
Kenichi Kabasawa
Toshiyuki Nakagawa
Daisuke Kawakami
Shinobu Kuriya
Tsubasa Tsukahara
Hisako Sugano
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201350912A publication Critical patent/TW201350912A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Abstract

本發明大體而言係針對一種資訊處理裝置，其包括至少一個處理器，該至少一個處理器經組態以執行用以進行以下操作之指令：基於由一輸入裝置投影在一真實空間上之一標記之一空間位置而產生對應於將虛擬資訊疊加於該真實空間上之一疊加參數；及致使一顯示區段在該標記係可偵測時根據空間位置關係顯示疊加於該真實空間上之該虛擬資訊，且在該標記係不可偵測之後根據該標記之一最後偵測之空間位置繼續疊加於該真實空間上之該虛擬資訊之該顯示。

Description

資訊處理裝置，資訊處理系統及資訊處理方法
本技術係關於藉以藉由相對於真實空間疊加影像而顯示該等影像之一種資訊處理裝置、一種資訊處理系統及一種資訊處理方法。
存在一種藉以將真實空間之一影像與對應於真實空間之一影像相加的稱為擴增實境(AR)之技術。在AR之情形下，使用一攝影機或其他來獲得真實空間之一影像，且相對於真實空間之所獲得影像疊加虛擬資訊(下文稱虛擬資訊)以用於顯示。藉由觀看相對於真實空間疊加之所顯示虛擬資訊，一使用者辨識出作為虛擬資訊顯示之一物件猶如其存在於真實空間中。
AR包含標記AR及無標記AR。
在標記AR之情形下，提前登記關於實體安置於真實空間中之一標記(舉例而言，一預定大小之一彩色正方形)之影像資訊。藉由真實空間之成像獲得真實空間之一影像(真實影像)，自此真實影像偵測一標記，且使用關於所偵測標記之大小及角度之資訊，計算(舉例而言)一成像裝置相對於該標記之空間位置關係。基於成像裝置相對於標記之此空間位置關係，計算虛擬資訊之顯示位置及顯示角度。基於所計算之顯示位置及顯示角度，在其位置相對於成像裝置固定之一顯示裝 置上顯示虛擬資訊，以使得使用者可連同真實空間一起感知虛擬資訊(舉例而言，參見專利文獻1)。
另一方面，在無標記AR之情形下，不使用特定標記。對一真實影像中之任何物件及真實空間本身進行空間辨識，且基於關於該物件之大小、角度及其他之資訊，計算(舉例而言)成像裝置相對於該物件之空間位置關係。基於該位置關係，計算虛擬資訊之顯示位置及顯示角度，且在其位置相對於成像裝置固定之一顯示裝置上顯示虛擬資訊以使得使用者可連同真實空間一起感知虛擬資訊。
[引文清單] [專利文獻]
[PTL 1]
第2007-75213號日本專利特許公開申請案
[PTL 2]
第2008-40556號日本專利特許公開申請案
[PTL 3]
第2007-272623號日本專利特許公開申請案
[PTL 4]
第2002-324239號日本專利特許公開申請案
在標記AR之情形下，使用存在於真實空間中之一標記作為一基礎來計算虛擬資訊之顯示位置及顯示角度。因此，存在能夠相對容易地計算此等值之優點。另一方面，存在若干缺點，包含創建標記之時間及努力、用於標記之放置空間之佈建、標記隨時間之降級、由存在於真實空間中之標記造成之生理及心理壓力、對標記之設計限制及其他。
另一方面，無標記AR具有不需要創建及放置標記以及適用於其中不應該安置標記之一地點之優點。另一方面，舉例而言，存在以下缺點：由於在一寬廣區域中及其周圍建構一空間模型以用於顯示虛擬資訊而使計算複雜化，需要高的計算能力，從而若計算能力不夠則導致難以確保穩定性及高精確度且引起一可能延遲。
此外，存在如下標記AR及無標記AR共有之問題。
-使用者難以自由地操作虛擬資訊(舉例而言，位置移動、縮放及旋轉)。亦即，需要暫時停止使用以改變現有標記之位置(在標記AR之情形下)且在一程式上改變虛擬資訊之顯示位置。
-由於影像辨識與一可見光攝影機一起使用，因此不可能在太亮之一地點中或在一太暗之一地點中進行影像辨識。另外，若擋住一光源(太陽、電燈及其他)之一屏障在一現有物件之表面上產生強烈陰影(對比度)，則亦引起一問題。
如上文所闡述，標記AR及無標記AR各自具有優點及缺點，且針對實際使用易做出改良。
考量到如上文所闡述之情況，期望以穩定性及高精確度顯示虛擬資訊。
本發明之一實例性實施例係針對一種資訊處理裝置，其包括：至少一個處理器，該至少一個處理器經組態以執行用以進行以下操作之指令：基於由一輸入裝置投影在一真實空間上之一標記之一空間位置而產生對應於將虛擬資訊疊加於該真實空間上之一疊加參數；及致使一顯示區段在該標記係可偵測時根據空間位置關係顯示疊加於該真實空間上之該虛擬資訊，且在該標記係不可偵測之後根據該標記之一最後偵測之空間位置繼續加於該真實空間上之該虛擬資訊之該顯示疊。
本發明之另一實例性實施例係針對一種資訊處理裝置，其包括：一接收器；及至少一個處理器，其經組態以執行用以進行以下操作之指令：基於由一輸入裝置投影在一真實空間上之一標記之一空間位置而接收對應於將虛擬資訊疊加於該真實空間上之一疊加參數；及致使一顯示區段在該標記係可偵測時根據空間位置關係顯示疊加於該真實空間上之該虛擬資訊，且在該標記係不可偵測之後根據該標記之一最後偵測之位置繼續疊加於該真實空間上之該虛擬資訊之該顯示。
本發明之另一實例性實施例係針對一種系統，其包括：一第一資訊處理裝置，其包括：一第一處理器，其經組態以執行用以進行以下操作之指令：基於由一輸入裝置投影在一真實空間上之一標記之一空間位置而產生對應於將虛擬資訊疊加於該真實空間上之一疊加參數；及一第二資訊處理裝置，其包括：一第二處理器，其經組態以執行用以進行以下操作之指令：致使一顯示區段在該標記係可偵測時根據空間位置關係顯示疊加於該真實空間上之該虛擬資訊，且在該標記係不可偵測之後根據該標記之一最後偵測之位置繼續疊加於該真實空間上之該虛擬資訊之該顯示。
如上文所闡述，根據本技術，可以穩定性及高精確度顯示虛擬資訊。
1‧‧‧資訊處理系統
2‧‧‧修改實例/資訊處理系統
3‧‧‧修改實例/資訊處理系統
4‧‧‧修改實例/資訊處理系統
5‧‧‧修改實例/資訊處理系統
6‧‧‧修改實例/資訊處理系統
7‧‧‧修改實例/資訊處理系統
8‧‧‧修改實例/資訊處理系統
10‧‧‧修改實例
11‧‧‧修改實例
12‧‧‧修改實例
13‧‧‧修改實例
100‧‧‧頭戴式顯示器
100A‧‧‧投影頭戴式顯示器
100B‧‧‧非投影頭戴式顯示器
100C‧‧‧非投影頭戴式顯示器
101‧‧‧成像區段
101A‧‧‧成像區段
101B‧‧‧成像區段
102‧‧‧顯示區段
103‧‧‧CPU(中央處理單元)
104‧‧‧記憶體
105‧‧‧輸入區段
106‧‧‧運動感測器
107‧‧‧環境感測器
108‧‧‧第一傳輸器/接收器
109‧‧‧第二傳輸器/接收器
110‧‧‧內部電源供應器
111‧‧‧第四傳輸器/接收器
112‧‧‧第五傳輸器/接收器
120‧‧‧三維組態估計區段
121‧‧‧標記偵測區段
122‧‧‧疊加參數產生區段
123‧‧‧轉換矩陣計算區段
124‧‧‧影像資料產生區段
125‧‧‧標記校正區段
126‧‧‧標記位置判定區段
200‧‧‧輸入裝置
200a‧‧‧輸入裝置
200b‧‧‧輸入裝置
201‧‧‧投影按鈕
202‧‧‧縮放滑桿
203‧‧‧電源按鈕
204‧‧‧投影窗
205‧‧‧記憶體
206‧‧‧輸入區段
207‧‧‧運動感測器
208‧‧‧第三傳輸器/接收器
209‧‧‧調變區段
210‧‧‧投影區段
211‧‧‧內部電源供應器
212‧‧‧CPU(中央處理單元)
213‧‧‧第六傳輸器/接收器
214‧‧‧滾輪
215‧‧‧選單按鈕
216‧‧‧選擇按鈕
400‧‧‧個人數位助理
401‧‧‧CPU(中央處理單元)
402‧‧‧記憶體
403‧‧‧顯示區段
404‧‧‧輸入區段
405‧‧‧第七傳輸器/接收器
406‧‧‧第八傳輸器/接收器
407‧‧‧內部電源供應器
408‧‧‧第九傳輸器/接收器
500‧‧‧伺服器裝置
600‧‧‧主處理裝置
700‧‧‧投影/成像裝置
800‧‧‧顯示裝置
900‧‧‧資訊處理裝置
901‧‧‧成像區段
902‧‧‧顯示區段
903‧‧‧主處理區段
904‧‧‧顯示器
910‧‧‧投影靶標
I‧‧‧虛擬資訊
I1‧‧‧虛擬資訊
I2‧‧‧虛擬資訊
Ia‧‧‧影像資料
Ib‧‧‧影像資料
Ic‧‧‧影像資料
Id‧‧‧影像資料
M‧‧‧標記
M'‧‧‧經校正標記
M1‧‧‧標記
M1'‧‧‧標記
M2‧‧‧標記
N‧‧‧網路
R‧‧‧真實空間
S‧‧‧安全區域
T‧‧‧投影靶標
U‧‧‧使用者
U1‧‧‧使用者
U2‧‧‧使用者
[圖1]
圖1係展示根據本技術之一第一實施例之一資訊處理系統之一示意圖。
[圖2]
圖2係展示包含複數個頭戴式顯示器(HMD)之資訊處理系統之一示意圖。
[圖3]
圖3係展示HMD之硬體組態及一輸入裝置之硬體組態之一方塊圖。
[圖4]
圖4係展示用於執行第一處理程序之HMD之功能組態之一方塊圖。
[圖5]
圖5係示意性地展示根據一修改實例9之一資訊處理系統之一方塊圖。
[圖6]
圖6係示意性地展示一疊加參數產生區段產生一疊加參數之原理之一圖式。
[圖7]
圖7係展示HMD在第一處理程序中之操作之一流程圖。
[圖8]
圖8係展示供與標記AR一起使用之一例示性標記之一圖式。
[圖9]
圖9係展示用於執行一第二處理程序之HMD之功能組態之一方塊圖。
[圖10]
圖10係展示HMD在第二處理程序中之操作之一流程圖。
[圖11]
圖11係用於圖解說明待由第二處理程序獲得之效果之一圖式。
[圖12]
圖12係用於圖解說明一第三處理程序之一概述之一圖式。
[圖13]
圖13係展示用於執行第三處理程序之HMD之功能組態之一方塊圖。
[圖14]
圖14係展示HMD在第三處理程序中之操作之一流程圖。
[圖15]
圖15係展示第三處理程序之顯示結果之一圖式。
[圖16]
圖16係示意性地展示標記之失真之一圖式。
[圖17]
圖17係展示根據本技術之一第二實施例之一資訊處理系統之一示意圖。
[圖18]
圖18係展示根據第二實施例之HMD之硬體組態之一方塊圖。
[圖19]
圖19係展示由一投影HMD進行之主操作之一流程圖。
[圖20]
圖20係展示一非投影HMD獲得投影HMD之一疊加參數之操作之一流程圖。
[圖21]
圖21係展示根據一修改實例1之一資訊處理系統之一示意圖。
[圖22]
圖22係展示根據一修改實例2之一資訊處理系統之一示意圖。
[圖23]
圖23係展示根據修改實例2之資訊處理系統之硬體組態之一方塊圖。
[圖24]
圖24係展示根據一修改實例3之一資訊處理系統之一示意圖。
[圖25]
圖25係展示根據一修改實例4之一資訊處理系統之一示意圖。
[圖26]
圖26係展示根據修改實例4之資訊處理系統之硬體組態之一方塊圖。
[圖27]
圖27係展示根據一修改實例5之一資訊處理系統之一示意圖。
[圖28]
圖28係展示根據一修改實例6之一資訊處理系統之一示意圖。
[圖29]
圖29係根據一修改實例7之一輸入裝置之一透視圖。
[圖30]
圖30係示意性地展示待由修改實例9實現之一處理程序之一圖式。
[圖31]
圖31係示意性地展示待由修改實例9實現之一處理程序之一圖式。
[圖32]
圖32係示意性地展示待由修改實例9實現之一處理程序之一圖式。
在下文中，藉由參考圖式來闡述根據本技術之實施例。
<第一實施例> [第一實施例之概述]
圖1係展示根據本技術之一第一實施例之一資訊處理系統1之一 示意圖。
此實施例中之資訊處理系統1包含一頭戴式顯示器(HMD)100(資訊處理裝置)及一輸入裝置200(投影裝置)。
HMD 100整體上呈眼鏡之形狀且可佩戴於一使用者U之頭部分上。HMD 100包含在其被佩戴時將位於使用者U之眼睛前方之一顯示區段102及可使真實空間中使用者U之至少視野範圍成像之一成像區段101。顯示區段102具有透明度，且允許使用者U透過顯示區段102感知真實空間，且同時可藉由疊加於使用者U在其中感知之真實空間中而顯示影像。HMD 100偵測包含於由成像區段101擷取的真實空間中之一影像(真實影像)中且由輸入裝置200投影之一標記M。基於所偵測標記M，計算虛擬資訊I之一疊加參數。此「疊加參數」係與待藉由相對於真實空間之疊加而顯示之虛擬資訊之格式相關之一參數，且具體而言，係虛擬資訊I之位置、角度及大小。HMD 100基於所計算疊加參數而產生預定虛擬資訊，且藉由顯示區段102，在疊加於投影至使用者U在其中感知之真實空間中之標記M上之情形下顯示虛擬資訊I。對待作為此虛擬資訊I顯示之內容之一選擇係由使用者使用提供至HMD 100之一輸入區段(圖3)提前輸入的。
輸入裝置200具有使得由使用者U之手握持之大小及形狀。輸入裝置200具備一投影按鈕201、一縮放滑桿202及一電源按鈕203。當使用者U按壓投影按鈕201時，自一投影窗204朝向真實空間中之一投影靶標T(舉例而言，桌子)投影呈預定形狀之一圖形形式作為標記M。此標記M之投影位置係HMD 100對虛擬資訊I之顯示位置。此外，藉由使用者U在按壓投影按鈕201之同時使輸入裝置200移動，可操作虛擬資訊I。舉例而言，當藉由使用者U在按壓投影按鈕201之同時使輸入裝置200移動而使標記M之投影位置移動時，可使虛擬資訊I移動(拖曳)。類似地，當使用者U藉由在按壓投影按鈕201之同時使輸入裝置 200旋轉來使標記M旋轉時，可使虛擬資訊I旋轉。此外，當使用者U在按壓投影按鈕201之同時操作縮放滑桿202時，可放大/縮小(縮放)虛擬資訊I。為了在虛擬資訊I之顯示期間顯示任何其他新虛擬資訊，使用者U停止按壓投影按鈕201且使用提供至HMD 100之輸入區段(圖3)輸入對用於作為新虛擬資訊顯示之內容之一選擇。此外，當使用者U停止按壓投影按鈕201時且此後當使用者再次按壓投影按鈕201以將標記M疊加於正顯示之虛擬資訊I上時，虛擬資訊I再次變為可供操作。
注意，資訊處理系統1可包含分別由複數個使用者佩戴之複數個HMD。
圖2係展示包含複數個HMD 100A及100B之資訊處理系統1之一示意圖。
複數個HMD 100A及100B分別由複數個使用者U1及U2佩戴。使用者U1使用輸入裝置200將標記M投影至真實空間中。自由HMD 100A之一成像區段101A擷取之真實影像，HMD 100A偵測由佩戴HMD 100A之使用者U1握持之輸入裝置200所投影之標記M且基於所偵測標記M而顯示虛擬資訊。自由HMD 100B之一成像區段101B擷取之真實影像，HMD 100B偵測由不同於佩戴HMD 100B之使用者U2之使用者U1握持之輸入裝置200所投影之標記M且基於所偵測標記M而顯示虛擬資訊。
[HMD之硬體組態]
圖3係展示HMD 100之硬體組態及輸入裝置200之硬體組態之一方塊圖。
HMD 100包含一CPU(中央處理單元)103、一記憶體104、成像區段101、顯示區段102、一輸入區段105、一運動感測器106、一環境感測器107、一第一傳輸器/接收器108、一第二傳輸器/接收器109及一內部電源供應器110。記憶體104、成像區段101、顯示區段102、輸入 區段105、運動感測器106、環境感測器107、第一傳輸器/接收器108及第二傳輸器/接收器109各自連接至CPU 103。
CPU 103藉由遵循儲存於記憶體104中之一程式而執行各種類型之處理程序。
成像區段101能夠使真實空間中至少使用者之視野範圍成像。舉例而言，成像區段101由諸如一CMOS(互補金屬氧化物半導體)影像感測器之一成像元件及使該成像元件之一輸出經受A/D(類比/數位)轉換之一A/D轉換器組態。
舉例而言，顯示區段102由一LCD(液晶顯示元件)及一光學系統組態且經由該光學系統將由該LCD形成之影像呈現給使用者。更具體而言，顯示區段102能夠在允許使用者感知外部世界之同時在疊加於使用者之視野上之情形下顯示LCD形成之影像。
輸入區段105由一按鈕、一滑桿、一開關、一調撥轉盤、一觸控感測器及其他組態且能夠藉由使用者操作將一命令輸入至CPU 103且輸入用於作為虛擬資訊顯示之內容之一選擇。
舉例而言，運動感測器106係一加速度感測器、一陀螺儀感測器及一磁性感測器且能夠偵測HMD 100之移動。
舉例而言，環境感測器107能夠偵測照度及溫度/濕度。
第一傳輸器/接收器108係諸如Bluetooth(商標)及Wi-Fi(商標)之一中/高速短程無線傳輸器/接收器且執行與輸入裝置200之資訊交換。
第二傳輸器/接收器109係諸如3G(第三代)及WiMAX(全球微波存取互通，商標)之一中程無線傳輸器/接收器且透過至諸如網際網路及LAN(區域網路)之一網路N之連接下載待作為虛擬資訊顯示之內容。
[輸入裝置之硬體組態]
參考圖3，輸入裝置200包含一CPU 212、一記憶體205、一輸入 區段206、一運動感測器207、一第三傳輸器/接收器208、一調變區段209、一投影區段210及一內部電源供應器211。記憶體205、輸入區段206、運動感測器207、第三傳輸器/接收器208、調變區段209及投影區段210各自連接至CPU 212。
CPU 212藉由遵循儲存於記憶體205中之一程式而執行各種類型之處理程序。注意，作為CPU之一替代方案，可使用一MPU(微處理單元)。
輸入區段206由一按鈕、一滑桿、一開關、一調撥轉盤、一觸控感測器及其他(諸如投影按鈕201、縮放滑桿202及電源按鈕203)組態且能夠藉由使用者操作將一命令輸入至CPU 212。
舉例而言，運動感測器207係一加速度感測器、一陀螺儀感測器及一磁性感測器且能夠偵測輸入裝置200之移動。
第三傳輸器/接收器208係諸如Bluetooth(商標)及Wi-Fi(商標)之一中/高速短程無線傳輸器/接收器且執行與HMD 100之資訊交換。
調變區段209將由CPU 212處置之數位資料調變成可由投影區段210投影之一光學信號。
投影區段210由能夠自投影窗204(圖1)朝向真實空間中之一投影靶標(牆壁、桌子及其他)投影呈預定形狀之一圖形形式作為標記之一雷射指示器或一雷射投影器組態。用作雷射指示器的係為一點顯示類型(紅色、綠色、藍色)、一射束可變類型(掃描器類型、透鏡類型、全息圖類型)、一紫外線類型、一紅外線類型或其他。舉例而言，用作雷射投影器的係配備有一MEMS(微機電系統)掃描器且能夠藉由使一雷射光線以一高速度沿橫向方向移動自頂部依序掃描進行影像投影之一裝置。
[待由HMD執行之處理程序]
HMD 100能夠執行以下三個處理程序。
1.相對於包含於藉由成像獲得之真實影像資料中之標記顯示虛擬資訊之處理程序，以及當由於標記之消失或由於因使用者操作而在真實影像資料中不再存在標記而停止對虛擬資訊之一疊加參數之一計算/更新處理程序時及當此後使成像區段移動時在不致使一使用者感覺不舒適之情形下顯示虛擬資訊之一處理程序(第一處理程序)。
2.當複數個使用者正經由其HMD觀看相同物件時由HMD中之每一者以相似之角度、位置、大小及其他顯示虛擬資訊之處理程序(第二處理程序)。
3.當存在(舉例而言)若基於標記顯示虛擬資訊則致使使用者感覺不舒適之一可能性時在其中使用者較不可能感覺不舒適之狀態中顯示虛擬資訊之處理程序(第三處理程序)。
<第一處理程序> [第一處理程序之概述]
為瞭解決標記AR及無標記AR之上述問題中之每一者，舉例而言，提出一種在不使用一實體標記之情形下藉由使用一固定雷射投影器投影一標記享受標記AR之優點之方法。然而，此方法具有以下問題。
-由於必需準備諸如一投影器及一固定點攝影機之額外設備而關於放置位置係特定的。
-由於必需證明在使用之前執行詳細空間掃描之一步驟而在即時效能上係不良的。
-由於必需在一寬廣區域中建構一空間模型而使計算複雜化。
另一方面，提出一種藉由一使用者手持一可攜式雷射指示器投影一標記來解決關於放置位置之上述問題之方法(專利文獻2及專利文獻3)。
根據專利文獻2，成像裝置及可攜式雷射指示器各自偵測其在空 間中之位置及姿態。在由成像裝置擷取之影像中之雷射指示器之一指示點與依據雷射指示器之空間位置及成像裝置之空間位置估計之一虛擬指示點之間的一匹配之情形下，計算虛擬資訊之疊加位置。然而，此方法具有以下問題。
-由於必需在一寬廣區域中建構一空間模型而使空間之量測及計算複雜化。
-由於必需亦計算雷射指示器之姿態及成像裝置之姿態而使計算複雜化且難以確保穩定性及良好精確度。
根據專利文獻3，使用一可攜式雷射指示器至少朝向一投影靶標(舉例而言，牆壁)之三個部分投影一指示點。基於此等指示點，計算雷射指示器與投影靶標之間的距離、方向及顯示座標。然而，此方法具有以下問題。
-在整體組態雷射指示器與投影裝置之形式中(專利文獻3之圖1及圖19)，針對在於一特定位置處無運動之情形下顯示虛擬資訊，由於必需使雷射指示器始終保持於相同姿態而引起使用者之疲勞。此外，由於手抖動而引起難以使虛擬資訊在顯示器上之位置穩定。
-在虛擬資訊之顯示期間必需連續地投影指示點，此乃因若停止指示點之投影，則不計算虛擬資訊之顯示位置。此外，不能夠個別地操作複數條虛擬資訊。
-為了應對此等問題，假設一處理方式係在當停止指示點之投影時最後顯示之位置處連續地顯示虛擬資訊。然而，若在彼情形中成像區段(使用者攜載成像區段)甚至輕微地移動或旋轉，對於使用者而言虛擬資訊之位置、角度及其他亦不再準確，此乃因虛擬資訊之位置、角度及其他並不改變。
考量到如上情況，在根據本技術之此實施例之第一處理程式中，即使由於標記之消失或由於因使用者操作而在真實影像資料中不 再存在標記而停止對虛擬資訊之疊加參數之計算/更新處理程序及即使此後使成像區段移動亦在不致使使用者感覺不舒適之情形下顯示虛擬資訊。更具體而言，緊接在停止計算之前(在最後偵測到標記之時間點)在真實空間與經疊加虛擬資訊之間的所保持相對位置之情形下繼續顯示。
[用於執行第一處理程序之HMD之功能組態]
圖4係展示用於執行第一處理程序之HMD 100之功能組態之一方塊圖。
HMD 100包含成像區段101、一個三維組態估計區段120、一標記偵測區段121、一疊加參數產生區段122、一轉換矩陣計算區段123、一影像資料產生區段124及顯示區段102。
成像區段101擷取真實空間之影像且獲得真實影像資料。成像區段101將所獲得之真實影像資料供應至三維組態估計區段120及標記偵測區段121。
三維組態估計區段120使用所謂的場景映射(行動立體)技術來估計真實空間之三維組態。亦即，三維組態估計區段120(特性點偵測區段)自由成像區段101提供之真實影像資料偵測複數個特性點(角點)。在成像區段101之視野移動期間，三維組態估計區段120連續地即時偵測特性點(連續地保持追蹤(執行追蹤)特性點)。
在一般三維組態估計技術之情形下，使用兩個攝影機(立體攝影機)，獲得右立體視訊及左立體視訊。另一方面，此實施例中之三維組態估計區段120藉由使用一件移動攝影機(成像區段101)進行分時成像而藉由追蹤特性點按時間順序建立一連結來計算立體視訊。
依據此立體視訊，三維組態估計區段120估計真實空間之三維組態且將估計結果供應至疊加參數產生區段122。
藉由返回參考圖4，依據由成像區段101獲得之真實影像資料， 標記偵測區段120(圖形形式偵測區段)偵測由輸入裝置200投影之一標記(圖形形式)。提前給標記偵測區段121登記關於一參考標記之資訊。此「參考標記」係呈針對其中遠離其一預定距離地沿垂直方向投影一標記之一情形提前預定之參考形狀之一標記。「關於參考標記之資訊」係關於參考標記之大小、頂點之間的距離、每一側邊之長度及其他。基於參考標記之大小，標記偵測區段121產生藉以自真實影像資料偵測之標記展示與參考標記之形狀之一匹配之一平面座標轉換矩陣且使用該平面座標轉換矩陣對所偵測標記執行座標轉換。此後，標記偵測區段121對經座標轉換之標記執行與參考標記之圖案匹配，藉此判定所偵測標記與參考標記之間的一匹配程度。標記偵測區段121將判定結果供應至疊加參數產生區段122。
關於展示一預定匹配程度之標記，基於與參考標記相比該標記之失真，疊加參數產生區段122計算成像區段101相對於投影在投影靶標(牆壁、桌子及其他)上之標記之空間位置關係，亦即，角度及距離。此外，如圖6中所展示，疊加參數產生區段122藉由輪廓提取計算展示於圖6之左上部分中之標記M之一座標系統。基於成像區段101相對於標記之上述空間位置關係，疊加參數產生區段122計算虛擬資訊之疊加參數以便具有展示於圖6之右部分中之一座標系統，其具有展示於圖6之左上部分中之標記M之座標系統與展示於圖6之左下部分中之已提前設定之虛擬資訊I之一座標系統之間的一匹配。如此，下文中將基於成像區段101相對於標記之空間位置關係(第一位置關係)而產生之疊加參數稱為「第一疊加參數」。基於由運動感測器106偵測之HMD 100之位置與由輸入裝置200之運動感測器106偵測之輸入裝置200之位置之間的關係，疊加參數產生區段122校正第一疊加參數以使得對於使用者較自然地顯示虛擬資訊。此外，疊加參數產生區段122基於使用者之眼睛與顯示區段102之間的位置關係而校正第一疊加參 數。
另外，疊加參數產生區段122藉由保持虛擬資訊相對於真實空間之空間位置關係(第二位置關係)計算虛擬資訊之疊加參數，以便具有由三維組態估計區段120估計之真實空間之三維組態之座標系統與在顯示之虛擬資訊之座標系統之間的一匹配。下文中將如上文所闡述經產生而具有真實空間之三維組態之座標系統與在顯示之虛擬資訊之座標系統之間的一匹配之疊加參數稱為「第二疊加參數」。注意，當不需要區別第一疊加參數與第二疊加參數時，將其簡稱為「疊加參數」。
轉換矩陣計算區段123使用第一疊加參數產生用於將參考標記之座標系統轉換成真實空間中參考成像區段101之座標系統之一空間座標轉換矩陣。影像資料產生區段124使用由轉換矩陣計算區段123供應之空間座標轉換矩陣來使提前記錄之虛擬資訊之物件資料經受座標轉換。以此方式，影像資料產生區段124在參考成像區段101之座標系統中計算(顯現)虛擬資訊之物件影像資料。
此外，轉換矩陣計算區段123使用第二疊加參數產生用於將在顯示之虛擬資訊之座標系統轉換成真實空間之三維組態之座標系統之一空間座標轉換矩陣。影像資料產生區段124使用由轉換矩陣計算區段123供應之空間座標轉換矩陣來使虛擬資訊之物件資料經受座標轉換。
影像資料產生區段124將虛擬資訊之所產生物件影像資料供應至顯示區段102。
顯示區段102顯示由轉換矩陣計算區段123供應之虛擬資訊之物件影像資料。
[HMD在第一處理程序中之操作]
圖7係展示HMD 100在第一處理程序中之操作之一流程圖。
當CPU 103執行一預定初始化處理程序(步驟S101)時，成像區段101擷取真實空間之一影像且獲得真實影像資料(步驟S102)。成像區段101將所獲得之真實影像資料供應至三維組態估計區段120及標記偵測區段121。三維組態估計區段120自真實影像資料偵測複數個特性點(步驟S103)。在成像區段101之視野移動期間，三維組態估計區段120亦連續地即時偵測特性點(連續地保持追蹤(執行追蹤)特性點)(步驟S104)。三維組態估計區段120藉由使用一件移動攝影機(成像區段101)進行分時成像而藉由追蹤特性點按時間順序建立一連結來計算立體視訊。依據此立體視訊，三維組態估計區段120估計真實空間之三維組態且將估計結果供應至疊加參數產生區段122(步驟S105)。
闡述當用於虛擬資訊之顯示區段102尚未顯示虛擬資訊時或當其已顯示虛擬資訊時及當在疊加於真實空間上之情形下顯示虛擬資訊之一情形(在步驟S106中為否)。在此情形中，依據由成像區段101獲得之真實影像資料(步驟S102)，標記偵測區段121偵測由輸入裝置200投影之標記(在步驟S107中為是)。基於參考標記之大小，標記偵測區段121產生藉以自真實影像資料偵測之標記展示與參考標記之形狀之一匹配之一平面座標轉換矩陣且使用該平面座標轉換矩陣對所偵測標記執行座標轉換。此後，標記偵測區段121對經座標轉換之標記執行與參考標記之圖案匹配，藉此判定所偵測標記與參考標記之間的一匹配程度(步驟S108)。標記偵測區段121將判定結果供應至疊加參數產生區段122。
關於展示一預定匹配程度(在步驟S108中為是)之標記，基於該標記與參考標記相比之失真，疊加參數產生區段122估計成像區段101相對於標記之空間位置關係。更具體而言，疊加參數產生區段122計算成像區段101相對於投影在投影靶標(舉例而言，牆壁)上之標記之空間位置關係(第一位置關係)，亦即，角度及距離。此外，疊加參數產 生區段122計算虛擬資訊之第一疊加參數以便具有標記之座標系統與虛擬資訊之座標系統之間的一匹配(步驟S109)。此後，疊加參數產生區段122校正第一疊加參數以使得對於使用者較自然地顯示虛擬資訊(步驟S110)。
轉換矩陣計算區段123使用第一疊加參數產生用於將參考標記之座標系統轉換成真實空間中參考成像區段101之座標系統之一空間座標轉換矩陣(步驟S111)。影像資料產生區段124使用由轉換矩陣計算區段123供應之空間座標轉換矩陣來使提前記錄之虛擬資訊之物件資料經受座標轉換。以此方式，影像資料產生區段124在參考成像區段101之座標系統中計算(顯現)虛擬資訊之物件影像資料(步驟S112)。影像資料產生區段124將虛擬資訊之所產生物件影像資料供應至顯示區段102。顯示區段102顯示虛擬資訊之所供應物件影像資料(步驟S113)。此後，重複地執行自針對下一圖框獲得真實空間中之影像資料(步驟S102)至顯示虛擬資訊之物件影像資料(步驟S113)之程序。
接下來，闡述其中用於虛擬資訊之顯示區段102已顯示虛擬資訊但未自真實影像資料偵測到疊加虛擬資訊之標記之一情形(在步驟S106中為是)。其中未自真實影像資料偵測到標記之此情形在(舉例而言)由於使用者已使輸入裝置200移動而將標記投影在用於成像區段101之成像空間外部時或在(舉例而言)使用者在相對於輸入裝置200之輸入操作期間有意地停止標記之投影時發生。若未自真實影像資料偵測到標記，則不基於標記而對第一疊加參數執行計算/更新處理程序(舉例而言，步驟S109)。另外，當在不再自真實影像資料偵測到標記之後藉由使用者之移動而使成像區段101移動時，在使用者之視野中真實空間之場景改變，但在顯示空間中虛擬資訊之位置及角度不改變。因此，虛擬資訊仍然以致使使用者感覺不舒適之位置及角度進行顯示。考量到此，在第一處理程序中，藉由即時偵測真實空間中之特 性點(步驟S103)，假定在真實影像資料中不再存在標記之後緊接在停止基於標記計算第一疊加參數之前(在最後偵測到標記之時間點)在相對於真實空間保持虛擬資訊之空間位置關係(第二位置關係)之情形下連續地顯示虛擬資訊。
亦即，疊加參數產生區段122計算虛擬資訊之第二疊加參數以具有由三維組態估計區段120估計之真實空間之三維組態之座標系統(步驟S105)與在顯示之虛擬資訊之座標系統之間的一匹配(步驟S114)。此後，疊加參數產生區段122類似於步驟S110而校正第二疊加參數(步驟S115)。
轉換矩陣計算區段123使用第二疊加參數產生用於將在顯示之虛擬資訊之座標系統轉換成真實空間之三維組態之座標系統之一空間座標轉換矩陣(步驟S116)。影像資料產生區段124使用由轉換矩陣計算區段123供應之空間座標轉換矩陣來使虛擬資訊之物件資料經受座標轉換。以此方式，影像資料產生區段124在真實空間之三維組態之座標系統中計算(顯現)虛擬資訊之物件影像資料(步驟S117)。影像資料產生區段124將虛擬資訊之所產生物件影像資料供應至顯示區段102。除此之外，當已顯示虛擬資訊但存在任何消失之疊加虛擬資訊之標記(在步驟S118中為是)時，重複步驟S114之後的處理程序。
[第一處理程序之效果]
如上文所闡述，根據第一處理程序，預期如下之效果。
1.當顯示區段已顯示虛擬資訊時但當未自真實影像資料偵測到疊加虛擬資訊之標記時，關於虛擬資訊之疊加參數，難以使用該標記作為對第一疊加標記執行計算/更新處理程序之一基礎。另外，當在不再自真實影像資料偵測到標記之後藉由使用者之移動而使成像區段移動時，在使用者之視野中真實空間之場景改變，但在顯示空間中虛擬資訊之位置及角度不改變。因此，虛擬資訊仍然以致使使用者感覺 不舒適之位置及角度進行顯示。
然而，在第一處理程序中，計算/更新虛擬資訊之第二疊加參數以即時偵測真實空間中之特性點且具有真實空間之三維組態之座標系統與在顯示之虛擬資訊之座標系統之間的一匹配。因此，可在真實影像資料中不再存在標記之後緊接在停止基於標記計算第一疊加參數之前(在最後偵測到標記之時間點)在相對於真實空間保持虛擬資訊之空間位置關係之情形下連續地顯示虛擬資訊。此外，可由等效於標記AR之一簡單計算/系統來實施通常一直需要高計算能力及複雜硬體系統/設備之無標記AR系統。
2.在作為標記AR之一實例的最流行之「ARToolKit」中所使用之實體標記中，如圖8中所展示，在由一正方形黑色框架包封之一白色區域中顯現一任意圖案(在圖式中所展示之實例中為「AR」)。使用黑色框架來偵測標記，且根據白色區域中之圖案來鑑別該標記。因此，「ARToolKit」之AR標記對設計具有如下限制。
-整體上形狀為正方形
-沿正方形之寬度或高度方向在黑色框架：白色區域：黑色框架當中具有基本上為25%：50%：25%且至少3：14：3之一比率
-白色區域中之圖案不相對於一點/線對稱且不由細線繪製。
-在標記周圍必需具有一邊距以在二元化時明確地區別黑色框架。
然而，在於第一處理程序中藉由雷射投影做出之標記之情形下，S/N(信號/雜訊)值可係極高的，藉此消除對色彩(黑色/白色)之受限使用之限制、細線之受限制使用及其他。此外，由於該邊距係以與背景分離為目標而提供的，因此在第一處理程序中藉由雷射投影做出之標記不再必需包含邊距部分。以此方式，與實體上安置於真實空間中之標記相比，可增加標記之設計靈活性。
3.使用包含係雷射指示器或雷射投影器之投影區段之輸入裝置操作在HMD上顯示之虛擬資訊。因此，使用者可憑直覺且容易地執行操作。
4.本技術適用於如下用途。藉由將標記投影在存在於真實空間中之牆壁及窗上，可將用於虛擬資訊之一投影靶標設定為任何任意牆壁及窗，且可使用任意牆壁及窗作為虛擬的一投影器螢幕及一白板。如下例示特定應用。
-在一大螢幕上顯示視訊圖像及天象儀影像。
-在辦公室之隔斷上或在牆壁上呈現虛擬便利貼(sticky note)及文件。
-在一大螢幕上顯示及移動複數個虛擬便利貼。
此外，藉由使輸入裝置移動，自由地控制其中疊加虛擬資訊之位置。如下例示特定應用。
-藉由像一引線那樣操作輸入裝置使作為虛擬資訊之一虛擬寵物行走。
<第二處理程序> [第二處理程序之概述]
藉由參考圖2，闡述其中複數個HMD 100各自基於由一使用者使用輸入裝置200投影之一標記顯示虛擬資訊之一情形。注意，在以下闡述中，將由握持用於標記投影之輸入裝置200之一使用者佩戴之HMD稱為「投影HMD」，且將由未握持用於標記投影之輸入裝置200之一使用者佩戴之HMD稱為「非投影HMD」。一使用者U1(第一使用者)使用輸入裝置200朝向一投影靶標投影一標記M。接下來，假定其中由另一使用者U2(第二使用者)佩戴之一非投影HMD 100B相對於標記M顯示虛擬資訊，藉此將虛擬資訊呈現給第二使用者U2之一情形。在此情形中，第二使用者U2之非投影HMD 100B使包含由第一使用者 U1之輸入裝置200投影之標記M之真實空間成像，且使用此真實影像，計算虛擬資訊之一疊加參數。
因此，舉例而言，存在引起如下問題之一可能性。假定由第一使用者U1投影之標記M呈不同於投影靶標上之一參考標記之形狀之失真形狀。若第二使用者U2之非投影HMD 100B使標記M成像，則其意謂不僅標記M已呈失真形狀，而且其係自不同於握持執行投影之輸入裝置200之第一使用者U1之一位置成像的。因此，針對藉由非投影HMD 100B計算疊加參數，存在使由非投影HMD 100B進行之計算複雜化之一可能性，此乃因(舉例而言)需要將失真之標記M校正為呈參考標記之形狀且在校正之後計算相對於標記之一疊加參數。因此，該計算花費時間，且第二使用者U2難以即時觀看實際上正由第一使用者U1觀看之一物件。亦即，存在引起投影HMD 100A之顯示結果與非投影HMD 100B之顯示結果之間的一時間滯後之一可能性。此外，由於計算係複雜的，因此存在減損由非投影HMD 100B進行之計算之正確性(亦即，引起投影HMD 100A之顯示結果與非投影HMD 100B之顯示結果之間的一空間偏差)之一可能性。因此，存在引起實際上正由第二使用者U2觀看之一物件之角度、位置及大小與實際上正由第一使用者U1觀看且假定為亦正由第二使用者U2觀看之一物件之角度、位置及大小之一差之一可能性。
另一方面，根據專利文獻4，為藉由一特定投影器(第一投影器)將一物件作為虛擬資訊顯示，藉由另一投影器(第二投影器)在一投影靶標(舉例而言，螢幕)上投影一標記影像。本文中，提前設定第二投影器與投影靶標之間的位置關係。藉由一成像裝置(固定點攝影機)，使此標記成像，且基於成像資料而計算待顯示之物件之位置、角度及大小以使得該第一投影器將該物件顯示在投影靶標上。然而，專利文獻4之技術具有以下問題。
-由於必需準備諸如一第二投影器及一成像裝置(固定點攝影機)之額外設備而關於供使用之位置係特定的。
-由於必需針對第一投影器及投影靶標進行位置固定而關於供使用之位置係特定的。
-使用第一投影器僅用於投影一標記係浪費的。
考量到如上情況，當複數個使用者正透過其HMD自其個別位置觀看相同物件時，根據本技術之此實施例之第二處理程序更容易且可靠地實施每一HMD以相似之角度、位置及大小對虛擬資訊之顯示。
[用於執行第二處理程序之HMD之功能組態]
圖9係展示用於執行第二處理程序之HMD 100之功能組態之一方塊圖。
HMD(投影HMD及非投影HMD)100包含成像區段101、標記偵測區段121、疊加參數產生區段122、一標記校正區段125、轉換矩陣計算區段123、影像資料產生區段124、顯示區段102及第一傳輸器/接收器108。
在下文中，不再闡述或不完全闡述類似於已闡述之組態、功能及其他之組態、功能及其他，且主要闡述任何差異。
基於與參考標記相比該標記之失真，標記校正區段125估計成像區段101相對於該標記之空間位置關係。具體而言，標記校正區段125(角度獲得區段)計算成像區段101相對於投影在一投影靶標(舉例而言，桌子)上之標記之空間位置關係，亦即，成像區段101相對於投影靶標之角度及距離(由輸入裝置200投影之一標記影像之光學軸與真實場景中之投影靶標之表面之間的角度及距離)。基於所計算之角度及距離，標記校正區段125產生用於將具有失真之所偵測標記校正為具有參考標記之形狀之一平面座標轉換矩陣。標記校正區段125使用該平面座標轉換矩陣對所偵測標記執行座標轉換，藉此計算一經校正標 記。此「經校正標記」係當其自輸入裝置200之當前位置朝向投影靶標投影時可呈投影靶標上之參考標記之形狀之一標記。標記校正區段125(失真創建區段)使用第一傳輸器/接收器108將所計算之經校正標記通知給輸入裝置200。以此方式，輸入裝置200變為能夠停止投影失真之標記且開始投影經校正標記。此外，標記校正區段125對標記偵測區段121通知經校正標記被通知給輸入裝置200。
[HMD在第二處理程序中之操作]
圖10係展示HMD 100在第二處理程序中之操作之一流程圖。
CPU 103執行一預定初始化處理程序(步驟S201)且判定其HMD是否係投影HMD，亦即，由佩戴其HMD之一使用者握持之輸入裝置200是否將投影一標記(步驟S202)。具體而言，例如，可提前給HMD 100登記佩戴其HMD之使用者所擁有之輸入裝置200之一裝置ID，且CPU 103可使用第一傳輸器/接收器108來關於是否執行標記投影而查詢由裝置ID識別之輸入裝置200。另一選擇係，使用者可對輸入區段105做出關於由此使用者握持之輸入裝置200是否投影一標記之一輸入。
首先，闡述投影HMD之操作(在步驟S202中為是)。類似於步驟S102、S107及S108，投影HMD獲得真實影像資料(步驟S203)、執行標記偵測(在步驟S204中為是)且判定一匹配程度(步驟S205)。標記偵測區段121將關於標記匹配程度之判定結果供應至標記校正區段125。
關於展示一預定匹配程度之標記(在步驟S205中為是)，標記校正區段125基於與參考標記相比該標記之失真而估計成像區段101相對於該標記之空間位置關係。具體而言，標記校正區段125(角度獲得區段)計算成像區段101相對於投影在投影靶標(舉例而言，桌子)上之標記之角度及距離(由輸入裝置200投影之一標記影像之光學軸與真實場景中之投影靶標之表面之間的角度及距離)(步驟S206)。基於所計算之角度及距離，標記校正區段125產生用於將具有失真之所偵測標記 校正成參考標記之形狀之一平面座標轉換矩陣(步驟S207)。標記校正區段125使用該平面座標轉換矩陣對所偵測標記執行座標轉換，藉此計算一經校正標記(步驟S208)。標記校正區段125(失真創建區段)使用第一傳輸器/接收器108將所計算之經校正標記通知給輸入裝置200(步驟S209)。以此方式，輸入裝置200變為能夠停止投影失真之標記且開始投影經校正標記。此外，標記校正區段125對標記偵測區段121通知經校正標記被通知給輸入裝置200。
在標記校正區段125將經校正標記通知給輸入裝置200(步驟S209)之後，獲得真實影像資料(步驟S210)，偵測經校正標記(在步驟中為是S211)，且判定關於經校正標記之一匹配程度(步驟S212)。標記偵測區段121將判定結果供應至疊加參數產生區段122。此後，類似於步驟S109至S113，計算並校正第一疊加參數(步驟S213及S214)，產生一座標轉換矩陣(步驟S215)，且計算並顯示物件影像資料(步驟S216及S217)。
另一方面，非投影HMD(在步驟S202中為否)執行步驟S210至S217中之處理程序。本文中，當待偵測之標記(在步驟S211中為是)係一經校正標記時，其意謂非投影HMD基於呈參考標記之形狀之經校正標記而計算第一疊加參數。
[第二處理程序之效果]
如上文所闡述，在第二處理程序之情形下，預期以下效果。
1.如圖11中所展示，由第一使用者U1投影之一經校正標記M'在投影靶標上呈無失真之參考標記之形狀。因此，針對藉由第二使用者U2之非投影HMD 100B計算疊加參數，不需要將失真之標記(圖2之M)校正為呈參考標記之形狀，且僅需要計算相對於經校正標記M'之疊加參數以使得由非投影HMD 100B進行之計算量可係小的。因此，針對該計算所花費之時間可係短的，藉此允許第二使用者U2即時觀 看實際上正由第一使用者U1觀看之物件。亦即，此幾乎不引起投影HMD 100A之顯示結果與非投影HMD 100B之顯示結果之間的一時間滯後，且即使引起時間滯後，該時間滯後之值亦可小至忽略不計。此外，由非投影HMD 100B進行之計算仍然正確。亦即，幾乎不引起投影HMD 100A之顯示結果與非投影HMD 100B之顯示結果之間的一空間偏差。因此，當由第一使用者U1操作之虛擬資訊由複數個使用者觀看時，待由分別由該等使用者佩戴之HMD顯示之物件在角度、位置及大小上展示極少偏差。
另一選擇係，疊加參數產生區段122可基於成像區段101相對於投影在投影靶標(舉例而言，桌子)上之標記之角度及距離(由輸入裝置200投影之一標記影像之光學軸與真實場景中之投影靶標之表面之間的角度及距離)而產生疊加參數(步驟S206)。
<第三處理程序> [第三處理程序之概述]
若不管在其上投影標記之投影靶標之類型及位置如何而顯示虛擬資訊，如圖12中所展示，則可引起以下顯示狀態。
-當將標記投影在一桌子10之拐角處時，虛擬資訊部分地離開桌子10且被顯示為猶如其漂浮在空中(圖式中之A)。
-當將標記投影在一隔斷11上時，若在標記之投影位置之附近存在諸如一椅子12或桌子10之任何其他物件，則虛擬資訊部分地顯示在該物件上(圖式中之B)。
-在將標記投影在相對小尺寸之隔斷11上之一嘗試中，若該標記未被投影在隔斷11上而是被投影在位於遠處之一牆壁13上，則虛擬資訊顯示在位於遠處之牆壁13上(圖式中之C)。
-當將標記投影在過於靠近使用者之一位置處時，虛擬資訊顯示在其中顯示區段102難以在硬體效能方面良好地形成一影像之一位置 處(圖式中之D)。
在如上文所闡述之狀態中，存在使用者可感覺不舒適或煩惱或感覺生理疼痛(舉例而言，眼睛疲勞)之一可能性。
考量到如上文所闡述之情況，在根據本技術之此實施例之第三處理程序之情形下，當存在若基於標記顯示虛擬資訊則致使使用者感覺不舒適或其他之一可能性時，舉例而言，在幾乎不引起使用者感覺不舒適之可能性之狀態中顯示虛擬資訊。具體而言，藉由遵循一預定規則，做出當在疊加於真實空間上之情形下顯示虛擬資訊時該虛擬資訊之內容是否違背自然法則及/或是否滿足預期視覺品質之條件之一判定，且當其違背時，則取消虛擬資訊之顯示。
[用於執行第三處理程序之HMD之功能組態]
圖13係展示用於執行第三處理程序之HMD 100之功能組態之一方塊圖。
HMD 100包含成像區段101、標記偵測區段121、疊加參數產生區段122、一標記位置判定區段126、轉換矩陣計算區段123、影像資料產生區段124及顯示區段102。
標記位置判定區段126判定由標記偵測區段121偵測之標記相對於真實空間之空間位置關係(第三位置關係)且將判定結果供應至疊加參數產生區段122。
[HMD在第三處理程序中之操作]
圖14係展示HMD 100在第三處理程序中之操作之一流程圖。
當CPU 103執行一預定初始化處理程序(步驟S301)時，成像區段101獲得真實影像資料(步驟S302)。成像區段101將所獲得之真實影像資料供應至標記偵測區段121及標記位置判定區段126。類似於步驟S107，標記偵測區段121偵測一標記(在步驟S303中為是)且將偵測結果供應至疊加參數產生區段122及標記位置判定區段126。此後，類似 於步驟S108至S110，判定一匹配程度(步驟S304)，且計算並校正第一疊加參數(步驟S305及S306)。
基於由成像區段101提供之真實影像資料及由標記偵測區段121偵測之標記，標記位置判定區段126判定標記相對於真實空間之空間位置關係且將判定結果供應至疊加參數產生區段122。當由標記位置判定區段126提供之判定結果指示建立一預定位置關係時(在步驟S307中為是)，疊加參數產生區段122(第二虛擬資訊顯示控制區段)不將所產生(步驟S305及S306)之第一疊加參數供應至轉換矩陣計算區段123。因此，不執行藉由此第一疊加參數進行之顯示處理程序。另一方面，當未建立預定位置關係時(在步驟S307中為否)，疊加參數產生區段122將所產生(步驟S305及S306)之第一疊加參數供應至轉換矩陣計算區段123。
此「預定位置關係」係當在疊加於真實空間上之情形下顯示虛擬資訊時其內容違背自然法則及/或不滿足預期視覺品質之條件之位置關係。「違背自然法則及/或不滿足預期視覺品質之條件之位置關係」係當在疊加於真實空間上之情形下顯示虛擬資訊時使用者可感覺不舒適或煩惱或感覺生理疼痛(舉例而言，眼睛疲勞)之位置關係。作為「違背自然法則及/或不滿足預期視覺品質之條件之位置關係」，具體而言，如圖12中所展示，如下例示以下位置關係。
-在其上投影一標記之一靶標(桌子、牆壁及其他，且下文中稱為「投影靶標」)之輪廓與標記之間的最短距離小於一預定值(圖12中之A)。或者，標記之至少一部分疊覆在投影靶標之輪廓上。
-在距標記之一預定距離範圍內存在諸如一柱子、一椅子、一桌子及其他之任何其他物件(圖12中之B)。
-標記與成像區段101之間的距離等於或大於一預定值(標記過於遠)(圖12中之C)。
-標記與成像區段101之間的距離小於預定值(標記過於近)(圖12中之D)。
藉由返回參考圖14，在獲得第一疊加參數(在步驟S307中為否)之後，類似於步驟S111至S113，轉換矩陣計算區段123產生一座標轉換矩陣(步驟S308)，且計算並顯示物件影像資料(步驟S309及S310)。當存在各自佩戴HMD 100之複數個使用者時，HMD 100將其裝置ID及其疊加參數傳輸至其他HMD 100(步驟S311)。
注意，當步驟S307中之判定結果展示建立預定位置關係時(在步驟S307中為是)，可由影像資料產生區段124(第二虛擬資訊顯示控制區段)執行以下處理程序。
-如圖15中所展示，刪除在顯示之虛擬資訊。
-另外，如圖15中所展示，將虛擬資訊減小大小或圖示化以產生用於在視野中之一安全區域S上顯示之影像資料Ia、Ib、Ic及Id。此「安全區域」可係其中幾乎不引起對存在於真實空間中之物件之干擾之位置、在其中顯示區段102可形成影像之範圍之前的位置(在視野範圍內或下面)、在不妨礙視野之視野範圍之一末端部分處之位置及其他。
-當在其上投影一標記之一靶標(桌子、牆壁及其他，且下文中稱為「投影靶標」)之輪廓與標記之間的最短距離小於一預定值(圖12中之A)時，或當標記之至少一部分疊覆在投影靶標之輪廓上時，可執行以下處理程序。當輸入裝置係可投影任何任意圖形形式之諸如雷射投影器之一裝置時，所投影標記在大小及形狀上改變以對應於待顯示之虛擬資訊之大小及形狀。以此方式，允許使用者憑直覺領會真實空間與虛擬資訊之間的干擾之可能性。作為一實例，如圖16中所展示，在其中已投影標記M1且顯示虛擬資訊I1之一狀態(此展示於圖16之左部分中)中，假定使用者之輸入操作將虛擬資訊I1之定向及姿態改變為 虛擬資訊I2之定向及姿態(虛擬資訊I1被旋轉)。在此情形中，將在標記M1之旋轉之後的一標記M1'改變為經定形而疊覆在虛擬資訊I2之大部分上之一標記M2(此展示於圖16之右部分中)。以此方式，允許使用者憑直覺領會標記之至少一部分是否疊覆在投影靶標之輪廓上。
[第三處理程序之效果]
如上文所闡述，在第三處理程序之情形下，預期以下效果。
1.當存在若基於標記顯示虛擬資訊則致使使用者感覺不舒適或煩惱或感覺生理疼痛(舉例而言，眼睛疲勞)之一可能性時，舉例而言，可在幾乎不引起致使使用者感覺不舒適之可能性之狀態中顯示虛擬資訊。
<第二實施例> [第二實施例之概述]
一第二實施例可實施在第一實施例中之第二處理程序中執行的由複數個HMD(投影HMD、非投影HMD)對虛擬資訊之顯示且可達成類似於第二處理程序之效果之效果。
圖17係展示根據本技術之第二實施例之一資訊處理系統2之一示意圖。
在此實施例中，投影HMD 100A之一疊加參數由複數個非投影HMD 100B及100C藉由無線通信共用。藉由使用投影HMD 100A之疊加參數，非投影HMD 100B及100C校正HMD 100B及100C之疊加參數。以此方式，亦在第二實施例中，當複數個使用者觀看由一單個使用者操作之虛擬資訊時，待由該等使用者所佩戴之HMD(投影HMD、非投影HMD)顯示之物件在角度、位置及大小上發生較少失真。
[HMD之硬體組態]
圖18係展示根據第二實施例之一HMD(投影HMD、非投影HMD)100a之硬體組態之一方塊圖。
除第一實施例(圖3)中之HMD 100之硬體組態以外，HMD 100a亦包含一第四傳輸器/接收器111。
第四傳輸器/接收器111係諸如Bluetooth(商標)及紅外線之一短程無線傳輸器/接收器且執行與任何其他HMD 100a之資訊交換。更具體而言，第四傳輸器/接收器111(傳輸區段)執行向非投影HMD 100a傳輸/自非投影HMD 100a接收以供投影HMD 100a與非投影HMD 100a對疊加參數之共用使用之一處理程序。
[由HMD進行之操作]
首先，闡述(1)投影HMD 100a之操作，且接下來，闡述(2)非投影HMD 100a之操作。
[(1)由投影HMD進行之操作]
圖19係展示投影HMD 100a之主操作之一流程圖。
當CPU 103執行一預定初始化處理程序(步驟S401)時，類似於步驟S102及步驟S107至S113，投影HMD 100a獲得真實影像資料(步驟S402)、執行標記偵測(步驟S403)、判定一標記匹配程度(步驟S404)、計算並校正疊加參數(步驟S405及S406)、產生一座標轉換矩陣(步驟S407)、計算物件影像資料(步驟S408)且顯示物件影像資料(步驟S409)。此後，投影HMD 100a使用第四傳輸器/接收器111(傳輸區段)將HMD 100a之裝置ID及在步驟S406中獲得之疊加參數傳輸至其他HMD 100a(步驟S410)。以此方式，投影HMD 100a之疊加參數由非投影HMD 100a共用。
[(2)由非投影HMD進行之操作]
圖20係展示非投影HMD 100a獲得投影HMD 100a之一疊加參數之操作之一流程圖。
CPU 103執行一預定初始化處理程序(步驟S501)，且第四傳輸器/接收器111接收由投影HMD 100a傳輸(步驟S410)之裝置ID及疊加參數 (在步驟S502中為是)。CPU 103將所獲得(步驟S503)之裝置ID及疊加參數儲存於記憶體104中(步驟S504)。
由非投影HMD 100a進行之主操作類似於由投影HMD 100a進行之主操作(步驟S401至S410)，且藉由參考圖19之流程圖僅闡述一差異。在步驟S406中，非投影HMD 100a之疊加參數產生區段122(校正區段)基於儲存(步驟S504)於記憶體104中之投影HMD 100a之疊加參數而校正疊加參數。
注意，可相對於主處理程序(步驟S401至S410)藉由中斷或多執行緒執行非投影HMD 100a獲得投影HMD 100a之疊加參數之操作(步驟S501至S504)。此外，當在開始操作時或在操作期間該使用者之位置在很大程度上移動時，該複數個使用者可全部執行將標記投影在投影靶標之一任意位置處之一校準步驟。
[第二實施例之效果]
如上文所闡述，根據第二實施例，預期以下效果。
1.非投影HMD基於投影HMD之疊加參數而校正基於HMD本身與在其上投影標記之投影靶標(舉例而言，牆壁)之間的角度及距離而計算之疊加參數。此允許由非投影HMD進行之計算仍然正確，亦即，幾乎不引起投影HMD之顯示結果與非投影HMD之顯示結果之間的一空間偏差。因此，即使複數個使用者觀看由一單個使用者操作之虛擬資訊，待由該等使用者所佩戴之HMD顯示之物件在角度、位置及大小上發生較少失真。
<修改實例1>
一修改實例1可實施在第二實施例中之第二處理程序中執行的由複數個HMD(投影HMD、非投影HMD)對虛擬資訊之顯示且可達成類似於第二處理程序之效果之效果。
圖21係展示根據修改實例1之一資訊處理系統2a之一示意圖。
係虛擬資訊之一顯示靶標之一顯示靶標T(牆壁、隔斷及其他)具備一現有實體標記M。複數個HMD 100各自計算HMD與提供至顯示靶標T之標記M之間的距離及角度。
以此方式，由複數個HMD進行之計算亦可仍然正確，亦即，預期幾乎不引起複數個HMD之顯示結果之間的一時間滯後及一空間偏差之效果。
<修改實例2>
圖22係展示根據一修改實例2之一資訊處理系統3之一示意圖。圖23係展示根據修改實例2之資訊處理系統3之硬體組態之一方塊圖。
資訊處理系統3包含一HMD 100b、輸入裝置200及一個人數位助理400。在上文所闡述之實施例中之每一者中，提供至HMD 100及100a之CPU 103執行主操作。另一方面，在此修改實例中之資訊處理系統3中，與HMD 100b分離地提供之執行個人數位助理400執行主處理程序。此個人數位助理400由一智慧電話、一可攜式遊戲機及其他例示。
在自第一實施例中之HMD 100之硬體組態排除第一傳輸器/接收器108及第二傳輸器/接收器109之情形下，HMD 100b進一步包含一第五傳輸器/接收器112。第五傳輸器/接收器112係諸如Bluetooth(商標)之一中/低速短程無線傳輸器/接收器且執行與個人數位助理400之資訊交換。更具體而言，例如，第五傳輸器/接收器112執行將由成像區段獲得之一真實影像之一影像輸入信號傳輸至個人數位助理400之一處理程序。
在自第一實施例中之輸入裝置200之硬體組態排除第三傳輸器/接收器208之情形下，一輸入裝置200a進一步包含一第六傳輸器/接收器。第六傳輸器/接收器213係諸如Bluetooth(商標)及紅外線之一短程無線傳輸器/接收器且執行與個人數位助理400之資訊交換。更具體而 言，例如，第六傳輸器/接收器213執行將一操作輸入信號(諸如由一使用者輸入至輸入區段之縮放操作)傳輸至個人數位助理400之一處理程序。
HMD 100b不包含第一傳輸器/接收器108，且輸入裝置200a不包含第三傳輸器/接收器208。因此，HMD 100b及輸入裝置200a不直接執行資訊交換，且經由個人數位助理400執行HMD 100b與輸入裝置200a之間的資訊交換。
個人數位助理400包含一CPU 401、一記憶體402、一顯示區段403、一輸入區段404、一第七傳輸器/接收器405、一第八傳輸器/接收器406、一第九傳輸器/接收器408及一內部電源供應器407。記憶體402、顯示區段403、輸入區段404、第七傳輸器/接收器405、第八傳輸器/接收器406及第九傳輸器/接收器408各自連接至CPU 401。
CPU 401遵循儲存於記憶體402中之一程式以作為以上實施例中之每一者中所闡述之功能區段執行各種處理程序。
第七傳輸器/接收器405係諸如Bluetooth(商標)之一中/低速短程無線傳輸器/接收器且執行與HMD 100b之資訊交換。更具體而言，例如，第七傳輸器/接收器405執行將待由HMD 100b之顯示區段顯示之虛擬資訊之一影像輸出信號傳輸至HMD 100b之一處理程序。
第八傳輸器/接收器406係諸如Bluetooth(商標)及紅外線之一短程無線傳輸器/接收器且執行與輸入裝置200a之資訊交換。更具體而言，例如，第八傳輸器/接收器406執行將一改變信號傳輸至輸入裝置200a以改變作為由輸入裝置200a投影之一標記之一圖形形式之圖案之一處理程序。
第九傳輸器/接收器408係諸如3G(第三代)及WiMAX(全球微波存取互通，商標)之一高速中程無線傳輸器/接收器或一高速遠程無線傳輸器/接收器且透過至諸如網際網路及LAN(區域網路)之一網路N之 連接下載待作為虛擬資訊顯示之內容。
注意，HMD 100b之第五傳輸器/接收器112及個人數位助理400之第七傳輸器/接收器405可各自係一纜線傳輸器/接收器。
<修改實例3>
圖24係展示根據一修改實例3之一資訊處理系統4之一示意圖。
此修改實例中之資訊處理系統4之硬體組態類似於第一實施例中之資訊處理系統1之硬體組態(圖3)。
在上文所闡述之實施例中，提供至HMD之CPU執行主處理程序。另一方面，在此修改實例中之資訊處理系統4中，作為輸入裝置200之一個人數位助理執行主處理程序。此個人數位助理由一智慧電話、一可攜式遊戲機及其他例示。
舉例而言，HMD 100之第一傳輸器/接收器108執行將由成像區段101獲得之一真實影像之一影像輸入信號傳輸至輸入裝置(個人數位助理)200之一處理程序。
舉例而言，輸入裝置(個人數位助理)200之第三傳輸器/接收器208執行將待由HMD 100之顯示區段102顯示之虛擬資訊之一影像輸出信號傳輸至HMD 100之一處理程序。
輸入裝置(個人數位助理)200之CPU 212遵循儲存於記憶體205中之一程式以作為以上實施例中所闡述之功能區段執行各種處理程序。
注意，當顯示區段102及成像區段101安裝於一個裝置(HMD 100)中時，可基於HMD 100之位置與輸入裝置200之位置之間的關係而執行疊加參數校正(步驟S110)。
<修改實例4>
圖25係展示根據一修改實例4之一資訊處理系統5之一示意圖。圖26係展示根據修改實例4之資訊處理系統5之硬體組態之一方塊圖。
在上文所闡述之實施例中，與HMD 100分離地提供之輸入裝置 200用於執行標記投影及相對於虛擬資訊之一輸入操作。另一方面，在此修改實例中，輸入裝置並非分離地提供，且僅一HMD 100c實施包含標記投影及相對於虛擬資訊之輸入操作之每個操作。
在自第一實施例中之HMD 100之硬體組態排除第一傳輸器/接收器108之情形下，HMD 100c進一步包含連接至CPU 103之一調變區段113及連接至調變區段113之一投影區段114。調變區段113及投影區段114具有類似於提供至上文所闡述之實施例中之輸入裝置200的調變區段209之功能及投影區段210之功能的功能。
藉由使佩戴HMD 100c之頭移動，使用者可操作虛擬資訊。作為一實例，當使用者藉由使其頭上下及左右移動而使一標記之投影位置移動時，可使用於待顯示之虛擬資訊之顯示位置移動(拖曳)。
<修改實例5>
圖27係展示根據一修改實例5之一資訊處理系統6之一示意圖。
資訊處理系統6包含複數個HMD 100A、100B及100C、複數個輸入裝置200及儲存待作為虛擬資訊顯示之內容之內容資料之一伺服器裝置500。
投影HMD 100A經由無線或纜線LAN(區域網路)透過在伺服器裝置500中對待作為虛擬資訊顯示之內容之內容資料之一搜尋而獲得該資料。投影HMD 100A使用一短程無線傳輸器/接收器(第四傳輸器/接收器111)來給非投影HMD 100B及100C提供自伺服器裝置500獲得之內容資料。以此方式，投影HMD 100A以及非投影HMD 100B及100C各自能夠顯示一個特定內容作為虛擬資訊。
<修改實例6>
圖28係展示根據一修改實例6之一資訊處理系統7之一示意圖。
資訊處理系統7包含一主處理裝置600、一投影/成像裝置700及一或多個顯示裝置800。
主處理裝置600藉由短程無線或纜線通信將關於用於投影之一標記M之形狀、其在真實空間R中之位置或其他之一命令發佈至投影/成像裝置700。此外，主處理裝置600自投影/成像裝置700獲得真實影像資料且基於所獲得之真實影像資料而計算虛擬資訊之物件影像資料。主處理裝置600藉由將所計算物件影像資料疊加於真實影像資料上產生顯示資料且藉由無線通信將所產生之顯示資料供應至複數個顯示裝置800。
投影/成像裝置700朝向真實空間R投影標記M、藉由一固定點攝影機對真實空間R之成像獲得真實影像資料且將所獲得之真實影像資料供應至主處理裝置600。
顯示裝置800顯示由主處理裝置600提供之顯示資料。舉例而言，顯示裝置800係一HUD(抬頭顯示器)。具體而言，用作HUD的係一數位招牌、可安置於一桌子或一運載工具儀錶盤上之一透明顯示器、一個人數位助理之一顯示器及其他。
<修改實例7>
圖29係根據一修改實例7之一輸入裝置200b之一透視圖。
輸入裝置200b包含一投影按鈕201、一滾輪214、一選單按鈕215及一選擇按鈕216且具有作為一指標器件之功能。輸入裝置200b相對於一OS(作業系統)執行如下之一輸入操作處理程序。
(1)當操作投影按鈕201時，開始自投影窗204投影一標記，且顯示作為虛擬資訊之一指示物。
(2)在其中在作為虛擬資訊顯示之一圖示或一窗上顯示作為虛擬資訊之一指示物之環境中，當使輸入裝置200b(指標器件)移動時且當點擊選擇按鈕216時，選擇圖示或點擊該按鈕。
-在以上環境中，當雙擊選擇按鈕216時，執行一物件。
-在以上環境中，當在正按壓選擇按鈕216之同時使輸入裝置200b 移動時，使物件移動(拖曳)。
-在以上環境中，當在正按壓選擇按鈕216之同時使輸入裝置200b旋轉時，使物件旋轉。
-在以上環境中，當使滾輪214旋轉時，放大/縮小物件，且捲動物件。
(3)當在對物件之拖曳/旋轉操作之後釋放選擇按鈕216時，作為虛擬資訊之物件仍然顯示為所保持的那樣且相對於真實空間固定於適當位置中。
(4)當操作選單按鈕215時，顯示一子選單。
(5)當在標記之投影期間按壓投影按鈕201時，結束標記之投影。在結束標記之投影之後，正在該時間點顯示之虛擬資訊可仍然顯示達一固定時間長度。
<修改實例8>
當甚至在標記投影及疊加參數計算之停止之後亦連續地顯示虛擬資訊時(在步驟S106中為是)，影像資料產生區段124(第一虛擬資訊顯示控制區段)可藉由一預定事件之發生而停止虛擬資訊之顯示。如下例示此「預定事件」。
-對輸入裝置200執行一操作。作為一實例，當輸入裝置200具備一虛擬資訊關斷按鈕(未展示)時，按壓虛擬資訊按鈕。
-在停止標記投影之後過去一固定時間長度。
-成像區段101(HMD 100)移動一固定距離或更多。
-成像區段101(HMD 100)旋轉及移動一固定角度或更多。
<修改實例9>
圖5係示意性地展示根據一修改實例9之一資訊處理系統8之一方塊圖。
資訊處理系統8包含HMD 100、輸入裝置200及一資訊處理裝置 900(舉例而言，個人電腦(Personal Computer)，下文中稱為PC)，資訊處理裝置900包含一成像區段901、一顯示區段902及一主處理區段903。輸入裝置200能夠在真實空間中投影一標記。成像區段901及顯示區段902連接至PC 900或安裝於其上，且顯示區段902包含一顯示器(圖30之一顯示器904)。
如圖30中所展示，一使用者U使用輸入裝置200在顯示器904上投影一標記M1。成像區段901使輸入裝置200之一投影窗成像。主處理區段903基於所成像之投影窗204相對於成像區段901之角度、距離及其他而計算顯示器904上用於該標記之投影位置。顯示區段902相對於顯示在顯示器904上之標記M顯示虛擬資訊I1。
此後，如圖31中所展示，使用者U使輸入裝置200移動以使該標記在顯示器904上移動，使得虛擬資訊在顯示器904上移動(拖曳)。使用者U進一步使輸入裝置200移動以使該標記遠離顯示器904在一投影靶標(舉例而言，桌子)上移動(一標記M2)。PC 900之主處理區段903藉由無線通信對HMD 100通知標記M2遠離顯示器904而移動至投影靶標910上。
在接收到此通知後，如圖32中所展示，HMD 100旋即使投影在投影靶標910上之標記M2成像，藉此顯示虛擬資訊I2。
<修改實例10>
待由輸入裝置投影之一標記之圖形形式可係任何現有形式。具體而言，HMD之成像區段使存在於真實空間中之一標記成像。另一選擇係，HMD經由網路下載任何現有標記。HMD藉由無線通信將藉由成像或下載獲得之標記供應至輸入裝置。本文中，輸入裝置係能夠投影一任意圖形形式之諸如一雷射投影器之一裝置。輸入裝置將由HMD獲得之標記投影至真實空間中。
<修改實例11>
作為用於標記投影之一光源，可使用一不可見範圍(紅外線、紫外線及其他)雷射。此可防止未佩戴HMD之使用者感知標記及虛擬資訊。另一方面，佩戴HMD之一使用者可感知虛擬資訊。此外，藉由在HMD之顯示區段上執行以允許其感知不可見範圍(紅外線、紫外線及其他)雷射之一處理程序，可允許佩戴HMD之使用者感知標記。
<修改實例12>
在上文所闡述之實施例中之每一者中，假定使用者能夠使用輸入裝置操作虛擬資訊。另一選擇係，HMD之CPU可藉由遵循提前儲存於記憶體中之一程式而改變虛擬資訊之位置及角度。在此情形中，可基於由顯示裝置投影之一標記而判定用於最初顯示虛擬資訊之一參考位置。
<修改實例13>
為校正一疊加參數，亦可使用以下方法。自然地限制其中一使用者可操作輸入裝置之區(舉例而言，在胸部前方一50 cm正方形之區)。另一方面，在安裝於HMD上之成像區段之情形中，在某種程度上固定使用者與成像區段之間的位置關係。出於彼原因，亦在某種程度上固定成像區段與輸入裝置之間的位置關係。藉由利用此，可校正基於由成像區段成像之標記而計算之虛擬資訊之第一疊加參數以使得使用者可較自然地觀看。此方法甚至在HMD難以偵測輸入裝置相對於成像區段之位置/定向時亦可用。
注意，本技術亦可採取以下結構。
(1)
一種資訊處理裝置，其包括：一處理器，其經組態以執行用以進行以下操作之指令：基於一成像區段與由一輸入裝置投影在一真實空間上之一標記之一空間位置關係而產生對應於將虛擬資訊疊加於該真實空間 上之一疊加參數，及致使一顯示區段在該標記係可偵測時根據該空間位置關係顯示疊加於該真實空間上之該虛擬資訊，且在該標記係不可偵測之後基於該標記之一最後偵測之位置及該成像區段之一當前位置而根據一經更新空間位置關係繼續疊加於該真實空間上之該虛擬資訊之該顯示。
(2)
如(1)之資訊處理裝置，其中一預定事件在該標記係不可偵測之後致使疊加於該真實空間上之該虛擬資訊之該顯示停止。
(3)
如(2)之資訊處理裝置，其中該預定事件係以下各項中之至少一者：在該標記係不可偵測之後過去一固定時間長度、該成像區段移動至少一固定距離及該成像區段旋轉至少一固定角度及移動至少一固定角度中之至少一者。
(4)
如(1)之資訊處理裝置，其中該資訊處理裝置係包含該成像區段及該顯示區段之一第一頭戴式顯示器。
(5)
如(4)之資訊處理裝置，其中包含該第一頭戴式顯示器之複數個頭戴式顯示器各自基於由該輸入裝置投影在該真實空間上之該標記而顯示疊加於該真實空間上之該虛擬資訊。
(6)
如(1)之資訊處理裝置，其中該處理器進一步經組態以執行用以進行以下操作之指令：計算一經校正標記；將該經校正標記傳輸至該輸入裝置，該輸入裝置將該經校正標 記投影在該真實空間上；及偵測投影在該真實空間上之該經校正標記。
(7)
如(6)之資訊處理裝置，其中對應於將該虛擬資訊疊加於該真實空間上之一第二疊加參數係基於一第二成像區段與由該輸入裝置投影在該真實空間上之該經校正標記之一第二空間位置關係而產生。
(8)
如(1)之資訊處理裝置，其中當不滿足該虛擬資訊之一預期視覺品質之一條件時，校正該疊加參數。
(9)
如(1)之資訊處理裝置，其中該輸入裝置係一個人數位助理、一智慧電話、一可攜式遊戲機中之至少一者。
(10)
如(1)之資訊處理裝置，其中該輸入裝置包含一投影按鈕。
(11)
如(1)之資訊處理裝置，其中該輸入裝置包含一縮放操作輸入。
(12)
一種資訊處理裝置，其包括：一接收器；及一處理器，其經組態以執行用以進行以下操作之指令：基於一成像區段與由一輸入裝置投影在一真實空間上之一標記之一空間位置關係而接收對應於將虛擬資訊疊加於該真實空間上之一疊加參數，及致使一顯示區段在該標記係可偵測時根據該空間位置關係顯示疊加於該真實空間上之該虛擬資訊，且在該標記係不可偵測之後基於該標記之一最後偵測之位置及該成像區段之一當前位置而 根據一經更新空間位置關係繼續疊加於該真實空間上之該虛擬資訊之該顯示。
(13)
一種系統，其包括：一第一資訊處理裝置，其包括：一第一處理器，其經組態以執行用以進行以下操作之指令：基於一成像區段與由一輸入裝置投影在一真實空間上之一標記之一空間位置關係而產生對應於將虛擬資訊疊加於該真實空間上之一疊加參數；及一第二資訊處理裝置，其包括：一第二處理器，其經組態以執行用以進行以下操作之指令：致使一顯示區段在該標記係可偵測時根據該空間位置關係顯示疊加於該真實空間上之該虛擬資訊，且在該標記係不可偵測之後基於該標記之一最後偵測之位置及該成像區段之一當前位置而根據一經更新空間位置關係繼續疊加於該真實空間上之該虛擬資訊之該顯示。
(14)
一種資訊處理裝置，其包括：一成像區段，其經組態以藉由一真實場景之成像獲得一真實影像；一圖形形式偵測區段，其經組態以自該真實影像偵測由一投影裝置投影在該真實場景上之一圖形形式之一影像；一特性點偵測區段，其經組態以自該真實場景之該真實影像即時偵測一特性點；及一參數產生區段，其經組態以基於該圖形形式與該成像區段之間的一第一位置關係而產生致使一顯示區段在疊加於該真實場 景上之情形下顯示虛擬資訊所必需之一參數，且當該圖形形式自該真實影像消失時，基於該特性點偵測區段之一偵測結果而產生該參數以在最後偵測到該圖形形式之一時間點在保持與該真實場景之一第二位置關係之同時連續地顯示該虛擬資訊。
(15)
根據(14)之資訊處理裝置，其進一步包括一第一虛擬資訊顯示控制區段，該第一虛擬資訊顯示控制區段經組態以由於一預定事件之發生而停止使用基於該特性點偵測區段之該偵測結果而產生之該參數顯示該虛擬資訊。
(16)
根據(15)之資訊處理裝置，其進一步包括：一角度獲得區段，其經組態以獲得由該投影裝置投影之該影像之一光學軸與該真實場景中之一投影靶標表面之間的一角度；及一失真創建區段，其經組態以基於該所獲得之角度而創建對由該投影裝置投影之該圖形形式之失真以使由該投影裝置投影在該投影靶標表面上之該圖形形式呈一預定參考形狀。
(17)
根據(16)之資訊處理裝置，其中該參數產生區段經組態以基於該經創建失真之圖形形式與該成像區段之間的該第一位置關係而產生該參數。
(18)
根據(17)之資訊處理裝置，其進一步包括一第二虛擬資訊顯示控制區段，該第二虛擬資訊顯示控制區段經組態以藉由遵循一預定規則而判定以下各項中之至少一者：當在疊加於該真實場景上之情形下顯示該虛擬資訊時，該虛擬資訊之一內 容是否違背一自然法則；及是否滿足一預期視覺品質之一條件，且在其中該內容違背該自然法則及其中不滿足該條件之情形中之至少一者中，取消該虛擬資訊之該顯示。
(19)
根據(17)之資訊處理裝置，其進一步包括一第二虛擬資訊顯示控制區段，其經組態以藉由遵循一預定規則而判定以下各項中之至少一者：當在疊加於該真實場景上之情形下顯示該虛擬資訊時，該虛擬資訊之一內容是否違背一自然法則；及是否滿足一預期視覺品質之一條件，且在其中該內容違背該自然法則及其中不滿足該條件之情形中之至少一者中，改變該虛擬資訊之一顯示位置以滿足該自然法則及該視覺品質之該條件中之至少一者。
(20)
根據(14)之資訊處理裝置，其進一步包括該顯示區段。
(21)
根據(14)之資訊處理裝置，其進一步包括該投影裝置。
(22)
一種資訊處理系統，其包括：一第一資訊處理裝置，其包含一第一成像區段，其經組態以藉由一第一真實場景之成像獲得一第一真實影像，一第一圖形形式偵測區段，其經組態以自該第一真實影像偵測由一投影裝置投影在該真實場景上之一圖形形式之一影像，一特性點偵測區段，其經組態以自該真實場景之該第一真實影像即時偵測一特性點，一第一參數產生區段，其經組態以基於該圖形形式與該第一 成像區段之間的一第一位置關係而產生致使一第一顯示區段在疊加於該真實場景上之情形下顯示虛擬資訊所必需之一第一參數，且當該圖形形式自該第一真實影像消失時，基於該特性點偵測區段之一偵測結果而產生該第一參數以在最後偵測到該圖形形式之一時間點在保持與該真實場景之一第二位置關係之同時連續地顯示該虛擬資訊，一角度獲得區段，其經組態以獲得由該投影裝置投影之該影像之一光學軸與該真實場景中之一投影靶標表面之間的一角度，及一失真創建區段，其經組態以基於該所獲得之角度而創建對由該投影裝置投影之該圖形形式之失真以使由該投影裝置投影在該投影靶標表面上之該圖形形式呈一預定參考形狀，該第一參數產生區段經組態以基於該經創建失真之圖形形式與該第一成像區段之間的該第一位置關係而產生該參數；及一第二資訊處理裝置，其包含一第二成像區段，其經組態以藉由該第一真實場景之成像獲得一第二真實影像，一第二圖形形式偵測區段，其經組態以自該第二真實影像偵測由該投影裝置投影在該第一真實場景上之該經創建失真之圖形形式之一影像，及一第二參數產生區段，其經組態以基於該經創建失真之圖形形式與該第二成像區段之間的一第三位置關係而產生致使一第二顯示區段在疊加於該真實場景上之情形下顯示該虛擬資訊所必需之一第二參數。
(23)
一種資訊處理系統，其包括： 一第一資訊處理裝置，其包含一第一成像區段，其經組態以藉由一第一真實場景之成像獲得一第一真實影像，一第一圖形形式偵測區段，其經組態以自該第一真實影像偵測由一投影裝置投影在該真實場景上之一圖形形式之一影像，一特性點偵測區段，其經組態以自該真實場景之該第一真實影像即時偵測一特性點，一第一參數產生區段，其經組態以基於該圖形形式與該第一成像區段之間的一第一位置關係而產生致使一第一顯示區段在疊加於該真實場景上之情形下顯示虛擬資訊所必需之一第一參數，且當該圖形形式自該第一真實影像消失時，基於該特性點偵測區段之一偵測結果而產生該第一參數以在最後偵測到該圖形形式之一時間點在保持與該真實場景之一第二位置關係之同時連續地顯示該虛擬資訊，一角度獲得區段，其經組態以獲得由該投影裝置投影之該影像之一光學軸與該真實場景中之一投影靶標表面之間的一角度，及一傳輸區段，其經組態以將該第一參數傳輸至一第二資訊處理裝置；且該第二資訊處理裝置包含一第二成像區段，其經組態以藉由該第一真實場景之成像獲得一第二真實影像，一第二圖形形式偵測區段，其經組態以自該第二真實影像偵測由該投影裝置投影在該第一真實場景上之該圖形形式之該影像，一第二參數產生區段，其經組態以基於該圖形形式與該第二 成像區段之間的一第三位置關係而產生致使一第二顯示區段在疊加於該真實場景上之情形下顯示該虛擬資訊所必需之一第二參數，及一校正區段，其經組態以自該第一資訊處理裝置接收該第一參數且使用該所接收之第一參數校正該第二參數。
(24)
一種資訊處理方法，其包括：由一成像區段藉由一真實場景之成像獲得一真實影像；由一圖形形式偵測區段自該真實影像偵測由一投影裝置投影在該真實場景上之一圖形形式之一影像；由一特性點偵測區段自該真實場景之該真實影像即時偵測一特性點；及由一參數產生區段基於該圖形形式與該成像區段之間的一第一位置關係而產生致使一顯示區段在疊加於該真實場景上之情形下顯示虛擬資訊所必需之一參數，且當該圖形形式自該真實影像消失時，基於該特性點偵測區段之一偵測結果而產生該參數以在最後偵測到該圖形形式之一時間點在保持與該真實場景之一第二位置關係之同時連續地顯示該虛擬資訊。
本申請案含有與在2012年3月29日在日本專利局提出申請之日本優先權專利申請案JP 2012-076966中所揭示之標的物相關之標的物，該日本優先權專利申請案之全部內容特此以引用方式併入本文中。
熟習此項技術者應理解，可取決於設計要求及其他因素作出各種修改、組合、子組合及變更，只要其歸屬於隨附申請專利範圍或其等效內容之範疇內即可。
1‧‧‧資訊處理系統
100‧‧‧頭戴式顯示器
101‧‧‧成像區段
102‧‧‧顯示區段
200‧‧‧輸入裝置
201‧‧‧投影按鈕
202‧‧‧縮放滑桿
203‧‧‧電源按鈕
204‧‧‧投影窗
I‧‧‧虛擬資訊
M‧‧‧標記
T‧‧‧投影靶標
U‧‧‧使用者

Claims (13)

  1. 一種資訊處理裝置，其包括：一處理器，其經組態以執行用以進行以下操作之指令：基於一成像區段與由一輸入裝置投影在一真實空間上之一標記之一空間位置關係而產生對應於將虛擬資訊疊加於該真實空間上之一疊加參數，及致使一顯示區段在該標記係可偵測時根據該空間位置關係顯示疊加於該真實空間上之該虛擬資訊，且在該標記係不可偵測之後基於該標記之一最後偵測之位置及該成像區段之一當前位置而根據一經更新空間位置關係繼續疊加於該真實空間上之該虛擬資訊之該顯示。
  2. 如請求項1之資訊處理裝置，其中一預定事件在該標記係不可偵測之後致使疊加於該真實空間上之該虛擬資訊之該顯示停止。
  3. 如請求項2之資訊處理裝置，其中該預定事件係以下各項中之至少一者：在該標記係不可偵測之後過去一固定時間長度，該成像區段移動至少一固定距離及該成像區段旋轉至少一固定角度及移動至少一固定角度中之至少一者。
  4. 如請求項1之資訊處理裝置，其中該資訊處理裝置係包含該成像區段及該顯示區段之一第一頭戴式顯示器。
  5. 如請求項4之資訊處理裝置，其中包含該第一頭戴式顯示器之複數個頭戴式顯示器各自基於由該輸入裝置投影在該真實空間上之該標記而顯示疊加於該真實空間上之該虛擬資訊。
  6. 如請求項1之資訊處理裝置，其中該處理器進一步經組態以執行用以進行以下操作之指令：計算一經校正標記； 將該經校正標記傳輸至該輸入裝置，該輸入裝置將該經校正標記投影在該真實空間上；及偵測投影在該真實空間上之該經校正標記。
  7. 如請求項6之資訊處理裝置，其中對應於將該虛擬資訊疊加於該真實空間上之一第二疊加參數係基於一第二成像區段與由該輸入裝置投影在該真實空間上之該經校正標記之一第二空間位置關係而產生。
  8. 如請求項1之資訊處理裝置，其中當不滿足該虛擬資訊之一預期視覺品質之一條件時，校正該疊加參數。
  9. 如請求項1之資訊處理裝置，其中該輸入裝置係一個人數位助理、一智慧電話、一可攜式遊戲機中之至少一者。
  10. 如請求項1之資訊處理裝置，其中該輸入裝置包含一投影按鈕。
  11. 如請求項1之資訊處理裝置，其中該輸入裝置包含一縮放操作輸入。
  12. 一種資訊處理裝置，其包括：一接收器；及一處理器，其經組態以執行用以進行以下操作之指令：基於一成像區段與由一輸入裝置投影在一真實空間上之一標記之一空間位置關係而接收對應於將虛擬資訊疊加於該真實空間上之一疊加參數，及致使一顯示區段在該標記係可偵測時根據該空間位置關係顯示疊加於該真實空間上之該虛擬資訊，且在該標記係不可偵測之後基於該標記之一最後偵測之位置及該成像區段之一當前位置而根據一經更新空間位置關係繼續疊加於該真實空間上之該虛擬資訊之該顯示。
  13. 一種系統，其包括： 一第一資訊處理裝置，其包括：一第一處理器，其經組態以執行用以進行以下操作之指令：基於一成像區段與由一輸入裝置投影在一真實空間上之一標記之一空間位置關係而產生對應於將虛擬資訊疊加於該真實空間上之一疊加參數；及一第二資訊處理裝置，其包括：一第二處理器，其經組態以執行用以進行以下操作之指令：致使一顯示區段在該標記係可偵測時根據該空間位置關係顯示疊加於該真實空間上之該虛擬資訊，且在該標記係不可偵測之後基於該標記之一最後偵測之位置及該成像區段之一當前位置而根據一經更新空間位置關係繼續疊加於該真實空間上之該虛擬資訊之該顯示。
TW102108327A 2012-03-29 2013-03-08 資訊處理裝置，資訊處理系統及資訊處理方法 TW201350912A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012076966A JP5966510B2 (ja) 2012-03-29 2012-03-29 情報処理システム

Publications (1)

Publication Number Publication Date
TW201350912A true TW201350912A (zh) 2013-12-16

Family

ID=47901252

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102108327A TW201350912A (zh) 2012-03-29 2013-03-08 資訊處理裝置，資訊處理系統及資訊處理方法

Country Status (7)

Country Link
US (2) US9824497B2 (zh)
EP (1) EP2831849A1 (zh)
JP (1) JP5966510B2 (zh)
KR (1) KR20140136943A (zh)
CN (1) CN104205175B (zh)
TW (1) TW201350912A (zh)
WO (1) WO2013145536A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI621097B (zh) * 2014-11-20 2018-04-11 財團法人資訊工業策進會 行動裝置、操作方法及非揮發性電腦可讀取記錄媒體
TWI663525B (zh) * 2017-04-17 2019-06-21 宏達國際電子股份有限公司 追蹤系統以及追蹤方法
TWI670646B (zh) * 2018-06-15 2019-09-01 財團法人工業技術研究院 資訊顯示方法及其顯示系統
CN110908500A (zh) * 2018-09-14 2020-03-24 财团法人工业技术研究院 目标物信息的预载显示方法及装置
TWI689844B (zh) * 2017-07-11 2020-04-01 宏達國際電子股份有限公司 行動裝置以及控制方法
TWI773265B (zh) * 2021-04-21 2022-08-01 大陸商廣州立景創新科技有限公司 影像擷取組件的組裝方法

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9420251B2 (en) * 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
JP6223976B2 (ja) * 2012-07-23 2017-11-01 富士通株式会社 表示制御プログラム、表示制御方法及び表示制御装置
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US10169916B2 (en) * 2013-05-27 2019-01-01 Sony Corporation Image processing device and image processing method
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10386637B2 (en) * 2014-01-15 2019-08-20 Maxell, Ltd. Information display terminal, information display system, and information display method
JP6303550B2 (ja) * 2014-02-03 2018-04-04 ブラザー工業株式会社 表示プログラムおよび表示装置
JP6264087B2 (ja) * 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
US9715113B2 (en) 2014-03-18 2017-07-25 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
JP6451222B2 (ja) * 2014-11-04 2019-01-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6278806B2 (ja) * 2014-04-09 2018-02-14 株式会社Ｎｔｔドコモ 撮像システム及び撮像方法
JP6364952B2 (ja) * 2014-05-23 2018-08-01 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
WO2015186401A1 (ja) 2014-06-06 2015-12-10 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法及び画像処理プログラム
JP6326996B2 (ja) * 2014-06-13 2018-05-23 富士通株式会社 端末装置、情報処理システム、及び表示制御プログラム
EP3172721B1 (en) * 2014-07-24 2019-06-05 Deutsche Telekom AG Method and system for augmenting television watching experience
US10134187B2 (en) * 2014-08-07 2018-11-20 Somo Innvoations Ltd. Augmented reality with graphics rendering controlled by mobile device position
KR102309281B1 (ko) * 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
KR101651535B1 (ko) * 2014-12-02 2016-09-05 경북대학교 산학협력단 Hmd 디바이스 및 그 제어 방법
JP6651777B2 (ja) * 2015-01-14 2020-02-19 株式会社リコー 情報処理装置、情報処理方法及びプログラム
WO2016129549A1 (ja) * 2015-02-12 2016-08-18 株式会社コロプラ ヘッドマウント・ディスプレイを用いたコンテンツ視聴のための装置およびシステム
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP6631014B2 (ja) * 2015-02-27 2020-01-15 セイコーエプソン株式会社 表示システム、及び表示制御方法
WO2016141263A1 (en) * 2015-03-04 2016-09-09 Oculus Vr, Llc Sparse projection for a virtual reality system
WO2016185563A1 (ja) * 2015-05-19 2016-11-24 日立マクセル株式会社 ヘッドマウントディスプレイ、ヘッドアップディスプレイ、及び映像表示方法
CN106445088B (zh) * 2015-08-04 2020-05-22 上海宜维计算机科技有限公司 现实增强的方法及系统
JP6703747B2 (ja) * 2015-09-18 2020-06-03 株式会社リコー 情報表示装置、情報提供システム、移動体装置、情報表示方法及びプログラム
JP6582847B2 (ja) * 2015-10-07 2019-10-02 株式会社リコー 情報処理装置、情報処理方法及びプログラム
TWI590189B (zh) * 2015-12-23 2017-07-01 財團法人工業技術研究院 擴增實境方法、系統及電腦可讀取非暫態儲存媒介
JP6690277B2 (ja) * 2016-02-09 2020-04-28 富士通株式会社 画像処理制御方法、画像処理制御プログラムおよび情報処理装置
WO2017156486A1 (en) 2016-03-11 2017-09-14 Oculus Vr, Llc Corneal sphere tracking for generating an eye model
US10115205B2 (en) 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
CN105867617B (zh) * 2016-03-25 2018-12-25 京东方科技集团股份有限公司 增强现实设备、系统、图像处理方法及装置
US10249090B2 (en) * 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
JP2018004756A (ja) * 2016-06-28 2018-01-11 株式会社リコー 情報表示システム
JP6834537B2 (ja) 2017-01-30 2021-02-24 株式会社リコー 表示装置、移動体装置、表示装置の製造方法及び表示方法。
CN107918499B (zh) * 2016-10-09 2022-09-06 北京墨土科技有限公司 光学定位系统及方法、定位用光学观测设备
CN107979748A (zh) * 2016-10-21 2018-05-01 中强光电股份有限公司 投影机、投影系统以及影像投影方法
CN108062786B (zh) * 2016-11-08 2022-12-30 台湾国际物业管理顾问有限公司 以三维信息模型为基础的综合感知定位技术应用系统
JP6171079B1 (ja) * 2016-12-22 2017-07-26 株式会社Ｃｙｇａｍｅｓ 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
CN106843497A (zh) * 2017-02-24 2017-06-13 北京观动科技有限公司 一种混合现实信息交互方法及装置
US10509556B2 (en) * 2017-05-02 2019-12-17 Kyocera Document Solutions Inc. Display device
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
JP2019061590A (ja) * 2017-09-28 2019-04-18 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
US10803666B1 (en) * 2017-09-28 2020-10-13 Apple Inc. Method and device for synchronizing augmented reality coordinate systems
CN109587188B (zh) * 2017-09-28 2021-10-22 阿里巴巴集团控股有限公司 确定终端设备之间相对位置关系的方法、装置及电子设备
WO2019069575A1 (ja) * 2017-10-05 2019-04-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN109658514B (zh) * 2017-10-11 2022-03-11 腾讯科技（深圳）有限公司 一种数据处理方法、装置和计算机存储介质
CN107861247B (zh) * 2017-12-22 2020-08-25 联想(北京)有限公司 光学部件及增强现实设备
CN110119190A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 定位方法、装置、识别跟踪系统及计算机可读介质
CN110392251B (zh) * 2018-04-18 2021-07-16 广景视睿科技（深圳）有限公司 一种基于虚拟现实的动态投影方法及系统
CN108579084A (zh) * 2018-04-27 2018-09-28 腾讯科技（深圳）有限公司 虚拟环境中的信息显示方法、装置、设备及存储介质
US10771727B2 (en) * 2018-04-27 2020-09-08 Vital Optics, Inc Monitoring system with heads-up display
EP3864493A1 (en) * 2018-10-09 2021-08-18 Google LLC Selecting augmented reality objects for display based on contextual cues
JP2022513013A (ja) * 2018-11-15 2022-02-07 コーニンクレッカ フィリップス エヌ ヴェ 複合現実のための仮想オブジェクトの体系的配置
JP7170517B2 (ja) * 2018-11-29 2022-11-14 前田建設工業株式会社 トンネルにおけるａｒマーカー設置方法
JP6641454B1 (ja) * 2018-12-13 2020-02-05 エイベックス株式会社 端末装置及びプログラム
JP6827609B2 (ja) * 2019-01-10 2021-02-10 三菱電機株式会社 情報表示制御装置及び方法、並びにプログラム及び記録媒体
TWI725574B (zh) * 2019-02-22 2021-04-21 宏達國際電子股份有限公司 頭戴式顯示裝置以及眼球追蹤游標的顯示方法
WO2020185405A1 (en) * 2019-03-12 2020-09-17 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
JP7277187B2 (ja) 2019-03-13 2023-05-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
US11294453B2 (en) * 2019-04-23 2022-04-05 Foretell Studios, LLC Simulated reality cross platform system
US11663736B2 (en) * 2019-12-27 2023-05-30 Snap Inc. Marker-based shared augmented reality session creation
CN113766167A (zh) * 2020-06-04 2021-12-07 中国移动通信有限公司研究院 全景视频会议增强方法、系统和网络设备
WO2021256310A1 (ja) * 2020-06-18 2021-12-23 ソニーグループ株式会社 情報処理装置、端末装置、情報処理システム、情報処理方法およびプログラム
TWI779305B (zh) * 2020-06-24 2022-10-01 奧圖碼股份有限公司 使用擴增實境之投影機的設置模擬方法及其終端裝置
US11893698B2 (en) * 2020-11-04 2024-02-06 Samsung Electronics Co., Ltd. Electronic device, AR device and method for controlling data transfer interval thereof
JP7318670B2 (ja) * 2021-01-27 2023-08-01 セイコーエプソン株式会社 表示方法および表示システム
CN113934294A (zh) * 2021-09-16 2022-01-14 珠海虎江科技有限公司 虚拟现实显示设备及其对话窗口显示方法、计算机可读存储介质
DE102022201351A1 (de) * 2022-02-09 2023-08-10 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zu einer Nutzeraktivitätserkennung für Datenbrillen und Datenbrille
JP2023177422A (ja) * 2022-06-02 2023-12-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4242529B2 (ja) * 1999-10-27 2009-03-25 オリンパス株式会社 関連情報呈示装置及び関連情報呈示方法
JP2002324239A (ja) 2001-04-25 2002-11-08 Olympus Optical Co Ltd 情報呈示システム
JP3944019B2 (ja) * 2002-07-31 2007-07-11 キヤノン株式会社 情報処理装置および方法
CN100416336C (zh) 2003-06-12 2008-09-03 美国西门子医疗解决公司 校准真实和虚拟视图
WO2005010817A1 (ja) 2003-07-24 2005-02-03 Olympus Corporation 画像処理装置
JP4532982B2 (ja) * 2004-05-14 2010-08-25 キヤノン株式会社 配置情報推定方法および情報処理装置
JP4708752B2 (ja) * 2004-09-28 2011-06-22 キヤノン株式会社 情報処理方法および装置
JP5075330B2 (ja) 2005-09-12 2012-11-21 任天堂株式会社 情報処理プログラム
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
JP2007272623A (ja) 2006-03-31 2007-10-18 Brother Ind Ltd 画像合成装置及び画像合成プログラム
JP4777182B2 (ja) 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
JP4689639B2 (ja) * 2007-04-25 2011-05-25 キヤノン株式会社 画像処理システム
JP4341723B2 (ja) * 2008-02-22 2009-10-07 パナソニック電工株式会社 光投影装置、照明装置
US20100107081A1 (en) * 2008-10-24 2010-04-29 Infocus Corporation Projection device image viewer user interface
JP5236546B2 (ja) * 2009-03-26 2013-07-17 京セラ株式会社 画像合成装置
JP4816789B2 (ja) * 2009-11-16 2011-11-16 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
CN105843396B (zh) * 2010-03-05 2019-01-01 索尼电脑娱乐美国公司 在共享的稳定虚拟空间上维持多视图的方法
CN102939139B (zh) * 2010-04-13 2015-03-04 索尼电脑娱乐美国公司 共享虚拟空间中便携式设备的校准
CN102122072B (zh) * 2011-03-16 2016-04-13 北京理工大学 头戴式微投影立体视觉显示器

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI621097B (zh) * 2014-11-20 2018-04-11 財團法人資訊工業策進會 行動裝置、操作方法及非揮發性電腦可讀取記錄媒體
TWI663525B (zh) * 2017-04-17 2019-06-21 宏達國際電子股份有限公司 追蹤系統以及追蹤方法
US10467456B2 (en) 2017-04-17 2019-11-05 Htc Corporation Tracking system for tracking an object based on silhouette
TWI689844B (zh) * 2017-07-11 2020-04-01 宏達國際電子股份有限公司 行動裝置以及控制方法
TWI670646B (zh) * 2018-06-15 2019-09-01 財團法人工業技術研究院 資訊顯示方法及其顯示系統
US10614780B2 (en) 2018-06-15 2020-04-07 Industrial Technology Research Institute Method of displaying information and displaying system thereof
CN110908500A (zh) * 2018-09-14 2020-03-24 财团法人工业技术研究院 目标物信息的预载显示方法及装置
TWI718410B (zh) * 2018-09-14 2021-02-11 財團法人工業技術研究院 目標物資訊的預載顯示方法及裝置
US10977492B2 (en) 2018-09-14 2021-04-13 Industrial Technology Research Institute Method and apparatus for preload display of object information
CN110908500B (zh) * 2018-09-14 2023-06-02 财团法人工业技术研究院 目标物信息的预载显示方法及装置
TWI773265B (zh) * 2021-04-21 2022-08-01 大陸商廣州立景創新科技有限公司 影像擷取組件的組裝方法

Also Published As

Publication number Publication date
WO2013145536A1 (en) 2013-10-03
CN104205175A (zh) 2014-12-10
JP5966510B2 (ja) 2016-08-10
US9824497B2 (en) 2017-11-21
US20180096536A1 (en) 2018-04-05
CN104205175B (zh) 2017-11-14
US20150070389A1 (en) 2015-03-12
EP2831849A1 (en) 2015-02-04
KR20140136943A (ko) 2014-12-01
US10198870B2 (en) 2019-02-05
JP2013206322A (ja) 2013-10-07

Similar Documents

Publication Publication Date Title
US10198870B2 (en) Information processing apparatus, information processing system, and information processing method
JP5912059B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
US10942024B2 (en) Information processing apparatus, information processing method, and recording medium
US9778464B2 (en) Shape recognition device, shape recognition program, and shape recognition method
US10852847B2 (en) Controller tracking for multiple degrees of freedom
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
JP6586824B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
US10999412B2 (en) Sharing mediated reality content
WO2015181827A1 (en) Method and system for image georegistration
EP3152737A1 (en) In-time registration of temporally separated image acquisition
WO2019142560A1 (ja) 視線を誘導する情報処理装置
US9760180B2 (en) User interface device and user interface method
JP6882147B2 (ja) 操作案内システム
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019087136A (ja) 画面表示制御方法および画面表示制御システム
JP5520772B2 (ja) 立体画像の表示システム及び表示方法
JP2023044464A (ja) 映像表示システム、映像表示装置、および映像表示方法