TW201403443A - 資訊處理設備、顯示控制方法及程式 - Google Patents

資訊處理設備、顯示控制方法及程式 Download PDF

Info

Publication number
TW201403443A
TW201403443A TW102110495A TW102110495A TW201403443A TW 201403443 A TW201403443 A TW 201403443A TW 102110495 A TW102110495 A TW 102110495A TW 102110495 A TW102110495 A TW 102110495A TW 201403443 A TW201403443 A TW 201403443A
Authority
TW
Taiwan
Prior art keywords
information
real
information processing
display
processing device
Prior art date
Application number
TW102110495A
Other languages
English (en)
Inventor
Kenichirou Ooi
Akihiko Kaino
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201403443A publication Critical patent/TW201403443A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

有提出一種資訊處理設備，包括一影像取得單元，其使用一影像拾取設備來取得藉由成像一實空間所產生的一輸入影像、一顯示控制單元，其將與輸入影像中顯示的一或更多真實物件關聯的虛擬物件加疊在輸入影像上、及一選擇單元，其在一使用者從一或更多真實物件之間指定至少一真實物件之後，選擇所指定的真實物件為跨複數個訊框的一有關物件。顯示控制單元根據有關物件與影像拾取設備之間的一相對位置或位態來改變關聯於有關物件之虛擬物件所顯示的顯示資訊。

Description

資訊處理設備、顯示控制方法及程式
本技術關於一種資訊處理設備、一種顯示控制方法、以及一種程式。
本揭露包含關於在2012/4/11申請於日本專利局之揭露於日本優先權專利申請書第JP 2012-090049號之主題的主題，特此藉由引用來合併其全部內容。
近年來，稱為強化實境(AR)的技術已經引起了關注，其中將額外資訊加疊在實空間上並對使用者呈現此加疊的額外資訊。在AR技術中呈現給使用者的資訊被稱為註解，且能使用為如文字、圖像、或動畫之各種形式的虛擬物件來顯現。註解通常顯示在關聯於輸入影像中顯示的任何真實物件之位置。
當透過AR技術提供資訊給使用者時，不遺失資訊的可見性是很重要的。若有許多呈現資訊，則由於過多虛擬物件被加疊在影像上的結果而易於降低可見性。因此，下面的[PTL 1]提出了藉由將複數個虛擬物件整合成一個集 體的虛擬物件來提高資訊的可見性。
[引用列表] [專利文獻]
[PTL 1]
JP 2010-238098A
然而，使用者所請求的資訊通常只是所呈現之雜項資訊的一部分。若使用者所希望的資訊被整合而未與其他資訊作區分，則反而可能會導致可見性降低。另外，當加疊在影像上的資訊能隨著使用者本身移動或使用者移動終端的結果來改變時，上述[PTL 1]未提出一種有利的解決方法，關於使用者所希望的資訊應該如何在上述改變的情況下被處理。
由此，希望提供一種配置能在透過AR應用程式所呈現的大量資訊內區分使用者所希望的資訊與其他資訊，並能選擇性地提高此希望的資訊之可見性。
根據本揭露之實施例，有提出一種資訊處理設備，包括一影像取得單元，其使用一影像拾取設備來取得藉由成像一實空間(real space)所產生的一輸入影像、一顯示控制單元，其將與輸入影像中顯示的一或更多真實物件關 聯的虛擬物件加疊在輸入影像上、及一選擇單元，其在一使用者從一或更多真實物件之間指定至少一真實物件之後，選擇所指定的真實物件為跨複數個訊框的一有關物件。顯示控制單元根據有關物件與影像拾取設備之間的一相對位置或位態來改變關聯於有關物件之虛擬物件所顯示的顯示資訊。
再者，根據本揭露之實施例，有提出一種顯示控制方法，包括使用一影像拾取設備來取得藉由成像一實空間所產生的一輸入影像、將與輸入影像中顯示的一或更多真實物件關聯的虛擬物件加疊在輸入影像上、在一使用者從一或更多真實物件之間指定至少一真實物件之後，選擇所指定的真實物件為跨複數個訊框的一有關物件、及根據有關物件與影像拾取設備之間的一相對位置或位態來改變關聯於有關物件之虛擬物件所顯示的顯示資訊。
另外，根據本揭露之實施例，有提出一種程式，用來使一電腦控制一資訊處理設備以操作成：一影像取得單元，其使用一影像拾取設備來取得藉由成像一實空間所產生的一輸入影像、一顯示控制單元，其將與輸入影像中顯示的一或更多真實物件關聯的虛擬物件加疊在輸入影像上、及一選擇單元，其在一使用者從一或更多真實物件之間指定至少一真實物件之後，選擇所指定的真實物件為跨複數個訊框的一有關物件。顯示控制單元根據有關物件與影像拾取設備之間的一相對位置或位態來改變關聯於有關物件之虛擬物件所顯示的顯示資訊。
根據本揭露之實施例，能選擇性地提高使用者在透過AR應用程式所呈現的大量資訊內所希望的資訊之可見性。
10‧‧‧實空間
100‧‧‧資訊處理設備
102‧‧‧影像拾取單元
110‧‧‧顯示單元
Ua‧‧‧使用者
12a-12e‧‧‧真實物件
V01-V07‧‧‧虛擬物件
Im01‧‧‧影像
ST1‧‧‧狀態
ST2‧‧‧狀態
14a‧‧‧真實物件
14b‧‧‧真實物件
104‧‧‧感測單元
106‧‧‧輸入單元
108‧‧‧儲存單元
112‧‧‧通訊單元
116‧‧‧匯流排
118‧‧‧控制單元
120‧‧‧影像取得單元
130‧‧‧資料取得單元
140‧‧‧環境辨識單元
150‧‧‧環境資料庫
160‧‧‧選擇單元
170‧‧‧顯示控制單元
180‧‧‧註解DB
15a-15f‧‧‧真實物件
16a-16e‧‧‧真實物件
17a-17c‧‧‧真實物件
Va-Vc‧‧‧法線向量
184a-184h‧‧‧註解
20‧‧‧菜單例子
R21‧‧‧菜單項目
S110-S180‧‧‧步驟
第1圖係用於說明根據本發明之實施例之資訊處理設備的概要之說明圖。
第2圖係用於說明能由現有的AR技術顯示之影像的實例之說明圖。
第3圖係用於說明著重顯示位於影像中心之虛擬物件的實例之說明圖。
第4圖係用於說明關於本揭露之技術的基本原理之說明圖。
第5圖係顯示根據本揭露之實施例之資訊處理設備的硬體配置之實例的方塊圖。
第6圖係顯示根據本揭露之實施例之資訊處理設備的邏輯功能配置之實例的方塊圖。
第7圖係說明用於選擇一預設物件之標準的第一實例之說明圖。
第8圖係說明用於選擇一預設物件之標準的第二實例之說明圖。
第9圖係說明用於選擇一預設物件之標準的第三實例 之說明圖。
第10圖係顯示用於鎖定一有關物件之使用者介面的實例之說明圖。
第11圖係說明用於控制顯示資訊之控制參數的第一實例之說明圖。
第12圖係說明用於控制顯示資訊之控制參數的第二實例之說明圖。
第13圖係說明用於控制顯示資訊之控制參數的第三實例之說明圖。
第14圖係顯示註解DB之配置的實例之說明圖。
第15A圖係用於說明根據大小來控制顯示資訊之實例的第一說明圖。
第15B圖係用於說明根據大小來控制顯示資訊之實例的第二說明圖。
第16A圖係用於說明根據距離來控制顯示資訊之實例的第一說明圖。
第16B圖係用於說明根據距離來控制顯示資訊之實例的第二說明圖。
第17A圖係用於說明根據角度來控制顯示資訊之實例的第一說明圖。
第17B圖係用於說明根據角度來控制顯示資訊之實例的第二說明圖。
第18圖係顯示處於未鎖定狀態之顯示控制程序的流程之實例的流程圖。
第19圖係顯示處於鎖定狀態之顯示控制程序的流程之實例的流程圖。
在下文中，將參考附圖來詳細說明本揭露之較佳實施例。請注意在本說明書和附圖中，具有本質上相同功能和結構的結構元件係以相同參考數字來表示，並省略這些結構元件的重覆說明。
將依下列順序來提出說明。
1. 概要
2. 根據實施例之設備的配置
2-1. 硬體配置
2-2. 功能配置
2-3. 控制顯示資訊的實例
3. 程序流程
3-1. 未鎖定狀態
3-2. 鎖定狀態
4. 結論
1. 概要
首先，將使用第1至4圖來說明關於本揭露之技術的概要。
第1圖係用於說明根據本發明之實施例之資訊處理設備100的概要之說明圖。參考第1圖，資訊處理設備100 被顯示為由使用者Ua處理。資訊處理設備100包括具有指向實空間10之透鏡的影像拾取單元102、和顯示單元110。在第1圖之實例中，各種真實物件12a至12e係存在於實空間10中。資訊處理設備100的影像拾取單元102成像實空間10。資訊處理設備100的控制單元(未顯示在圖中)接收影像拾取單元102所拾取的影像作為輸入影像，並操作強化實境(AR)應用程式。與輸入影像中顯示的一或更多真實物件之各者關聯的虛擬物件加疊在從AR應用程式輸出的影像上。顯示單元110顯示虛擬物件之加疊影像。
在第1圖，顯示可攜式終端作為資訊處理設備100的實例。然而，資訊處理設備100並不限於上述實例。資訊處理設備100可以是例如PC(個人電腦)、PDA(個人數位助理)、智慧型手機、遊戲終端、PND(可攜式導航裝置)、內容播放器、或數位家用電器。此外，AP應用程式可操作在能夠與終端通訊的另一應用程式(例如，應用程式服務)上而不是操作在使用者所操作的終端上。
第2圖係用於說明能由現有的AR技術顯示之影像的實例之說明圖。參考第2圖，一些虛擬物件V01至V07被加疊在影像Im01上。每個虛擬物件顯示關於關聯於各自虛擬物件之真實物件的資訊。然而，當存在上述雜項資訊時，將降低AR應用程式的可見性。通常，使用者所請求的資訊只是此資訊的一部分。在第2圖之實例中，假設使用者對關於真實物件12a的資訊(亦即，由虛擬物件 V01顯示的資訊)有興趣。然而，由於不只虛擬物件V01，還有一些其他虛擬物件被加疊在影像Im01上，因此使用者不容易從各種資訊之間識別出關於真實物件12a的資訊。
第3圖顯示著重顯示位於影像中心之虛擬物件的實例。參考第3圖，類似於第1圖之一些虛擬物件V01至V07被加疊在影像Im02上。然而，在第3圖之實例中，關聯於位於影像中心之虛擬物件的虛擬物件V03被顯示大於其他虛擬物件。藉由上述著重顯示，能確保至少此時此刻之特定資訊的可見性。
然而，如上所述，AR應用程式通常使用影像拾取設備(其係安裝於使用者所攜帶的終端)所拾取的影像作為輸入影像。在使用者隨終端移動之情況下，很難繼續保持終端的位置和位態，使得相機角度不改變。因此，當假設一種如使用者移動或使用者移動終端的情況，很難說僅藉由著重顯示預定位置(例如在影像中心)的虛擬物件能充分確保使用者所希望的資訊之可見性。
由此，在關於本揭露之技術中，採用一種配置為允許使用者以簡單技術來指定有關的真實物件(以下稱為「有關物件」)。而且，藉由保持指定跨複數個訊框的有關物件，會不斷提高關於有關物件之資訊的可見性而不會受到相機角度改變的影響。
第4圖係用於說明關於本揭露之技術的基本原理之說明圖。
參考第4圖，顯示狀態轉換在兩個狀態ST1與ST2之間。狀態ST1係為尚未指定有關物件的狀態。AR應用程式的初始狀態可以是狀態ST1。狀態ST2係為已指定有關物件的狀態。從狀態ST1到狀態ST2的轉換在本揭露中被稱為「鎖定(有關物件)」。鎖定的觸發通常可以是某種使用者輸入。從狀態ST2到狀態ST1的轉換在本揭露中被稱為「鎖定解除」。鎖定解除的觸發通常可以是例如某種使用者輸入、或可以是從鎖定時間預定的經過時間。
在第4圖之右上側的影像Im11和影像Im12係為能顯示在尚未鎖定有關物件之狀態ST1下的影像之實例。從影像Im11中顯示的複數個真實物件之間選擇真實物件14a作為一預設物件。關聯於預設物件14a的虛擬物件比其他虛擬物件更被著重顯示。然而，當相機角度改變時，預設物件也會改變。例如，在影像Im12中，選擇真實物件14b代替真實物件14a作為預設物件。
相比之下，在第4圖之右下側的影像Im21和影像Im22係為能顯示在已鎖定有關物件之狀態ST2下的影像之實例。從影像Im21中顯示的複數個真實物件之間選擇真實物件14a作為一有關物件。關聯於有關物件14a的虛擬物件比其他虛擬物件更被著重顯示。即使相機角度改變，鎖定的有關物件仍不會改變。例如，在影像Im22中，真實物件14a仍被選擇作為有關物件，且關聯於有關物件14a的虛擬物件比其他虛擬物件更被著重顯示。
藉由具有跨複數個訊框所保持之有關物件的上述選擇，在對應於終端移動之顯示資訊改變的情況下，能提供關於使用者感興趣之真實物件的資訊高可見性而使用者不會看不見它。依據下面的部分將詳細說明用於進行上述配置的實施例。
2. 根據實施例之設備的配置 2-1. 硬體配置
第5圖係顯示根據實施例之資訊處理設備100的硬體配置之一個實例的方塊圖。如第5圖所示，資訊處理設備100包括影像拾取單元102、感測單元104、輸入單元106、儲存單元108、顯示單元110、通訊單元112、匯流排116、及控制單元118。
(1)影像拾取單元
影像拾取單元102係為拾取影像的相機模組。影像拾取單元102使用如CCD(電荷耦合裝置)或CMOS(互補金屬氧化物半導體)的影像拾取元件來成像實空間以產生拾取影像。影像拾取單元102所產生的拾取影像係作為用於控制單元118所進行之顯示控制處理的輸入影像。請注意影像拾取單元102不必是資訊處理設備100的一部分。作為一個實例，無線地或使用線路連接資訊處理設備100的影像拾取設備可被視為影像拾取單元102。
(2)感測單元
感測單元104可包括如定位感測器(例如，GPS(全球定位系統)模組)、地磁感測器、加速度感測器、及陀螺儀感測器的各種感測器。定位感測器測量終端的目前位置。地磁感測器測量終端的目前姿態(方向)。感測單元104所得之測量結果可用於各種應用，例如取得特用於地理位置的資料、支援環境辨識、並偵測使用者輸入。請注意可從資訊處理設備100的配置中省略感測單元104。
(3)輸入單元
輸入單元106係為由使用者用以操作資訊處理設備100或將資訊輸入至資訊處理設備100的輸入裝置。作為一個實例，輸入單元106可包括偵測使用者在顯示單元110之螢幕上所觸碰的觸控感測器。替代地(或額外地)，輸入單元106可包括如滑鼠或觸控墊的指向裝置。再者，輸入單元106可包括其他類型的輸入裝置，例如鍵盤、小鍵盤、按鈕、或開關。
(4)儲存單元
儲存單元108包括如半導體記憶體或硬碟機的儲存媒體，且儲存程式和資料以被資訊處理設備100處理。儲存單元108所儲存的資料可包括稍後說明的拾取影像資料、感測資料、及各種資料庫(DB)中的資料。請注意本說明中所述之一些程式和資料亦可從外部資料來源(例如， 資料伺服器、網路儲存器、或外部記憶體)取得而沒有儲存在儲存單元108中。
(5)顯示單元
顯示單元110係為包括如LCD(液晶顯示器)、OLED(有機發光二極體)、或CRT(陰極射線管)之顯示器的顯示模組。作為一個實例，顯示單元110係用來顯示資訊處理設備100所產生之AR應用程式的影像。請注意顯示單元110也不必是資訊處理設備100的一部分。作為一個實例，無線地或使用線路連接資訊處理設備100的顯示設備可被視為顯示單元110。
(6)通訊單元
通訊單元112係為當作由資訊處理設備100與其他設備之間進行通訊之媒介的通訊介面。通訊單元112支援任意的無線通訊協定或有線通訊協定，並建立與其他設備的通訊連線。
(7)匯流排
匯流排116相互連接影像拾取單元102、感測單元104、輸入單元106、儲存單元108、顯示單元110、通訊單元112、及控制單元118。
(8)控制單元
控制單元118相當於如CPU(中央處理單元)或DSP(數位信號處理器)的處理器。藉由執行儲存在儲存單元108或另一儲存媒體中的程式，控制單元118使資訊處理設備100以如稍後所述之各種方式來操作。
2-2. 功能配置
第6圖係顯示由第5圖所示之資訊處理設備100的儲存單元108和控制單元118所實作之邏輯功能配置之實例的方塊圖。參考第6圖，資訊處理設備100具有影像取得單元120、資料取得單元130、環境辨識單元140、環境資料庫(DB)150、選擇單元160、顯示控制單元170、及註解DB 180。
(1)影像取得單元
影像取得單元120取得由影像拾取單元102產生的拾取影像作為輸入影像。影像取得單元120所取得的輸入影像係為投射實空間的影像。這些輸入影像通常是包括在移動影像中的每個訊框。影像取得單元120將取得的輸入影像輸出至環境辨識單元140和顯示控制單元170。
(2)資料取得單元
資料取得單元130取得用於藉由環境辨識單元140之環境辨識和用於藉由顯示控制單元170之顯示控制的資料。例如，資料取得單元130可取得感測單元140所產生 的感測資料(例如，位置資料和位態資料)。再者，資料取得單元130可藉由使用終端的目前位置來詢問外部資料庫，取得關於存在於終端的目前位置附近之真實物件的資料(例如，之後說明的地圖資料、影像辨識的特殊資料、註解資料或之類)。
(3)環境辨識單元
環境辨識單元140辨識輸入影像中顯示的一或更多真實物件。環境辨識單元140可辨識例如基於使每個真實物件之識別符關聯於實空間內之位置的地圖資料，來進入依據終端之位置和位態所判斷之相機角度的真實物件。環境辨識單元140可經由資料取得單元130從外部資料庫取得此地圖資料。替代地，環境辨識單元140可藉由將如SURF法(參考H.Bay,A.Ess,T.Tuytelaars和L.V.Gool,「Speeded-Up Robust Features(SURF)」，2006年計算機視覺-ECCV)、或SLAM法(參考Andrew J.Davison，「Real-Time Simultaneous Localization and Mapping with a Single Camera」，2003年第九屆IEEE計算機視覺國際會議，第2卷，第1403-1410頁)的熟知環境辨識技術應用至輸入影像來辨識輸入影像中顯示的一或更多真實物件。環境辨識單元140將環境辨識結果儲存在環境DB 150中。
請注意在選擇有關物件時，亦即，在鎖定狀態下，環境辨識單元140可僅識別輸入影像內的有關物件。以此方 式，能減少環境辨識程序所需的處理成本。在未鎖定狀態下，環境辨識單元140辨識輸入影像內的預設物件及其他真實物件。
(4)環境DB
環境DB 150係為儲存由環境辨識單元140進行之環境辨識結果的資料庫。環境DB 150所儲存的環境辨識結果可包括例如全球座標系統中所辨識之真實物件和終端的三維位置和位態。再者，環境辨識結果可包括特用於終端之座標系統(通常係為一種具有在垂直、水平和深度方向上之軸和被視為標準之影像拾取表面的座標系統)中所辨識之真實物件的位置和位態。此外，環境辨識結果可包括在影像拾取表面之二維座標系統中的所辨識之真實物件的位置。之後說明的顯示控制單元170能藉由使用環境DB 150所儲存的這項資料來判定AR空間內虛擬物件的位置。
(5)選擇單元
選擇單元160從輸入影像中顯示的一或更多真實物件中選擇預設物件或有關物件。例如，在使用者尚未指定有關物件的未鎖定狀態(第4圖所示之狀態ST1)下，選擇單元160從輸入影像中顯示的真實物件之間選擇由一特定標準規範的真實物件作為預設物件。另外，當使用者指定至少一個真實物件時，選擇單元160選擇(鎖定)所指定 的真實物件作為有關物件。選擇單元160繼續選擇所指定的真實物件作為跨複數個訊框的有關物件，儘管在鎖定狀態(第4圖所示之狀態ST2)中，直到解除指定有關物件為止。
(5-1)預設物件之選擇
在本實施例中，選擇單元160依照一特定標準自動地選擇預設物件。特定標準可以是例如關於輸入影像內真實物件的二維位置、實空間內真實物件之三維位置、及以影像拾取設備視為標準之真實物件的位態之至少一者的標準。
第7圖係說明用於選擇一預設物件之標準的第一實例之說明圖。在第一實例中，用於選擇一預設物件之標準關於輸入影像內之真實物件的二維位置。更具體來說，選擇位於最接近輸入影像中心的真實物件作為預設物件。參考第7圖，以在輸入影像Im31內識別真實物件15a至15f為例。從這些真實物件15a至15f之間，真實物件15a在關於影像拾取表面的XY平面上係位於最接近輸入影像中心。因此，在第一實例中，選擇單元160選擇真實物件15a作為預設物件。請注意並不限於上述實例，且選擇單元160可選擇位於輸入影像內一預定任意位置的真實物件作為預設物件。
第8圖係說明用於選擇一預設物件之標準的第二實例之說明圖。在第二實例中，用於選擇一預設物件之標準關 於實空間內之真實物件的三維位置。更具體來說，選擇位於離實空間內之終端一預定距離所隔開之位置的真實物件作為預設物件。在此，預定距離可由使用者設定，或可根據AR應用程式的目的來定義。參考第8圖，在輸入影像Im32內識別真實物件16a至16e為例。真實物件16a至16e之各者與終端之間的距離分別係為距離D1至De。在此，假設被提供作為選擇標準的預定距離Ddft最接近距離Da。在這種情況下，選擇單元160選擇真實物件16a作為預設物件。
第9圖係說明用於選擇一預設物件之標準的第三實例之說明圖。在第三實例中，用於選擇預設物件之標準關於影像拾取設備之真實物件的位態、及輸入影像內之真實物件的二維位置。更具體來說，從顯示在輸入影像中心之預定區域上的真實物件之間，能選擇面向影像拾取表面的真實物件(面向影像拾取表面之方向的這個真實物件前面)作為預設物件。在第9圖之實例中，預定區域係為區域CA。真實物件17a至17c係顯示在輸入影像Im33內的區域CA中作為一實例。真實物件17a至17c的位態會被環境辨識單元140辨識，且能例如分別由法線向量Va至Vc表示。法線向量Va大致垂直於影像拾取表面，而另一方面，法線向量Vb和Vc具有從垂直於影像拾取表面顯著偏離的角度。在這種情況下，選擇單元160選擇真實物件17a作為預設物件。
請注意第7至9圖所示之預設物件的選擇標準都只是 實例。上述標準可以任何方式來結合，或可使用其他選擇標準來選擇預設物件。
(5-2)有關物件之選擇
選擇單元160根據偵測用於鎖定一有關物件的觸發之偵測從未鎖定狀態轉換成鎖定狀態，並選擇處於鎖定狀態的有關物件。用於鎖定一有關物件的觸發能經由資訊處理設備100提供的使用者介面來偵測。此使用者介面可以是顯示在螢幕上的圖形使用者介面，或可以是如按鍵、或按鈕的實體使用者介面。再者，可基於手勢辨識或語音辨識來使用使用者介面。
更具體來說，在本實施例中，選擇單元160選擇當經由使用者介面偵測預定使用者輸入時選擇的預設物件作為有關物件。因此，調整終端的位置或位態，以便選擇使用者有興趣的真實物件作為預設物件，而之後使用者能藉由提供觸發給如上所述之資訊處理設備100來鎖定此真實物件作為有關物件。
第10圖係顯示用於鎖定一有關物件之使用者介面的實例之說明圖。第10圖之左側顯示處於未鎖定狀態的真實物件18a，其被選擇作為預設物件。在螢幕上，關聯於真實物件18a的虛擬物件V11被加疊在影像上。在此，使用者按下按鈕B1。接著，選擇單元160從未鎖定狀態轉換成鎖定狀態。第10圖之右側顯示處於鎖定狀態的真實物件18a，其被選擇作為有關物件。此外，在螢幕上，虛 擬物件V11的顯示與顯示用於通知使用者真實物件18a被鎖定為有關物件的信息一起改變。根據上述使用者介面，使用者不必在螢幕上從輸入影像中顯示的複數個真實物件之間具體指定選擇哪個真實物件作為有關物件。請注意如上所述，可使用其他類型的使用者輸入(例如對螢幕的觸碰輸入或語音命令)來鎖定有關物件而不是推動按鈕B1。
當有關物件被鎖定一次時，選擇單元160繼續選擇跨複數個訊框的相同有關物件，而無須依據輸入影像內有關物件的位置或位態。由此，即使使用者移動或終端在鎖定狀態下移動，仍保持有關物件，且能繼續呈現關於有關物件的資訊。用於解除鎖定的觸發可以是類似於用於鎖定有關物件之上述觸發的使用者輸入，或可以是從鎖定時間預定的經過時間。
(6)顯示控制單元
顯示控制單元170控制強化實境(AR)應用程式的顯示。更具體來說，顯示控制單元170從註解DB 180取得關於輸入影像中顯示之真實物件的資訊，並將顯示所取得資訊的虛擬物件加疊在關聯於真實物件的輸入影像上。
在未鎖定有關物件的未鎖定狀態下，顯示控制單元170控制關聯於預設物件的虛擬物件之顯示，使得選擇單元160所選擇的預設物件能夠被使用者識別。例如，顯示控制單元170將關聯於預設物件的虛擬物件之如形狀、大 小、亮度、顏色、或滲透性的顯示屬性設定為與其他虛擬物件不同的值。
在已鎖定有關物件的鎖定狀態下，顯示控制單元170控制關聯於此有關物件的虛擬物件之顯示，使得選擇單元160所選擇的有關物件能夠被使用者識別。關於有別於有關物件之真實物件的資訊可簡要地顯示或完全不顯示，使得使用者只辨識有關物件的存在。
另外，顯示控制單元170根據預設或有關物件與影像拾取設備之間的相對位置和位態之至少一者來改變關聯於預設物件或有關物件之虛擬物件所顯示的顯示資訊。例如，顯示控制單元170計算至少一個控制參數，其取決於有關物件與影像拾取設備之間的相對位置或位態。接著，顯示控制單元170依照所計算的控制參數來改變顯示資訊。
例如，顯示控制單元170可隨著影像拾取設備離有關物件(預設物件)的距離減少而增加顯示資訊的粒度。在本揭露中，資訊的粒度具有資訊細節之程度的意義。一般來說，具有高粒度的資訊比具有低粒度的資訊來得多。例如，在口頭資訊提供服務中，它能表示如產品之名稱、價格、或分級的資訊係為具有比如產品之詳細說明或檢視的資訊更低粒度的資訊。再者，在地圖資訊提供服務中，能表示如設施之名稱或位置的資訊係為具有比如設施之詳細說明或事件資訊的資訊更低粒度的資訊。
此外，顯示控制單元170可根據有關物件(預設物 件)之影像拾取設備的位態來改變例如顯示資訊的類型。例如，藉由讓使用者從前、上、下、左或右方向觀看相同真實物件能顯示不同類型的資訊。
第11圖係說明用於控制顯示資訊之控制參數的第一實例之說明圖。在第一實例中，控制參數係為投射在影像拾取表面之真實物件的大小SC。參考第11圖，顯示出真實物件19a係顯示在輸入影像Im41中。實空間中的真實物件19a之大小係為Hreal。投射在影像拾取表面之真實物件19a的大小(影像內)係為Hscr。控制參數SC能被計算為SC=Hscr/Hreal。控制參數SC的值隨著影像拾取設備離真實物件的距離減少而變大。
第12圖係說明用於控制顯示資訊之控制參數的第二實例之說明圖。在第二實例中，控制參數係為影像拾取設備離真實物件的距離DIST。參考第12圖，顯示出真實物件19b係顯示在輸入影像Im42中。在實空間中，真實物件19b和資訊處理設備100分別位於位置Pobj和Pdev。控制參數DIST能被計算為DIST=|Pdev-Pobj|。
第13圖係說明用於控制顯示資訊之控制參數的第三實例之說明圖。在第三實例中，控制參數係為真實物件相對於影像拾取表面的角度ANG。參考第13圖，顯示出真實物件19c係顯示在輸入影像Im43中。真實物件19c之法線向量Vobj與相對於影像拾取表面之深度方向(Z方向)所形成的角度能根據真實物件19c的位態和終端的位態計算出，其能被環境DB 150儲存作為環境辨識的結 果。
在本實施例中，顯示控制單元170藉由從累積在註解DB 180中的註解資料過濾適用於上述控制參數的資料來提取待顯示的資訊。
(7)註解DB
註解DB 180係為累積使用者所提供之關於存在於實空間的一或更多真實物件之各者之資訊的資料庫。在AR應用程式中呈現給使用者的資訊係由顯示控制單元170從註解DB 180中選出，且可以虛擬物件的形式看見。
第14圖係顯示註解DB 180之配置的實例之說明圖。參考第14圖，註解資料庫180具有類別182a、物件ID 182b、註解ID 182c、控制類型182d、顯示範圍182e、資料182f、及說明182g的七個資料項目。
類別182a顯示對應於每個註解之真實物件的類型。例如，註解184a和184b的類別係為食物菜單。註解184c和184d的類別係為設施。註解184e至184h的類別係為展品。
物件ID 182b係為用於識別對應於每個註解之真實物件的識別符。複數個註解可存在用於一個真實物件。
註解ID 182c係為用於唯一識別每個註解的識別符。
控制類型182d顯示當過濾每個註解時使用的控制參數類型。例如，註解184a和184b係使用顯示大小的控制參數SC來過濾。註解184c和184d係使用顯示距離的控 制參數DIST來過濾。註解184e至184h係使用顯示距離的控制參數DIST、及顯示角度的控制參數ANG來過濾。
顯示範圍182e顯示將顯示每個註解之控制參數之值的範圍。在此，控制參數係為控制類型182d所顯示之類型的控制參數。例如，註解資料184a的資訊係顯示在控制參數SC的值包括在範圍{1.0,3.0}中的情況下。註解資料184b的資訊係顯示在控制參數SC的值包括在範圍{3.0,5.0}中的情況下。註解資料184c的資訊係顯示在控制參數DIST的值包括在範圍{100,1000}中的情況下。註解資料184d的資訊係顯示在控制參數DIST的值包括在範圍{30,120}中的情況下。註解資料184e的資訊係顯示在控制參數DIST的值包括在範圍{1.0,3.0}中的情況下，且控制參數ANG的值等於或小於-15度。註解184f至184h也以第14圖所示之方式來顯示。
資料182f係為每個註解的資訊項目。資訊可以任何形式來說明，例如影像形式或鏈結至外部資料來源的形式。
說明182g顯示每個註解之資訊的概要說明。例如，註解資料184a係為食物菜單項目的分級資訊。註解資料184b係為對應於比分級資訊更詳細之資訊的檢閱評論。註解184c係為指出設施之位置的標籤。註解資料184d係為提供對於設施入口之引導的引導資訊，其對應於比設施之位置更詳細的資訊。註解184e至184g係為在分別從右、前和左方觀看展品的情況下之展品的概要資訊。註解 資料184h係為展品的詳細資訊。
在有關物件係為真實物件MN1的情況下，例如，顯示控制單元170藉由使用計算用於真實物件MN1之控制參數SC的值，從註解資料184a和184b提取一或兩組資料。例如，若SC=2.0(m)，則提取註解資料184a，而若SC=4.0(m)，則提取註解資料184b。
同樣地，在有關物件係為真實物件FC2的情況下，例如，顯示控制單元170藉由使用計算用於真實物件FC2之控制參數DIST的值，從註解資料184c和184d提取一或兩組資料。在此，應注意註解資料184c和184d的顯示範圍相互重疊。例如，若DIST=110(m)，則提取註解資料184c和184d。透過具有上述所適用之部分重疊的範圍，在使用者逐漸接近(或遠離)真實物件FC2的情況下，能藉由突然更換顯示資訊在無混淆使用者的情況下相繼地呈現新的資訊給使用者。
顯示控制單元170可控制關聯於有關物件的虛擬物件之顯示，以便使用者預測顯示資訊的改變。例如，在真實物件FC2係為有關物件的情況下，在控制參數DIST的值短暫地超過120(m)的情況下，顯示控制單元170將顯示將藉由愈來愈接近真實物件FC2來顯示新資訊的附加虛擬物件加疊在影像上。以此方式，能為使用者提供用於藉由愈來愈接近有關物件來得到新資訊的動機。
請注意顯示資訊之控制可無須使用如第14圖所示範之資料配置來實作。例如，根據控制參數的值，顯示控制 單元170可藉由從具有高粒度的資訊提取部分資訊或自動產生資訊的概要來動態地產生具有較低粒度的資訊。在這種情況下，能進一步簡化註解DB 180的資料配置。
2-3. 控制顯示資訊的實例 (1)第一實例
第15A和15B圖係用於說明根據大小來控制顯示資訊之實例的說明圖。
參考第15A圖，顯示出資訊處理設備100成像安裝在餐廳前面的菜單例子20。複數個菜單項目正顯示在菜單例子20中。資訊處理設備100的環境辨識單元140將這些顯示在輸入影像中的菜單項目辨識為真實物件。顯示控制單元170從註解DB 180提取關聯於所辨識之真實物件的資訊，並將指出所提取資訊的虛擬物件加疊在影像上。在第15A圖之實例中，虛擬物件V21和V22a至V22d被加疊在影像上。這些虛擬物件V21和V22a至V22d藉由一些星級來為每個菜單項目顯示評分。虛擬物件V21顯示關於菜單項目R21的評分，其被選擇作為有關物件或預設物件。
參考第15B圖，顯示一種情況為使用者將資訊處理設備100帶到更接近第15A圖所示之菜單例子20。藉由減少菜單項目R21與資訊處理設備100之間的距離，菜單項目R21的大小將變更大。因此，顯示關於菜單項目R21之檢視評論而非關於菜單項目R21之評分的虛擬物件V23 被加疊在影像上。
根據第一實例，使用者首先藉由成像處於未鎖定狀態的整個菜單例子來檢視複數個評分，並對其中一個菜單項目感興趣。接著，鎖定使用者已感興趣的菜單項目被作為一有關物件，而之後使用者能藉由將終端移動更接近此菜單項目來瀏覽關於此菜單項目的詳細資訊。
(2)第二實例
第16A和16B圖係用於說明根據距離來控制顯示資訊之實例的說明圖。
參考第16A圖，顯示出資訊處理設備100成像具有各種設施之遊樂場的遠景。資訊處理設備100的環境辨識單元140將顯示在輸入影像中的個別設施辨識為真實物件。顯示控制單元170從註解DB 180提取關聯於所辨識之真實物件的資訊，並將指出所提取資訊的虛擬物件加疊在影像上。在第16A圖之實例中，虛擬物件V31被加疊在影像上。虛擬物件V31隨著顯示在設施R31之前的距離來指示設施R31的位置。
參考第16B圖，顯示一種情況為使用者接近第16A圖所示之設施R31。設施R31與資訊處理設備100之間的距離減少，而由此將顯示關於設施R31的入口引導資訊而不是關於設施R31之大概位置的資訊加疊在影像上。
根據第二實例，使用者鎖定預期的設施作為有關物件，並當參考AR應用程式所提供的資訊時朝此設施移 動。同時，沒有必要連續保持相機角度，例如，使得預期的設施位於影像中心。而且，當接近預期的設施時，使用者能瀏覽關於此設施之更詳細的資訊。
(3)第三實例
第17A和17B圖係用於說明根據角度來控制顯示資訊之實例的說明圖。
參考第17A圖，顯示出資訊處理設備100成像顯示各種展品的博物館內部。資訊處理設備100的環境辨識單元140將顯示在輸入影像中的個別展品辨識為真實物件。顯示控制單元170從註解DB 180提取關聯於所辨識之真實物件的資訊，並將指出所提取資訊的虛擬物件加疊在影像上。在第17A圖之實例中，虛擬物件V41被加疊在影像上。虛擬物件V41在從前面觀看展品R41的情況下顯示關於展品R41的概要資訊。
參考第17B圖，顯示出資訊處理設備100從不同於第17A圖之實例的角度來成像展品R41。展品R41的位態相對於影像拾取表面而改變，而由此除了虛擬物件V41之外，亦將在從右側觀看展品R41的情況下顯示關於展品R41之概要資訊的虛擬物件V42加疊在影像上。
根據第三實例，使用者鎖定預期的展品作為有關物件。AR應用程式提供使用者此展品的資訊。當使用者移動終端時，使用者將注意到也依據終端的位態為此展品提供其他類型的資訊。若有關物件被鎖定，則使用者當終端 正在移動時沒有必要太過於注意相機角度。由此，使用者當參考所提供的資訊時能了解預期的展品而不會感到壓力。
在如使用第15A至17B圖來說明的本實施例中，根據對應之真實物件與終端之間的相對位置或位態來改變虛擬物件所顯示的顯示資訊。然而，若有關物件被鎖定，則使用者能以能區分此資訊與其他資訊的形式來視覺上連續且清楚地辨識關於有關物件的資訊，無論終端如何移動。
3. 程序流程 3-1. 未鎖定狀態
第18圖係顯示處於未鎖定狀態之顯示控制程序的流程之實例的流程圖，其係由資訊處理設備100所執行。
參考第18圖，首先，影像取得單元120取得影像拾取單元102所產生的拾取影像作為輸入影像(步驟S110)。接著，影像取得單元120將取得的輸入影像輸出至環境辨識單元140和顯示控制單元170。
然後，環境辨識單元140辨識顯示在輸入影像中的一或更多真實物件(步驟S120)。之後，環境辨識單元140將關於所辨識的真實物件之位置和位態的辨識結果儲存在環境DB 150中。
接著，選擇單元160依照一特定標準從環境辨識單元140所辨識的真實物件中選擇預設物件(步驟S130)。之後，選擇單元160將所選之預設物件的識別符輸出至顯示 控制單元170。
然後，顯示控制單元170為選擇單元160所選擇的預設物件計算控制參數的值(步驟S140)。在此，所計算之控制參數可以是例如註解DB 180之控制類型182d所顯示的參數類型(例如，大小、距離、和角度之至少一者)。
之後，顯示控制單元170藉由使用所計算之控制參數的值，從註解DB 180提取關於預設物件的顯示資訊(步驟S150)。
然後，顯示控制單元170產生關聯於預設物件的虛擬物件，其指出所提取之顯示資訊(步驟S160)。
再者，顯示控制單元170也能產生關聯於有別於預設物件之真實物件的虛擬物件(步驟S170)。
接著，顯示控制單元170將步驟S160和S170中產生的虛擬物件加疊在關聯於真實物件的影像上(步驟S180)。
之後，程序回到步驟S110，並對新取得的輸入影像重覆上述顯示控制程序。同時，監控轉換成鎖定狀態的觸發，且在偵測到觸發的情況下，資訊處理設備100執行處於鎖定狀態的顯示控制程序，其係說明如下。
3-2. 鎖定狀態
第19圖係顯示處於鎖定狀態之顯示控制程序的流程之實例的流程圖，其係由資訊處理設備100所執行。
參考第19圖，首先，影像取得單元120取得影像拾取單元102所產生的拾取影像作為輸入影像(步驟S110)。接著，影像取得單元120將取得的輸入影像輸出至環境辨識單元140和顯示控制單元170。
然後，環境辨識單元140在輸入影像內辨識選擇單元160所選擇的有關物件(步驟S220)。之後，環境辨識單元140將關於有關物件之位置和位態的辨識結果儲存在環境DB 150中。
在有關物件顯示在輸入影像中的情況下執行隨後的程序(步驟S230)。
在有關物件顯示在輸入影像中的情況下，顯示控制單元170為選擇單元160所選擇的有關物件計算控制參數的值(步驟S240)。在此，所計算之控制參數可以是例如註解DB 180之控制類型182d所顯示的參數類型(例如，大小、距離、和角度之至少一者)。
之後，顯示控制單元170藉由使用所計算之控制參數的值，從註解DB 180提取關於有關物件的顯示資訊(步驟S250)。
然後，顯示控制單元170產生關聯於有關物件的虛擬物件，其指出所提取之顯示資訊(步驟S260)。
接著，顯示控制單元170將步驟S260中產生的虛擬物件加疊在關聯於有關物件的影像上(步驟S180)。
之後，程序回到步驟S110，並對新取得的輸入影像重覆上述顯示控制程序。同時，監控轉換成未鎖定狀態 (鎖定解除)的觸發，且在偵測到此觸發的情況下，資訊處理設備100的狀態回到未鎖定狀態。
4. 結論
到目前為止，已使用第1至19圖來詳細說明關於本揭露之技術的實施例。根據本揭露之上述實施例，在根據真實物件與終端之間的相對位置或位態來改變關聯於真實物件之強化實境的顯示資訊之情況下，依照使用者指定來選擇輸入影像中顯示的至少一個真實物件作為有關物件，且保持(亦即，它被鎖定)這項選擇跨複數個訊框。而且，動態地控制關聯於有關物件的顯示資訊。因此，若有關物件被鎖定，則使用者能以能區分此資訊與其他資訊的形式來視覺上連續且清楚地辨識關於有關物件的資訊，無論終端如何移動。藉此，即使存在能透過AP應用程式提供的大量資訊，且此資訊係在資訊內容正在動態改變的情況下，仍能選擇性且有效地提高使用者所希望的資訊之可見性。
另外，根據本揭露之上述實施例，在未指定有關物件的情況下，由特定標準規定的真實物件被自動選擇作為預設物件，並控制虛擬物件之顯示，以便能夠識別預設物件。因此，在尚未選擇有關物件的階段中，使用者能藉由移動終端來識別並自由瀏覽關於個別真實物件的各自資訊。
又，根據本揭露之上述實施例，選擇當偵測到預定使 用者輸入時選擇的預設物件作為有關物件。因此，使用者當判定哪個真實物件是有關時能輕易指定一有關物件。即使在許多真實物件顯示在輸入影像中的情況下，使用者的負擔仍將會減少，因為不必再次進行如準確地觸碰或指向有關物件的操作。
由本說明書中所述之每個裝置執行的一系列控制程序能由軟體、硬體、或軟體和硬體之組合來實現。包括在上述軟體中的程式可事先儲存在例如設置在每個設備內或外部的儲存媒體上。作為一個實例，上述程式在執行期間被寫入RAM(隨機存取記憶體)且由如同CPU的處理器執行。
設備之一些邏輯功能可實作在存在於雲端計算環境中的設備中而不是實作在目前設備本身中。在這種情況下，在邏輯功能之間交換的資訊經由第5圖所示之通訊單元112來在設備之間傳送或接收。
雖然以上已參考附圖詳細說明了本揭露之較佳實施例，但本揭露之技術範圍並不以此為限。本領域之熟知技術者應了解可依據落在所附之申請專利範圍或其等效範圍內的設計需求及其他因素而出現各種修改、組合、子組合和變更。
另外，本技術亦可配置如下。
(1)一種資訊處理設備，包括：一影像取得單元，其使用一影像拾取設備來取得藉由成像一實空間所產生的一輸入影像； 一顯示控制單元，其將與輸入影像中顯示的一或更多真實物件關聯的虛擬物件加疊在輸入影像上；及一選擇單元，其在一使用者從一或更多真實物件之間指定至少一真實物件之後，選擇所指定的真實物件為跨複數個訊框的一有關物件，其中顯示控制單元根據有關物件與影像拾取設備之間的一相對位置或位態來改變關聯於有關物件之虛擬物件所顯示的顯示資訊。
(2)如第(1)項所述之資訊處理設備，其中當有關物件未被使用者指定時，選擇單元從一或更多真實物件之間選擇由一特定標準所識別的一真實物件作為一預設物件，且其中顯示控制單元以預設物件能夠被使用者識別的方式來控制關聯於預設物件之一虛擬物件的顯示。
(3)如第(2)項所述之資訊處理設備，其中選擇單元選擇當偵測到一預定使用者輸入時選擇的預設物件作為有關物件。
(4)如第(1)至(3)項之任一者所述之資訊處理設備，其中顯示控制單元根據取決於影像拾取設備離有關物件的一距離、及有關物件與一影像拾取表面的一角度之至少一者的參數來改變顯示資訊。
(5)如第(4)項所述之資訊處理設備，其中當影像拾取設備離有關物件的距離落在一第一範圍內時，顯示控制單元採用第一資訊作為顯示資訊，且當距離落在比第一 範圍更接近的一第二範圍內時，顯示控制單元採用第二資訊作為顯示資訊，其比以第一資訊作為顯示資訊更詳細。
(6)如第(4)項所述之資訊處理設備，其中當有關物件與影像拾取表面的角度落在一第一範圍內時，顯示控制單元採用第一資訊作為顯示資訊，且當角度落在不同於第一範圍的一第二範圍內時，顯示控制單元採用不同於第一資訊的第二資訊作為顯示資訊。
(7)如第(4)項所述之資訊處理設備，其中當有關物件投射在影像拾取表面的一大小落在一第一範圍內時，顯示控制單元採用第一資訊作為顯示資訊，且當大小落在比第一範圍更大的一第二範圍內時，顯示控制單元採用第二資訊作為顯示資訊，其比以第一資訊作為顯示資訊更詳細。
(8)如第(5)至(7)項之任一者所述之資訊處理設備，其中第一範圍和第二範圍部分重疊。
(9)如第(5)至(8)項之任一者所述之資訊處理設備，其中顯示控制單元以使用者預測顯示資訊之改變的方式來控制關聯於有關物件之虛擬物件的顯示。
(10)如第(1)至(9)項之任一者所述之資訊處理設備，更包括：一辨識單元，其使用輸入影像來辨識一或更多真實物件。
(11)如第(10)項所述之資訊處理設備，其中當選擇有關物件時，辨識單元只辨識在輸入影像內的有關物 件。
(12)如第(1)至(9)項之任一者所述之資訊處理設備，更包括：一辨識單元，其使用影像拾取設備的位置藉由詢問一資料庫來辨識一或更多真實物件。
(13)如第(2)項所述之資訊處理設備，其中特定標準係關於輸入影像內的真實物件之二維位置的標準。
(14)如第(2)或(13)項所述之資訊處理設備，其中特定標準係關於以影像拾取設備視為標準之實空間內的真實物件之三維位置的標準。
(15)如第(13)或(14)項所述之資訊處理設備，其中特定標準係關於以影像拾取設備視為標準之真實物件之位態的標準。
(16)如第(1)至(15)項之任一者所述之資訊處理設備，其中資訊處理設備係更包括影像拾取設備的一可攜式終端。
(17)如第(1)至(16)項之任一者所述之資訊處理設備，其中影像取得單元、顯示控制單元、及選擇單元之至少一者係使用一雲端計算環境中的設備而非資訊處理設備來實現。
(18)一種顯示控制方法，包括：使用一影像拾取設備來取得藉由成像一實空間所產生的一輸入影像；將與輸入影像中顯示的一或更多真實物件關聯的虛擬 物件加疊在輸入影像上；在一使用者從一或更多真實物件之間指定至少一真實物件之後，選擇所指定的真實物件為跨複數個訊框的一有關物件；及根據有關物件與影像拾取設備之間的一相對位置或位態來改變關聯於有關物件之虛擬物件所顯示的顯示資訊。
(19)一種程式，用來使一電腦控制一資訊處理設備以操作成：一影像取得單元，其使用一影像拾取設備來取得藉由成像一實空間所產生的一輸入影像；一顯示控制單元，其將與輸入影像中顯示的一或更多真實物件關聯的虛擬物件加疊在輸入影像上；及一選擇單元，其在一使用者從一或更多真實物件之間指定至少一真實物件之後，選擇所指定的真實物件為跨複數個訊框的一有關物件，其中顯示控制單元根據有關物件與影像拾取設備之間的一相對位置或位態來改變關聯於有關物件之虛擬物件所顯示的顯示資訊。
V01-V07‧‧‧虛擬物件
Im01‧‧‧影像

Claims (19)

  1. 一種資訊處理設備，包含：一影像取得單元，其使用一影像拾取設備來取得藉由成像一實空間所產生的一輸入影像；一顯示控制單元，其將與該輸入影像中顯示的一或更多真實物件關聯的虛擬物件加疊在該輸入影像上；及一選擇單元，其在一使用者從該一或更多真實物件之間指定至少一真實物件之後，選擇所指定的真實物件為跨複數個訊框的一有關物件，其中該顯示控制單元根據該有關物件與該影像拾取設備之間的一相對位置或位態來改變關聯於該有關物件之該虛擬物件所顯示的顯示資訊。
  2. 如申請專利範圍第1項所述之資訊處理設備，其中當該有關物件未被該使用者指定時，該選擇單元從該一或更多真實物件之間選擇由一特定標準所識別的一真實物件作為一預設物件，且其中該顯示控制單元以該預設物件能夠被該使用者識別的方式來控制關聯於該預設物件之一虛擬物件的顯示。
  3. 如申請專利範圍第2項所述之資訊處理設備，其中該選擇單元選擇當偵測到一預定使用者輸入時選擇的該預設物件作為該有關物件。
  4. 如申請專利範圍第1項所述之資訊處理設備，其中該顯示控制單元根據取決於該影像拾取設備離該有關物件的一距離、及該有關物件與一影像拾取表面的一角度之至 少一者的參數來改變該顯示資訊。
  5. 如申請專利範圍第4項所述之資訊處理設備，其中當該影像拾取設備離該有關物件的該距離落在一第一範圍內時，該顯示控制單元採用第一資訊作為該顯示資訊，且當該距離落在比該第一範圍更接近的一第二範圍內時，該顯示控制單元採用第二資訊作為該顯示資訊，其比以該第一資訊作為該顯示資訊更詳細。
  6. 如申請專利範圍第4項所述之資訊處理設備，其中當該有關物件與該影像拾取表面的該角度落在一第一範圍內時，該顯示控制單元採用第一資訊作為該顯示資訊，且當該角度落在不同於該第一範圍的一第二範圍內時，該顯示控制單元採用不同於該第一資訊的第二資訊作為該顯示資訊。
  7. 如申請專利範圍第4項所述之資訊處理設備，其中當該有關物件投射在該影像拾取表面內的一大小落在一第一範圍內時，該顯示控制單元採用第一資訊作為該顯示資訊，且當該大小落在比該第一範圍更大的一第二範圍內時，該顯示控制單元採用第二資訊作為該顯示資訊，其比以該第一資訊作為該顯示資訊更詳細。
  8. 如申請專利範圍第5項所述之資訊處理設備，其中該第一範圍和該第二範圍部分重疊。
  9. 如申請專利範圍第5項所述之資訊處理設備，其中該顯示控制單元以該使用者預測該顯示資訊之改變的方式來控制關聯於該有關物件之該虛擬物件的顯示。
  10. 如申請專利範圍第1項所述之資訊處理設備，更包含：一辨識單元，其使用該輸入影像來辨識該一或更多真實物件。
  11. 如申請專利範圍第10項所述之資訊處理設備，其中當選擇該有關物件時，該辨識單元只辨識在該輸入影像內的該有關物件。
  12. 如申請專利範圍第1項所述之資訊處理設備，更包含：一辨識單元，其使用該影像拾取設備的位置藉由詢問一資料庫來辨識該一或更多真實物件。
  13. 如申請專利範圍第2項所述之資訊處理設備，其中該特定標準係關於該輸入影像內的該真實物件之二維位置的標準。
  14. 如申請專利範圍第2項所述之資訊處理設備，其中該特定標準係關於以該影像拾取設備視為標準之該實空間內的該真實物件之三維位置的標準。
  15. 如申請專利範圍第13項所述之資訊處理設備，其中該特定標準係關於以該影像拾取設備視為標準之該真實物件之位態的標準。
  16. 如申請專利範圍第1項所述之資訊處理設備，其中該資訊處理設備係更包括該影像拾取設備的一可攜式終端。
  17. 如申請專利範圍第1項所述之資訊處理設備，其 中該影像取得單元、該顯示控制單元、及該選擇單元之至少一者係使用一雲端計算環境中的設備而非該資訊處理設備來實現。
  18. 一種顯示控制方法，包含：使用一影像拾取設備來取得藉由成像一實空間所產生的一輸入影像；將與該輸入影像中顯示的一或更多真實物件關聯的虛擬物件加疊在該輸入影像上；在一使用者從該一或更多真實物件之間指定至少一真實物件之後，選擇所指定的真實物件為跨複數個訊框的一有關物件；及根據該有關物件與該影像拾取設備之間的一相對位置或位態來改變關聯於該有關物件之該虛擬物件所顯示的顯示資訊。
  19. 一種程式，用來使一電腦控制一資訊處理設備以操作成：一影像取得單元，其使用一影像拾取設備來取得藉由成像一實空間所產生的一輸入影像；一顯示控制單元，其將與該輸入影像中顯示的一或更多真實物件關聯的虛擬物件加疊在該輸入影像上；及一選擇單元，其在一使用者從該一或更多真實物件之間指定至少一真實物件之後，選擇所指定的真實物件為跨複數個訊框的一有關物件，其中該顯示控制單元根據該有關物件與該影像拾取設備之 間的一相對位置或位態來改變關聯於該有關物件之該虛擬物件所顯示的顯示資訊。
TW102110495A 2012-04-11 2013-03-25 資訊處理設備、顯示控制方法及程式 TW201403443A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012090049A JP6056178B2 (ja) 2012-04-11 2012-04-11 情報処理装置、表示制御方法及びプログラム

Publications (1)

Publication Number Publication Date
TW201403443A true TW201403443A (zh) 2014-01-16

Family

ID=48014235

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102110495A TW201403443A (zh) 2012-04-11 2013-03-25 資訊處理設備、顯示控制方法及程式

Country Status (6)

Country Link
US (1) US9823821B2 (zh)
EP (1) EP2836899B1 (zh)
JP (1) JP6056178B2 (zh)
CN (2) CN103377487B (zh)
TW (1) TW201403443A (zh)
WO (1) WO2013153740A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650601B2 (en) 2016-03-29 2020-05-12 Sony Corporation Information processing device and information processing method

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI475474B (zh) * 2012-07-30 2015-03-01 Mitac Int Corp Gesture combined with the implementation of the icon control method
US9262865B2 (en) * 2013-03-15 2016-02-16 Daqri, Llc Content creation tool
USD757103S1 (en) * 2013-06-18 2016-05-24 Huawei Technologies Co., Ltd. Display screen or portion thereof with icon
JP2015118578A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 拡張現実情報詳細
JP2015142181A (ja) * 2014-01-27 2015-08-03 キヤノン株式会社 制御装置、制御方法
CA2945023A1 (en) 2014-04-07 2015-10-15 Cubic Corporation Systems and methods for queue management
WO2015157298A1 (en) * 2014-04-07 2015-10-15 Cubic Corporation Intuitive visual assessment of device operational health
US9652894B1 (en) * 2014-05-15 2017-05-16 Wells Fargo Bank, N.A. Augmented reality goal setter
JP6076304B2 (ja) * 2014-09-29 2017-02-08 京セラドキュメントソリューションズ株式会社 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム
US11983401B1 (en) * 2014-06-04 2024-05-14 ULTRAHAPTICS IP TWO LIMITED, , United Kingd Systems and methods of interacting with a virtual grid in a three-dimensional (3D) sensory space
JP2016004340A (ja) 2014-06-16 2016-01-12 セイコーエプソン株式会社 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016018367A (ja) * 2014-07-08 2016-02-01 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
WO2016017253A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR102265086B1 (ko) 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
JP6424601B2 (ja) * 2014-12-10 2018-11-21 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US10335677B2 (en) 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
TWI533240B (zh) * 2014-12-31 2016-05-11 拓邁科技股份有限公司 資料顯示方法及系統，及相關電腦程式產品
JP6488786B2 (ja) * 2015-03-17 2019-03-27 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
WO2016179248A1 (en) 2015-05-05 2016-11-10 Ptc Inc. Augmented reality system
KR20160131720A (ko) * 2015-05-08 2016-11-16 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2016185557A1 (ja) * 2015-05-19 2016-11-24 楽天株式会社 情報処理装置、情報処理方法、プログラム
KR20170014609A (ko) * 2015-07-30 2017-02-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP2017054185A (ja) * 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
AU2016341196B2 (en) 2015-10-20 2021-09-16 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
TWI578146B (zh) * 2015-12-30 2017-04-11 Chunghwa Telecom Co Ltd Mobile energy monitoring and management system
CN105469004A (zh) * 2015-12-31 2016-04-06 上海小蚁科技有限公司 一种显示装置和显示方法
KR20230098927A (ko) 2016-03-31 2023-07-04 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들
CN105847583A (zh) * 2016-05-10 2016-08-10 北京奇虎科技有限公司 在移动终端上进行图像处理的方法及装置
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
US10026023B2 (en) * 2016-08-11 2018-07-17 International Business Machines Corporation Sentiment based social media comment overlay on image posts
KR20230167452A (ko) 2016-08-12 2023-12-08 매직 립, 인코포레이티드 단어 흐름 주석
CN106331854A (zh) * 2016-09-29 2017-01-11 深圳Tcl数字技术有限公司 智能电视控制方法及装置
JP6783618B2 (ja) * 2016-10-18 2020-11-11 株式会社日立システムズ 情報表示装置、及びその処理制御方法
CN107979628B (zh) * 2016-10-24 2020-04-21 腾讯科技（深圳）有限公司 获取虚拟物品的方法、装置及系统
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
WO2018142756A1 (ja) * 2017-01-31 2018-08-09 株式会社Ｎｔｔドコモ 情報処理装置及び情報処理方法
JP6809267B2 (ja) * 2017-02-10 2021-01-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
CN107170046B (zh) * 2017-03-30 2020-10-30 努比亚技术有限公司 一种增强现实装置及增强现实画面显示方法
US10282911B2 (en) * 2017-05-03 2019-05-07 International Business Machines Corporation Augmented reality geolocation optimization
US10572716B2 (en) 2017-10-20 2020-02-25 Ptc Inc. Processing uncertain content in a computer graphics system
US11030808B2 (en) * 2017-10-20 2021-06-08 Ptc Inc. Generating time-delayed augmented reality content
WO2018216355A1 (ja) * 2017-05-24 2018-11-29 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN109451295A (zh) * 2017-08-29 2019-03-08 深圳市掌网科技股份有限公司 一种获取虚拟信息的方法和系统
US11432470B2 (en) 2017-12-01 2022-09-06 Sony Group Corporation Information processing apparatus, information processing method, and vegetation management system
CN111712870B (zh) * 2018-02-22 2024-03-08 索尼公司 信息处理装置、移动装置、方法和程序
US11417296B2 (en) 2018-03-13 2022-08-16 Sony Corporation Information processing device, information processing method, and recording medium
JP6714632B2 (ja) * 2018-03-20 2020-06-24 マクセル株式会社 情報表示端末及び情報表示方法
JP2021141346A (ja) * 2018-05-31 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN108829368B (zh) * 2018-06-29 2021-07-16 联想(北京)有限公司 一种信息处理方法及电子设备
CN109164958A (zh) * 2018-08-02 2019-01-08 珠海格力电器股份有限公司 一种后台中应用锁定的方法和设备
JP2021182174A (ja) 2018-08-07 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US10460139B1 (en) * 2018-08-24 2019-10-29 Intuit Inc. System and method for unique identifier detection based on invisible light
DE102019218787A1 (de) * 2018-12-04 2020-06-04 Apple Inc. Verfahren, vorrichtung und system zum erzeugen von mit einer darstellung eines artikels verbundenen angeboten
JP2020149476A (ja) * 2019-03-14 2020-09-17 トヨタ自動車株式会社 プログラム、情報処理装置、及び制御方法
WO2020203126A1 (ja) * 2019-04-02 2020-10-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6982203B2 (ja) * 2019-04-17 2021-12-17 Kddi株式会社 キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
US11087560B2 (en) 2019-05-15 2021-08-10 Microsoft Technology Licensing, Llc Normalization of objects for a 3D environment within an authoring application
US11164395B2 (en) 2019-05-15 2021-11-02 Microsoft Technology Licensing, Llc Structure switching in a three-dimensional environment
US11039061B2 (en) * 2019-05-15 2021-06-15 Microsoft Technology Licensing, Llc Content assistance in a three-dimensional environment
US11030822B2 (en) 2019-05-15 2021-06-08 Microsoft Technology Licensing, Llc Content indicators in a 3D environment authoring application
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
WO2021106648A1 (ja) * 2019-11-27 2021-06-03 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
JP6805375B2 (ja) * 2020-01-10 2020-12-23 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
WO2021256242A1 (ja) * 2020-06-15 2021-12-23 Ｎｅｃソリューションイノベータ株式会社 ガイド装置、ガイドシステム、ガイド方法、プログラム、及び、記録媒体
TWI728930B (zh) 2020-10-20 2021-05-21 洪仁哲 海浪發電裝置
JP7405735B2 (ja) * 2020-12-21 2023-12-26 トヨタ自動車株式会社 表示システム、表示装置、及びプログラム
CN113359983A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、电子设备及存储介质
US11537260B1 (en) * 2021-08-05 2022-12-27 Lenovo (Singapore) Pte. Ltd. Graphical indications and selectors for whether object being selected via AR device is real or virtual

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218873B2 (en) 2000-11-06 2012-07-10 Nant Holdings Ip, Llc Object information derived from object images
JP4600515B2 (ja) * 2008-05-07 2010-12-15 ソニー株式会社 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム
JP2010033367A (ja) * 2008-07-29 2010-02-12 Canon Inc 情報処理装置及び情報処理方法
JP2011242816A (ja) * 2008-09-09 2011-12-01 Tonchidot Corp 視界情報に仮想情報を付加して表示できるシステム
CN102246121B (zh) 2008-12-25 2016-01-13 松下知识产权经营株式会社 信息显示装置和信息显示方法
JP5315111B2 (ja) 2009-03-31 2013-10-16 株式会社エヌ・ティ・ティ・ドコモ 端末装置、情報提示システム及び端末画面表示方法
JP5390322B2 (ja) 2009-09-28 2014-01-15 株式会社東芝 画像処理装置、及び画像処理方法
JP2011244058A (ja) 2010-05-14 2011-12-01 Sony Corp 情報処理装置、情報処理システム、及びプログラム
KR101315399B1 (ko) * 2010-08-20 2013-10-07 주식회사 팬택 객체 정보 제공 단말 장치 및 그 방법
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650601B2 (en) 2016-03-29 2020-05-12 Sony Corporation Information processing device and information processing method
US11004273B2 (en) 2016-03-29 2021-05-11 Sony Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
EP2836899B1 (en) 2018-10-03
CN103377487B (zh) 2018-04-03
EP2836899A2 (en) 2015-02-18
CN103377487A (zh) 2013-10-30
US9823821B2 (en) 2017-11-21
US20150052479A1 (en) 2015-02-19
WO2013153740A3 (en) 2014-09-25
CN203276350U (zh) 2013-11-06
JP2013218597A (ja) 2013-10-24
WO2013153740A2 (en) 2013-10-17
JP6056178B2 (ja) 2017-01-11

Similar Documents

Publication Publication Date Title
TW201403443A (zh) 資訊處理設備、顯示控制方法及程式
US20210264200A1 (en) Terminal device, information processing device, object identifying method, program, and object identifying system
CN102867169B (zh) 图像处理设备和显示控制方法
US10025985B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium storing program
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
EP2859718B1 (en) Augmented reality arrangement of nearby location information
KR101357260B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
KR101337555B1 (ko) 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
US9268410B2 (en) Image processing device, image processing method, and program
CN102906671B (zh) 手势输入装置及手势输入方法
JP5846662B2 (ja) ３次元で表示されるオブジェクトのユーザの選択ジェスチャに応答する方法およびシステム
CN106170978B (zh) 深度图生成装置、方法和非短暂性计算机可读介质
EP2490182A1 (en) authoring of augmented reality
JP7064040B2 (ja) 表示システム、及び表示システムの表示制御方法
JP5668587B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111695516B (zh) 热力图的生成方法、装置及设备
CN109791432A (zh) 推迟影响图形用户界面的信息的状态改变直至不专注的情况期间
CN103986845A (zh) 信息处理方法和信息处理设备
US11907521B2 (en) Augmented reality calling interface
CN106125937B (zh) 一种信息处理方法和处理器
US20180292980A1 (en) System, information processing method, and storage medium