TW201324435A - 資訊處理裝置，資訊處理方法及程式 - Google Patents

Abstract

一種包含影像處理器的裝置，影像處理器配置成：接收視頻；在離參考點一距離處，將物件疊加於視頻上；以及，根據稍後訊框中物件與參考點之間的距離，修改物件的位置。

Description

資訊處理裝置，資訊處理方法及程式

本揭示關於資訊處理裝置、資訊處理方法、及在非暫態的電腦可讀取媒體上編碼的程式。

近年來，使真實影像與另外的資訊重疊及將資訊呈現給使用者之稱為強化實境(AR)的技術引起注意。AR技術中呈現給使用者的資訊稱為註解且以例如文字、圖像、及卡通等各種形式的虛擬物件視覺化。關於AR技術的實例，將真實影像與模擬例如傢俱等真實物件之虛擬物件影像重疊、顯示虛擬影像、及簡化配置例如傢俱等物件的嘗試的技術揭示於專利文獻1中。

舉例而言，上述AR技術在真實影像上執行成像以及使用使用者持有的裝置來辨識影像中顯示的物件。成像的影像與虛擬物件重疊，所述虛擬物件是與被辨識的物件相關連且被顯示。

〔參考文獻清單〕 〔專利文獻〕

〔PTL 1〕

JP 2003-256876A

在此情形中，虛擬物件顯示於根據被辨識的物件的位置而決定的座標空間上。被辨識的物件的位置包含由於各種因素的雜訊。當雜訊包含在被辨識的物件的位置中時，在顯示虛擬物件的位置上發生波動。波動造成使用者不愉快。在此情形中，虛擬物件顯示在離參考點愈遠處，則虛擬物件愈容易受到雜訊影響。

慮及此點，本揭示提出新穎的及增進的資訊處理裝置、資訊處理方法、及在非暫態式的電腦可讀取媒體上編碼的程式，藉由根據離參考點的距離而適當地顯示虛擬物件而使雜訊對參考點的影響能夠降低。

在一實施例中，本發明包含設備，所述設備包括影像處理器，影像處理器配置成接收視頻、在離參考點一距離處將物件疊加在視頻上、以及根據稍後的訊框中物件與參考點之間的距離來修改物件的位置。

於下，將參考附圖，詳述本揭示的較佳實施例。注意，在本說明書及附圖中，具有實質上相同的功能及結構的結構元件以相同的代號標示，並省略這些結構元件的重複說明。

此外，依下述次序作說明：

1.概要

2.硬體配置的實例

3.第一實施例(位置被校正的實例)

3-1.功能配置

3-2.操作

4.第二實施例(增加虛擬效果的顯示實例)

4-1.功能配置

4-2.操作

5.第三實施例(位置校正+視覺效果)

<1.概要>

首先，將參考圖1至4，說明根據本揭示的實施例之資訊處理裝置的概要。圖1顯示根據本揭示的實施例的資訊處理裝置的功能概要。圖2顯示根據本揭示的實施例的資訊處理裝置顯示的顯示幕的實例。圖3顯示根據本揭示的實施例之資訊處理裝置顯示的顯示幕的顯示方法。圖4顯示發生在根據本揭示的實施例之資訊處理裝置上的顯示位置的波動。

此外，在本揭示之「根據一實施例的資訊處理裝置」的情形中，說明稍後將敍述的多數個實施例共同的事項。

資訊處理裝置100提供AR應用給使用者。舉例而言，資訊處理裝置100可為例如智慧型手機、個人數位助理(PDA)、可攜式遊戲設備、及可攜式音樂再生設備等終端裝置。或者，資訊處理裝置100可為例如個人電腦(PC)或工作站等資訊處理裝置。

在本揭示中，使用者啟動資訊處理裝置100的特定AR應用，然後，舉例而言，舉起資訊處理裝置100，以致於真實物件obj_r顯示在資訊處理裝置100的顯示幕之內(圖1)，真實物件是配置在真實空間中的物件。虛擬物件obj_v接著顯示在接近資訊處理裝置100的顯示幕中成像的真實物件obj_r之空間中(圖2)。此處，虛擬物件obj_v包含多數個卡片。

在此情形中，資訊處理裝置100辨識成像的影像中的真實物件obj_r。然後，資訊處理裝置100促使虛擬物件obj_v顯示在根據被辨識的真實物件obj_r而假定的座標空間上的位置(圖3)。此處，舉例而言，座標空間使用被辨識的物件的參考點RP作為原點。物件的參考點RP可為物件的形心。或者，根據被辨識的真實物件obj_r的姿勢而決定座標軸的方向。

此處，由於各種因素，雜訊包含在決定的座標空間中。舉例而言，藉由辨識真實物件obj_r的參考點的姿勢、量值、及位置，決定座標空間。當辨識參考點RP的姿勢、量值、及位置時雜訊被包含時，雜訊效應也包含在根據姿勢、量值、及位置而決定的虛擬物件obj_v的位置中。

舉例而言，參考圖4，顯示座標空間上二個虛擬物件obj_v(第一虛擬物件obj_v1及第二虛擬物件obj_v2)的位置。此處，顯示當未包含雜訊時座標空間上的第一虛擬物件obj_v1a及第二虛擬物件obj_v2a、以及當包含雜訊時 座標空間上的第一虛擬物件obj_v1b及第二虛擬物件obj_v2b。

此處，舉例而言，顯示雜訊包含在真實物件obj_r的旋轉成分中的情形。在此情形中，在第一虛擬物件obj_v1與參考圖RP之間的距離d1比第二虛擬物件obj_v2與參考圖RP之間的距離d2短。在此情形中，導因於第二虛擬物件obj_v2上的雜訊效應之顯示位置的差D2大於導因於第一虛擬物件obj_v1上的雜訊效應之顯示位置的差D1。本揭示提出藉由根據距離D以適當地改變虛擬物件obj_v的顯示而降低對使用者的雜訊效應。於下，將詳述改變虛擬物件的顯示的實例，包含校正顯示位置的實例及執行添加虛擬效果的顯示之實例。此外，以應用後影像效果的實例作為降低因雜訊而產生的波動對使用者造成的不愉快之虛擬效果實例。

<2.硬體配置的實例>

此處，將參考圖5，說明根據本揭示的實施例之資訊處理裝置的硬體配置的實例。圖5是方塊圖，顯示根據本揭示的實施例之資訊處理裝置的硬體配置實例。

此外，硬體配置是根據稍後將說明的本揭示之各實施例實現的資訊處理裝置的功能之實例。本揭示不限於這些實例，且此處所說明的某些組件可以省略。此外，可以又包含此處所述的組件以外的其它組件。此外，此處所述的組件可以由具有相同功能的其它組件取代。

資訊處理裝置100包含成像單元102、感測器單元104、輸入單元106、儲存單元108、顯示單元110、通訊單元112、控制單元114、及匯流排116。

(成像單元102)

成像單元102是形成影像的相機模組。成像單元102使用例如電荷耦合裝置(CCD)或是互補金屬氧化物半導體(CMOS)等成像元件而將真實空間成像，以及產生成像的影像。由成像單元102產生的成像影像包含視頻輸入的各別訊框。

(感測器單元104)

感測器單元104包含測量成像單元102的移動之動作感測器組。舉例而言，動作感測器可為測量成像單元102的加速度之加速度感測器、測量傾斜角的陀螺儀感測器(gyro sensor)、測量成像單元102的指向之地磁感測器。此外，感測器單元104包含全球定位系統(GSP)感測器，以接收GPS訊號及測量裝置的緯度、經度、高度。

(輸入單元106)

輸入單元106是由使用者使用以操作資訊處理裝置100或是輸入資訊至資訊處理裝置100的輸入裝置。典型地，輸入單元106包含觸控感測器，偵測使用者在顯示單元110的顯示幕上的觸碰。替代地(或增加地)，輸入單 元106可以包含例如滑鼠或觸控面板等指向裝置、辨認影像中顯示的使用者的姿勢之姿勢辨認模組、或是偵測穿戴頭戴式顯示器(HMD)的使用者的視線方向之視線偵測模組。此外，輸入單元106可以包含例如鍵盤、小鍵盤、按鍵、或開關等各式各樣的其它輸入裝置。

(儲存單元108)

儲存單元108包含例如半導體記憶體或是硬碟等儲存媒體，以及儲存用於資訊處理裝置100的處理之程式及資料。舉例而言，由儲存單元108儲存的資料包含由成像單元102產生的影像資料以及由感測器單元104產生的感測器資料。此外，舉例而言，由儲存單元108儲存的資料包含當資訊處理裝置100辨認物件時使用的模型資料、界定虛擬物件obj_v的物件資料、等等。

(顯示單元110)

顯示單元110是包含液晶顯示器(LCD)、有機發光二極體(OLED)、陰極射線管(CRT)、等等的顯示模組。舉例而言，顯示單元110在顯示幕上顯示由成像單元102成像的影像、或是由控制單元114實現的AR應用的影像。顯示單元110可為使用者持有的資訊處理裝置100的顯示幕或是使用者穿戴之看穿型或非看穿型HMD。在一實施例中，感測器單元104是在與顯示單元110相反的資訊處理裝置100的表面上。

(通訊單元112)

通訊單元112是通訊介面，中介資訊處理裝置100與其它裝置之間的通訊。通訊單元112支援任何無線通訊協定或是有線通訊協定，以及與其它裝置建立通訊連接。

(控制單元114)

控制單元114相當於例如中央處理單元(CPU)或是數位訊號處理器(DSP)等處理器。控制單元114執行儲存在儲存單元108或是其它儲存媒體中的程式，以使稍後將說明的資訊處理裝置100的各種功能被執行。

(匯流排116)

匯流排116將成像單元102、感測器單元104、輸入單元106、儲存單元108、顯示單元110、通訊單元112、及控制單元114彼此互連。

已說明根據本揭示之實施例的資訊處理裝置100的硬體配置的實例。藉由促使上述的控制單元114執行控制程式，資訊處理裝置100可以實現本揭示的功能，在控制程式中，說明實現根據稍後將敍述的各實施例之資訊處理裝置100的功能之處理次序。此外，用於實現根據稍後將敍述的各實施例之資訊處理裝置100的各功能之電腦程式產生於或安裝於個人電腦等等之上。此外，也提供儲存有電腦程式的電腦可讀取的記錄媒體。舉例而言，記錄媒體包 含磁碟、光碟、快閃記憶體、等等。此外，也可以經由例如網路而未使用記錄媒體，來散佈上述電腦程式。

<3.第一實施例(位置被校正的實例)>

首先，將說明根據參考點與虛擬物件obj_v之間的距離以校正位置之本揭示的第一實施例的資訊處理裝置。

[3-1.功能配置]

此處，將參考圖6至9，說明根據本揭示的第一實施例之資訊處理裝置100的控制單元114a實現的功能配置之實例。圖6是方塊圖，顯示根據本揭示的第一實施例之資訊處理裝置的功能配置。圖7顯示由根據本揭示的第一實施例之資訊處理裝置以索引辨識的物件狀態。圖8顯示根據本揭示的第一實施例之資訊處理裝置的雜訊評估。圖9顯示根據本揭示的第一實施例之資訊處理裝置中使用多數個虛擬物件obj_v的代表點之實例。

參考圖6，控制單元114a大致上包含影像擷取單元120、影像辨識單元125、物件資料擷取單元130、位置姿勢計算單元135、辨識雜訊評估單元140、校正單元145、及顯示控制單元150a。

(影像擷取單元120)

影像擷取單元120取得輸入影像，在輸入影像中顯示使用成像單元102(或是另一成像裝置)成像的真實空 間。輸入影像是顯示虛擬物件obj_v配置處的真實空間之內的地方或物件之影像。影像擷取單元120供應取得的輸入影像至影像辨識單元125及顯示控制單元150a。舉例而言，當成像單元102(或是另一成像裝置)連續地成像真實空間時，影像擷取單元120連續地取得輸入影像。

(影像辨識單元125)

影像辨識單元125辨識從影像擷取單元120供應的輸入影像中顯示的物件。舉例而言，影像辨識單元125使用儲存在儲存單元108中的模型資料或是儲存在經由通訊單元112連接的外部裝置中的模型資料以執行物件辨識。模型資料是與要由資訊處理裝置100辨識的目標之物件的形狀或外觀相關連的資訊。在本實施例中，舉例而言，資訊處理裝置100的辨識目標可以是例如圖1中所示的真實物件obj_r等出現在真實空間中的任何物件。模型資料包含界定各物件的形狀之資料、例如預定的符號標記或是附著至各物件的文字標籤等影像資料、或是從各物件中的已知影像取出的特徵量集的資料。

影像辨識單元125辨識什麼物件顯示在影像擷取單元120供應的輸入影像中以及辨識輸入影像中顯示的物件的狀態。由影像擷取單元125辨識的物件的狀態包含物件的位置及姿勢中至少之一。在本實施例中，影像辨識單元125辨識影像之內的物件的尺寸、姿勢、及位置。舉例而言，影像辨識單元125將從輸入裝置取出的特徵點集與由 模型資料界定的物件的形狀相對照。此外，影像辨識單元125將例如由模型資料界定的文字標題或符號標記等影像資料與輸入影像相對照。此外，影像辨識單元125可以將模型資料界定的已知的物件影像的特徵量與自輸入影像取出的特徵量相對照。在任何情形中，使用對應於對照評分的位置、姿勢、及量值，影像辨識單元125可以辨識標示對照評分比預定臨界值更佳的物件顯示在輸入影像中。因此，影像辨識單元125辨識各訊框中的物件，以及逐訊框地追蹤物件。

圖7是用於說明根據本揭示的第一實施例之影像辨識單元125辨識的物件之狀態數量。參考圖7，顯示由與使輸入影像成像的成像裝置的光軸方向正交的平面上之x軸與y軸、以及延著光軸方向的z軸形成的全球座標系統。由影像辨識單元125辨識的真實物件obj_r的位置P被給定為全球座標系統中的物件的參考點的位置座標。此外，真實物件obj_r的姿勢W被給定為圍繞各軸的旋轉角度。此外，真實物件obj_r的量值Sc被給定為朝向各軸方向的倍數。此外，為了在本說明書中簡明起見，各真實物件obj_r的位置P、姿勢W、及量值Sc被說明成分別的變數(狀態數量)。但是，各真實物件obj_r的位置P、姿勢W、及量值Sc可以由一個4列x 4行的齊次轉換矩陣廣泛地表示，所述4列x 4行的齊次轉換矩陣表示各真實物件obj_r的全球座標系統與模型座標系統之間的轉換。在此情形中，在需要時從同次轉換矩陣取出並使用各狀態數 量(亦即，各位置P、姿勢W、及量值Sc)。此外，全球座標系統可為使用成像裝置的位置作為原點之代表相對座標的座標系統。或者，全球座標系統可為代表真實空間之內界定的及固定的絕對座標的座標系統。影像辨識單元125可以輸出輸入影像中所示的各真實物件obj_r的識別標記、位置P、姿勢W、及量值Sc。

(物件資料擷取單元130)

物件資料擷取單元130具有取得關於藉由顯示控制單元150而與輸入影像重疊之虛擬物件obj_v的資料之功能。由物件資料擷取單元130取得的資料包含界定虛擬物件obj_v的物件資料。舉例而言，物件資料可為界定虛擬物件obj_v的種類之資料、相關連的物件之識別標記、虛擬座標空間(於下稱為虛擬空間)上的虛擬物件obj_v的位置資訊、以及資訊內容的內容。物件資料擷取單元130可以擷取根據影像辨識單元125辨識的真實物件obj_r的識別標記而取出的物件資料。物件資料擷取單元130可以供應取得的資訊給位置姿勢計算單元135。

(位置姿勢計算單元135)

位置姿勢計算單元135根據關於物件資料擷取單元130供應的虛擬物件obj_v的資料及輸入影像而計算虛擬物件obj_v的位置及姿勢。此外，此處使用的真實物件obj_r的參考點RP可為真實物件obj_r的形心。此外，參 考點RP可為藉由分析輸入影像而取得的且具有小位置變異之點。舉例而言，位置姿勢計算單元135藉由根據從輸入影像辨識的真實物件obj_r的位置及姿勢而界定虛擬空間的原點位置及座標軸方向，以將虛擬空間與真實空間相關連。此外，位置姿勢計算單元135作為計算真實物件obj_r與虛擬物件obj_v之間的距離之距離計算單元。舉例而言，如上所述，虛擬物件的配置被界定於其中的虛擬空間與真實空間彼此相關連。但是，當參考點RP與虛擬空間的原點位置相符時，位置姿勢計算單元135根據虛擬空間上的虛擬物件的位置資訊而計算距離。此外，當參考點RP及虛擬空間的原點位置不相符時，位置姿勢計算單元135根據關於虛擬物件與虛擬空間的原始位置相距之位置資訊以及原點與參考點RP之間的位置關係而計算距離。

(辨識雜訊評估單元140)

辨識雜訊評估單元140具有評估包含於來自影像辨識單元125的辨識結果中的雜訊之功能。舉例而言，辨識雜訊評估單元140評估雜訊是否包含在辨識結果中、及雜訊包含於標示物件狀態的資訊之中的何種成分中。舉例而言，藉由分析被辨識的真實物件obj_r的狀態數量X的值的時間過程，辨識雜訊評估單元140評估是否包含雜訊或是評估雜訊的量值。此處，狀態數量X可以是位置P、姿勢W、量值Sc、或是P、W、及Sc的組合。

圖8顯示狀態數量X改變的實例。圖8的水平軸是時間t，垂直軸是狀態數量X及狀態數量的一次微分(dX/dt)。在圖8的實例中，狀態數量X在時間T0至時間T1的時段中溫和地改變。在此情形中，舉例而言，當以傅立葉轉換取出狀態數量X的頻率成分時，狀態數量X的高頻成分變小。此外，狀態數量X的一次微分的絕對值未超過預定程度(相當於物體相對於成像裝置移動之現實限制的程度)。同理也可用於狀態數量X的二次微分。此外，由於狀態數量X的改變是溫和的事實，所以，狀態數量X的目前值相對於過去的m個狀態數量X的取樣的歷史並未大幅不同。狀態數量X的歷史可以是過去的m個取樣的簡單平均值，或是過去的m個取樣的加權平均值(較接近的取樣的權重設定成較大)。

另一方面，狀態數量X在時間T1至時間T2的時段中急遽改變。在此情形中，當取出狀態數量X的頻率成分時，狀態數量X的高頻成分變得較大。此外，狀態數量X的一次微分圍繞零來振盪。一次微分的絕對值超過上述的預定程度。此外，狀態數量X的目前值相對於過去的m個取樣的狀態數量X的歷史是大幅改變。

因此，辨識雜訊評估單元140將物件的狀態數量的高頻成分的量值、狀態數量的一次微分(或二次微分)的絕對值(或是絕對值的積分值)、或是狀態數量的目前值與狀態數量的歷史相比較，以評估狀態數量的時間變異。辨識雜訊評估單元140接著評估隨著評估的時間變異更急 遽，辨識的穩定度是否低且雜訊是否大。在圖8中所示的實例中，在T0至T1的時段中的雜訊被評估為「小」，在T1至T2的時段中的雜訊被評估為「大」，在T2至T3的時段中的雜訊被評估為「中間」，以及，在T3至T4的時段中的雜訊被評估為「大」。

此外，對於每一種狀態數量X，辨識雜訊評估單元140評估雜訊包含在標示被辨識的物件的狀態之索引中的那一成分中。如圖8中所示，辨識雜訊評估單元140將狀態數量X的高頻成分的量值、狀態數量的一次微分(或是二次微分)的絕對值(或是絕對值的積分值)、或是狀態數量的歷史與狀態數量的目前值相比較，以評估狀態數量的變異。舉例而言，當辨識雜訊評估單元140使用姿勢W作為狀態數量X以執行評估以及評估雜訊為大時，辨識雜訊評估單元140雜訊包含在真實物作obj_r的旋轉成分中。

(校正單元145)

校正單元145校正根據被辨識的真實物件obj_r及虛擬物件obj_v的物件資料而算出的虛擬物件obj_v的位置或姿勢。校正單元145根據真實物件obj_r與虛擬物件obj_v之間的距離而校正虛擬物件obj_v的位置或姿勢。校正單元145校正位置或姿勢，以致於追循真實物件obj_r的更新速率變得較慢而至虛擬物件obj_v遠離參考點的程度。舉例而言，校正單元145僅校正根據來自辨識 雜訊評估單元140的評估結果而被評估為包含雜訊的成分。或者，校正單元145僅校正旋轉成分。

虛擬物件obj_v與真實空間上的位置相關連以致依循真實物件obj_r的位置或姿勢。然後，顯示控制單元150使虛擬物件obj_v與輸入影像重疊以致於虛擬物件obj_v出現在相關位置，以及使虛擬物件被顯示。此處，虛擬物件obj_v的位置因而標示真實空間上相關連的位置。

此外，當多數個虛擬物件obj_v如圖9所示般保持不同的相位狀態時，多數個虛擬物件obj_v被視為群組。校正單元145接著決定多數個虛擬物件obj_v的代表點及計算代表點與參考點之間的距離。圖9中所示的多數個虛擬物件obj_v形成一協調的顯示狀態，其中，集合多數個虛擬物件obj_v。舉例而言，虛擬物件obj_v11、虛擬物件obj_v12、虛擬物件obj_v13、及虛擬物件obj_v14保持彼此的相對位置，以形成協調形狀。在此情形中，由於當各別的虛擬物件obj_v的顯示改變時，多數個虛擬物件obj_v的相對位置被打斷，所以，較佳的是將多數個的虛擬物件obj_v視為群組以及類似地改變與多數個虛擬物件obj_v有關的顯示。

校正方法的實例包含根據被辨識的真實物件obj_r離參考點的距離以執行過濾。舉例而言，當由被辨識的矩陣及模型資料決定的在下一時間t+1的肖像要件的位置或姿勢是M’(t+1)以及在時間t的肖像要件的位置或姿勢是M(t)時，在時間t+1之肖像要件的經過校正的位置M(t+1) 以下述等式1表示。在此情形中，a表示根據距離d的係數。

[數學式1]M(t+1)=a×M’(t+1)+(1.0-a)×M(t)

當距離增加時，亦即，當肖像要件更遠離參考點時，係數a趨近零。此外，當d較小時，係數a趨近1。

此外，如同上述圖9的實例中般，當多數個虛擬物件obj_v被視為群組時，較佳的是根據代表點與參考點之間的距離，使用與多數個虛擬物件obj_v有關之共同過濾係數。藉由此配置，能夠保持多數個虛擬物件obj_v的相對位置。

(顯示控制單元150a)

顯示控制單元150a具有控制顯示裝置的顯示之功能。顯示控制單元150a將輸入影像與虛擬物件obj_v重疊並使虛擬物件被顯示。在此情形中，顯示控制單元150a促使虛擬物件obj_v被顯示，以致使虛擬物件obj_v依循真實物件obj_r的位置及姿勢中至少之一。顯示控制單元150a接著根據虛擬物件obj_v與參考點之間的距離以改變虛擬物件obj_v的顯示。顯示控制單元150a藉由根據校正單元145校正的位置的資訊而促使虛擬物件obj_v被顯示，以改變虛擬物件obj_v的顯示。

(3-2.操作)

接著，將參考圖10，說明根據本揭示的第一實施例之資訊處理裝置的操作實例。圖10是流程圖，顯示根據本揭示的第一實施例之資訊處理裝置的操作實例。

資訊處理裝置100判定AR應用處理是否結束(S100)。當在步驟S100中判定AR應用處理結束時，AR應用的操作完成。另一方面，當在步驟S100中判定AR應用處理尚未結束時，影像擷取單元120取得影像(S105)。影像辨識單元125接著辨識影像擷取單元120取得的影像之內的真實物件obj_r(S110)。此處，用於影像辨識單元125辨識真實物件obj_r的影像可為由影像裝置成像的影像本身或是在對成像的影像執行某些處理後取得的影像。影像辨識單元125辨識真實物件obj_r的位置或姿勢。

接著，影像辨識單元125決定辨識是否偵測到標記(與虛擬物件obj_v相關連的真實物件obj_r)(S115)。當在步驟S115中判定偵測到標記時，物件資料擷取單元130取得與標記相關連的物件(S120)。在一實施例中，標記是電腦碼、條碼、或是快速響應(QR)碼。

接著，位置姿勢計算單元145計算虛擬物件obj_v的位置或姿勢(S125)。辨識雜訊評估單元140接著評估包含在標記位置中的雜訊(S130)。在此情形中，辨識雜訊 評估單元140評估標記位置中雜訊的特性。

辨識雜訊評估單元140判定雜訊是否包含在標記位置中(S135)。當判定雜訊包含在步驟S135中時，校正單元145計算虛擬物件obj_v與標記的參考點之間的距離(S140)。校正單元145接著根據雜訊及距離來校正虛擬物件obj_v的位置或姿勢(S145)。顯示控制單元150a接著使虛擬物件obj_v與影像重疊，以及促使虛擬物件被顯示(S150)。在此情形中，當由校正單元145執行校正時，顯示控制單元150a使用經過校正的位置及姿勢而使影像與虛擬物件obj_v重疊。

<4.增加虛擬效果的顯示實例>

接著，將說明根據參考點與虛擬物件obj_v之間的距離以執行虛擬效果之根據本揭示的第二實施例的資訊處理裝置。

(4-1.功能配置)

此處，將參考圖11及12，說明根據本揭示的第二實施例之資訊處理裝置100的控制單元114b實現的功能配置實例。圖11是方塊圖，顯示根據本揭示的第二實施例之資訊處理裝置的功能配置。圖12顯示根據本揭示的第二實施例之資訊處理裝置100實現的視覺效果。

參考圖11，控制單元114b大致上包含影像擷取單元190、影像辨識單元125、物件資料擷取單元130、位置姿 勢計算單元135、辨識雜訊評估單元140、視覺效果資訊產生單元147、及顯示控制單元150b。

(視覺效果資訊產生單元147)

視覺效果資訊產生單元147具有根據真實物件obj_r的參考點RP與虛擬物件obj_v之間的距離以產生的視覺效果資訊。舉例而言，視覺效果可以是代表導因於運動之物件模糊的運動模糊效果。舉例而言，運動模糊效果可以藉由串接虛擬物件obj_v的後影像來表示。視覺效果資訊產生單元147產生用於添加視覺效果的視覺效果資訊，以視覺效果顯示虛擬物件obj_v的後影像。視覺效果資訊產生單元147產生視覺效果資訊，隨著距離增加，藉由視覺效果資訊以顯示更多後影像。

此外，如同上述圖9的實例中般，當多數個虛擬物件obj_v被視為群組時，視覺效果資訊產生單元147根據代表點與參考點之間的距離而產生與多數個虛擬物件obj_v有關的共同視覺效果資訊。藉由如上所述的配置，保持多數個虛擬物件obj_v的相對位置。

(顯示控制單元150b)

顯示控制單元150b具有控制顯示裝置的顯示之功能。顯示控制單元150b將輸入影像與虛擬物件obj_v重疊並使虛擬物件被顯示。在此情形中，顯示控制單元150b促使虛擬物件obj_v被顯示，以致使虛擬物件obj_v 依循真實物件obj_r的位置及姿勢中至少之一。顯示控制單元150b接著根據虛擬物件obj_v與參考點之間的距離以改變虛擬物件obj_v的顯示。顯示控制單元150b藉由根據視覺效果資訊產生單元147產生的視覺效果資訊而促使虛擬物件obj_v被顯示，以改變虛擬物件obj_v的顯示。圖12說明顯示的情形，在顯示中，視覺效果資訊是表示虛擬物件obj_v的後影像程度。當根據虛擬物件obj_v與參考點RP之間的距離以產生視覺效果資訊時，在虛擬物件obj_v較遠離真實物件obj_r的參考點時，顯示更多後影像。

(4-2.操作)

接著，將參考圖13，說明根據本揭示的第二實施例之資訊處理裝置的操作實例。圖13是流程圖，顯示根據第二實施例之資訊處理裝置的操作實例。

資訊處理裝置100判定AR應用處理是否結束(S200)。當在步驟S100中判定AR應用處理結束時，AR應用的操作完成。另一方面，當在步驟S100中判定AR應用處理尚未結束時，影像擷取單元120取得影像(S205)。影像辨識單元125接著辨識影像擷取單元120取得的影像之內的真實物件obj_r(S210)。此處，用於影像辨識單元125辨識真實物件obj_r的影像可為由影像裝置成像的影像、或是在對成像的影像執行某些處理後取得的影像。影像辨識單元125辨識真實物件obj_r的位置或 姿勢。

接著，影像辨識單元125決定辨識是否偵測到標記(與虛擬物件obj_v相關連的真實物件obj_r)(S215)。當在步驟S215中判定偵測到標記時，物件資料擷取單元130取得與標記相關聯的物件資料(S220)。

接著，位置姿勢計算單元145計算虛擬物件obj_v的位置或姿勢(S225)。辨識雜訊評估單元140接著評估包含在標記位置中的雜訊(S230)。在此情形中，辨識雜訊評估單元140評估標記位置中雜訊的特性。

辨識雜訊評估單元140接著判定雜訊是否包含在標記位置中(S235)。當判定雜訊包含在步驟S235中時，校正單元145計算虛擬物件obj_v與標記的參考點之間的距離(S240)。視覺效果資訊產生單元147根據雜訊及距離以產生虛擬物件obj_v的視覺效果資訊(S245)。顯示控制單元150b接著使影像與虛擬物件obj_v重疊，以及促使虛擬物件被顯示(S250)。在此情形中，當由視覺效果資訊產生單元147產生視覺效果資訊時，顯示控制單元150b根據產生的視覺效果資訊而使影像與虛擬物件obj_v重疊。

<5.第三實施例(位置校正+視覺效果)>

接著，將說明根據本揭示的第三實施例的資訊處理裝置，其具有至少一下述功能：根據參考點與虛擬物件obj_v之間的距離以校正虛擬物件obj_v的位置之功能、 以及執行虛擬效果的功能。

首先，將參考圖14，說明根據本揭示的第三實施例之資訊處理裝置100的控制單元114c實現的功能配置實例。圖14是方塊圖，顯示根據本揭示的第三實施例之資訊處理裝置的功能配置。

參考圖14，控制單元114c大致上包含影像擷取單元120、影像辨識單元125、物件資料擷取單元130、位置姿勢計算單元135、辨識雜訊評估單元140、校正單元145、視覺效果資訊產生單元147、及顯示控制單元150c。

(顯示控制單元150c)

當虛擬物件obj_v的位置由校正單元145校正時，顯示控制單元150c使虛擬物件obj_v顯示在經過校正的位置。此外，當由視覺效果資訊產生單元147產生視覺效果資訊時，顯示控制單元150c根據產生的視覺效果資訊而使虛擬物件obj_v被顯示。因此，在此情形中，當虛擬物件obj_v離參考點RP較遠時追隨真實物件obj_r會較慢，以及，當虛擬物件obj_v離參考點RP較遠時，顯示更多的後影像。

習於此技藝者應瞭解，視設計需求及其它因素而發生的各式各樣修改、結合、副結合、及替代是在後附的申請專利範圍或其均等範圍之內。

舉例而言，雖然用於影像辨識單元的辨識之影像及由 顯示控制單元顯示的影像在上述實施例中是彼此相同的，但是，本揭示不限於這些實例。舉例而言，影像辨識單元可以使用影像擷取單元取得且受到例如影像尺寸縮小處理等預定處理的影像。

此外，在上述實施例中，已說明影像顯示在資訊處理裝置100的顯示單元110的顯示幕上。但是，具有由上述實施例中的資訊處理裝置100的控制單元114實現的功能之裝置及具有上述實施例中的顯示單元之裝置可以是彼此分開的裝置。在此情形中，與虛擬物件obj_v重疊的影像被傳送至具有顯示單元的裝置，然後顯示於顯示單元上。

此外，已說明資訊處理裝置100的功能安裝在上述實施例中的一裝置上。但是，本揭示不限於此實例。舉例而言，上述多數個功能散佈在多數個資訊處理裝置上之情形也包含在本揭示的技術範圍之內。

此外，在說明書中的流程圖中所述的步驟當然是根據所述次序而以時間序列方式執行的步驟，但是，不一定依時間序列被處理，且包含並行地或個別地執行的處理步驟。此外，無需多言，在某些情形中，可以適當地改變以時間序列執行這些步驟的次序。

此外，本技術也如下述般地配置。

(1)一種裝置，包含：影像處理器，配置成接收視頻，在距參考點一距離處，將物件疊加在視頻 上，以及根據稍後訊框中物件與參考點之間的距離來修改物件的位置。

(2)根據(1)之裝置，其中，影像處理器以根據稍後訊框中物件與參考點之間的距離的速率，修改物件的位置。

(3)根據(1)之裝置，其中，影像處理器根以據稍後訊框中物件與參考點之間的距離的更新速率，修改物件的位置，使得更新速率隨著稍後訊框中物件與參考點之間的距離降低而增加。

(4)根據(1)至(3)之裝置，其中，影像處理器測量稍後訊框中物件與參考點之間的距離中的雜訊量，以及根據雜訊量及稍後訊框中物件與參考點之間的距離而決定位置。

(5)根據(4)之裝置，其中，根據比對於稍後訊框中物件與參考點之間的第二距離的雜訊量還多之對於稍後訊框中物件與參考點之間的第一距離的雜訊量，影像處理器修改位置，其中，第一距離大於第二距離。

(6)根據(4)之裝置，其中，影像處理器根據雜訊量以及稍後訊框中物件與參考點之間的距離而決定位置，使得僅有包含雜訊的物件與參考點之間的距離的成分被影像處理器修改。

(7)根據(4)之裝置，其中，影像處理器根據雜訊量以及稍後訊框中物件與參考點之間的距離而決定位置，以 致於僅有物件的旋轉成分被影像處理器修改。

(8)根據(1)至(7)的裝置，其中，影像處理器決定視頻中的真實物件的位置以及使用真實物件的位置作為參考點。

(9)根據(1)至(8)的裝置，又包括：相機，配置成產生視頻。

(10)根據(1)至(9)的裝置，又包括：顯示器，配置成顯示具有物件疊加於上的視頻。

(11)根據(1)的裝置，其中，影像處理器根據稍後訊框中物件與參考點之間的距離以產生視覺效果。

(12)根據(11)的裝置，其中，影像處理器產生視覺效果，以致於產生代表導因於物件的運動之物件模糊的模糊效果。

(13)根據(11)的裝置，其中，影像處理器藉由串接複數個物件後影像而產生視覺效果。

(14)根據(13)的裝置，其中，稍後訊框中物件與參考點之間的距離愈大，則影像處理器產生愈大數目的物件後影像串接。

(15)根據(1)至(14)的裝置，其中，影像處理器在離參考點不同的距離處將多數個物件疊加於視頻上，以及，根據稍後訊框中的各物件與參考點之間的距離而修改各物件的位置。

(16)根據(3)的裝置，其中，影像處理器根據稍後訊框中的物件與參考點之間的距離而產生視覺效果。

(17)根據(16)的裝置，其中，影像處理器產生視覺效果，以致於產生代表導因於物件的運動之物件模糊的模糊效果。

(18)根據(17)的裝置，其中，影像處理器藉由串接複數個物件後影像而產生視覺效果。

(19)根據(1)至(18)的裝置，其中，影像處理器從較早的訊框至稍後的訊框追蹤物件及參考點的位置。

(20)根據(1)至(19)的裝置，又包括：感測器，配置成產生視頻及傳送視頻給影像處理器；以及顯示器，配置成顯示具有物件疊加於上的視頻，顯示器在與感測器相反的表面上。

(21)根據(1)至(20)的裝置，其中，物件是標記。

(22)一種方法，包含：接收視頻；在距參考點一距離處，將物件疊加於視頻上；以及根據稍後訊框中的物件與參考點之間的距離，修改物件的位置。

(23)一種非暫態電腦可讀取的媒體，由程式編碼，當該程式被載於處理器時，致使處理器執行方法，該方法包含：接收視頻；在距參考點一距離處，將物件疊加於視頻上；以 及根據稍後訊框中的物件與參考點之間的距離，修改物件的位置。

100‧‧‧資訊處理裝置

102‧‧‧成像單元

104‧‧‧感測器單元

106‧‧‧輸入單元

108‧‧‧儲存單元

110‧‧‧顯示單元

112‧‧‧通訊單元

114‧‧‧控制單元

120‧‧‧影像擷取單元

125‧‧‧影像辨識單元

130‧‧‧物件資料擷取單元

135‧‧‧姿勢位置計算單元

140‧‧‧辨識雜訊評估單元

145‧‧‧校正單元

147‧‧‧視覺效果資訊產生單元

150‧‧‧顯示控制單元

[圖1]

圖1顯示根據本揭示的實施例之資訊處理裝置的功能的概要。

[圖2]

圖2顯示根據本揭示的實施例之資訊處理裝置顯示的顯示幕的實例。

[圖3]

圖3顯示根據本揭示的實施例之資訊處理裝置顯示的顯示幕的顯示方法。

[圖4]

圖4顯示發生在根據本揭示的實施例之資訊處理裝置上的顯示位置的波動。

[圖5]

圖5是方塊圖，顯示根據本揭示的實施例之資訊處理裝置的硬體配置實例。

[圖6]

圖6是方塊圖，顯示根據本揭示的第一實施例之資訊處理裝置的功能配置。

[圖7] 圖7顯示由根據本揭示的第一實施例之資訊處理裝置以索引辨識的物件狀態。

[圖8]

圖8顯示根據本揭示的第一實施例之資訊處理裝置的雜訊評估。

[圖9]

圖9顯示根據本揭示的第一實施例之資訊處理裝置中使用多數個虛擬物件的代表點之實例。

[圖10]

圖10是流程圖，顯示根據本揭示的第一實施例之資訊處理裝置的操作實例。

[圖11]

圖11是方塊圖，顯示根據本揭示的第二實施例之資訊處理裝置的功能配置。

[圖12]

圖12顯示根據本揭示的第二實施例之資訊處理裝置實現的視覺效果。

[圖13]

圖13是流程圖，顯示根據本揭示的第二實施例之資訊處理裝置的操作實例。

[圖14]

圖14顯示根據本揭示的第三實施例之資訊處理裝置的功能配置。

obj_v‧‧‧虛擬物件

obr_v‧‧‧真實物件

RP‧‧‧參考點

Claims (20)

1. 一種裝置，包含：影像處理器，配置成接收視頻，在距參考點一距離處，將物件疊加在視頻上，以及根據稍後訊框中該物件與該參考點之間的距離來修改該物件的位置。
2. 根據申請專利範圍第1項之裝置，其中，該影像處理器以根據該稍後訊框中該物件與該參考點之間的該距離的速率，修改該物件的位置。
3. 根據申請專利範圍第1項之裝置，其中，該影像處理器以根據稍後訊框中該物件與該參考點之間的該距離的更新速率，修改該物件的位置，以致於該更新速率隨著該稍後訊框中該物件與該參考點之間的該距離降低而增加。
4. 根據申請專利範圍第1項之裝置，其中，該影像處理器測量該稍後訊框中該物件與該參考點之間的該距離中的雜訊量，以及根據該雜訊量及該稍後訊框中該物件與該參考點之間的該距離而決定該位置。
5. 根據申請專利範圍第1項之裝置，其中，該影像處理器從較早訊框至該稍後訊框追蹤該物件及該參考點的位置。
6. 根據申請專利範圍第1項之裝置，又包括： 感測器，配置成產生該視頻及傳送該視頻給該影像處理器；以及顯示器，配置成顯示具有該物件疊加於上的該視頻，該顯示器係在該裝置之與該感測器相反的表面上。
7. 根據申請專利範圍第1項之裝置，其中，該物件是標記。
8. 根據申請專利範圍第1項之裝置，其中，該影像處理器決定該視頻中的真實物件的位置以及使用該真實物件的該位置作為該參考點。
9. 根據申請專利範圍第1項之裝置，又包括：相機，配置成產生該視頻。
10. 根據申請專利範圍第1項之裝置，又包括：顯示器，配置成顯示具有該物件疊加於上的該視頻。
11. 根據申請專利範圍第1項之裝置，其中，該影像處理器根據該稍後訊框中該物件與該參考點之間的該距離以產生視覺效果。
12. 根據申請專利範圍第11項之裝置，其中，該影像處理器產生該視覺效果，使得產生代表由於該物件的運動之該物件模糊的模糊效果。
13. 根據申請專利範圍第11項之裝置，其中，該影像處理器藉由串接該物件後影像而產生視覺效果。
14. 根據申請專利範圍第13項的裝置，其中，該稍後訊框中該物件與該參考點之間的該距離愈大，則該影像處理器產生愈大數目的該物件後影像串接。
15. 根據申請專利範圍第1項的裝置，其中，該影像處理器在離該參考點不同的距離處將多數個物件疊加於該視頻上，且根據該稍後訊框中的各物件與該參考點之間的距離而修改各物件的位置。
16. 根據申請專利範圍第3項的裝置，其中，該影像處理器根據該稍後訊框中的該物件與該參考點之間的該距離而產生視覺效果。
17. 根據申請專利範圍第16項的裝置，其中，該影像處理器產生視覺效果，使得產生代表由於該物件的運動之該物件模糊的模糊效果。
18. 根據申請專利範圍第17項的裝置，其中，該影像處理器藉由串接複數個該物件後影像而產生視覺效果。
19. 一種方法，包含：接收視頻；在距參考點一距離處，將物件疊加於視頻上；以及根據稍後訊框中的該物件與該參考點之間的距離來修改該物件的位置。
20. 一種非暫態電腦可讀取媒體，以程式編碼，當該程式被載於處理器時，致使該處理器執行方法，該方法包含：接收視頻；在距參考點一距離處，將物件疊加於視頻上；以及根據稍後訊框中該物件與該參考點之間的距離來修改該物件的位置。