TWI649675B

TWI649675B - Display device

Info

Publication number: TWI649675B
Application number: TW103107535A
Authority: TW
Inventors: 下田竜一
Original assignee: 新力股份有限公司
Priority date: 2013-03-28
Filing date: 2014-03-05
Publication date: 2019-02-01
Also published as: EP2981079A1; CN105075254A; JPWO2014156706A1; TW201443699A; JP6344380B2; US10365767B2; US20160048230A1; KR20150135234A; WO2014156706A1; EP2981079A4; CN105075254B

Abstract

本技術係關於可提高操作性之圖像處理裝置及方法、以及程式。圖像截取部截取顯示由使用者觸控操作之虛擬圖像之輸入圖像上之區域而設為截取圖像，距離計算部藉由對左右之截取圖像進行立體匹配，而求得截取圖像上之對各被攝體之距離。觸控座標計算部根據對各被攝體之距離之資訊而求得使用者之觸控位置，觸控處理部執行與該觸控位置相應之處理。此外，近距離圖像分離部使用對各被攝體之距離之資訊，使與虛擬圖像相比位於更靠近使用者側之被攝體自截取圖像分離，而設為近距離圖像。將該近距離圖像合成至虛擬圖像，進而將合成後之虛擬圖像合成至輸入圖像且予以顯示。本技術可應用於顯示裝置。

Description

顯示裝置

本技術係關於圖像處理裝置及方法、以及程式，尤其係關於可提高操作性之圖像處理裝置及方法、以及程式。

近來，藉由CPU(Central Processing Unit：中央處理單元)或GPU(Graphics Processing Unit：圖形處理單元)等之進化，實現利用有CG(Computer Graphics：電腦圖形)圖像之虛擬現實，進而亦實現應用其合成實際攝影圖像與虛擬圖像之擴增實境(AR(Augmented Reality))。

例如，作為關於此種擴增實境之技術，有人提出將圖像重疊顯示於存在於實際環境上之物體之位置，並執行與對該圖像之操作相應之處理的技術(例如，參照專利文獻1)。

[先前技術文獻] [專利文獻]

[專利文獻1]日本專利特開2011-203823號公報

然而，在上述之技術中，因必須以使用者之手或腳等預先設定者進行操作，故操作時不僅需要手或腳等之辨識處理，且根據情形而操作上較為不便，從而操作性算不上高。此外，因使操作用之圖像重疊顯示於存在於實際環境上之物體之位置，故自由度較低，操作上較為不便。

本技術係鑑於此種狀況而完成者，其可提高操作性。

本技術之一態樣之圖像處理裝置具備：圖像截取部，其自彼此具有視差之2個以上之輸入圖像，截取顯示成為操作對象之虛擬圖像之區域附近之特定區域且產生截取圖像；距離計算部，其基於2個以上之上述截取圖像，計算上述截取圖像之各區域之被攝體之距離資訊；觸控位置計算部，其基於上述距離資訊而計算上述虛擬圖像上之使用者之觸控位置；觸控處理部，其執行與上述觸控位置相應之處理；近距離圖像分離部，其對上述截取圖像各者，基於上述距離資訊而自上述截取圖像分離出與上述虛擬圖像相比位於更近距離之被攝體之區域，而產生近距離圖像；虛擬圖像合成部，其對上述近距離圖像各者，將上述近距離圖像合成於上述虛擬圖像而產生合成圖像；及顯示圖像合成部，其對上述合成圖像各者，將上述合成圖像合成至上述輸入圖像而產生彼此具有視差之2個輸出圖像。

可於上述觸控位置計算部計算複數個上述觸控位置，且於上述觸控處理部執行藉由複數個上述觸控位置而特定之處理。

上述虛擬圖像可設為於3維空間中顯示於非平面上者，於上述觸控位置計算部，使用因上述虛擬圖像之區域而異之距離，基於由上述距離資訊所示之距離與對上述虛擬圖像之距離相同之上述截取圖像之位置，計算上述觸控位置。

於上述觸控位置計算部，可基於由上述距離資訊所示之距離與對上述虛擬圖像之距離相同之上述截取圖像上之複數個位置，計算上述觸控位置。

可對上述輸入圖像合成複數個上述虛擬圖像而設為上述輸出圖像，於上述觸控位置計算部，對上述虛擬圖像各者計算上述觸控位置。

於圖像處理裝置，可進而設置修正部，其基於上述圖像處理裝置之位置或方向之變化，修正上述虛擬圖像之顯示位置、顯示尺寸、形狀、或對上述虛擬圖像之距離。

於圖像處理裝置，可進而設置：辨識部，其自上述輸入圖像檢測出預先設定之辨識對象物；辨識對象物距離計算部，其基於上述辨識對象物之檢測結果，計算對上述辨識對象物之距離；及決定部，其基於上述辨識對象物之位置、及對上述辨識對象物之距離，決定上述虛擬圖像之顯示位置及對上述虛擬圖像之距離。

可將上述辨識對象物設為上述使用者之手掌。

於圖像處理裝置，可進而設置障礙物判定部，其藉由自上述近距離圖像檢測出預先設定之操作物，而判定上述虛擬圖像與上述圖像處理裝置之間是否存在障礙物。

於上述距離計算部，可藉由基於上述截取圖像進行匹配處理，而計算上述距離資訊。

可將上述距離資訊設為上述截取圖像之各區域之視差。

於上述觸控處理部，可根據上述觸控位置而執行圖像之顯示或音頻之播放。

於圖像處理裝置，可進而設置攝像部，其對上述輸入圖像進行攝像。

本技術之一態樣之圖像處理方法或程式包含如下步驟：自彼此具有視差之2個以上之輸入圖像，截取顯示成為操作對象之虛擬圖像之區域附近之特定區域，而產生截取圖像；基於2個以上之上述截取圖像，計算上述截取圖像之各區域之被攝體之距離資訊；基於上述距離資訊而計算上述虛擬圖像上之使用者之觸控位置；執行與上述觸控位置相應之處理；對上述截取圖像各者，基於上述距離資訊而自上述截取圖像分離出與上述虛擬圖像相比位於更近距離之被攝體之區域而產生近距離圖像；對上述近距離圖像各者，將上述近距離圖像合成至上述虛擬圖像而產生合成圖像；對上述合成圖像各者，將上述合成圖像合成至上述輸入圖像，而產生彼此具有視差之2個輸出圖像。

在本技術之一態樣中，自彼此具有視差之2個以上之輸入圖像，截取顯示成為操作對象之虛擬圖像之區域附近之特定區域，而產生截取圖像；基於2個以上之上述截取圖像，計算上述截取圖像之各區域之被攝體之距離資訊；基於上述距離資訊計算上述虛擬圖像上之使用者之觸控位置；執行與上述觸控位置相應之處理；對上述截取圖像各者，基於上述距離資訊而自上述截取圖像分離出與上述虛擬圖像相比位於更近距離之被攝體之區域，而產生近距離圖像；對上述近距離圖像各者，將上述近距離圖像合成至上述虛擬圖像，而產生合成圖像；對上述合成圖像各者，將上述合成圖像合成至上述輸入圖像，而產生彼此具有視差之2個輸出圖像。

根據本技術之一態樣，可提高操作性。

11‧‧‧顯示裝置

21‧‧‧圖像顯示部

21L‧‧‧圖像顯示部

21R‧‧‧圖像顯示部

22‧‧‧攝像部

22L‧‧‧攝像部

22R‧‧‧攝像部

51‧‧‧圖像處理裝置

52‧‧‧圖像顯示處理裝置

61‧‧‧CPU

62‧‧‧ROM

63‧‧‧RAM

64‧‧‧攝像機輸入部

65‧‧‧攝像機處理部

66‧‧‧圖像截取部

66L‧‧‧圖像截取部

66R‧‧‧圖像截取部

67‧‧‧距離計算部

68‧‧‧觸控座標計算部

68L‧‧‧觸控座標計算部

68R‧‧‧觸控座標計算部

69‧‧‧近距離圖像分離部

69L‧‧‧近距離圖像分離部

69R‧‧‧近距離圖像分離部

70‧‧‧圖像輸出部

71‧‧‧通信IF

72‧‧‧匯流排

81‧‧‧通信IF

82‧‧‧圖像輸入部

83‧‧‧CPU

84‧‧‧ROM

85‧‧‧RAM

86‧‧‧圖像顯示處理部

87‧‧‧圖像輸出部

88‧‧‧匯流排

121‧‧‧決定部

121L‧‧‧決定部

121R‧‧‧決定部

122‧‧‧觸控處理部

123‧‧‧虛擬圖像合成部

123L‧‧‧虛擬圖像合成部

123R‧‧‧虛擬圖像合成部

124‧‧‧顯示圖像合成部

124L‧‧‧顯示圖像合成部

124R‧‧‧顯示圖像合成部

151‧‧‧位準調整部

151L‧‧‧位準調整部

151R‧‧‧位準調整部

152‧‧‧縮小部

152L‧‧‧縮小部

152R‧‧‧縮小部

153‧‧‧立體匹配部

154‧‧‧前端座標計算部

154L‧‧‧前端座標計算部

154R‧‧‧前端座標計算部

155‧‧‧前端附近擷取部

155L‧‧‧前端附近擷取部

155R‧‧‧前端附近擷取部

156‧‧‧修正立體匹配部

157‧‧‧近距離光罩產生部

157L‧‧‧近距離光罩產生部

157R‧‧‧近距離光罩產生部

158‧‧‧放大部

158L‧‧‧放大部

158R‧‧‧放大部

191‧‧‧圖像處理裝置

231‧‧‧感測器

232‧‧‧感測器IF

271‧‧‧辨識部

271L‧‧‧辨識部

271R‧‧‧辨識部

272‧‧‧手掌距離計算部

301‧‧‧障礙物判定部

301L‧‧‧障礙物判定部

301R‧‧‧障礙物判定部

501‧‧‧CPU

502‧‧‧ROM

503‧‧‧RAM

504‧‧‧匯流排

505‧‧‧輸出入介面

506‧‧‧輸入部

507‧‧‧輸出部

508‧‧‧記錄部

509‧‧‧通信部

510‧‧‧驅動器

511‧‧‧可移動媒體

CP21‧‧‧截取圖像

CPL‧‧‧截取圖像

CPR‧‧‧截取圖像

D‧‧‧視差

d‧‧‧視差

EP21‧‧‧附近圖像

H11‧‧‧被攝體

HPL‧‧‧截取圖像

HPR‧‧‧截取圖像

IPL‧‧‧左輸入圖像

IPR‧‧‧右輸入圖像

MPL‧‧‧合成圖像

MPR‧‧‧合成圖像

NPL‧‧‧近距離圖像

NPR‧‧‧近距離圖像

OB11‧‧‧障礙物

OPL‧‧‧左輸出圖像

OPR‧‧‧右輸出圖像

PO11‧‧‧前端位置

PO11’‧‧‧前端位置

PO12‧‧‧觸控位置

SP21‧‧‧圖像

SU11‧‧‧球面

U11‧‧‧使用者

V11‧‧‧虛擬圖像

V21L‧‧‧虛擬圖像

V21R‧‧‧虛擬圖像

V41‧‧‧虛擬圖像

V42‧‧‧虛擬圖像

V43‧‧‧虛擬圖像

XL‧‧‧軸

XL’‧‧‧軸

XL”‧‧‧軸

XR‧‧‧軸

XR’‧‧‧軸

XR”‧‧‧軸

Y‧‧‧軸

Y’‧‧‧軸

Y”‧‧‧軸

Z‧‧‧軸

Z’‧‧‧軸

Z”‧‧‧軸

θ‧‧‧角度

ψ‧‧‧角度

φ‧‧‧角度

圖1係顯示顯示裝置之外觀之構成例之圖。

圖2係說明對虛擬圖像之操作之圖。

圖3係顯示顯示裝置之構成例之圖。

圖4係說明顯示裝置之處理流程之圖。

圖5係說明距離計算部之處理之圖。

圖6係說明觸控位置之算出之圖。

圖7係說明觸控辨識處理之流程圖。

圖8係說明距離測定處理之流程圖。

圖9係說明針對虛擬圖像之多點觸控操作之圖。

圖10係說明對虛擬圖像之非平面之顯示之圖。

圖11係說明複數個虛擬圖像之顯示之圖。

圖12係顯示顯示裝置之其他構成例之圖。

圖13係說明安裝有顯示裝置之使用者之動作之圖。

圖14係說明顯示座標系與虛擬圖像之顯示位置之修正之圖。

圖15係顯示顯示裝置之構成例之圖。

圖16係說明顯示位置修正處理之流程圖。

圖17係說明虛擬圖像之顯示位置之調整或初始位置決定之圖。

圖18係說明虛擬圖像之顯示位置調整或初始位置決定時之處理流程之圖。

圖19係說明障礙物之檢測之圖。

圖20係說明障礙物檢測時之處理流程之圖。

圖21係說明顯示位置調整處理之流程圖。

圖22係顯示電腦之構成例之圖。

以下，參照圖式說明應用有本技術之實施形態。

<第1實施形態> <本技術之概要>

本技術係對安裝有頭盔顯示器或附有圖像顯示功能之眼鏡等之顯示裝置之使用者，實現使其感覺如現實地觸控以雙鏡頭攝像機作為輸入之擴增實境之虛擬圖像而進行操作之3D使用者介面者。

例如，本技術可應用於音頻機器、多功能型行動電話、電子書籍之閱讀器等各種電子機器之操作、或醫療領域、遊戲機之操作、音樂會、電影、及遊樂設施等。

以下，以將本技術應用於玻璃型顯示裝置之情形為例，說明本技術。此種情形時，例如圖1之上側所示，在顯示裝置11之背側，即使用者已安裝顯示裝置11時與使用者之左右眼對向之側之面上，設置有圖像顯示部21L與圖像顯示部21R。該等之圖像顯示部21L與圖像顯示部21R係分別對使用者之左眼與右眼提示圖像之顯示器件。

另，以下，在不必特別區分圖像顯示部21L與圖像顯示部21R之情形時，亦簡稱為圖像顯示部21。

又，於顯示裝置11之表側，即使用者已安裝顯示裝置11時位於與使用者之眼側相反側之面，設置有攝像部22L與攝像部22R。該等之攝像部22L與攝像部22R係以與使用者之左右眼大致相同位置為視點而將彼此具有視差之圖像進行攝像。另，以下，在不必特別區分攝像部22L與攝像部22R之情形時，亦簡稱為攝像部22。

此種顯示裝置11係如圖2所示安裝於使用者U11之頭部而加以使用。在該例中，設置於顯示裝置11之攝像部22係將位於使用者U11前方之被攝體H11等作為被攝體而將圖像進行攝像。接著，顯示裝置11係於由攝像部22所攝像之輸入圖像合成特定之虛擬圖像V11，且將該結果獲得之輸出圖像顯示於圖像顯示部21。

此處，虛擬圖像V11設為例如成為使用者之操作對象之虛擬按鈕或觸控面板等，在對顯示裝置11指示各種處理之執行時所操作之3D使用者介面之圖像。

使用者U11係一面觀察顯示於圖像顯示部21之輸出圖像，一面對猶如存在於現實空間般顯示之虛擬圖像V11伸出手，進行針對虛擬圖像V11之觸控操作。即，進行按壓顯示於虛擬圖像V11上之按鈕等之操作。

且，當使用者U11對虛擬圖像V11進行操作時，顯示裝置11執行與該操作相應之處理。

在顯示裝置11中，由攝像部22L與攝像部22R攝像之輸入圖像係彼此具有視差之圖像，且圖像顯示部21L與圖像顯示部21R上分別顯示之輸出圖像上之虛擬圖像V11亦具有視差。因此，使用者U11之左右眼中所提示之輸出圖像成為彼此具有視差之立體圖像。

如此般，在顯示裝置11中，藉由顯示立體圖像作為輸出圖像，容易掌握距離感，可實現不會使使用者感到緊張之使用者介面。該使用者介面係使用真實3D之擴增實境之空間觸控介面。

另，以下，亦將由攝像部22L所攝像之輸入圖像等、使用者左眼用之圖像簡稱為左圖像，同樣，亦將由攝像部22R所攝像之輸入圖像等、使用者右眼用之圖像簡稱為右圖像。

<顯示裝置之構成例>

其次，說明圖1所示之顯示裝置11之具體構成。圖3係顯示顯示裝置11之構成例之圖。另，對圖3中與圖1之情形對應之部分標註相同符號，且適當省略其說明。

顯示裝置11係由攝像部22L、攝像部22R、圖像處理裝置51、圖像顯示處理裝置52、圖像顯示部21L、及圖像顯示部21R構成。在該例中，以通信連接圖像處理裝置51與圖像顯示處理裝置52，由處理裝置與程式實現顯示裝置11。

攝像部22L及攝像部22R包含彼此不同視點之攝像機，拍攝輸入圖像且供給至圖像處理裝置51。例如所攝像之輸入圖像係逐幀逐次供給至圖像處理裝置51。

圖像處理裝置51係由CPU61、ROM(Read Only Memory：唯讀記憶體)62、RAM(Random Access Memory：隨機存取記憶體)63、攝像機輸入部64、攝像機處理部65、圖像截取部66、距離計算部67、觸控座標計算部68、近距離圖像分離部69、圖像輸出部70、通信IF(Interface：介面)71、及匯流排72構成。在圖像處理裝置51中，CPU61至通信IF71係經由匯流排72相互連接。

CPU61使用記錄於ROM62或RAM63之程式或資料，控制圖像處理裝置51整體之動作。ROM62記錄圖像或各種資料、及程式等。 RAM63係暫時性記錄圖像或各種資料、及程式等，記錄於RAM63之資料等係根據需要讀取。

攝像機輸入部64自攝像部22取得輸入圖像之圖像資料，根據需要進行輸入圖像之資料格式轉換等，且供給至攝像機處理部65。攝像機處理部65對輸入圖像實施失真等之修正處理或顯影處理。

圖像截取部66截取自攝像機處理部65輸出之輸入圖像之一部分區域而設為截取圖像。距離計算部67計算截取圖像上之各區域之與被攝體之距離。此處，與被攝體之距離係指真實空間中自攝像部22至被攝體之距離。

觸控座標計算部68基於距離計算部67中之計算結果，計算虛擬圖像上使用者之觸控位置之座標，且經由匯流排72、通信IF71將該計算結果供給至圖像顯示處理裝置52。

近距離圖像分離部69基於距離計算部67中之計算結果與截取圖像，產生僅顯示較配置於3維空間上之虛擬圖像位於更近距離之被攝體，即位於使用者側之被攝體之近距離圖像，且供給至圖像輸出部70。具體而言，在近距離圖像分離部69中，基於3維空間上虛擬圖像與顯示裝置11之距離，進行針對截取圖像之圖像分離，產生近距離圖像。

圖像輸出部70將來自近距離圖像分離部69之近距離圖像、或來自攝像機處理部65之輸入圖像輸出至圖像顯示處理裝置52。通信IF71進行與圖像顯示處理裝置52之資訊之傳送接收。例如，通信IF71將來自圖像處理裝置51之各部之控制資訊或各種資訊發送至圖像顯示處理裝置52。

又，圖像顯示處理裝置52係由通信IF81、圖像輸入部82、CPU83、ROM84、RAM85、圖像顯示處理部86、圖像輸出部87、及匯流排88構成。在圖像顯示處理裝置52中，通信IF81至圖像輸出部87 係經由匯流排88相互連接。

通信IF81係與通信IF71進行資訊之傳送接收。圖像輸入部82係與圖像輸出部70連接，自圖像輸出部70接收圖像之供給，且經由匯流排88將圖像輸出至圖像顯示處理裝置52之各部。例如，圖像輸入部82係自圖像輸出部70接收近距離圖像或輸入圖像之供給。

CPU83使用記錄於ROM84或RAM85中之程式或資料、及自圖像處理裝置51供給之資訊或圖像，進行各種控制或圖像處理。例如，CPU83將近距離圖像合成於記錄於ROM84中之虛擬圖像，或將合成有近距離圖像之虛擬圖像進而合成至輸入圖像而產生輸出圖像。

ROM84記錄虛擬圖像等之各種圖像或資料、及程式等。RAM85係暫時性記錄圖像或各種資料、及程式等。

圖像顯示處理部86係對顯示於圖像顯示部21之輸出圖像等之圖像，進行緩衝處理等之圖像處理。圖像輸出部87係將於圖像顯示處理部86中進行圖像處理後之輸出圖像等之圖像輸出至圖像顯示部21予以顯示。

<觸控操作與圖像顯示>

繼而，參照圖4，說明藉由圖3之顯示裝置11進行之處理流程。另，對圖4中與圖3之情形對應之部分標註相同符號，且適當省略其說明。

在圖3中，決定部121L及決定部121R係由CPU61及CPU83實現，圖像截取部66L及圖像截取部66R係由圖像截取部66實現。又，觸控座標計算部68L及觸控座標計算部68R係由觸控座標計算部68實現，近距離圖像分離部69L及近距離圖像分離部69R係由近距離圖像分離部69實現。再者，觸控處理部122、虛擬圖像合成部123L、虛擬圖像合成部123R、顯示圖像合成部124L、及顯示圖像合成部124R係由CPU83實現。

另，以下，在不必特別區分決定部121L及決定部121R之情形時，亦簡稱為決定部121，且在不必特別區分圖像截取部66L及圖像截取部66R之情形時，亦簡稱為圖像截取部66。

又，以下，在不必特別區分觸控座標計算部68L及觸控座標計算部68R之情形時，亦簡稱為觸控座標計算部68，在不必特別區分近距離圖像分離部69L及近距離圖像分離部69R之情形時，亦簡稱為近距離圖像分離部69。再者，在不必特別區分虛擬圖像合成部123L及虛擬圖像合成部123R之情形時，亦簡稱為虛擬圖像合成部123，在不必特別區分顯示圖像合成部124L及顯示圖像合成部124R之情形時，亦簡稱為顯示圖像合成部124。

在顯示裝置11中，首先藉由攝像部22L及攝像部22R，攝像左眼用及右眼用之輸入圖像，即左輸入圖像IPL及右輸入圖像IPR。接著，左輸入圖像IPL係供給至圖像截取部66L及顯示圖像合成部124L，右輸入圖像IPR係供給至圖像截取部66R及顯示圖像合成部124R。

該等之左輸入圖像IPL及右輸入圖像IPR係彼此具有視差之圖像。

又，藉由決定部121L，決定合成至左輸入圖像IPL之虛擬圖像V21L、與該虛擬圖像V21L之顯示位置、尺寸及距離。此處，虛擬圖像V21L之顯示位置與尺寸係輸出圖像上之位置與尺寸。又，顯示之虛擬圖像V21L之距離係真實空間中，更詳細而言係3維擴增實境空間中自攝像部22至虛擬圖像V21L之距離。

決定部121L將決定之虛擬圖像V21L之顯示位置、尺寸、及距離供給至圖像截取部66L及顯示圖像合成部124L，且將虛擬圖像V21L供給至虛擬圖像合成部123L。

另，實際上，左輸入圖像IPL之顯示位置、尺寸、及距離係自CPU61供給至圖像截取部66或CPU83，且虛擬圖像V21L係由CPU83自 ROM84讀取。

同樣，藉由決定部121R，決定合成至右輸入圖像IPR之虛擬圖像V21R、與該虛擬圖像V21R之顯示位置、尺寸、及距離。

決定部121R將決定之虛擬圖像V21R之顯示位置、尺寸、及距離供給至圖像截取部66R及顯示圖像合成部124R，且將虛擬圖像V21R供給至虛擬圖像合成部123R。

圖像截取部66L截取由虛擬圖像V21L之顯示位置及尺寸、與視差容限而定之左輸入圖像IPL上之區域而設為截取圖像CPL，且供給至距離計算部67。同樣，圖像截取部66R截取由虛擬圖像V21R之顯示位置及尺寸、與視差容限而定之右輸入圖像IPR上之區域而設為截取圖像CPR，且供給至距離計算部67。

因截取圖像CPL與截取圖像CPR係顯示輸入圖像上之虛擬圖像之區域附近之圖像，故截取圖像成為包含有欲對虛擬圖像進行操作之使用者之手等之圖像。另，對虛擬圖像之操作不限於使用者之手，亦可以如筆等者進行，以下繼續說明使用者用手對虛擬圖像進行觸控操作者。

距離計算部67基於截取圖像CPL與截取圖像CPR，計算位於截取圖像上之各區域之被攝體之距離，且供給至觸控座標計算部68L、觸控座標計算部68R、近距離圖像分離部69L、及近距離圖像分離部69R。又，距離計算部67將截取圖像CPL供給至近距離圖像分離部69L，且將截取圖像CPR供給至近距離圖像分離部69R。

觸控座標計算部68L基於距離計算部67之計算結果，計算使用者對虛擬圖像V21L之觸控位置之座標，且供給至觸控處理部122。同樣，觸控座標計算部68R基於距離計算部67之計算結果，計算使用者對虛擬圖像V21R之觸控位置之座標，且供給至觸控處理部122。

觸控處理部122使顯示裝置11之各部執行與來自觸控座標計算部 68L與觸控座標計算部68R之觸控位置之座標之計算結果相應之處理。

近距離圖像分離部69L基於距離計算部67之計算結果，自截取圖像CPL產生近距離圖像NPL，且供給至虛擬圖像合成部123L。同樣，近距離圖像分離部69R基於距離計算部67之計算結果，自截取圖像CPR產生近距離圖像NPR，且供給至虛擬圖像合成部123R。

虛擬圖像合成部123L於自決定部121L供給之虛擬圖像V21L上合成來自近距離圖像分離部69L之近距離圖像NPL而設為合成圖像MPL，且供給至顯示圖像合成部124L。虛擬圖像合成部123R於自決定部121R供給之虛擬圖像V21R上，合成來自近距離圖像分離部69R之近距離圖像NPR而設為合成圖像MPR，且供給至顯示圖像合成部124R。於虛擬圖像合成部123中，以於虛擬圖像之靠前側顯示近距離圖像之方式進行圖像合成。

顯示圖像合成部124L於由自決定部121L供給之顯示位置與尺寸而定之左輸入圖像IPL上之區域，合成來自虛擬圖像合成部123L之合成圖像MPL，而設為左輸出圖像OPL。顯示圖像合成部124R於由自決定部121R供給之顯示位置與尺寸而定之右輸入圖像IPR上之區域，合成來自虛擬圖像合成部123R之合成圖像MPR，而設為右輸出圖像OPR。於顯示圖像合成部124中，以於輸入圖像之靠前側顯示合成圖像之方式進行圖像合成。

將如此獲得之彼此具有視差之左輸出圖像OPL與右輸出圖像OPR作為輸出圖像而提示給使用者。

<被攝體之距離計算>

又，參照圖5，更詳細地說明由距離計算部67進行之截取圖像上之各區域之對被攝體之距離之計算。另，於圖5中，對與圖4之情形對應之部分標註相同符號，且適當省略其說明。

在該例中，位準調整部151L及位準調整部151R進行來自圖像截取部66L及圖像截取部66R之截取圖像CPL及截取圖像CPR之位準調整，且供給至縮小部152L與前端附近擷取部155L、及縮小部152R與前端附近擷取部155R。在位準調整中，以使截取圖像CPL與截取圖像CPR之亮度、即亮度位準大致相同之方式進行位準修正。

縮小部152L及縮小部152R使來自位準調整部151L及位準調整部151R之截取圖像CPL及截取圖像CPR縮小至1/n之大小，且供給至立體匹配部153。

另，以下，在不必特別區分位準調整部151L與位準調整部151R之情形時，亦簡稱為位準調整部151，在不必特別區分縮小部152L與縮小部152R之情形時，亦簡稱為縮小部152。

立體匹配部153藉由進行例如SAD(Sum of Absolute Differences：絕對差之和)、SSD(Sum of Squared Differences：平方差之和)、CC(Cross Correlation：交叉相關)等，進行自縮小部152供給之縮小後之截取圖像CPL及截取圖像CPR之立體匹配。

藉由該立體匹配，獲得表示截取圖像之各區域之視差之資訊。若使用各區域中之截取圖像CPL與截取圖像CPR之視差、已知之攝像部22L及攝像部22R間之距離、及各攝像部22之焦點距離，則可求得3維空間中自顯示裝置11至被攝體之距離。因此，作為立體匹配之計算結果而獲得之截取圖像之各區域之視差，可稱為表示3維空間中自顯示裝置11(攝像部22)至截取圖像之各區域之被攝體之距離之距離資訊。

前端座標計算部154L及前端座標計算部154R基於自立體匹配部153供給之立體匹配之計算結果，計算進行觸控操作之使用者之手之前端位置之座標。

例如，擷取截取圖像上之各區域中，由立體匹配所獲得之視差d 與顯示自攝像部22至虛擬圖像之距離之視差D一致之區域之各座標。接著，在擷取之座標之點位於d>D之點(區域)之周邊之情形時，d=D之各點之前端之中央值係設為進行觸控操作之使用者之手之前端位置之座標，即使用者之觸控位置。

換言之，在該處理中，擷取截取圖像之各區域中位於3維空間之虛擬圖像之位置之被攝體之區域，且將擷取之區域之位置設為使用者之觸控位置。

前端附近擷取部155L截取自位準調整部151L供給之截取圖像中，由自前端座標計算部154L供給之座標所示之前端位置之附近之區域，且設為附近圖像，並供給至修正立體匹配部156。同樣，前端附近擷取部155R截取自位準調整部151R供給之截取圖像中，由自前端座標計算部154R供給之座標所示之前端位置之附近之區域，且設為附近圖像，並供給至修正立體匹配部156。

另，以下，在不必特別區分前端座標計算部154L與前端座標計算部154R之情形時，亦簡稱為前端座標計算部154，且在不必特別區分前端附近擷取部155L與前端附近擷取部155R之情形時，亦簡稱為前端附近擷取部155。

修正立體匹配部156使用來自前端附近擷取部155L之附近圖像、與來自前端附近擷取部155R之附近圖像進行立體匹配，且將其結果供給至觸控座標計算部68L及觸控座標計算部68R。

觸控座標計算部68基於自修正立體匹配部156供給之立體匹配結果，計算使用者之觸控位置之座標。

例如，如圖6所示，將截取圖像CP21縮小至1/n倍，獲得圖像SP21。於立體匹配部153中，對左右之各圖像SP21進行立體匹配，進而使用該計算結果，以前端座標計算部154進行計算，獲得使用者之手之前端位置PO11之座標(X，Y)。此處，座標(X，Y)亦可為截取圖像上之座標，又可為輸入圖像上之座標。

若如此縮小截取圖像CP21而進行立體匹配，則雖可以較少處理量迅速獲得處理結果，但因縮小了原來之截取圖像CP21，故相應地產生誤差。

因此，自原來之截取圖像CP21截取與前端位置PO11對應之前端位置PO11’附近之圖像作為附近圖像EP21，且在修正立體匹配部156中，對左右之各附近圖像EP21進行立體匹配。

此處，設為附近圖像EP21之區域係包含例如座標為(nX，nY)之前端位置PO11’，且圖中於縱向包含(n+α)像素，於橫向包含(n+α)像素之區域。另，α為預先設定之任意值。

因藉由附近圖像EP21之立體匹配獲得表示附近圖像EP21之各區域之視差d之資訊，故於觸控座標計算部68中，進行與前端座標計算部154之處理相同之處理，算出最終之觸控位置PO12之座標。即，將附近圖像EP21中視差d=D之位置設為觸控位置PO12。自如此般縮小之圖像求得前端位置之座標，且再次自原來之圖像求得前端位置(觸控位置)，藉此可以較少運算量獲得正確之觸控位置。

回到圖5之說明，近距離光罩產生部157L基於自立體匹配部153供給之立體匹配之計算結果，產生顯示截取圖像中與虛擬圖像相比位於更靠向使用者側之被攝體之區域之光罩圖像，且供給至放大部158L。

例如，近距離光罩產生部157L擷取縮小後之截取圖像上之各區域中，藉由立體匹配獲得之視差d在顯示與虛擬圖像之距離之視差D以上之區域，且將顯示該區域之圖像作為光罩圖像而產生。例如，光罩圖像之各區域之值(像素值)係將d≧D之區域之值設為1，d<D之區域之值設為0。視差d為d≧D之區域係3維空間中與虛擬圖像相比位於更近距離(使用者側)之被攝體之區域。

放大部158L將自近距離光罩產生部157L供給之光罩圖像放大至與截取圖像CPL相同大小，且供給至近距離圖像分離部69L。即，在放大部158L中，光罩圖像放大至n倍之大小。

又，近距離光罩產生部157R基於自立體匹配部153供給之立體匹配之計算結果而產生光罩圖像，且供給至放大部158R。放大部158R將自近距離光罩產生部157R供給之光罩圖像放大至與截取圖像CPR相同之大小，且供給至近距離圖像分離部69R。

另，以下，在不必特別區分近距離光罩產生部157L與近距離光罩產生部157R之情形時，亦簡稱為近距離光罩產生部157，在不必特別區分放大部158L與放大部158R之情形時，亦簡稱為放大部158。

近距離圖像分離部69基於自圖像截取部66供給之截取圖像、自放大部158供給之光罩圖像，產生近距離圖像。

如上所述，利用藉由距離計算部67實現之位準調整部151至放大部158，獲得表示截取圖像上之與各被攝體之距離之距離資訊，進而自距離資訊獲得觸控座標資訊與近距離圖像資訊。

<觸控辨識處理之說明>

其次，參照圖7之流程圖說明觸控辨識處理，其係顯示裝置11顯示輸出圖像，且辨識使用者對虛擬圖像之操作，而執行與該操作相應之處理的處理。

在步驟S11中，決定部121決定虛擬圖像、虛擬圖像之尺寸、顯示位置、及距離，且根據需要將所決定之尺寸等之資訊及虛擬圖像供給至圖像截取部66、虛擬圖像合成部123、及顯示圖像合成部124。另，如上所述，虛擬圖像之顯示位置與尺寸係在輸出圖像上之顯示位置及尺寸，虛擬圖像之距離係3維空間中自攝像部22至虛擬圖像之距離。

例如虛擬圖像之尺寸、顯示位置、及與虛擬圖像之距離係預先作為初始值而設定之情形時，決定部121係藉由經由匯流排72自ROM62讀取該等資訊，而決定尺寸、顯示位置、及距離。

另，虛擬圖像之尺寸或顯示位置等亦可由使用者指定，又可配合左右之輸入圖像之視差予以修正。此外，亦可根據以使用者之左右眼之何者為基準進行虛擬圖像之觸控辨識等，設定虛擬圖像之尺寸等。再者，在自左眼用及右眼用之各截取圖像求得之觸控位置中，於一者之觸控位置未觸控虛擬圖像上之按鈕等之情形時，亦可根據另一者之觸控位置設定虛擬圖像之顯示位置等。

在步驟S12中，圖像截取部66根據來自攝像機處理部65之輸入圖像，進行藉由自決定部121供給之虛擬圖像之顯示位置與尺寸而定之區域之截取，且將其結果獲得之截取圖像供給至位準調整部151及近距離圖像分離部69。

在步驟S13中，距離計算部67進行距離測定處理而測定截取圖像上之與各被攝體之距離。另，距離測定處理之細節係後述，於距離測定處理中，求得截取圖像上之各區域之視差且供給至觸控座標計算部68，且產生光罩圖像並供給至近距離圖像分離部69。

在步驟S14中，近距離圖像分離部69使用自距離計算部67之放大部158供給之光罩圖像，自經由距離計算部67自圖像截取部66所供給之截取圖像分離近距離圖像。

即，於截取圖像之區域中，擷取光罩圖像所示之與3維空間中虛擬圖像之配置位置相比位於更靠向使用者側之被攝體之區域，而設為近距離圖像。例如，近距離圖像係藉由求得截取圖像與光罩圖像之積而產生。如此獲得之近距離圖像係自近距離圖像分離部69供給至虛擬圖像合成部123。

若進行步驟S14之處理，則其後，處理進入步驟S18。

又，在步驟S15中，觸控座標計算部68基於自距離計算部67之修正立體匹配部156供給之立體匹配結果，算出使用者對虛擬圖像之觸控位置之座標，且供給至觸控處理部122。

在步驟S16中，觸控處理部122基於自觸控座標計算部68供給之觸控位置之座標，判定虛擬圖像上之按鈕等是否被觸控，即使用者是否接觸按鈕等之顯示位置且指示處理之執行。

另，使用者之觸控位置亦可設為自觸控座標計算部68L供給之座標、及自觸控座標計算部68R供給之座標之中央值等。又，在自左眼用之截取圖像求得之觸控位置未觸控按鈕等，而在自右眼用之截取圖像求得之觸控位置觸控按鈕等之情形時，亦可將自右眼用之截取圖像所求得之觸控位置之權重設為更大，而求得最終之觸控位置。

在步驟S16中判定為已觸控之情形時，在步驟S17中，觸控處理部122使顯示裝置11之各部執行與使用者之觸控操作相應之處理。

例如，與觸控操作相應之處理係設為圖像之顯示或音頻之播放等。具體而言，觸控處理部122使虛擬圖像上之由使用者所觸控之區域發光等，變更顯示色，或播放觸控操作所指定之音頻。此外，亦可使輸出圖像閃爍顯示，或變更虛擬圖像之顏色且使虛擬圖像之顯示位置沿前後方向移動。

若執行與觸控操作相應之處理，則其後，處理進入步驟S18。又，在步驟S16中，判定為未觸控之情形時，不進行步驟S17之處理，處理進入步驟S18。

如此，於顯示裝置11中，並行進行步驟S14之處理、與步驟S15至步驟S17之處理。

若判定進行步驟S14之處理，進而進行步驟S17之處理，或判定為步驟S16中未觸控，則進行步驟S18之處理。在步驟S18中，虛擬圖像合成部123係於來自決定部121之虛擬圖像上，合成來自近距離圖像分離部69之近距離圖像，且供給至顯示圖像合成部124。

近距離圖像係截取顯示虛擬圖像之區域附近而獲得之截取圖像中，於3維空間上與虛擬圖像相比位於更靠向使用者側之被攝體之圖像。因此，近距離圖像可稱為在輸入圖像上重疊顯示虛擬圖像之情形時，儘管與虛擬圖像相比位於更靠前側，但卻會隱藏於虛擬圖像而不可見之輸入圖像上之被攝體之圖像。

藉由於虛擬圖像上重疊合成此種近距離圖像，即使於輸入圖像重疊虛擬圖像之情形，亦可防止本來應可見之被攝體變得不可視，從而可獲得更真實之擴增實境之圖像。

在步驟S19中，顯示圖像合成部124係於由自決定部121供給之虛擬圖像之顯示位置與尺寸而定之輸入圖像上之區域，合成自虛擬圖像合成部123供給之合成圖像而設為輸出圖像。

顯示圖像合成部124將如此獲得之輸出圖像經由匯流排88、圖像顯示處理部86、及圖像輸出部87供給至圖像顯示部21予以顯示。藉此，對使用者而言，除存在於現實中之被攝體外，顯示有虛擬圖像之輸出圖像亦立體可見。

亦可於例如輸出圖像上顯示電子書籍作為虛擬圖像，且使用者進行針對虛擬圖像之操作而閱讀電子書籍。此外，亦可實現顯示多功能型電話機之顯示畫面作為虛擬圖像，且使用者猶如操作多功能型電話機般的使用者介面。

於步驟S20中，判定CPU83是否結束處理。於步驟S20中判定尚未結束處理之情形時，處理係返回步驟S11，且重複上述之處理。

與此相對，於步驟S20中判定為結束處理之情形時，結束觸控辨識處理。

藉由以上，顯示裝置11對截取圖像進行距離計算而辨識使用者對虛擬圖像之觸控操作，並進行與該辨識結果相應之處理，且產生輸出圖像並予以顯示。

藉由如此般於任意位置顯示虛擬圖像，且基於截取圖像之各區域之與被攝體之距離辨識對該虛擬圖像之觸控操作，可提高顯示裝置11之操作性。

即，根據顯示裝置11，因不限定虛擬圖像之配置位置，故可實現自由度更高之使用者介面。又，藉由擷取與直至虛擬圖像之距離相同距離之被攝體區域且辨識觸控操作，可不限於手或腳而以任意者進行針對虛擬圖像之操作，而可提高操作性。且，該情形時，因無需手等之圖像辨識處理，故不必預先登錄手等，可實現自由度較高之使用者介面。

又，於顯示裝置11中，因使用左右之圖像，即以2眼進行處理，故使用者容易把握與顯示於擴增實境之空間中之虛擬圖像之距離感，且在對虛擬圖像之操作時不會感到緊張。

<距離測定處理之說明>

繼而，參照圖8之流程圖，說明與圖7之步驟S13之處理對應之距離測定處理。

在步驟S51中，位準調整部151進行自圖像截取部66供給之截取圖像之位準調整，且供給至縮小部152及前端附近擷取部155。

在步驟S52中，縮小部152使自位準調整部151供給之截取圖像縮小，且供給至立體匹配部153。

在步驟S53中，立體匹配部153基於自縮小部152供給之截取圖像進行立體匹配，且將該結果獲得之截取圖像之各區域之視差供給至前端座標計算部154及近距離光罩產生部157。

在步驟S54中，近距離光罩產生部157基於自立體匹配部153供給之截取圖像之各區域之視差，產生光罩圖像，且供給至放大部158。

接著，在步驟S55中，放大部158係放大自近距離光罩產生部157供給之光罩圖像，且供給至近距離圖像分離部69。

又，進行步驟S53之處理後，於步驟S56中前端座標計算部154基於自立體匹配部153供給之立體匹配之計算結果，計算進行觸控操作之使用者之手之前端位置之座標，且供給至前端附近擷取部155。

在步驟S57中，前端附近擷取部155截取自位準調整部151供給之截取圖像中自前端座標計算部154供給之座標所示之前端位置附近之區域而設為附近圖像，且供給至修正立體匹配部156。

在步驟S58中，修正立體匹配部156使用來自前端附近擷取部155之附近圖像進行立體匹配，且將該結果供給至觸控座標計算部68。

如此進行步驟S55及步驟S58之處理後，結束距離測定處理，其後，處理係進入圖7之步驟S14及步驟S15。另，於距離測定處理中，並行進行步驟S54及步驟S55之處理、與步驟S56至步驟S58之處理。

藉由以上，顯示裝置11使用左右之截取圖像進行立體匹配，基於其計算結果產生光罩圖像，且求得用以辨識使用者之觸控位置之距離資訊(視差資訊)。

如此般於距離計算部67中，同時進行用以獲得近距離圖像之光罩圖像產生等之圖像處理、與用於原來之大小之截取圖像之立體匹配處理等之觸控辨識之處理，故，可提高觸控操作之判定等之應答性。即，可實現自由度高且應答性佳之使用者介面。

又，由於針對縮小之截取圖像之立體匹配等之匹配處理係用以獲得近距離圖像之處理、及用於觸控辨識之處理所共通之處理，故顯示裝置11整體之處理量可較少，進而實現高應答特性。

且，於顯示裝置11中，因利用匹配處理求得使用者之觸控位置，故不僅無需事前登錄使用者之手等，亦不必設置檢測使用者之手等之感測器等。因此，可以簡單之構成實現顯示裝置11。

<第1實施形態之變化例1> <多點觸控辨識>

另，以上，已說明使用者觸控操作虛擬圖像上之1點之例，亦可例如圖9所示，同時觸控操作虛擬圖像上之複數個點。另，對圖9中與圖2之情形對應之部分標註相同符號且適當省略其說明。

在圖9之例中，使用者U11係以右手食指與拇指2根手指分別觸控虛擬圖像V11之不同位置，顯示裝置11辨識該等2個觸控位置，且執行與該觸控操作相應之處理。

該情形時，進行與參照圖7說明之觸控辨識處理相同之處理。但，在圖8之步驟S56中，根據使用者之觸控操作檢測1個或複數個觸控位置，於步驟S57中，於每個觸控位置產生附近圖像，且於步驟S58中，對該等附近圖像各者進行立體匹配。

接著，於圖7之步驟S15中，算出各觸控位置之座標，且於步驟S17中，藉由觸控處理部122進行由1個或複數個觸控位置特定出之處理之執行控制。即，自複數個觸控位置之位置關係、或觸控位置之變化辨識使用者之觸控操作，且執行與該操作相應之處理。另，在觸控座標計算部68中，以可區別各觸控位置之方式，根據需要將ID附加至各觸控位置。

若如此般辨識多點觸控操作，則可實現自由度更高之使用者介面。

<第1實施形態之變化例2> <虛擬圖像之顯示>

又，以上，雖以於平面上顯示虛擬圖像之情形為例進行說明，但亦可例如圖10所示將虛擬圖像顯示於並非平面之非平面，即曲面、或具有凹凸或傾斜等之面之非平面上。另，對圖10中與圖2之情形對應之部分標註相同符號，且適當省略其說明。

在圖10之例中，於擴增實境之3維空間上將虛擬圖像V11顯示於球面SU11上，使用者U11對球面狀之虛擬圖像V11進行觸控操作。

該情形時，亦進行與參照圖7所說明之觸控辨識處理相同之處理。但，步驟S11所決定之虛擬圖像之各區域距使用者(顯示裝置11)之距離係因虛擬圖像之區域而異。即，至虛擬圖像之距離並非特定之距離，而是因區域而異之距離。

因此，在圖8之步驟S54中，於與虛擬圖像對應之截取圖像上之每個區域，使用不同值作為表示虛擬圖像之距離之視差D，而產生光罩圖像。即，與顯示虛擬圖像之非平面相比位於更靠向使用者側之被攝體係作為近距離圖像而分離。

又，在圖8之步驟S56中，於與虛擬圖像對應之截取圖像上之每個區域，使用不同值作為視差D求得觸控位置之座標。即，基於與至由視差D所定之虛擬圖像之距離相同距離(視差d)之截取圖像之位置，求得觸控位置之座標。

同樣，於圖7之步驟S15中，使用因截取圖像上之區域而異之視差D，求得觸控位置之座標。

另，表示3維空間中攝像部22至虛擬圖像之距離之視差D亦可預先記錄於虛擬圖像之每個區域，又可預先記錄一部分之區域之視差D，且藉由補間處理求得剩餘區域之視差D。

如此般，藉由使虛擬圖像顯示於非平面上，可實現自由度更高之使用者介面。例如，若於球面上顯示虛擬圖像，則使用者以觸控操作使球面旋轉而顯示此前不可見之虛擬圖像之按鈕等，可實現更多樣之使用者介面。

<第1實施形態之變化例3> <虛擬圖像之顯示>

再者，以上，雖已說明顯示1個虛擬圖像之情形，但亦可例如圖11所示顯示複數個虛擬圖像。另，對圖11中與圖2之情形對應之部分標註相同符號，且適當省略其說明。

在圖11之例中，於擴增實境空間即輸出圖像上顯示有3個虛擬圖像V41至虛擬圖像V43，使用者U11對其中1個虛擬圖像V41進行觸控操作。

顯示裝置11辨識使用者對該等虛擬圖像V41至虛擬圖像V43之觸控操作，執行與觸控操作相應之處理。

該情形時，進行與參照圖7說明之觸控辨識處理相同之處理。但，該情形時，藉由使各虛擬圖像具有個別之ID，步驟S11至步驟S18之各處理係對所要顯示之虛擬圖像各者獨立進行，且將針對各虛擬圖像所獲得之合成圖像於步驟S19中合成至輸入圖像，而設為輸出圖像。

因此，該情形時，使用者U11可對各虛擬圖像個別地進行觸控操作。

如此般若顯示複數個虛擬圖像，則可實現自由度更高之使用者介面。

<顯示裝置之其他構成例>

又，以上，雖已說明顯示裝置11採用如圖3所示包含圖像處理裝置51與圖像顯示處理裝置52之構成之情形，但亦可採用其他任意構成。例如，顯示裝置11亦可採用圖12所示之構成。另，在圖12中，對與圖3之情形對應之部分標註相同符號，且適當省略其說明。

圖12所示之顯示裝置11係由攝像部22L、攝像部22R、圖像處理裝置191、圖像顯示部21L、及圖像顯示部21R構成。

在該例中，圖像處理裝置191係由以下構成：CPU61、ROM62、RAM63、攝像機輸入部64、攝像機處理部65、圖像顯示處理部86、圖像輸出部87、及匯流排72。且，該等之CPU61至圖像輸出部87經由匯流排72相互連接。

在圖像處理裝置191中，藉由使CPU61執行記錄於ROM62之程式，而實現圖3所示之圖像截取部66至近距離圖像分離部69、或圖4所示之觸控處理部122至顯示圖像合成部124等。另，於攝像機處理部65中，亦可進行圖像之截取等之處理。

<第2實施形態> <虛擬圖像之顯示位置之修正>

然而，如圖13所示，在擴增實境空間上，固定有虛擬圖像V11之顯示位置，使用者U11以安裝有顯示裝置11之狀態活動頭部。另，在圖13中，對與圖2之情形對應之部分標註相同符號，且適當省略其說明。

如此般，固定有虛擬圖像V11之顯示位置之情形時，若使用者U11活動頭部，則會致使輸出圖像上之虛擬圖像V11之合成位置、與實際之擴增實境空間上之虛擬圖像V11之位置產生偏差。

具體而言，例如圖14之左側所示，設定以顯示裝置11之攝像部22L與攝像部22R之各者為基準之顯示座標系。即，於圖中之左側，將右斜上方向設為XL軸方向、XR軸方向，將圖中之上方向設為Y軸方向，將圖中之左斜上方向設為Z軸方向。

將攝像部22L設為基準之顯示座標系(以下，亦稱為L顯示座標系)係將與攝像部22L預先設定之位置關係之點設為原點之座標系，該L顯示座標系係將XL軸、Y軸、Z軸設為各軸之3維座標系。

又，將攝像部22R設為基準之顯示座標系(以下，亦稱為R顯示座標系)係將與攝像部22R預先設定之位置關係之點設為原點，且將XR軸、Y軸、Z軸設為各軸之3維座標系。

此時，若例如以顯示座標系指定虛擬圖像V11之顯示位置或尺寸、距離，則根據該等之顯示位置、尺寸、距離而於輸出圖像上顯示虛擬圖像V11。然而，圖中如右側所示，使用者U11之頭部活動之情形時，根據該頭部，即顯示裝置11之位置或方向、傾斜之變化，對3 維真實空間之顯示座標系亦發生變化。

在該例中，若將頭部移動後之L顯示座標系之各軸設為XL’軸、Y’軸、Z’軸，則XL軸旋轉角度θ而成為XL”軸，Y軸旋轉角度φ而成為Y”軸，Z軸旋轉角度ψ而成為Z”軸。關於R顯示座標系亦相同，XR軸、Y軸、Z軸分別旋轉角度θ、角度φ、角度ψ而成為XR”軸、Y”軸、Z”軸。

接著，進而平行移動XL”軸、Y”軸、Z”軸而成為頭部移動後之L顯示座標系之各軸，即XL’軸、Y’軸、Z’軸。又，平行移動XR”軸、Y”軸、Z”軸而成為頭部移動後之R顯示座標系之各軸，即XR’軸、Y’軸、Z’軸。

若如此般於3維真實空間中顯示座標系發生變化，則必須將例如圖中左下所示般位於輸出圖像之大致中央之虛擬圖像V11之顯示位置，以圖中右下所示之方式，根據使用者U11之頭部之移動而移動。圖中右下之例中，虛擬圖像V11係沿輸出圖像上之右上方向移動。

因此，若於顯示裝置11設置檢測使用者U11，即顯示裝置11之方向(方向與傾斜度)、及位置之變化，且根據該檢測結果修正輸出圖像中虛擬圖像V11之顯示位置或尺寸之功能，則可實現如將虛擬圖像固定於空間之真實之擴增實境。

<顯示裝置之構成例>

如此，在設置虛擬圖像之顯示位置等之修正功能之情形時，顯示裝置11係例如圖15所示般構成。另，於圖15中，對與圖3之情形對應之部分標註相同符號，且適當省略其說明。

圖15所示之顯示裝置11與圖3所示之顯示裝置11不同之點係新設置有感測器231及感測器IF232，其他構成係與圖3之顯示裝置11相同。

在圖15中，於圖像顯示處理裝置52設置有感測器IF232，感測器 232係連接於匯流排88。又，感測器231包含例如6軸之感測器等，檢測顯示裝置11之位置之變化、及方向(方向與傾斜度)，且將該檢測結果輸出至感測器IF232。

<顯示位置修正處理之說明>

其次，參照圖16之流程圖，說明圖15所示之顯示裝置11檢測使用者之動作且修正虛擬圖像之顯示位置等之處理，即顯示位置修正處理。

在步驟S81中，決定部121係對3維空間上之虛擬圖像，決定顯示裝置11之顯示座標系中的虛擬圖像之顯示位置、尺寸、及距離、與虛擬圖像。另，該處理相當於圖7之步驟S11之處理，顯示座標系中的虛擬圖像之顯示位置及尺寸係虛擬圖像在輸出圖像上之顯示位置及尺寸。又，顯示座標系中之虛擬圖像之距離係自虛擬圖像至攝像部22之距離。

在步驟S82中，感測器231檢測顯示裝置11之位置之變化及方向之變化，且將該檢測結果供給至感測器IF232。

在步驟S83中，CPU83基於經由匯流排88自感測器IF232供給之顯示裝置11之位置及方向之變化，計算顯示座標系之變化。

在步驟S84中，CPU83基於顯示座標系之變化之計算結果、與步驟S81所決定之虛擬圖像之顯示位置、尺寸、及距離，算出新顯示座標系中之虛擬圖像之顯示位置、尺寸、及距離。

即，3維空間上之虛擬圖像之位置等設為固定不變，根據顯示座標系之變化，算出自新顯示座標系觀察之虛擬圖像之顯示位置、尺寸、及距離，藉此修正虛擬圖像之顯示位置、尺寸、及距離。

CPU83算出新顯示座標系中虛擬圖像之顯示位置、尺寸、及距離後，將該算出結果經由通信IF81及通信IF71供給至CPU61，且結束顯示位置修正處理。

在藉由CPU61實現之決定部121中，將自CPU83供給之算出結果作為新虛擬圖像之顯示位置、尺寸、及距離而使用。如此，當根據使用者之動作修正虛擬圖像之顯示位置等時，使用其修正後之顯示位置等，進行圖7所示之觸控辨識處理。另，基於感測器231之輸出之虛擬圖像之新顯示位置等之算出亦可利用CPU83進行，又可利用CPU61進行。

如上所述，顯示裝置11檢測顯示裝置11之位置及方向之變化，且基於該檢測結果，修正虛擬圖像之顯示位置等。藉由如此般根據顯示裝置11之動作修正虛擬圖像之顯示位置等，可猶如於擴增實境空間之特定位置固定顯示有虛擬圖像，從而可實現更真實之擴增實境。

另，在該例中，已說明修正(再計算)虛擬圖像之顯示位置、尺寸、及距離之例，亦可基於顯示座標系之變化之計算結果，利用CPU83等重新求得顯示於輸出圖像上之虛擬圖像之形狀，且予以修正。

<第3實施形態> <虛擬圖像之顯示位置之調整>

又，以上，雖以於顯示裝置11側決定虛擬圖像之顯示位置等之情形為例進行說明，但亦可由使用者任意調整虛擬圖像之顯示位置等。

此種情形時，例如圖17所示，使用者以手掌調整虛擬圖像之顯示位置或距離等。另，於圖17中，對與圖2之情形對應之部分標註相同符號，且適當省略其說明。

在圖17之例中，於使用者U11之左手之手掌之位置顯示有虛擬圖像V11。使用者U11係藉由沿前後左右移動左手掌，而進行虛擬圖像V11之顯示位置等之調整。

如此般以手掌調整虛擬圖像之顯示位置之情形時，圖3所示之顯示裝置11進行圖18所示之處理，且決定虛擬圖像之顯示位置、尺寸、及距離。另，於圖18中，對與圖4之情形對應之部分標註相同符號，且適當省略其說明。

於圖18所示之例中，首先辨識部271L及辨識部271R自左輸入圖像IPL及右輸入圖像IPR檢測手掌。例如，辨識部271L及辨識部271R係藉由CPU83實現，辨識部271L及辨識部271R係經由匯流排88、圖像輸入部82、圖像輸出部70、匯流排72自攝像機處理部65取得輸入圖像。

辨識部271L及辨識部271R自輸入圖像檢測出使用者之手掌後，將手掌位置、及包含該手掌之區域之附近區域之尺寸(大小)供給至圖像截取部66L及圖像截取部66R。另，以下，在不必特別區分辨識部271L及辨識部271R之情形時，亦簡稱為辨識部271。

圖像截取部66L及圖像截取部66R基於來自辨識部271之手掌位置及附近區域之尺寸，自左輸入圖像IPL及右輸入圖像IPR截取手掌之區域且設為截取圖像HPL及截取圖像HPR，並供給至距離計算部67。

距離計算部67基於自圖像截取部66供給之左右之截取圖像進行立體匹配，且將該計算結果供給至手掌距離計算部272。手掌距離計算部272基於自距離計算部67供給之立體匹配之計算結果，求得手掌位置、及自攝像部22(顯示裝置11)至手掌之距離。基於如此求得之手掌位置與距離，藉由決定部121決定虛擬圖像之顯示位置、尺寸、及距離。

另，手掌距離計算部272係由例如CPU61實現。又，於顯示圖像合成部124中，左輸入圖像IPL及右輸入圖像IPR係直接作為輸出圖像顯示於圖像顯示部21。

又，雖然此處已說明使用者以手掌調整虛擬圖像之顯示位置等之例，但用以進行虛擬圖像之顯示位置等之調整之辨識對象物並未限定於手掌，亦可利用使用者之身體之任意部位等任意者。

<障礙物之檢測>

再者，使用者對虛擬圖像進行觸控操作之情形時，例如圖19所示，若於虛擬圖像V11與使用者U11之間具有障礙物OB11，則使用者U111之手亦會觸及障礙物OB11。另，於圖19中，對與圖2之情形對應之部分標註相同符號，且適當省略其說明。

於該例中，因藉由顯示裝置11亦將障礙物OB11進行攝像，故使用者U11可在輸出圖像上確認障礙物OB11，而可迴避障礙物OB11進行觸控操作。然而，安全方面，較佳係於虛擬圖像V11與使用者U11之間不存在障礙物OB11。

因此，亦可於顯示裝置11設置檢測是否於虛擬圖像V11與顯示裝置11之間存在障礙物OB11，且根據該檢測結果控制虛擬圖像V11之顯示之功能。於圖19之例中，於虛擬圖像V11上重疊顯示有十字符號之圖像作為促使注意之圖像。

如此般，在設置檢測障礙物之功能之情形時，圖3所示之顯示裝置11係進行圖20所示之處理，進行是否於使用者與顯示裝置11之間存在障礙物之判定。另，於圖20中，對與圖4之情形對應之部分標註相同符號，且適當省略其說明。

圖20所示之例中，於近距離圖像分離部69L與虛擬圖像合成部123L之間設置有障礙物判定部301L，且於近距離圖像分離部69R與虛擬圖像合成部123R之間設置有障礙物判定部301R。例如，障礙物判定部301L及障礙物判定部301R係由CPU83實現。

例如，於顯示裝置11之ROM84等中，將表示使用者之手或腳、筆等預先登錄之操作物之特徵之特徵量等之資料作為特徵資料預先記錄。此處，所謂操作物係用於進行觸控操作等之對虛擬圖像之操作，使用者以手對虛擬圖像進行操作之情形時，將表示一般之手之特徵之資料設為特徵資料。於顯示裝置11中，關於1個或複數個操作物，記錄有特徵資料。

障礙物判定部301L及障礙物判定部301R使用預先記錄之特徵資料，根據自近距離圖像分離部69L及近距離圖像分離部69R所供給之近距離圖像NPL及近距離圖像NPR檢測出障礙物。

具體而言，例如自近距離圖像上之各被攝體之區域擷取特徵量，且與預先登錄之操作物之特徵量比較，判定近距離圖像上之被攝體是否為所登錄之操作物。接著，例如有並非登錄至近距離圖像上之操作物之被攝體之情形時，將該被攝體設為障礙物。

障礙物判定部301L及障礙物判定部301R在判定為於近距離圖像上無障礙物之情形時，將近距離圖像直接供給至虛擬圖像合成部123L及虛擬圖像合成部123R。

又，障礙物判定部301L及障礙物判定部301R在判定為於近距離圖像上存在障礙物時，使存在障礙物之旨意之文字訊息或圖像顯示於輸出圖像、或播放存在障礙物之旨意之音頻訊息。該情形時，將例如存在障礙物之旨意之圖像合成至近距離圖像，且供給至虛擬圖像合成部123。

另，以下，在不必特別區分障礙物判定部301L及障礙物判定部301R之情形時，簡稱為障礙物判定部301。

<顯示位置調整處理之說明>

其次，參照圖21之流程圖，說明圖3所示之顯示裝置11根據使用者之手掌位置調整虛擬圖像之顯示位置，且進行障礙物之檢測之處理，即顯示位置調整處理。

在步驟S121中，判定CPU83自開始處理經過之時間是否在預先設定之時間以內。在步驟S121中，判定為並非預先設定之時間以內之情形時，結束顯示位置調整處理。

與此相對，在步驟S121中，判定為在預先設定之時間以內之情形時，於步驟S122中，CPU83將實時圖像作為輸出圖像顯示於圖像顯示部21。即，CPU83係藉由經由圖像輸入部82、及圖像輸出部70自攝像機處理部65取得輸入圖像，且經由圖像顯示處理部86及圖像輸出部87供給至圖像顯示部21，而將輸入圖像直接顯示為輸出圖像。

在步驟S123中，辨識部271根據自攝像機處理部65供給之輸入圖像檢測使用者之手掌。例如，手掌之檢測係藉由使用特徵量等之手形狀辨識等進行。

在步驟S124中，辨識部271判定是否檢測出手掌。在步驟S124中，判定為未檢測出手掌之情形時，處理係返回步驟S121，重複上述處理。

與此相對，在步驟S124中，判定為檢測出手掌之情形時，辨識部271將檢測結果所獲得之手掌位置、及該手掌附近區域之尺寸供給至圖像截取部66，處理進入步驟S125。

在步驟S125中，圖像截取部66基於來自辨識部271之手掌位置及附近區域之尺寸，自輸入圖像截取手掌之區域而設為截取圖像，並供給至距離計算部67。

在步驟S126中，距離計算部67基於自圖像截取部66供給之左右之兩幅截取圖像進行立體匹配，且將該計算結果供給至手掌距離計算部272。藉由例如立體匹配，獲得截取圖像之各區域之視差。該視差可稱為表示自顯示裝置11至位於各區域之被攝體之距離之資訊。

在步驟S127中，手掌距離計算部272基於自距離計算部67供給之立體匹配之計算結果，算出位於截取圖像上之手掌位置、與3維空間上之自攝像部22(顯示裝置11)至手掌之距離。

若如此算出手掌之位置與距離，則於決定部121中，該手掌之位置與距離係暫時作為虛擬圖像之虛擬位置及距離，即3維空間上之虛擬圖像之位置而設定。藉此，根據手掌之位置與距離，決定虛擬圖像之虛擬之顯示位置、尺寸、及距離。

如此設定虛擬圖像之顯示位置、尺寸、及距離後，進行與圖7之步驟S12至步驟S14相同之處理，且產生近距離圖像。

接著，在步驟S128中，障礙物判定部301判定近距離內是否存在障礙物。

例如，障礙物判定部301藉由比較預先記錄之特徵資料、與自從近距離圖像分離部69所供給之近距離圖像擷取之資料，而自近距離圖像，即使用者之近距離檢測出障礙物。

在步驟S128中判定為具有障礙物之情形時，於步驟S129中，障礙物判定部301進行障礙物處理，且處理進入步驟S131。即，障礙物判定部301將存在障礙物之旨意之文字訊息或圖像顯示於輸出圖像、或播放存在障礙物之旨意之音頻訊息。

另一方面，在步驟S128中判定為不存在障礙物之情形時，障礙物判定部301將來自近距離圖像分離部69之近距離圖像直接供給至虛擬圖像合成部123，且處理進入步驟S130。

在步驟S130中，顯示圖像合成部124將虛擬圖像顯示於步驟S127中暫時設定之顯示位置。

即，虛擬圖像合成部123係於自障礙物判定部301所供給之近距離圖像合成來自決定部121之虛擬圖像，且將該結果獲得之合成圖像供給至顯示圖像合成部124。又，顯示圖像合成部124基於藉由手掌之位置與距離而定之虛擬圖像之顯示位置與尺寸，於來自攝像機處理部65之輸入圖像合成來自虛擬圖像合成部123之合成圖像而設為輸出圖像，並供給至圖像顯示部21。

藉此，於圖像顯示部21顯示於使用者之手掌位置顯示有虛擬圖像之輸出圖像。

進行步驟S129或步驟S130之處理後，在步驟S131中，CPU83判定是否結束虛擬圖像之顯示位置之調整。在步驟S131中判定為尚未結束調整之情形時，處理係返回步驟S121，且重複上述之處理。

與此相對，在步驟S131中判定為結束調整之情形時，結束顯示位置調整處理。若顯示位置調整處理結束，則其後，該處理中所設定之虛擬圖像之顯示位置、尺寸、及距離係由決定部121決定之顯示位置、尺寸、及距離，而進行圖7之觸控辨識處理。

另，於顯示位置調整處理中，亦可使用者舉起手，以手掌指定虛擬圖像之顯示位置，而於該指定位置顯示虛擬圖像，又可於初次顯示虛擬圖像時，使用者利用手掌指定顯示位置。任意情形下，皆於顯示裝置11中進行圖21所示之顯示位置調整處理。

如上所述，顯示裝置11係自輸入圖像檢測出手掌而調整虛擬圖像之顯示位置等，且檢測是否於虛擬圖像與使用者之間有障礙物，根據需要進行障礙物處理。

如此，藉由利用手掌等調整虛擬圖像之顯示位置，可提高操作性。此外，藉由檢測出障礙物，進行障礙物處理，可進而提高顯示裝置11使用時之安全性。

另，以上，雖已說明基於左右之2個輸入圖像產生左右2個輸出圖像之例，但亦可為在距離計算部67中獲得距離資訊而使用3個以上之輸入圖像。

此種情形時，例如使用左眼用之2個輸入圖像、與右眼用之2個輸入圖像，進行針對特定組合之2個輸入圖像之立體匹配等，算出截取圖像之各區域之至被攝體之距離。此外，例如左右之輸入圖像外，亦可使用中央之輸入圖像算出截取圖像之各區域之至被攝體之距離。如此，若使用3個以上之輸入圖像，則可算出精度更高之距離資訊。

然而，上述一連串處理亦可藉由硬體而執行，又可藉由軟體而執行。在藉由軟體執行一連串處理之情形時，構成該軟體之程式係被安裝至電腦中。此處，電腦係包含組入於專用硬體之電腦、或可藉由安裝各種程式而執行各種功能之例如通用之電腦等。

圖22係顯示藉由程式執行上述一連串處理之電腦之硬體之構成例之方塊圖。

在電腦中，CPU501、ROM502、RAM503係藉由匯流排504相互連接。

於匯流排504進而連接有輸出入介面505。於輸出入介面505連接有輸入部506、輸出部507、記錄部508、通信部509、及驅動器510。

輸入部506包含鍵盤、滑鼠、麥克風、及攝像元件等。輸出部507包含顯示器、揚聲器等。記錄部508包含硬碟或非揮發性記憶體等。通信部509包含網路介面等。驅動器510驅動磁碟、光碟、磁光碟、或半導體記憶體等之可移動媒體511。

於以上述方式構成之電腦中，CPU501將例如記錄於記錄部508之程式經由輸出入介面505及匯流排504負載至RAM503而執行，藉此進行上述一連串處理。

執行電腦(CPU501)之程式係例如可記錄於作為封裝媒體等之可移動媒體511而提供。又，程式係可經由局域網路、網際網路、數位衛星廣播之有線或無線之傳送媒體而提供。

於電腦中，程式係可藉由將可移動媒體511安裝至驅動器510，而經由輸出入介面505安裝至記錄部508。又，程式係可經由有線或無線之傳送媒體，以通信部509接收，且安裝至記錄部508。此外，程式可預先安裝於ROM502或記錄部508。

另，電腦執行之程式亦可為沿本說明書說明之順序依照時間序列進行處理之程式，又可為並行或在進行調用時等必要時序下進行處理之程式。

又，本技術之實施形態並非限定於上述實施形態，亦可在不脫離本技術主旨之範圍內進行各種變更。

例如，本技術係可採用經由網路以複數個裝置分擔一個功能，共同進行處理之云計算之構成。

又，上述流程圖所說明之各步驟係除了以1個裝置執行外，亦可以複數個裝置分擔執行。

再者，於1個步驟中包含複數個處理之情形時，包含於該1個步驟之複數個處理係除了以1個裝置執行外，亦可以複數個裝置分擔執行。

再者，本技術亦可採用以下構成。

[1]一種圖像處理裝置，其具備：圖像截取部，其自彼此具有視差之2個以上之輸入圖像，截取顯示成為操作對象之虛擬圖像之區域附近之特定區域，而產生截取圖像；距離計算部，其基於2個以上之上述截取圖像，計算上述截取圖像之各區域之被攝體之距離資訊；觸控位置計算部，其基於上述距離資訊而計算上述虛擬圖像上之使用者之觸控位置；觸控處理部，其執行與上述觸控位置相應之處理；近距離圖像分離部，其對上述截取圖像各者，基於上述距離資訊而自上述截取圖像分離出與上述虛擬圖像相比位於更近距離之被攝體之區域，而產生近距離圖像；虛擬圖像合成部，其對上述近距離圖像各者，將上述近距離圖像合成於上述虛擬圖像而產生合成圖像；及顯示圖像合成部，其對上述合成圖像各者，將上述合成圖像合成至上述輸入圖像而產生彼此具有視差之2個輸出圖像。

[2]如技術方案[1]之圖像處理裝置，其中上述觸控位置計算部計算複數個上述觸控位置；且上述觸控處理部執行藉由複數個上述觸控位置而特定之處理。

[3]如技術方案[1]或[2]之圖像處理裝置，其中上述虛擬圖像設為於3維空間中顯示於非平面上者；且上述觸控位置計算部使用因上述虛擬圖像之區域而異之距離，基於由上述距離資訊所示之距離與對上述虛擬圖像之距離相同之上述截取圖像之位置，計算上述觸控位置。

[4]如技術方案[1]至[3]中任一項之圖像處理裝置，其中上述觸控位置計算部基於由上述距離資訊所示之距離與對上述虛擬圖像之距離相同之上述截取圖像上之複數個位置，計算上述觸控位置。

[5]如技術方案[1]至[4]中任一項之圖像處理裝置，其中對上述輸入圖像合成複數個上述虛擬圖像而設為上述輸出圖像；且上述觸控位置計算部對上述虛擬圖像各者計算上述觸控位置。

[6]如技術方案[1]至[5]中任一項之圖像處理裝置，其中進而具備：修正部，其基於上述圖像處理裝置之位置或方向之變化，修正上述虛擬圖像之顯示位置、顯示尺寸、形狀、或對上述虛擬圖像之距離。

[7]如技術方案[1]至[6]中任一項之圖像處理裝置，其中進而具備：辨識部，其自上述輸入圖像檢測出預先設定之辨識對象物；辨識對象物距離計算部，其基於上述辨識對象物之檢測結果，計算對上述辨識對象物之距離；及決定部，其基於上述辨識對象物之位置、及對上述辨識對象物之距離，決定上述虛擬圖像之顯示位置及對上述虛擬圖像之距離。

[8]如技術方案[7]之圖像處理裝置，其中上述辨識對象物為上述使用者之手掌。

[9]如技術方案[1]至[8]中任一項之圖像處理裝置，其中進而具備：障礙物判定部，其藉由自上述近距離圖像檢測出預先設定之操作物，而判定上述虛擬圖像與上述圖像處理裝置之間是否存在障礙物。

[10]如技術方案[1]至[9]中任一項之圖像處理裝置，其中上述距離計算部係藉由基於上述截取圖像進行匹配處理，而計算上述距離資訊。

[11]如技術方案[10]之圖像處理裝置，其中上述距離資訊係上述截取圖像之各區域之視差。

[12]如技術方案[1]至[11]中任一項之圖像處理裝置，其中上述觸控處理部根據上述觸控位置，執行圖像之顯示或音頻之播放。

[13]如技術方案[1]至[12]中任一項之圖像處理裝置，其中進而具備：攝像部，其將上述輸入圖像進行攝像。

Claims

一種顯示裝置，其包含：圖像截取部，其構成為自彼此具有視差之2個以上之輸入圖像，截取至少包含供顯示之虛擬圖像之區域，而產生截取圖像；距離計算部，其構成為基於2個以上之上述截取圖像，計算上述截取圖像之各區域之被攝體之距離資訊，其中上述距離資訊包含真實空間中與被攝體之距離；觸控位置計算部，其構成為基於上述距離資訊而計算上述虛擬圖像上之使用者之觸控位置；觸控處理部，其構成為執行與上述觸控位置相應之處理；近距離圖像分離部，其構成為對上述截取圖像各者，基於上述距離資訊而自上述截取圖像分離出與上述虛擬圖像之位置相比位於更近於上述圖像顯示裝置之上述被攝體之區域，而產生近距離圖像；虛擬圖像合成部，其構成為對上述近距離圖像各者，將上述近距離圖像合成於上述虛擬圖像而產生合成圖像(composite image)；及顯示圖像合成部，其構成為對上述合成圖像各者，將上述合成圖像合成於上述輸入圖像而產生彼此具有視差之2個輸出圖像。
如請求項1之顯示裝置，其中上述觸控位置計算部計算複數個上述觸控位置；且上述觸控處理部執行藉由複數個上述觸控位置而特定之處理。
如請求項1之顯示裝置，其中上述虛擬圖像係於3維空間中顯示於非平面上者；且上述觸控位置計算部使用因上述虛擬圖像之區域而異之距離，且基於由上述距離資訊所示之距離與對上述虛擬圖像之距離相同之上述截取圖像之位置，計算上述觸控位置。
如請求項1之顯示裝置，其中上述觸控位置計算部基於由上述距離資訊所示之距離與對上述虛擬圖像之距離相同之上述截取圖像上之複數個位置，計算上述觸控位置。
如請求項1之顯示裝置，其中對上述輸入圖像合成複數個上述虛擬圖像而成為上述輸出圖像；且上述觸控位置計算部對上述虛擬圖像各者計算上述觸控位置。
如請求項1之顯示裝置，其中進而包含：修正部，其構成為基於上述顯示裝置之位置或方向之變化，修正上述虛擬圖像之顯示位置、顯示尺寸、形狀、或對上述虛擬圖像之距離。
如請求項1之顯示裝置，其中進而包含：辨識部，其構成為自上述輸入圖像檢測出預先設定之辨識對象物；辨識對象物距離計算部，其構成為基於上述辨識對象物之檢測結果，計算對上述辨識對象物之距離；及決定部，其構成為基於上述辨識對象物之位置、及對上述辨識對象物之距離，決定上述虛擬圖像之顯示位置及與對上述虛擬圖像之距離。
如請求項7之顯示裝置，其中上述辨識對象物為上述使用者之手掌。
如請求項1之顯示裝置，其中進而包含：障礙物判定部，其構成為藉由自上述近距離圖像檢測出預定之操作物，而判定上述虛擬圖像與上述顯示裝置之間是否存在障礙物。
如請求項1之顯示裝置，其中上述距離計算部係藉由基於上述截取圖像進行匹配處理，而計算上述距離資訊。
如請求項10之顯示裝置，其中上述距離資訊係上述截取圖像之各區域之視差。
如請求項1之顯示裝置，其中上述觸控處理部根據上述觸控位置而執行圖像之顯示或音頻之播放。
如請求項1之顯示裝置，其中進而包含：攝像部，其構成為將上述輸入圖像進行攝像(capture)。