TW201626046A - 頭部配戴型顯示裝置、頭部配戴型顯示裝置之控制方法及電腦程式 - Google Patents

Abstract

本發明之目的在於提供一種可控制於實際目標物之顏色與虛擬目標物之顏色重疊之狀態下使用者所視認之顏色之頭部佩戴型顯示裝置。 使用者可視認虛像與外景之頭部佩戴型顯示裝置包含：圖像顯示部，其使使用者視認虛像；擴增實境處理部，其係相對於現實世界中所真實存在之實際目標物，於圖像顯示部形成包含用於重疊顯示其之至少一部分之虛擬目標物之虛像；顏色檢測部，其檢測實際目標物之顏色即實物顏色；及顏色調整部，其利用所檢測出之實物顏色，使將虛擬目標物之顏色重疊於實物顏色而得之顏色即目視色接近目標顏色。

Description

頭部配戴型顯示裝置、頭部配戴型顯示裝置之控制方法及電腦程式

本發明係關於頭部佩戴型顯示裝置。

已知對現實世界中真實存在之目標物即實際目標物使用電腦附加提示資訊之稱為擴增實境(AR、Augmented Reality)之技術。於擴增實境中，將附加性地顯示於實際目標物之資訊亦稱為「虛擬目標物」。擴增實境之功能係例如搭載於頭戴式顯示器(以下，亦稱為「HMD」或「頭部佩戴型顯示裝置」。)。

HMD係以照相機拍攝外景，對藉由拍攝所得之圖像進行圖像辨識而產生或取得虛擬目標物。以於佩戴HMD之狀態下不會遮斷使用者之視野之透過型HMD，使使用者僅視認包含虛擬目標物之虛像。使用者可藉由觀看現實世界之實際目標物與以虛像呈現之虛擬目標物兩者，而體驗擴增實境。於專利文獻1中，揭示有藉由於透過型之HMD中將虛像之顯示區域與照相機之攝像區域對位而降低實現擴增實境時之使用者之違和感的技術。

[先前技術文獻] [專利文獻]

[專利文獻1]日本專利特開2013-186641號公報

上述虛擬目標物存在相對於實際目標物重疊顯示其之至少一部分之情形。例如，於汽車特約店，於決定所訂購之汽車之顏色或零配件時使用擴增實境之情形，或於住宅展示現場，決定所訂購之住宅之壁紙或室內地面材料時使用擴增實境之情形。於此種情形時，重要的是於實際目標物之顏色與虛擬目標物之顏色重疊之狀態下使用者所視認之顏色。於專利文獻1所記載之技術中，對與此種顏色相關之課題未作任何考慮。

因此，期望一種可控制於實際目標物之顏色與虛擬目標物之顏色重疊之狀態下使用者所視認之顏色之頭部佩戴型顯示裝置。

本發明係為解決上述問題之至少一部分而完成者，可作為以下形態而實現。

(1)根據本發明之一形態，可提供一種使用者可視認虛像與外景之頭部佩戴型顯示裝置。該頭部佩戴型顯示裝置包含：圖像顯示部，其使上述使用者視認上述虛像；擴增實境處理部，其係於上述圖像顯示部形成包含用於相對於現實世界中真實存在之實際目標物而重疊顯示其至少一部分之虛擬目標物之上述虛像；顏色檢測部，其檢測上述實際目標物之顏色即實物顏色；顏色調整部，其利用所檢測出之上述實物顏色，使將上述虛擬目標物之顏色重疊於上述實物顏色而得之顏色即目視色接近目標顏色。

根據該形態之頭部佩戴型顯示裝置，顏色調整部可利用由顏色檢測部檢測出之實物顏色，來控制實際目標物之顏色(實物顏色)與虛擬目標物之顏色重疊而得之顏色即目視色、換言之、使用者所視認之 顏色即目視色。

(2)於上述形態之頭部佩戴型顯示裝置中，上述顏色調整部可藉由以使將檢測出之上述實物顏色與上述虛擬目標物之顏色進行相加混色而得之顏色接近上述目標顏色之方式，調整上述虛擬目標物之顏色，而使上述目視色接近上述目標顏色。

根據該形態之頭部佩戴型顯示裝置，顏色調整部可藉由調整虛擬目標物之顏色而使目視色接近目標顏色。亦即，無需對頭部佩戴型顯示裝置所具備之既有構成追加特殊構成即可控制目視色。

(3)於上述形態之頭部佩戴型顯示裝置中，可行的是，上述圖像顯示部進而可於每個像素變更上述外景之透過率；上述顏色調整部藉由使上述圖像顯示部變更上述外景之透過率而使上述目視色接近上述目標顏色。

根據該形態之頭部佩戴型顯示裝置，顏色調整部可藉由變更圖像顯示部之外景透過率而使目視色接近目標顏色。亦即，不必進行頭部佩戴型顯示裝置之特殊圖像處理，即可控制目視色。

(4)於上述形態之頭部佩戴型顯示裝置中，亦可為，上述顏色調整部係於所檢測出之上述實物顏色之彩度為特定彩度以上之情形時，使上述圖像顯示部變更上述外景之透過率，於所檢測出之上述實物顏色之彩度小於上述特定彩度之情形時，以使將所檢測出之上述實物顏色與上述虛擬目標物之顏色進行相加混色而得之顏色接近上述目標顏色之方式，調整上述虛擬目標物之顏色。

根據該形態之頭部佩戴型顯示裝置，顏色調整部係可根據實物顏色之彩度(色彩鮮艷度)，而靈活進行藉由變更外景透過率來控制目視色，或藉由調整虛擬目標物之顏色來控制目視色。實物顏色之彩度較高(色彩較鮮艷)之情形時，有效的是藉由例如降低外景之透過率，使使用者難以看到色彩鮮艷之實物顏色本身，藉此強調虛擬目標物之 顏色。另一方面，於實物顏色之彩度較低(為黯淡之顏色)之情形時，若使用調整虛擬目標物之顏色之相加混色進行調色，則可擴大可表現之色域。若如此提高顏色之解析度，可進行微妙之顏色重現，故而有效。如此般，顏色調整部可根據實物顏色之彩度，而靈活應用用於控制目視色之更適當之方法。

(5)於上述形態之頭部佩戴型顯示裝置中，上述顏色調整部可對上述虛擬目標物之每個像素執行使上述目視色接近上述目標顏色之處理。

根據該形態之頭部佩戴型顯示裝置，因顏色調整部係對虛擬目標物之每個像素執行目視色之控制(使目視色接近目標顏色之處理)，故可簡單地進行目視色之控制。且，即使於虛擬目標物中混存複數種顏色之情形時，亦可控制目視色。

(6)於上述形態之頭部佩戴型顯示裝置中，亦可為，上述顏色調整部係針對將上述虛擬目標物之像素中之近鄰之複數個像素匯總之每個n×m(n、m為2以上之整數)像素區塊，執行使上述目視色接近上述目標顏色之處理。

根據該形態之頭部佩戴型顯示裝置，因顏色調整部係對虛擬目標物之每個像素區塊執行目視色之控制(使目視色接近目標顏色之處理)，故可抑制目視色之控制結果於每個像素產生偏差。且，即使於虛擬目標物中混存複數種顏色之情形時，亦可控制目視色。

(7)於上述形態之頭部佩戴型顯示裝置中，上述顏色調整部可基於上述實際目標物所處之現實之光環境決定上述目標顏色。

根據該形態之頭部佩戴型顯示裝置，因顏色調整部係基於實際目標物所處之現實之光環境決定目標顏色，故可將目標顏色設為例如適合於現實環境之顏色。且，顏色調整部亦可將目標顏色設為例如自現實環境突顯之顏色。

(8)於上述形態之頭部佩戴型顯示裝置中，亦可為，上述顏色調整部進而考慮虛擬之光環境後對上述虛擬目標物之顏色進行顏色轉換，藉此變更上述目視色。

根據該形態之頭部佩戴型顯示裝置，因顏色調整部係考慮虛擬之光環境後變更目視色，故而頭部佩戴型顯示裝置之目視色之重現寬度增寬，可提高使用者之便利性。

(9)於上述形態之頭部佩戴型顯示裝置中，上述顏色檢測部可為取得表示上述外景之外景圖像的照相機。

根據該形態之頭部佩戴型顯示裝置，可使用作為標準功能而廣泛普及之照相機檢測實物顏色。

上述之本發明之各形態所具有之複數個構成要件並非皆為必需者，為解決上述問題之一部分或全部，或為達成本說明書所記載之效果之一部分或全部，可對上述複數個構成要件之一部分構成要件適當進行其之變更、刪除、與新的構成要件之替換、限定內容之一部分刪除。且，為解決上述問題之一部分或全部，或為達成本說明書所記載之效果之一部分或全部，亦可將上述本發明之一形態所包含之技術特徵之一部分或全部與上述本發明之其他形態所包含之技術特徵之一部分或全部進行組合，並設為本發明之獨立之一形態。

例如，本發明之一形態可作為包含圖像顯示部、擴增實境處理部、顏色檢測部及顏色調整部之4個要件中之一部分或全部要件之裝置而實現。亦即，該裝置可包含圖像顯示部，亦可不包含圖像顯示部。且，該裝置可包含擴增實境處理部，亦可不包含擴增實境處理部。又，該裝置可包含顏色檢測部，亦可不包含顏色檢測部。且，該裝置可包含顏色調整部，亦可不包含顏色調整部。雖此種裝置可作為例如頭部佩戴型顯示裝置而實現，但亦可作為頭部佩戴型顯示裝置以外之其他裝置而實現。上述頭部佩戴型顯示裝置之各形態之技術特徵 之一部分或全部皆可應用於該裝置。例如，作為本發明之一形態之裝置，其課題在於控制於實際目標物之顏色與虛擬目標物之顏色重疊之狀態下使用者所視認之顏色。但，對該裝置，此外亦期望裝置之小型化、便利性之提高、裝置製造時之低成本化、省資源化及製造容易化等。

另，本發明可以各種態樣實現，例如可以頭部佩戴型顯示裝置及頭部佩戴型顯示裝置之控制方法、包含頭部佩戴型顯示裝置之系統、用於實現該等方法、裝置、系統之功能之電腦程式、用於發佈該電腦程式之裝置、及記憶有該電腦程式之記憶媒體等之形態實現。

10‧‧‧控制部

10a‧‧‧控制部

11‧‧‧決定鍵

12‧‧‧點亮部

13‧‧‧顯示切換鍵

14‧‧‧軌跡墊

15‧‧‧亮度切換鍵

16‧‧‧方向鍵

17‧‧‧選單鍵

18‧‧‧電源開關

20‧‧‧圖像顯示部

20x‧‧‧圖像顯示部

20y‧‧‧圖像顯示部

21‧‧‧右保持部

22‧‧‧右顯示驅動部

23‧‧‧左保持部

24‧‧‧左顯示驅動部

26‧‧‧右光學影像顯示部

26x‧‧‧右光學影像顯示部

26y‧‧‧右光學影像顯示部

28‧‧‧左光學影像顯示部

28x‧‧‧左光學影像顯示部

28y‧‧‧左光學影像顯示部

30‧‧‧耳機插頭

32‧‧‧右耳機

34‧‧‧左耳機

40‧‧‧連接部

42‧‧‧右簾線

44‧‧‧左簾線

46‧‧‧連結構件

48‧‧‧本體簾線

51‧‧‧發送部

52‧‧‧發送部

53‧‧‧接收部

54‧‧‧接收部

61‧‧‧照相機(顏色檢測部)

66‧‧‧9軸感測器

100‧‧‧HMD(頭部佩戴型顯示裝置)

100a‧‧‧HMD

110‧‧‧輸入資訊取得部

120‧‧‧記憶部

120a‧‧‧記憶部

122‧‧‧彩度基準

124‧‧‧環境對應表格

126‧‧‧預設群

130‧‧‧電源

132‧‧‧無線通信部

134‧‧‧GPS模組

140‧‧‧CPU

142‧‧‧擴增實境處理部

144‧‧‧顏色調整部

144a‧‧‧顏色調整部

150‧‧‧OS

160‧‧‧圖像處理部

170‧‧‧聲音處理部

180‧‧‧介面

190‧‧‧顯示控制部

201‧‧‧右背光控制部

202‧‧‧左背光控制部

211‧‧‧右LCD控制部

212‧‧‧左LCD控制部

221‧‧‧右背光

222‧‧‧左背光

241‧‧‧右LCD

242‧‧‧左LCD

251‧‧‧右投影光學系統

252‧‧‧左投影光學系統

261‧‧‧右導光板

261s‧‧‧右電子遮光物

262‧‧‧左導光板

262s‧‧‧左電子遮光物

Data‧‧‧圖像資料

Data1‧‧‧附加圖像資料

Data2‧‧‧附加圖像資料

EL‧‧‧端部

ER‧‧‧端部

FO‧‧‧對象目標物(實際目標物)

HSync‧‧‧水平同步信號

IM1‧‧‧外景圖像

IM2‧‧‧外景圖像

LE‧‧‧左眼

OA‧‧‧外部機器

PC‧‧‧個人電腦

PCLK‧‧‧時鐘信號

RE‧‧‧右眼

SC‧‧‧外景

S100‧‧‧步驟

S102‧‧‧步驟

S104‧‧‧步驟

S106‧‧‧步驟

S108‧‧‧步驟

S110‧‧‧步驟

S112‧‧‧步驟

S114‧‧‧步驟

S116‧‧‧步驟

S118‧‧‧步驟

S200‧‧‧步驟

S202‧‧‧步驟

S204‧‧‧步驟

S206‧‧‧步驟

UR‧‧‧使用者

VI‧‧‧虛像

VSync‧‧‧垂直同步信號

VO‧‧‧虛擬目標物

VO1‧‧‧虛擬目標物

VO2‧‧‧虛擬目標物

VR‧‧‧視野

圖1係表示本發明之一實施形態之頭部佩戴型顯示裝置之概略構成之說明圖。

圖2係功能上表示頭部佩戴型顯示裝置之構成之方塊圖。

圖3(A)、(B)係表示使用者所視認之虛像之一例之說明圖。

圖4係表示顏色調整處理之程序之流程圖。

圖5係對顏色調整處理之一例進行說明之圖。

圖6係對顏色調整處理之另一例進行說明之圖。

圖7係功能上表示第2實施形態之頭部佩戴型顯示裝置之構成之方塊圖。

圖8係對第2實施形態之顏色調整處理進行說明之圖。

圖9係表示顏色轉換處理之程序之流程圖。

圖10係表示環境對應表格之一例之圖。

圖11(A)、(B)係表示變化例之頭部佩戴型顯示裝置之外觀構成之說明圖。

A.實施形態： A-1.頭部佩戴型顯示裝置之構成：

圖1係表示本發明之一實施形態之頭部佩戴型顯示裝置之概略構成之說明圖。本實施形態之頭部佩戴型顯示裝置100係佩戴於頭部之顯示裝置，亦稱為頭戴式顯示器(Head Mounted Display、HMD)。HMD100係使用者於視認虛像之同時亦可直接視認外景之光學透過型之頭戴式顯示器。

本實施形態之HMD100可對現實世界中真實存在之目標物即「實際目標物」，進行利用HMD100之CPU附加資訊之擴增實境(AR、Augmented Reality)處理。此處，所謂目標物，意指任意的人、任意之動植物、任意物體(包含人造物、自然物等)等。且，於擴增實境處理中，將相對於實際目標物而附加性地顯示之資訊稱為「虛擬目標物」。本實施形態之HMD100係於擴增實境處理中，使使用者僅視認包含虛擬目標物之虛像。使用者可藉由觀看透過HMD100之實際目標物與以虛像呈現之虛擬目標物兩者，而體驗擴增實境。於此種擴增實境處理中，本實施形態之HMD100可控制實際目標物之顏色與虛擬目標物之顏色重疊而得之顏色、換言之、使用者實際視認之顏色(以下，亦簡稱為「目視色」。)。

另，本實施形態之實際目標物包含使用者關心之(例如視線所向之)目標物即「實際關心目標物」，與並非使用者所關心之(例如雖進入視野但視線未鎖定之)目標物即「實際背景目標物」兩者。本實施形態之擴增實境處理中，包含實際關心目標物與實際背景目標物兩者之實際目標物可成為處理對象。

HMD100包含：圖像顯示部20，其係於佩戴於使用者頭部之狀態使使用者視認虛像；及控制部(控制器)10，其控制圖像顯示部20。另，於以下說明中，將使用者藉由HMD100所視認之虛像方便地亦稱為「顯示圖像」。將HMD100射出基於圖像資料而產生之圖像光之情 形亦稱為「顯示圖像」。

A-1-1.圖像顯示部之構成：

圖2係功能上表示HMD100之構成之方塊圖。圖像顯示部20係佩戴於使用者頭部之佩戴體，於本實施形態中為眼鏡形狀(圖1)。圖像顯示部20具備：右保持部21、右顯示驅動部22、左保持部23、左顯示驅動部24、右光學影像顯示部26、左光學影像顯示部28、照相機61、及9軸感測器66。以下，對使用者佩戴著圖像顯示部20之狀態之、圖像顯示部20之各部之位置關係及功能進行說明。

如圖1所示，右光學影像顯示部26及左光學影像顯示部28係以分別位於使用者之右眼前與左眼前之方式配置。右光學影像顯示部26之一端與左光學影像顯示部28之一端係於與使用者之眉間對應之位置連接。如圖2所示，右光學影像顯示部26具備：右導光板261、右電子遮光物261s、及調光板(省略圖示)。右導光板261係以光透過性之樹脂材料等形成，使自右顯示驅動部22輸出之圖像光沿特定之光路反射，並引導至使用者之右眼RE。

右電子遮光物261s係將複數個像素配置為矩陣狀之透過型液晶面板。右電子遮光物261s係藉由供給電壓之增減，而以像素為單位增減自外部被引導至使用者之右眼RE之外光透過率。本實施形態之右電子遮光物261s於無電壓供給之狀態時，外光之透過率為100%，於供給電壓為最大之狀態時，外光之透過率為0%(被遮斷)。另，圖2之電子遮光物之配置為一例；右電子遮光物261s只要配置於右LCD241與使用者之右眼RE之間之光路上即可。調光板係薄板狀之光學元件，且以覆蓋圖像顯示部20之表側(與使用者之眼睛側相反之側)之方式配置。調光板保護導光板261及右電子遮光物261s，並抑制損傷或污垢之附著等。且，藉由調整調光板之光透過率，可調整進入至使用者之眼睛之外光量，而調整虛像之視認之容易度。另，可省略調光板。

左光學影像顯示部28具備：左導光板262、左電子遮光物262s、及調光板(省略圖示)。其等之細節係與右光學影像顯示部26相同。另，亦將右光學影像顯示部26及左光學影像顯示部28簡單地總稱為「光學影像顯示部」，亦將右電子遮光物261s及左電子遮光物262s簡單地總稱為「電子遮光物」。光學影像顯示部可在利用圖像光於使用者之眼前形成虛像之限度內使用任意之方式，例如，可使用繞射光柵實現，亦可使用半透過反射膜實現。

如圖1所示，右保持部21係自右光學影像顯示部26之另一端ER至與使用者之側頭部對應之位置延伸而設置。左保持部23係自左光學影像顯示部28之另一端EL至與使用者之側頭部對應之位置延伸而設置。右保持部21及左保持部23形若眼鏡之鏡腿(邊撐)，將圖像顯示部20保持於使用者之頭部。另，亦將右保持部21及左保持部23簡單地總稱為「保持部」。

如圖1所示，右顯示驅動部22配置於右保持部21之內側(與使用者之頭部對向之側)。左顯示驅動部24配置於左保持部23之內側。如圖2所示，右顯示驅動部22具備：接收部(Rx)53、作為光源發揮作用之右背光(BL)控制部201及右背光(BL)221、作為顯示元件發揮作用之右LCD(液晶顯示器、Liquid Crystal Display)控制部211及右LCD241、以及右投影光學系統251。另，亦將右背光控制部201、右LCD控制部211、右背光221、右LCD214總稱為「圖像光產生部」。

接收部53係作為用於控制部10與圖像顯示部20之間之串行傳送之接收器而發揮作用。右背光控制部201係基於所輸入之控制信號驅動右背光221。右背光221為例如LED(Light Emitting Diode：發光二極體)或電致發光(EL)等之發光體。右LCD控制部211係基於經由接收部53輸入之時鐘信號PCLK、垂直同步信號VSync、水平同步信號HSync及右眼用之圖像資料Data而驅動右LCD241。右LCD241係將複數個像 素配置為矩陣狀之透過型液晶面板。右投影光學系統251係使自右LCD241射出之圖像光成為並行狀態之光束之準直透鏡。

左顯示驅動部24具備：接收部(Rx)54、作為光源發揮作用之左背光(BL)控制部202及左背光(BL)222、作為顯示元件發揮作用之左LCD控制部212及左LCD242、以及左投影光學系統252。其等之細節係與右顯示驅動部22相同。另，亦將右顯示驅動部22及左顯示驅動部24簡單地總稱為「顯示驅動部」。

如圖1所示，照相機61配置於與使用者之右眼眼角之上方對應之位置。照相機61拍攝圖像顯示部20之表側方向、換言之、佩戴HMD100之狀態之使用者視界方向之外景(外部之景色)，而取得外景圖像。因照相機61係所謂可見光照相機，故外景圖像成為以自物體放射之可見光呈現物體形狀之圖像。雖本實施形態之照相機61係單眼照相機，但亦可採用所謂立體照相機。照相機61係作為「顏色檢測部」發揮作用。

如圖1所示，9軸感測器66配置於與使用者之右側鬢角對應之位置。9軸感測器66係檢測加速度(3軸)、角速度(3軸)、地磁(3軸)之移動感測器。9軸感測器66因設置於圖像顯示部20，故於將圖像顯示部20佩戴於使用者之頭部時，作為檢測頭戴式顯示器100之使用者之頭部之動態之動態檢測部發揮作用。此處，所謂頭部動態，包含頭部之速度、加速度、角速度、方向、及方向變化。

如圖1所示，圖像顯示部20具備用於連接圖像顯示部20與控制部10之連接部40。連接部40包含：連接於控制部10之本體簾線48，本體簾線48分支而成之右簾線42及左簾線44，及設置於分支點之連結構件46。於連結構件46，設置有用於連接耳機插頭30之插孔。右耳機32及左耳機34係自耳機插頭30延伸。圖像顯示部20與控制部10係經由連接部40而進行各種信號之傳送。對連接部40之各簾線，例如可採用金屬 電纜或光纖。

A-1-2.控制部之構成：

控制部10係用於控制HMD100之裝置。如圖1所示，控制部10具備：決定鍵11、點亮部12、顯示切換鍵13、軌跡墊14、亮度切換鍵15、方向鍵16、選單鍵17、及電源開關18。決定鍵11檢測按下操作，輸出用於決定於控制部10操作之內容之信號。點亮部12係由例如LED實現，利用發光狀態通知HMD100之動作狀態(例如電源之開/關等)。顯示切換鍵13檢測按下操作，輸出例如將內容動畫之顯示模式切換為3D與2D之切換信號。

軌跡墊14檢測軌跡墊14之操作面上之使用者手指之操作，而輸出與檢測內容對應之信號。作為軌跡墊14，可採用靜電式、或壓力檢測式、光學式等各種方式。亮度切換鍵15檢測按下操作，輸出增減圖像顯示部20之亮度之信號。方向鍵16檢測對與上下左右方向對應之鍵之按下操作，輸出與檢測內容對應之信號。電源開關18藉由檢測開關之滑動操作而切換HMD100之電源投入狀態。

如圖2所示，控制部10具備：輸入資訊取得部110、記憶部120、電源130、無線通信部132、GPS模組134、CPU140、介面180、發送部(Tx)51及52；各部係藉由未圖示之匯流排而相互連接。

輸入資訊取得部110取得與對決定鍵11、顯示切換鍵13、軌跡墊14、亮度切換鍵15、方向鍵16、選單鍵17及電源開關18之操作輸入對應之信號。輸入資訊取得部110可取得利用上述以外之各種方法進行之操作輸入。例如，可取得藉由腳踏開關(以使用者之腳操作之開關)進行之操作輸入。例如，亦可取得藉由利用視線檢測部(省略圖示)所檢測出之使用者之視線、或與眼睛之動態建立對應之指令進行之操作輸入。該指令可由使用者以可追加之方式設定。例如，可利用照相機61檢測使用者之手勢，藉由與手勢建立對應之指令，取得操作輸入。 於手勢檢測時，可將使用者之指尖、使用者手上戴之戒指、或使用者拿在手上之醫療器具等設為用於動態檢測之記號。若可取得以該等方法進行之操作輸入，即使於使用者難以騰出手之作業中，輸入資訊取得部110仍然可取得來自使用者之操作輸入。

記憶部120係由ROM、RAM、DRAM、硬碟等構成。於記憶部120，儲存有以作業系統(OS)為代表之各種電腦程序。且，於記憶部120，記憶有彩度基準122。

於彩度基準122，事先儲存有成為後述之顏色調整處理所使用之彩度基準的值。於本實施形態中，對彩度基準，使用RGB色彩空間或HSB色彩空間之「S值」。彩度基準122之值係為靈活應用控制目視色之方法而使用。另，彩度基準122之值可由使用者適當變更。

電源130對HMD100之各部供給電力。作為電源130，例如可使用二次電池。

無線通信部132係遵循特定之無線通信規格，於與外部裝置之間進行無線通信。所謂特定之無線通信規格，係例如紅外線、Bluetooth(註冊商標)所例示之近距離無線通信，及IEEE802.11所例示之無線LAN等。

GPS模組134藉由接收來自GPS衛星之信號而檢測HMD100之使用者之當前位置，並產生表示使用者之當前位置資訊之當前位置資訊。當前位置資訊可藉由例如表示經度緯度之座標實現。

CPU140係藉由讀取並執行記憶部120所儲存之電腦程式，而作為擴增實境處理部142、顏色調整部144、OS150、圖像處理部160、聲音處理部170、及顯示控制部190發揮作用。

擴增實境處理部142執行擴增實境處理。擴增實境處理係用於對現實世界中真實存在之實際目標物附加虛擬目標物並顯示之處理，包含以下之程序a1~a6。

(a1)擴增實境處理部142取得由照相機61所拍攝之外景圖像。

(a2)擴增實境處理部142自程序a1中所取得之外景圖像所包含之實際目標物中，特定出成為附加虛擬目標物之對象之實際目標物(以下，亦稱為「對象目標物」。)。

(a3)擴增實境處理部142取得對象目標物相對於HMD100之位置及距離。此時，擴增實境處理部142亦可利用由立體照相機取得之2張以上之外景圖像而算出位置及距離，亦可利用未圖示之各種感測器(例如深度感測器、測距感測器等)而算出位置及距離。

(a4)擴增實境處理部142取得或產生表示虛擬目標物之圖像、文字及圖形記號等。擴增實境處理部142亦可將虛擬目標物事先記憶於記憶部120，亦可自網路連接於HMD100之其他裝置取得虛擬目標物。

(a5)擴增實境處理部142配合程序a3中所取得之對象目標物之位置及距離，配置程序a4之虛擬目標物，並產生對其他部分配置有黑色之附加圖像資料。於該對位時，擴增實境處理部142可使用對象目標物之特徵部(邊緣等)，亦可使用標註於對象目標物之標記等記號。且，擴增實境處理部142亦可於配置虛擬目標物時，對虛擬目標物實施放大、縮小、旋轉、顏色轉換等圖像處理。

(a6)擴增實境處理部142將附加圖像資料發送至圖像處理部160。圖像處理部160對所接收到之附加圖像資料執行後述之顯示處理。

顏色調整部144執行用於控制目視色之顏色調整處理。顏色調整處理係作為擴增實境處理之次常式，而於上述之程序a5與程序a6之間執行之處理。顏色調整處理之細節將於後敘述。

圖像處理部160進行用於顯示圖像之信號處理。具體而言，圖像處理部160係於經由介面180或無線通信部132輸入內容(影像)之情形時，產生基於內容之圖像資料Data。圖像處理部160係於自HMD100 之其他功能部接收到圖像資料之情形時，將所接收到之資料設為圖像資料Data。另，圖像處理部160亦可對圖像資料Data執行解析度轉換處理、亮度或彩度之調整等各種色調修正處理、梯形失真修正處理等圖像處理。圖像處理部160將上述之圖像資料Data、時鐘信號PCLK、垂直同步信號VSync、水平同步信號HSync經由發送部51、52而發送至圖像顯示部20。

顯示控制部190產生控制右顯示驅動部22及左顯示驅動部24之控制信號。具體而言，顯示控制部190係藉由以控制信號個別控制藉由左右之LCD控制部211、212進行之左右之LCD241、242之驅動接通/斷開、或藉由左右之背光控制部201、202進行之左右之背光221、222之驅動之接通/斷開，而控制藉由右顯示驅動部22及左顯示驅動部24之各者進行之圖像光之產生及射出。顯示控制部190將該等控制信號經由發送部51、52而發送至圖像顯示部20。

聲音處理部170取得內容所包含之聲音信號，並放大所取得之聲音信號，而供給至右耳機32之未圖示之揚聲器、與左耳機34之未圖示之揚聲器。

介面180係遵循特定之有線通信規格，於與外部裝置OA之間進行通信。作為特定之有線通信規格，例如為MicroUSB(Universal Serial Bus：通用序列匯流排)、USB、HDMI(High Definition Multimedia Interface：高清晰度多媒體介面；HDMI為註冊商標)、DVI(Digital Visual Interface：數位視頻介面)、VGA(Video Graphics Array：視訊圖形陣列)、合成、RS-232C(Recommended Standard 232：推薦標準232)、IEEE802.3所例示之有線LAN等。作為外部機器OA，例如可使用個人電腦PC、行動電話終端、遊戲終端等。

圖3係表示使用者所視認之虛像之一例之說明圖。圖3(A)例示有未執行擴增實境處理之情形時之使用者之視野VR。如上所述，藉由 使被引導至HMD100之使用者之雙眼之圖像光成像於使用者之視網膜上，使用者視認虛像VI。於圖3(A)之例中，虛像VI係HMD100之OS150之待機畫面。使用者透過右光學影像顯示部26及左光學影像顯示部28視認外景SC。如此，本實施形態之HMD100之使用者可於視野VR中之顯示虛像VI之部分，看到虛像VI、及虛像VI背後之外景SC。且，於視野VR中之未顯示虛像VI之部分，可透過光學影像顯示部，直接觀看外景SC。

圖3(B)例示有執行擴增實境處理之情形時之使用者之視野VR。藉由執行擴增實境處理，使用者視認包含虛擬目標物VO之虛像VI。虛擬目標物VO係以重疊於外景SC之山巒之方式配置之蘋果之圖像。如此，使用者可藉由觀看虛像VI所包含之虛擬目標物VO、與透過虛像VI背後而可見之外景SC內之實際目標物兩者，體驗擴增實境。

A-2.顏色調整處理：

顏色調整處理係擴增實境處理中之控制目視色之處理。所謂目視色，意指實際目標物之顏色與虛擬目標物之顏色重疊而得之顏色、換言之、使用者實際視認之顏色。顏色調整處理係作為擴增實境處理之次常式，而於擴增實境處理之程序a5與程序a6之間執行。另，於以下之顏色調整處理之「顏色」之特定時，使用RGB色彩空間或HSB色彩空間之「RGB值」或「HSB值」。亦即，於本實施形態之「顏色」中包含色相、彩度、明度之全體。

圖4係表示顏色調整處理之程序之流程圖。圖5係對顏色調整處理之一例進行說明之圖。於圖5之例中，顯示有於汽車特約店中，使用者UR於決定所訂購汽車之車體顏色時使用擴增實境處理之情形。圖6係對顏色調整處理之另一例進行說明之圖。於圖6之例中，顯示有於汽車特約店中，使用者UR於決定附加於所訂購之汽車之零配件時使用擴增實境處理之情形。

於顏色調整處理(圖4)之步驟S100中，顏色調整部144取得虛擬目標物。具體而言，顏色調整部144自擴增實境處理部142取得包含虛擬目標物之附加圖像資料。所謂附加圖像資料，係指於擴增實境處理之程序a5中所產生之資料。顏色調整部144利用例如特徵部擷取(邊緣擷取)等方法，自所取得之附加圖像資料擷取虛擬目標物。

於圖5之例中，顏色調整部144係自擴增實境處理部142取得附加圖像資料Data1，並擷取表示車體之虛擬目標物VO1。於圖6之例中，顏色調整部144係自擴增實境處理部142取得附加圖像資料Data2，並擷取表示前擾流器之虛擬目標物VO2。

於圖4之步驟S102中，顏色調整部144自外景圖像取得對象目標物。所謂對象目標物，係成為附加虛擬目標物之對象之實際目標物。具體而言，顏色調整部144係使照相機61拍攝外景圖像，並自照相機61取得外景圖像。顏色調整部144係利用例如特徵部擷取(邊緣擷取)等方法，自所取得之外景圖像資料擷取對象目標物。

於圖5之例中，顏色調整部144自照相機61取得外景圖像IM1，並擷取表示汽車之對象目標物(實際目標物)FO。同樣地，於圖6之例中，顏色調整部144自照相機61取得外景圖像IM2，並擷取表示汽車之對象目標物FO。

於圖4之步驟S104中，顏色調整部144將顏色調整處理中所使用之變量x、y設為=1。變量x、y均是為特定出1個像素而使用。

於步驟S106中，顏色調整部144決定虛擬目標物之(x,y)像素之目標顏色。所謂目標顏色，係根據使用擴增實境處理之場景而依照以下之基準b1、b1之任一者選定。

(b1)目錄顏色：

不考慮對象目標物所處之現實環境(尤其是光環境)，選定目標顏色。顏色調整部144可直接將步驟S100中所擷取之虛擬目標物之(x,y) 像素之顏色設為目標顏色，亦可直接將由使用者指定之顏色設為目標顏色。另，虛擬目標物之(x,y)像素之顏色採用虛擬目標物本來所具有之顏色、用於表現虛擬目標物之紋理之顏色、用於表現照射於虛擬目標物上之光之顏色、用於表現虛擬目標物所產生之陰影之顏色中之任一者。因此，例如即使虛擬目標物為「紅色汽車」，虛擬目標物之(x,y)像素之顏色亦根據x，y之值(根據像素位置)，採用例如紅色、白色、茶色等各種顏色。基準b1較佳為於欲以虛擬目標物置換對象目標物之至少一部分之情形時採用。所謂欲置換之情形，例如為圖5所示之特約店中車體顏色之模擬，或住宅展示現場之壁紙或室內地面材料之模擬等。

(b2)匹配顏色：

考慮對象目標物所處之現實環境(尤其是光環境)(例如，可設為適合於現實環境，亦可設為自現實環境突顯)後選定目標顏色。具體而言，顏色調整部144可藉由以下所例示之方法b2-1或b2-2而選定目標顏色。基準b2較佳為於欲將虛擬目標物附加至對象目標物之情形時採用。所謂欲附加之情形，係例如圖6所示之特約店中零配件之模擬、或住宅展示現場之家具之模擬等。

(b2-1)顏色調整部144求得步驟S102中所取得之對象目標物(實際目標物)之顏色之統計色(例如平均色、中央色等)。顏色調整部144將所求得之統計色設為目標顏色。

(b2-2)顏色調整部144藉由對步驟S102中所取得之外景圖像做圖像辨識而收集對象目標物(實際目標物)之各區域之亮度資訊(影區域之資訊、鏡面反射之資訊、擴散反射之資訊等)。顏色調整部144基於所收集到之亮度資訊，決定對虛擬目標物所追加之光源之種類(點光源、聚光燈、平行光源、環境光、天空光、IBL等)、光源之色溫、光源強度等中之至少一部分。顏色調整部144將具有所決定之種類、色 溫、強度等之光源，合成於步驟S100中所取得之虛擬目標物。顏色調整部144將光源合成後之虛擬目標物之(x,y)像素之顏色設為目標顏色。

另，於步驟S106中，可將作為虛擬目標物本來所具有之顏色由使用者指定之顏色經由網路而記憶於其他裝置之記憶裝置。記憶於其他裝置之顏色可使用於各種用途。例如，記憶於其他裝置之顏色可使用於具有由使用者所指定顏色之製品(例如汽車、壁紙或室內地面材料等)之訂購或製造，亦可使用於用以掌握使用者之喜好之分析。

於圖4之步驟S108中，顏色調整部144取得對象目標物之(x,y)像素之實物顏色。所謂實物顏色，係對象目標物(成為附加虛擬目標物之對象之實際目標物)之實際顏色。具體而言，顏色調整部144取得步驟S102中所取得之對象目標物之(x,y)像素之顏色來作為實物顏色。如此，於本實施形態中，因將由照相機61所拍攝之外景圖像內之對象目標物之顏色視為實物顏色，故可使用作為標準功能而廣泛普及之照相機61檢測實物顏色。

於步驟S110中，顏色調整部144判定步驟S108中所取得之對象目標物之(x,y)像素之實物顏色的彩度(S值)是否為彩度基準122所儲存之基準(S值)以上。於實物顏色之彩度為彩度基準122以上之情形時(步驟S110：是)，於步驟S112以後之處理中，顏色調整部144係藉由使用電子遮光物變更外景之透過率而控制目視色。另一方面，於實物顏色之彩度小於彩度基準122之情形時(步驟S110：否)，於步驟S118之處理中，顏色調整部144係藉由調整虛擬目標物之顏色而控制目視色。

對藉由使用電子遮光物變更外景之透過率而控制目視色之情形進行說明。於圖4之步驟S112中，顏色調整部144將與對象目標物之(x,y)像素對應之部分之電子遮光物設為接通。具體而言，顏色調整部144藉由對圖2之右電子遮光物261s中之與對象目標物之(x,y)像素對應 之像素、及左電子遮光物262s中之與對象目標物之(x,y)像素對應之像素供給電壓，而減少該像素部分之外光透過率。此時，顏色調整部144亦可將供給至電子遮光物之電壓設為最大(100%)而遮斷外光。如此一來，顏色調整部144之控制較為單純。且，顏色調整部144亦可藉由與對象目標物之(x,y)像素之彩度成正比地於1%~100%之範圍內調整供給至電子遮光物之電壓，而遮斷外光之至少一部分。如此一來，顏色調整部144可細緻地控制目視色。

於步驟S114中，顏色調整部144不變更虛擬目標物之(x,y)像素之CG色，而維持其原狀。所謂CG色，係圖像資料所包含之虛擬目標物之顏色。

對藉由調整虛擬目標物之顏色而控制目視色之情形進行說明。於圖4之步驟S118中，顏色調整部144求得將以下之實物顏色i與CG色ii進行加法混合時，成為(或接近)目標顏色iii之顏色。顏色調整部144將虛擬目標物之(x,y)像素之CG色變更為所求得之顏色。

(i)步驟S108中所取得之對象目標物之(x,y)像素之實物顏色

(ii)CG色

(iii)於步驟S106中所決定之虛擬目標物之(x,y)像素之目標顏色

於圖4之步驟S116中，顏色調整部144進行用於使處理進展至下一個像素之變量之控制。具體而言，於變量x並非虛擬目標物之最終像素之情形時，顏色調整部144遞增變量x，使處理過渡至步驟S106。藉此，處理對象過渡至右鄰之像素。於變量x為最終像素，且變量y並非最終像素之情形時，顏色調整部144遞增變量y，將變量x設為1，並使處理過渡至步驟S106。藉此，處理對象過渡至下1列之像素行。於變量x及變量y為最終像素之情形時，顏色調整部144結束處理，並將包含CG色調整後之虛擬對象物之附加圖像資料，發送至擴增實境處理部142。其後，顏色調整部144結束處理。

圖4所示之顏色調整處理之結果係如圖5、圖6所示，使用者UR於視野VR中視認包含CG色調整後之虛擬目標物VO1、VO2之虛像VI。且，使用者UR於透過圖像顯示部20之外景SC中視認實際目標物FO(對象目標物)。因圖5之虛擬目標物VO1係遍及實際目標物FO之車體部分全域而重疊顯示，故使用者UR可看到恍若汽車之顏色發生變化之圖像。因圖6之虛擬目標物VO2係於實際目標物FO之車體下部重疊顯示其一部分，故使用者UR可看到恍若前擾流器被附加於汽車上之圖像。

如以上般，於上述顏色調整處理中，顏色調整部144可利用由顏色檢測部(照相機61)檢測出之實物顏色，控制實際目標物FO之顏色(實物顏色)與虛擬目標物VO之顏色(CG色)重疊而成之顏色即目標顏色、換言之、使用者所視認之顏色即目標顏色。其結果，本實施形態之頭部佩戴型顯示裝置(HMD100)可於如圖5或圖6所例示之各種場景中，考慮使用者UR之實際觀感而進行更適當之顏色呈現。

進而，於步驟S110之後之顏色調整處理中，顏色調整部144根據實物顏色之彩度(顏色鮮艷度)靈活進行藉由變更外景SC之透過率而控制目視色，或藉由調整虛擬目標物VO之顏色而控制目視色。於實物顏色之彩度較高(顏色較鮮艷)之情形時，有效的是，例如藉由降低外景SC之透過率，令使用者難以看到顏色鮮艷之實物顏色本身，藉此強調虛擬目標物VO之顏色。另一方面，於實物顏色之彩度較低(為黯淡之顏色)之情形時，若藉由調整虛擬目標物VO之顏色之相加混色進行調色，則可擴大可呈現之色域。因若如此提高顏色之解析度，可實現細微之顏色重現，故而較為有效。如此一來，顏色調整部144可根據實物顏色之彩度而靈活採用用於控制目視色之更適當之方法。

進而，於上述顏色調整處理中，因顏色調整部144係對虛擬目標物VO之每個像素執行目視色之控制，故可簡單地進行目視色之控 制。且，即使於虛擬目標物VO中混存複數種顏色之情形時，亦可控制目視色。另，所謂於虛擬目標物VO中混存複數種顏色之情形係除了虛擬目標物VO本來具有之顏色為複數種之情形(例如船身為藍色，船帆為白色之帆船)以外，亦包含於上述之1個虛擬目標物VO(例如紅色汽車用之前擾流器)中混存虛擬目標物本來具有之顏色、用於呈現虛擬目標物之紋理之顏色、用於呈現照射於虛擬目標物上之光之顏色、及用於呈現虛擬目標物所產生之陰影之顏色之情形。

A-3.顏色調整處理之變形：

另，對顏色調整處理(圖4)，亦可實施如以下之變形1~3。變形1~3可單獨採用，亦可組合採用。

A-3-1.變形1：

於變形1中，省略根據實物顏色之彩度之目視色控制。

於一例中，顏色調整部144不論實物顏色之彩度，一律藉由使用電子遮光物變更外景之透過率來控制目視色。具體而言，省略圖4之步驟S110與S118即可。如此一來，由於可藉由變更圖像顯示部20之外景SC之透過率而使目視色接近目標顏色，故無需頭部佩戴型顯示裝置(HMD100)之特殊之圖像處理即可控制目視色。

於另一例中，顏色調整部144不論實物顏色之彩度，一律藉由調整虛擬目標物之顏色來控制目視色。具體而言，省略圖4之步驟S110、S112及S114即可。如此一來，因可藉由調整虛擬目標物VO之顏色(CG色)而使目視色接近目標顏色，故無需對頭部佩戴型顯示裝置(HMD100)所包含之既有構成追加特別之構成(右電子遮光物261s、左電子遮光物262s)即可控制目視色。

A-3-2.變形2：

於變形2中，對虛擬目標物VO之每個像素區塊執行目視色之控制。所謂像素區塊，係將虛擬目標物VO之像素中、近鄰之複數個像 素匯總之n×m(n、m為2以上之整數)之像素之集合。所謂「近鄰之複數個像素」，意指相鄰且連續之複數個像素。

於圖4之步驟S104中，顏色調整部144將顏色調整處理中所使用之變量x，y設為2。變量x，y均為特定出包含3×3像素之像素區塊而使用。

將步驟S106、S108、S112之說明中、「(x,y)像素」之記載換為「將(x,y)像素作為中心之像素區塊」，將「(x,y)像素之顏色」之記載換為「將(x,y)像素作為中心之像素區塊之顏色」。顏色調整部144可根據構成像素區塊之各像素之統計色(例如平均色、中央色等)求得像素區塊之顏色。

將步驟S116之說明中、「遞增」之記載換為「於原始值加上3」，「將變量x設為1」之記載換為「將變量x設為2」。

另，於上述例中，雖已例示使用n=3、m=3，採用包含3×3像素之像素區塊之情形，但n與m之值可任意設定。亦可將n之值與m之值設為不同之值。

根據變形2，因顏色調整部144對虛擬目標物VO之每個像素區塊執行目視色之控制，故可抑制目視色之控制結果於每個像素產生偏差。且，即使於虛擬目標物VO中混存複數種顏色之情形時，亦可控制目視色。

A-3-3.變形3：

於變形3中，實施顯示系統之對位(校準)。

於HMD100，事先進行包含光學影像顯示部(左顯示驅動部24及右光學影像顯示部26)、照相機61及平均之使用者之眼睛之顯示系統之對位。於變形3中，可配合HMD100之使用者之個體差或HMD100之個體差而變更該規定之對位之內容。具體而言，CPU140執行以下之程序c1、c2。自提高對位精度之觀點而言，較佳為將以下之2個程序 組合，且以程序c1、c2之順序執行；但亦可單獨執行。

(c1)使用者之眼間距離之調整：

CPU140使同一第1校正用圖像顯示於右LCD241及左LCD242。於本實施形態中，將顯示設為無限遠。此時，CPU140可藉由使用者介面(例如軌跡墊14等)之操作而移動左右LCD中之任一者所顯示之第1校正用圖像之位置。使用者操作使用者介面，使視認為虛像之左右第1校正用圖像之位置一致後，操作使用者介面(例如決定鍵11等)而對CPU140通知位置確定之意旨。

CPU140將取得位置確定之意旨時之、右LCD241之第1校正用圖像之位置與左LCD242之第1校正用圖像之位置發送至圖像處理部160。圖像處理部160係將右LCD241之第1校正用圖像之位置作為基準而調整右LCD241之圖像之顯示範圍。同樣地，圖像處理部160係將左LCD242之第1校正用圖像之位置作為基準而調整左LCD242之圖像之顯示範圍。

(c2)由使用者進行之校正用圖像與實際目標物之對位：

CPU140使第2校正用圖像顯示於右LCD241及左LCD242，並經由照相機61辨識與該第2校正用圖像對應之實際目標物(例如二維標記)。此時，CPU140追蹤實際目標物相對於照相機61(或光學顯示部)之姿勢及位置。CPU140使左右LCD所顯示之第2校正用圖像之位置連動，且可藉由使用者介面(例如軌跡墊14等)之操作而移動。於該情形時，於不存在使用者之操作時，亦可根據實際目標物之上述追蹤，使所顯示之第2校正用圖像之姿勢及位置發生變化。另，第2校正用圖像之顯示範圍於已執行程序c1之情形時，為以程序c1調整後之範圍，於未執行程序c1之情形時，則為預設範圍。使用者操作使用者介面，於以視認為虛像之左右之第2校正用圖像與透過光學影像顯示部而視認之實際目標物重合(位置、大小、方向之至少一者大致一致)之方式察 覺之時機，操作使用者介面(例如決定鍵11等)，對CPU140通知位置確定之意旨。

CPU140取得已取得位置確定意旨時之藉由照相機61之拍攝而獲得之圖像(外景圖像)之實際目標物之位置、右LCD241之第2校正用圖像之位置、及左LCD242之第2校正用圖像之位置。CPU140基於所取得之各位置資訊，調整照相機61之拍攝範圍、及左右LCD241、242之圖像之顯示範圍。另，於程序c2中，第2校正用圖像可於LCD241、242上移動；第2校正用圖像亦可以固定之姿勢顯示於固定位置。於後者之情形時，為令使用者察覺第2校正用圖像與實際目標物重合，只要使用者相對於實際目標物移動即可。

根據變形3之程序c1，CPU140可主要進行根據使用者之個體差之顯示系統之對位。根據變形3之程序c2，CPU140可主要進行根據HMD100之個體差之顯示系統之對位。其等之結果，CPU140可於擴增實境處理中使實際目標物之位置與虛擬目標物之位置更高精度地對準。另，第1校正用圖像與第2校正用圖像可相同，亦可不同。

B.第2實施形態：

於本發明之第2實施形態中，於顏色調整處理中，除了考慮現實之光環境以外，亦進而考慮虛擬之光環境而變更目視色。以下，僅對具有與第1實施形態不同之構成及動作之部分進行說明。另，圖中與第1實施形態相同之構成及動作係標註與先前所說明之第1實施形態相同之符號，並省略其詳細說明。亦即，以下所未說明之構成及動作係與上述第1實施形態相同。

B-1.頭部佩戴型顯示裝置之構成：

圖7係功能上表示第2實施形態之HMD100a之構成之方塊圖。HMD100a包含控制部10a來替代控制部10。控制部10a具備顏色調整部144a來替代顏色調整部144，具備記憶部120a來替代記憶部120。顏色 調整部144a其顏色調整處理之處理內容之一部分不同於第1實施形態。

記憶部120a係除了具備彩度基準122以外，進而具備環境對應表格124及預設群126。於環境對應表格124中，記憶有用於自複數個預設(預設群126)特定出1個預設之資訊。預設群126包含複數個預設。於各個預設，分別記憶有用於對附加圖像資料進行顏色轉換之資訊。於用於顏色轉換之資訊中，例如包含有用於白平衡調整之資訊(具體而言，例如每個RGB之色調曲線之調整內容、色溫之調整內容、及色差之調整內容等中之至少一部分)。

B-2.顏色調整處理：

圖8係對第2實施形態之顏色調整處理進行說明之圖。於上述之第1實施形態之顏色調整處理中，不考慮對象目標物所處之現實之光環境(圖4，步驟S106，b1：目錄顏色)，或考慮現實之光環境(圖4，步驟S106，b2：匹配顏色)而控制目視色(圖8，虛線框)。於第2實施形態中，除了考慮此種現實之光環境以外，亦可進而考慮虛擬之光環境而變更目視色。另，所謂「現實之光環境」，意指顏色調整處理之對象目標物所處之現實之光環境。所謂「虛擬之光環境」，意指欲使HMD100a之使用者視認之虛擬之光環境。

顏色調整部144a係於考慮虛擬之光環境之情形時，於圖4所示之顏色調整處理之步驟S116中，於對擴增實境處理部142發送附加圖像資料之前，實施後述之顏色轉換處理(圖8、實線框)。另一方面，顏色調整部144a係於不考慮虛擬之光環境之情形時，直接實施圖4所示之顏色調整處理(圖8、虛線框)。其結果，顏色調整部144a可實施圖8所示之4個模式之處理。另，顏色調整部144a對是否考慮虛擬之光環境，例如可參照事先記憶於記憶部120a內之設定內容而判斷。該設定內容亦可由使用者變更。

B-2-1.顏色轉換處理：

圖9係表示顏色轉換處理之程序之流程圖。顏色轉換處理係用於藉由對附加圖像資料進行顏色轉換，考慮虛擬之光環境後變更目視色之處理。於步驟S200中，顏色調整部144a取得對象目標物所處之現實之光環境。顏色調整部144a可例如利用與顏色調整處理(圖4)之步驟S106之基準b2-2相同之方法取得現實之光環境。

於步驟S202中，顏色調整部144a取得虛擬之光環境。虛擬之光環境係例如可參照事先記憶於記憶部120a內之設定內容而判斷。該設定內容可由使用者變更。

於步驟S204中，顏色調整部144a參照環境對應表格124取得應採用之預設。

圖10係表示環境對應表格124之一例之圖。於環境對應表格124中，為實現虛擬之光環境，將根據現實之光環境所應採用之預設之識別碼建立對應而記憶。於圖10之例中，於環境對應表格124中，例如，為實現虛擬之光環境「螢光燈」，而記憶有於現實之光環境為「螢光燈」之情形時不採用預設，於現實之光環境為「白熾燈」之情形時採用預設3，於現實之光環境為「太陽光」之情形時採用預設5。因關於虛擬之光環境「白熾燈」、「太陽光」亦為同樣之情形，故省略說明。於本實施形態中，假設日光色作為螢光燈，假設晴天日中之太陽光作為太陽光。另，於圖10之例中，作為光環境之一例例示光源之種類。但，作為光環境，例如亦可採用朝霞、黃昏等之風景要素。

於圖9之步驟S204中，顏色調整部144a將步驟S200中所取得之現實之光環境及步驟S202中所取得之虛擬之光環境作為索引而檢索環境對應表格124，並取得預設之識別碼。顏色調整部144a自預設群126取得具有所取得之識別碼之預設。

於步驟S206中，顏色調整部144a對附加圖像資料之所有像素(意 指亦包含黑色部分之所有像素)，應用步驟S204中所取得之預設。其結果，於附加圖像資料之全體，進行事先記憶於預設之每個RGB之色調曲線之調整、色溫之調整、色差之調整等。例如，當應用預設5(於現實之光環境為太陽光，虛擬之光環境為螢光燈之情形時之預設)時，針對附加圖像資料之全體，例如將色溫設為4000K，而進行例如使B之色調曲線上昇之調整。如此，顏色調整部144a可藉由對虛擬目標物所包含之附加圖像資料之全體進行顏色轉換，考慮虛擬之光環境而變更目視色。其結果，於本實施形態之頭部佩戴型顯示裝置(HMD100a)中，目視色之重現寬度加寬，可提高使用者之便利性。

另，於上述之顏色轉換處理中，乃藉由附加圖像資料之顏色轉換，而實現考慮到虛擬之光環境之目視色之控制。但，顏色調整部144a亦可替代附加圖像資料之顏色轉換，或與附加圖像資料之顏色轉換一起使用電子遮光物，藉此實現考慮虛擬之光環境後之目視色之變更。於該情形時，電子遮光物之控制內容(例如，供給至電子遮光物之電壓之調整內容)係例如可記憶於預設。

B-3.顏色調整處理之變形：

於第2實施形態之顏色調整處理中，亦可採用上述變形1~3。變形1~3可單獨採用，亦可組合採用。

C.變化例：

於上述實施形態中，可將設為由硬體實現之構成之一部分置換為軟體，反之，亦可將設為由軟體實現之構成之一部分置換為硬體。此外，亦可進行如下變形。

．變化例1：

於上述實施形態中，已對HMD之構成進行例示。但，HMD之構成可於不脫離本發明之主旨之範圍內進行任意設定，例如，可進行各構成部之追加、刪除、轉換等。

相對於上述實施形態之控制部與圖像顯示部之構成要件之分配僅為一例，亦可採用各種態樣。例如，亦可設為如下之態樣。

(i)於控制部搭載CPU或記憶體等之處理功能，於圖像顯示部僅搭載顯示功能之態樣

(ii)於控制部與圖像顯示部之兩者搭載CPU或記憶體等之處理功能之態樣

(iii)將控制部與圖像顯示部一體化之態樣(例如，於圖像顯示部包含控制部且作為眼鏡型之可穿戴電腦發揮作用之態樣)

(iv)使用智慧型手機或便攜式遊戲機來替代控制部之態樣

(v)藉由經由無線LAN、紅外線通信或Bluetooth等之無線信號傳送路徑之連接而連接控制部與圖像顯示部，從而廢止連接部(簾線)之態樣。另，於該情形時，亦可藉由無線實施對控制部或圖像顯示部之供電。

例如，上述實施形態中所例示之控制部及圖像顯示部之構成可任意變更。具體而言，例如，控制部之發送部(Tx)及圖像顯示部之接收部(Rx)之任一者均可具備可雙向通信之功能，從而作為收發部發揮作用。例如，亦可省略控制部所具備之操作用介面(各種鍵或軌跡墊等)之一部分。例如，亦可於控制部具備操作用棒等其他操作用介面。例如，作為可於控制部連接鍵盤或滑鼠等裝置之構成，可設為自鍵盤或滑鼠受理輸入者。例如，可使用二次電池作為電源，但作為電源，則並非限定於二次電池，而可使用各種電池。例如，亦可使用一次電池、或燃料電池、太陽電池、熱電池等。

圖11係表示變化例之HMD之外觀構成之說明圖。圖11(A)之圖像顯示部20x具備右光學影像顯示部26x及左光學影像顯示部28x。其等較上述實施形態之光學構件形成為更小，分別配置於HMD之佩戴時之使用者之左右眼之斜上方。圖11(B)之圖像顯示部20y具備右光學影 像顯示部26y及左光學影像顯示部28y。其等較上述實施形態之光學構件形成為更小，分別配置於HMD之佩戴時之使用者之左右眼之斜下方。如此，只要將光學影像顯示部配置於使用者之眼睛附近即可。形成光學影像顯示部之光學構件之大小為任意；可為光學影像顯示部僅覆蓋使用者之眼睛之一部分之態樣、換言之、光學影像顯示部並未完全覆蓋使用者之眼睛之態樣。

例如，控制部所具備之各處理部(例如圖像處理部、顯示控制部、擴增實境處理部等)亦可使用為實現該功能而設計之ASIC(Application Specific Integrated Circuit：專用積體電路)構成。

例如，HMD雖設為雙眼型之透過型HMD，但亦可設為單眼型之HMD。例如，可構成為於使用者佩戴有HMD之狀態下遮斷外景之透過之非透過型HMD，亦可構成為將照相機搭載於非透過型HMD之視訊透視型。例如，耳機可採用耳掛式或頭戴式；亦可予以省略。

例如，亦可採用通常之平面型顯示器裝置(液晶顯示器裝置、電漿顯示器裝置、有機EL顯示器裝置等替代像眼鏡一樣佩戴之圖像顯示部。於該情形時，控制部與圖像顯示部之間之連接可為有線或無線之任一者。如此一來，可將控制部用作通常之平面型顯示器裝置之遙控器。

例如，亦可採用例如像帽子一樣佩戴之圖像顯示部，或內置於安全帽等身體防護具中之圖像顯示部等其他態樣之圖像顯示部，來替代像眼鏡一樣佩戴之圖像顯示部。例如，亦可構成為被搭載於汽車或飛機等車輛或其他交通機構上之抬頭顯示器(HUD、Head-Up Display)。

例如，圖像光產生部可與上述之構成部(背光、背光控制部、LCD、LCD控制部)一起，或替代上述之構成部，而具備用於實現其他方式之構成部。例如，圖像光產生部亦可具備有機EL(有機電致發 光，Organic Electro-Luminescence)顯示器與有機EL控制部。例如，圖像產生部亦可具備數位微鏡裝置等來替代LCD。例如，亦可將本發明應用於雷射視網膜投影型之頭部佩戴型顯示裝置。

．變化例2：

於上述實施形態中，已顯示擴增實境處理與顏色調整處理之一例。但，上述實施形態中所顯示之處理程序僅為一例，可進行各種變形。例如，可省略一部分之步驟，亦可另外追加其他步驟。亦可變更所執行之步驟之順序。

例如，顏色調整處理(圖4)亦可於擴增實境處理之程序a4與程序a5之間執行。例如，顏色調整部亦可僅對「顏色」之構成要素中之色相、彩度、明度中之至少任一者實施顏色調整處理。

例如，於顏色調整處理之步驟S106中，顏色調整部係針對每個像素(或每個像素區塊)決定目標顏色，但顏色調整部亦可以虛擬目標物為單位而決定目標顏色。於以虛擬目標物為單位決定目標顏色之情形時，虛擬目標物採用單色。於該情形時，於步驟S116結束後，顏色調整部只要使處理過渡至步驟S108即可。

例如，於顏色調整處理之步驟S108中，於HMD具備彩色感測器等其他顏色檢測機構時，顏色調整部亦可使用另外之顏色檢測機構取得實物顏色。

例如，將顏色調整處理之步驟S110之判定設為對最初之像素(或最初之像素區塊)僅實施1次，將第2次以後設為「經由與前次相同之處理路線」；但亦可省略。如此一來，可減少顏色調整部之處理量。

例如，於顏色調整處理之步驟S110之判定中，亦可並用不同之複數個彩度基準(第1彩度基準，第2彩度基準，且滿足第1彩度基準>第2彩度基準之關係)。例如，顏色調整部係於實物顏色之彩度為第1彩度基準以上之情形時，執行步驟S112以後之處理，於實物顏色之彩 度為第2彩度基準以下之情形時，執行步驟S118以後之處理，於實物顏色之彩度小於第1彩度基準且大於第2彩度基準之情形時，並用步驟S112以後之處理及步驟S118以後之處理。如此一來，顏色調整部可實施更細緻之目視色控制。

例如，於顏色調整處理之步驟S112中，顏色調整部亦可取得實際目標物附近之紫外線或紅外線等，並根據所取得之紫外線或紅外線之狀態決定電子遮光物之透過率。

例如，於顏色調整處理之步驟S118中，顏色調整部係除了基於實物顏色之彩度、實際目標物附近之紫外線及紅外線中之至少任一者調整虛擬目標物之CG色以外，亦可並用電子遮光物。

例如，上述實施形態中所例示之實際目標物及虛擬目標物可任意變更。例如，對實際目標物，可使用「實際背景目標物」。且，實際目標物可為平面性(例如墻壁或屏幕)，虛擬目標物亦可為平面性(例如以附裝於作為實際目標物之墻壁之方式可見之廣告之圖像)。

例如，擴增實境處理中形成於使用者之眼前之虛像中可僅包含虛擬目標物，亦可包含虛擬目標物以外之其他資訊(例如，選單欄或表等)。

．變化例3：

本發明並非限定於上述實施形態、實施例或變化例者，而可於不脫離其主旨之範圍內以各種構成實現。例如，為解決上述問題之一部分或全部，或為達成上述效果之一部分或全部，與發明之概要欄所記載之各形態中之技術特徵對應之實施形態、實施例及變化例中之技術特徵係可進行適當之替換或組合。且，於並未將該技術特徵作為本說明書中所必須者進行說明時，則可適當刪除。

S100‧‧‧步驟

S102‧‧‧步驟

S104‧‧‧步驟

S106‧‧‧步驟

S108‧‧‧步驟

S110‧‧‧步驟

S112‧‧‧步驟

S114‧‧‧步驟

S116‧‧‧步驟

S118‧‧‧步驟

Claims (11)

1. 一種頭部佩戴型顯示裝置，其係使使用者可視認虛像與外景者，且包含：圖像顯示部，其使上述使用者視認上述虛像；擴增實境處理部，其係相對於現實世界中真實存在之實際目標物，於上述圖像顯示部形成包含用於重疊顯示其之至少一部分之虛擬目標物之上述虛像；顏色檢測部，其檢測上述實際目標物之顏色即實物顏色；及顏色調整部，其利用所檢測出之上述實物顏色，使將上述虛擬目標物之顏色重疊於上述實物顏色而得之顏色即目視色接近目標顏色。
2. 如請求項1之頭部佩戴型顯示裝置，其中：上述顏色調整部係，藉由以使將所檢測出之上述實物顏色與上述虛擬目標物之顏色相加混色而得之顏色接近上述目標顏色之方式調整上述虛擬目標物之顏色，而使上述目視色接近上述目標顏色。
3. 如請求項1或2之頭部佩戴型顯示裝置，其中：上述圖像顯示部進而可於每個像素變更上述外景之透過率；且上述顏色調整部係，藉由使上述圖像顯示部變更上述外景之透過率，而使上述目視色接近上述目標顏色。
4. 如請求項3之頭部佩戴型顯示裝置，其中：上述顏色調整部係，於檢測出之上述實物顏色之彩度為特定之彩度以上之情形 時，使上述圖像顯示部變更上述外景之透過率；且於檢測出之上述實物顏色之彩度小於上述特定之彩度之情形時，以使將檢測出之上述實物顏色與上述虛擬目標物之顏色進行相加混色而得之顏色接近上述目標顏色之方式，調整上述虛擬目標物之顏色。
5. 如請求項1至4中任一項之頭部佩戴型顯示裝置，其中：上述顏色調整部係，對上述虛擬目標物之每個像素執行使上述目視色接近上述目標顏色之處理。
6. 如請求項1至4中任一項之頭部佩戴型顯示裝置，其中：上述顏色調整部係，針對將上述虛擬目標物之像素中、近鄰之複數個像素匯總之每個n×m(n、m為2以上之整數)像素區塊，執行使上述目視色接近上述目標顏色之處理。
7. 如請求項1至6中任一項之頭部佩戴型顯示裝置，其中：上述顏色調整部係，基於上述實際目標物所處之現實之光環境而決定上述目標顏色。
8. 如請求項1至7中任一項之頭部佩戴型顯示裝置，其中：上述顏色調整部係進而，藉由考慮虛擬之光環境後對上述虛擬目標物之顏色進行顏色轉換，而變更上述目視色。
9. 如請求項1至8中任一項之頭部佩戴型顯示裝置，其中：上述顏色檢測部係取得表示上述外景之外景圖像之照相機。
10. 一種方法，其係控制頭部佩戴型顯示裝置之方法，該方法包含如下步驟： (a)相對於現實世界中真實存在之實際目標物，形成包含用於重疊顯示其之至少一部分之虛擬目標物之虛像；(b)檢測上述實際目標物之顏色即實物顏色；及(c)利用所檢測出之上述實物顏色，使將上述虛擬目標物之顏色重疊於上述實物顏色而得之顏色即目視色接近目標顏色。
11. 一種電腦程式，其係用於使電腦實現如下功能：相對於現實世界中真實存在之實際目標物，形成包含用於重疊顯示其之至少一部分之虛擬目標物之虛像；檢測上述實際目標物之顏色即實物顏色；及利用所檢測出之上述實物顏色，使將上述虛擬目標物之顏色重疊於上述實物顏色而得之顏色即目視色接近目標顏色。