TW201502581A - 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法 - Google Patents

頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法 Download PDF

Info

Publication number
TW201502581A
TW201502581A TW103123524A TW103123524A TW201502581A TW 201502581 A TW201502581 A TW 201502581A TW 103123524 A TW103123524 A TW 103123524A TW 103123524 A TW103123524 A TW 103123524A TW 201502581 A TW201502581 A TW 201502581A
Authority
TW
Taiwan
Prior art keywords
image
unit
user
head
specific
Prior art date
Application number
TW103123524A
Other languages
English (en)
Inventor
Shinichi Kobayashi
Toshikazu Uchiyama
Hitomi Wakamiya
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013145644A external-priority patent/JP6252002B2/ja
Priority claimed from JP2014065567A external-priority patent/JP6375662B2/ja
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of TW201502581A publication Critical patent/TW201502581A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明提供一種藉由基於圖像顯示部之方向而設定圖像光產生區域之位置,而抑制使用者之影像眩暈之頭部配戴型顯示裝置。 穿透式之頭部配戴型顯示裝置具備:圖像顯示部,其包括基於圖像資料而產生並出射圖像光之圖像光產生部,且於配戴在使用者之頭部之狀態下,令使用者視認圖像光作為虛像並且使外景透過;顯示部方向特定部,其特定圖像顯示部之方向即顯示部方向;特定方向設定部,其基於圖像光產生部產生圖像光之圖像光產生區域及上述顯示部方向而設定特定方向;以及控制部,其於設定特定方向之後,以將圖像光產生區域與特定方向進行對位之方式,基於顯示部方向而設定圖像光產生區域之位置。

Description

頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法
本發明係關於一種頭部配戴型顯示裝置。
已知有一種配戴於頭部之顯示裝置即頭部配戴型顯示裝置(頭戴式顯示器(Head Mounted Display),HMD)。頭部配戴型顯示裝置係例如利用液晶顯示器及光源產生表現圖像之圖像光,利用投射光學系統或導光板將所產生之圖像光導入至使用者之眼睛,藉此,令使用者視認虛像。對於頭部配戴型顯示裝置,有使用者除可視認虛像外亦可視認外景之穿透式、及使用者無法視認外景之非穿透式之2種類型。對於穿透式之頭部配戴型顯示裝置,有光學穿透式及視訊穿透式。
於專利文獻1中,揭示有如下技術:藉由對頭部配戴型顯示裝置之使用者之頭部之傾斜進行分析,而算出頭部配戴型顯示裝置相對於水平面之斜率,藉由對使用者之特定部位(例如手臂)之移動進行分析,而算出特定時間內之使用者之移動量,於移動量為特定值以上之情形時,藉由於連續之複數個訊框中使影像緩慢地傾斜而修正頭部配戴型顯示裝置之斜率,從而抑制因使用者所視認之外景與影像之偏移而產生之影像眩暈。於專利文獻2中,揭示有如下技術:頭部配戴型顯示裝置藉由使令使用者視認之影像之區域內之對影像眩暈造成較大影響之影像之周邊部發光,而抑制使用者之影像眩暈。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2012-109708號公報
[專利文獻2]美國專利第8212859號說明書
[非專利文獻]
[非專利文獻1]關於內容對生物之影響之調查研究報告書,2004年3月,總務省
[非專利文獻2]動畫等影像方法之指南,2006年,日本放送協會,社團法人日本民間放送聯盟
但是,就專利文獻1中所記載之技術而言,僅於頭部配戴型顯示裝置相對於水平面傾斜且使用者之移動量為特定值以上之情形時,修正被使用者視認之影像,例如若使用者處於步行過程中且頭部配戴型顯示裝置未相對於水平面傾斜,則不修正影像。因此,有如下課題:不論頭部配戴型顯示裝置是否相對於水平面傾斜,均欲抑制使用者之影像眩暈。又,就專利文獻2中所記載之技術而言,雖然可抑制使用者之影像眩暈,但於進行發光之區域中,使用者難以視認外景,故而有欲抑制影像眩暈且使所視認之外景之視認性提高之課題。又,有欲與外景中所包含之資訊相對應地控制令使用者視認之影像之課題。除此以外,對於先前之頭部配戴型顯示裝置期待提高便利性等。
本發明係為了解決上述問題之至少一部分而完成者,可作為以下之形態而實現。
(1)根據本發明之一形態,提供一種穿透式之頭部配戴型顯示裝置。該頭部配戴型顯示裝置具備:圖像顯示部,其包括基於圖像資料而產生並出射圖像光之圖像光產生部,且於配戴在使用者之頭部之狀態下,令使用者視認上述圖像光作為虛像並且使外景透過;顯示部方 向特定部,其特定出上述圖像顯示部之方向即顯示部方向;特定方向設定部,其基於上述圖像光產生部產生上述圖像光之圖像光產生區域與上述顯示部方向而設定特定方向;以及控制部,其以於設定上述特定方向之後,將上述圖像光產生區域與上述特定方向進行對位之方式,基於上述顯示部方向而設定上述圖像光產生區域之位置。根據本形態之頭部配戴型顯示裝置,相對於外景進行圖像光產生區域之對位,故而圖像光與外景一體化地被使用者視認,即便於使用者移動之情形時,外景與圖像光亦無偏移,故而可抑制使用者之影像眩暈。
(2)於上述形態之頭部配戴型顯示裝置中,亦可進而具備拍攝上述外景之攝像部;上述特定方向設定部係辨別所拍攝之圖像中所含之特定對象物,基於上述特定對象物而設定上述特定方向。根據本形態之頭部配戴型顯示裝置,根據所辨別出之特定對象物而設定特定方向,故而更符合使用者所視認之外景之圖像光經由圖像顯示部被使用者視認,從而使用者之便利性提高。
(3)於上述形態之頭部配戴型顯示裝置中,亦可進而具備:第1對象物記憶部,其記憶上述特定對象物之大小;以及距離特定部,其基於上述攝像部之焦點距離與上述特定對象物之圖像之大小,特定出上述圖像顯示部與上述特定對象物之距離;且上述控制部係基於所特定出之上述距離而設定上述圖像光。根據本形態之頭部配戴型顯示裝置,根據利用攝像部之焦點距離與特定對象物之大小而算出之頭部配戴型顯示裝置之使用者與特定對象物之距離,而設定令使用者視認之圖像光。藉此,可令使用者視認與使用者之狀況相對應之圖像光,從而使用者之便利性提高。
(4)於上述形態之頭部配戴型顯示裝置中,亦可進而具備:第2對象物記憶部,其記憶上述特定對象物之大小及與上述特定對象物不同之距離基準對象物之大小;以及距離特定部,其辨別所拍攝之圖像中 所含之上述距離基準對象物,基於上述特定對象物之圖像之大小與上述距離基準對象物之圖像之大小,而特定上述圖像顯示部與上述特定對象物之距離;且上述控制部係基於特定出之上述距離而設定上述圖像光。根據本形態之頭部配戴型顯示裝置,根據利用特定對象物之大小與距離基準對象物之大小而算出之頭部配戴型顯示裝置之使用者與特定對象物之距離,而設定令使用者視認之圖像光。藉此,可令使用者視認與使用者之狀況相對應之圖像光,從而使用者之便利性提高。
(5)於上述形態之頭部配戴型顯示裝置中,上述控制部亦可於特定出之上述距離為閾值以上之情形時,設定於上述圖像顯示部可產生上述圖像光之區域內之除中心部分以外之部分包含物件之上述圖像光、及表示於上述可產生圖像光之區域包含上述物件之圖像光與拍攝到之圖像中所含之上述特定對象物之位置關係的上述圖像光;且於特定出之上述距離未達上述閾值之情形時,設定於上述可產生圖像光之區域內之中心部分包含物件之上述圖像光。根據本形態之頭部配戴型顯示裝置,根據使用者與特定對象物之距離,令使用者視認之圖像光有所不同,故而使用者可根據所視認之圖像光而辨識與特定對象物之距離,從而使用者之便利性提高。
(6)於上述形態之頭部配戴型顯示裝置中,亦可進而具備:顯示部位置特定部,其特定上述圖像顯示部之位置;以及位置資訊接收部,其接收特定上述特定對象物之位置之資訊;且上述控制部係基於上述圖像顯示部與上述特定對象物之位置關係而設定上述圖像光。根據本形態之頭部配戴型顯示裝置,相應於圖像顯示部與特定對象物之位置關係,而設定經由圖像顯示部被使用者視認之圖像光,故而使用者更容易視認與特定對象物之位置關係,從而使用者之便利性進一步提高。
(7)於上述形態之頭部配戴型顯示裝置中,上述控制部亦可以自 上述圖像顯示部之位置至上述特定對象物之位置之距離越近,則上述圖像光中所含之物件越大之方式進行設定。根據本形態之頭部配戴型顯示裝置,使用者與特定對象物之距離越近,經由圖像顯示部被使用者視認之圖像光中所含之物件之大小越大,故而使用者更容易視認與特定對象物之位置關係,從而使用者之便利性進一步提高。
(8)於上述形態之頭部配戴型顯示裝置中,上述控制部亦可基於拍攝到之圖像中之上述特定對象物之圖像以外之部分之像素之顏色,而設定上述圖像光。根據本形態之頭部配戴型顯示裝置,被使用者視認之圖像光不會混雜於外景地被使用者明確地視認,故而令使用者更容易辨識圖像光,從而使用者之便利性提高。
(9)於上述形態之頭部配戴型顯示裝置中,上述控制部亦可以使構成上述圖像光中所含之物件之像素之顏色成為上述特定對象物之圖像以外的部分之像素之顏色的補色之顏色之方式設定上述圖像光。根據本形態之頭部配戴型顯示裝置,被使用者視認之圖像光不會混雜於外景地被使用者明確地視認,故而令使用者更容易辨識圖像光,從而使用者之便利性提高。
(10)於上述形態之頭部配戴型顯示裝置中,上述控制部亦可基於上述所拍攝之圖像之亮度而設定上述圖像光之亮度。根據本形態之頭部配戴型顯示裝置,由於相應於所拍攝之圖像之亮度設定圖像顯示部之亮度,故而即便圖像資料相同,亦可更提高使用者對經由圖像顯示部被使用者視認之圖像光之視認性。
(11)於上述形態之頭部配戴型顯示裝置中,上述控制部亦可為上述所拍攝之圖像之亮度越高,則將上述圖像光之亮度設定得越高。根據本形態之頭部配戴型顯示裝置,於所拍攝之圖像之亮度較低之情形時,藉由使圖像顯示部之亮度變低,可不消耗多餘之電力而使頭部配戴型顯示裝置之使用時間變長。
(12)於上述形態之頭部配戴型顯示裝置中,亦可進而具備特定上述圖像顯示部之移動之移動特定部;上述控制部係根據基於上述圖像顯示部之移動而特定出之使用者之移動狀態,設定上述圖像光產生區域之位置。根據本形態之頭部配戴型顯示裝置,抵消因使用者之移動狀態所引起之令使用者視認之圖像光之相對移動,故而可抑制使用者之影像眩暈。
(13)於上述形態之頭部配戴型顯示裝置中,上述控制部亦可將上述圖像光自未被使用者視認之狀態變化為被視認之狀態之時間、與上述圖像光自被使用者視認之狀態變化為未被視認之狀態之時間之至少一者,設定為如相對於上述圖像顯示部之移動之速度單調遞增之關係。根據本形態之頭部配戴型顯示裝置,於使用者之移動較快之情形時,藉由將圖像光自未被使用者視認出之狀態變化為被視認之狀態之時間、與圖像光自被使用者視認出之狀態變化為未被視認之狀態之時間之至少一者設定得較長,可減少使用者之視界中之圖像光之變化,可進而抑制使用者之影像眩暈。
上述本發明之各形態所包括之複數個構成要素並非全部為必需,為了解決上述問題之一部分或全部或者為了達成本說明書中所記載之效果之一部分或全部,可適當對上述複數個構成要素之一部分之構成要素進行變更、刪除、與新的其他構成要素之替換、限定內容之一部分之刪除。又,為了解決上述問題之一部分或全部或者為了達成本說明書中所記載之效果之一部分或全部,亦可將上述本發明之一形態中所包含之技術性特徵之一部分或全部與上述本發明之其他形態中所包含之技術性特徵之一部分或全部組合而形成本發明之獨立之一形態。
例如本發明之一形態可作為具備圖像顯示部、顯示部方向特定部、特定方向設定部及控制部之4個要素中之一個以上或全部之要素 之裝置而實現。即,該裝置可包括圖像顯示部,亦可不包括圖像顯示部。又,裝置可包括顯示部方向特定部,亦可不包括顯示部方向特定部。又,裝置可包括特定方向設定部,亦可不包括特定方向設定部。又,裝置可包括控制部,亦可不包括制部。圖像顯示部例如亦可包括基於圖像資料而產生並出射圖像光之圖像光產生部,且於配戴在使用者之頭部之狀態下,令使用者視認上述圖像光作為虛像,並且使外景透過。顯示部方向特定部例如亦可特定出上述圖像顯示部之方向即顯示部方向。特定方向設定部例如亦可基於上述圖像光產生部產生上述圖像光之圖像光產生區域與上述顯示部方向而設定特定方向。控制部例如亦可以於設定上述特定方向之後,將上述圖像光產生區域與上述特定方向進行對位之方式,基於上述顯示部方向而設定上述圖像光產生區域之位置。此種裝置例如可作為頭部配戴型顯示裝置而實現,但亦可作為除頭部配戴型顯示裝置以外之其他裝置而實現。根據此種形態,可解決裝置之操作性之提高及簡化、裝置之一體化、或使用裝置之使用者之便利性之提高等各種課題中之至少一者。上述頭部配戴型顯示裝置之各形態之技術性特徵之一部分或全部均可應用於該裝置。
本發明亦可以除頭部配戴型顯示裝置以外之各種形態實現。例如可以顯示裝置、頭部配戴型顯示裝置及顯示裝置之控制方法、頭部配戴型顯示系統、顯示裝置、用以實現頭部配戴型顯示系統及顯示裝置之功能之電腦程式、記錄有該電腦程式之記錄媒體、包含該電腦程式且於載波內具體化之資料信號等形態而實現。
10‧‧‧控制部
11‧‧‧決定鍵
12‧‧‧點燈部
13‧‧‧顯示切換鍵
14‧‧‧軌跡板
15‧‧‧亮度切換鍵
16‧‧‧方向鍵
17‧‧‧選單鍵
18‧‧‧電源開關
20‧‧‧圖像顯示部
20a‧‧‧圖像顯示部
21‧‧‧右保持部
22‧‧‧右顯示驅動部
23‧‧‧左保持部
24‧‧‧左顯示驅動部
26‧‧‧右光學影像顯示部
26a‧‧‧右光學影像顯示部
26b‧‧‧右光學影像顯示部
28‧‧‧左光學影像顯示部
28a‧‧‧左光學影像顯示部
28b‧‧‧左光學影像顯示部
30‧‧‧耳機插頭
32‧‧‧右耳機
34‧‧‧左耳機
40‧‧‧連接部
42‧‧‧右軟線
44‧‧‧左軟線
46‧‧‧連結構件
48‧‧‧本體軟線
51‧‧‧發送部
52‧‧‧發送部
53‧‧‧接收部
54‧‧‧接收部
61,61a,61b‧‧‧攝影機(攝像部、顯示部方向特定部)
66‧‧‧9軸感測器(顯示部方向特定部)
100‧‧‧頭部配戴型顯示裝置
100a‧‧‧頭部配戴型顯示裝置
110‧‧‧輸入資訊獲取部
120‧‧‧記憶部(第1對象物記憶部、第2對象物記憶部)
130‧‧‧電源
132‧‧‧無線通信部(位置資訊接收部)
134‧‧‧GPS模組(顯示部位置特定部)
135‧‧‧操作部
140‧‧‧CPU
150‧‧‧作業系統
160‧‧‧圖像處理部
165‧‧‧圖像位置控制部(控制部)
166‧‧‧方向判定部(顯示部方向特定部)
168‧‧‧圖像判定部(特定方向設定部、顯示部方向特定部、距離特定部)
170‧‧‧聲音處理部
180‧‧‧介面
190‧‧‧顯示控制部
201‧‧‧右背光源控制部
202‧‧‧左背光源控制部
211‧‧‧右LCD控制部
212‧‧‧左LCD控制部
221‧‧‧右背光源
222‧‧‧左背光源
241‧‧‧右LCD
242‧‧‧左LCD
251‧‧‧右投射光學系統
252‧‧‧左投射光學系統
261‧‧‧右導光板
262‧‧‧左導光板
AP‧‧‧前端部
BL‧‧‧建築物
BT1‧‧‧船
BT2‧‧‧船
BT3‧‧‧船
BT4‧‧‧船
BT5‧‧‧船
CS‧‧‧游標圖像
EL‧‧‧端部
ER‧‧‧端部
FG‧‧‧食指
HSync‧‧‧水平同步信號
IL‧‧‧照明光
IM02‧‧‧文字圖像
IM03‧‧‧文字圖像
IM04‧‧‧文字圖像
IM05‧‧‧文字圖像
IM06‧‧‧文字圖像
IM07‧‧‧文字圖像
IM08‧‧‧文字圖像
IM1‧‧‧顯示圖像
IM2‧‧‧顯示圖像
IM3‧‧‧文字圖像
IM4‧‧‧文字圖像
LE‧‧‧左眼
Lf‧‧‧食指之長度
Lt‧‧‧塔之長度
OA‧‧‧外部機器
PCLK‧‧‧時脈信號
PL‧‧‧圖像光
PN‧‧‧圖像顯示最大區域
RE‧‧‧右眼
SC‧‧‧外景
SP1‧‧‧特徵點
SP2‧‧‧特徵點
SP3‧‧‧特徵點
SP4‧‧‧特徵點
SP5‧‧‧特徵點
SP6‧‧‧特徵點
SP7‧‧‧特徵點
SP8‧‧‧特徵點
SP9‧‧‧特徵點
TW‧‧‧塔
VR‧‧‧視野
VSync‧‧‧垂直同步信號
圖1係表示頭部配戴型顯示裝置之外觀構成之說明圖。
圖2係功能性地表示頭部配戴型顯示裝置之構成之方塊圖。
圖3係表示藉由圖像光產生部出射圖像光之情況之說明圖。
圖4係表示圖像顯示處理之流程之說明圖。
圖5係表示被使用者視認之視野之一例之說明圖。
圖6係表示被使用者視認之顯示圖像之一例之說明圖。
圖7係表示被使用者視認之視野之一例之說明圖。
圖8係表示於比較例中被使用者視認之視野之一例之說明圖。
圖9係表示第2實施形態中之圖像顯示處理之流程之說明圖。
圖10係表示第2實施形態中之圖像顯示處理之流程之說明圖。
圖11係表示被使用者視認之視野之一例之說明圖。
圖12係表示被使用者視認之視野之一例之說明圖。
圖13係表示於變化例中被使用者視認之視野之一例之說明圖。
圖14係表示於變化例中被使用者視認之視野之一例之說明圖。
圖15(A)、(B)係表示變化例中之頭部配戴型顯示裝置之外觀構成之說明圖。
接下來,基於實施形態按照以下之順序對本發明之實施之形態進行說明。
A.第1實施形態:A-1.頭部配戴型顯示裝置之構成:A-2.圖像顯示處理:B.比較例:C.第2實施形態:D.變化例:
A.第1實施形態: A-1.頭部配戴型顯示裝置之構成:
圖1係表示頭部配戴型顯示裝置100之外觀構成之說明圖。頭部配戴型顯示裝置100係配戴於頭部之顯示裝置,亦稱為頭戴式顯示器(Head Mounted Display,HMD)。本實施形態之頭部配戴型顯示裝置 100係使用者視認虛像之同時亦可直接視認外景之光學穿透式之頭部配戴型顯示裝置。再者,於本說明書中,為方便起見,亦將使用者藉由頭部配戴型顯示裝置100所視認之虛像稱為「顯示圖像」。又,亦將出射基於圖像資料所產生之圖像光稱為「顯示圖像」。
頭部配戴型顯示裝置100具備:圖像顯示部20,其於配戴在使用者之頭部之狀態下令使用者視認虛像;以及控制部10(控制器10),其控制圖像顯示部20。
圖像顯示部20係配戴於使用者之頭部之配戴體,於本實施形態中具有眼鏡形狀。圖像顯示部20包含右保持部21、右顯示驅動部22、左保持部23、左顯示驅動部24、右光學影像顯示部26、左光學影像顯示部28及攝影機61。右光學影像顯示部26及左光學影像顯示部28分別以於使用者配戴圖像顯示部20時位於使用者之右眼及左眼前之方式配置。右光學影像顯示部26之一端與左光學影像顯示部28之一端係於使用者配戴圖像顯示部20時之與使用者之眉間對應之位置相互連接。
右保持部21係自作為右光學影像顯示部26之另一端之端部ER延伸至使用者配戴圖像顯示部20時之與使用者之顳顬部對應之位置而設置之構件。同樣地,左保持部23係自作為左光學影像顯示部28之另一端之端部EL延伸至使用者配戴圖像顯示部20時之與使用者之顳顬部對應之位置而設置之構件。右保持部21及左保持部23係如眼鏡之眼鏡腳(眼鏡腿)般,將圖像顯示部20保持於使用者之頭部。
右顯示驅動部22與左顯示驅動部24係配置於使用者配戴圖像顯示部20時之與使用者之頭部對向之側。再者,以下,亦簡單地將右保持部21及左保持部23統稱為「保持部」,且亦簡單地將右顯示驅動部22及左顯示驅動部24統稱為「顯示驅動部」,且亦簡單地將右光學影像顯示部26及左光學影像顯示部28統稱為「光學影像顯示部」。
顯示驅動部22、24包含液晶顯示器241、242(Liquid Crystal Display,以下亦稱為「LCD241、242」)及投射光學系統251、252等(參照圖2)。顯示驅動部22、24之構成之詳細情況係於下文進行敍述。作為光學構件之光學影像顯示部26、28包含導光板261、262(參照圖2)及調光板。導光板261、262係由透光性之樹脂材料等形成,將自顯示驅動部22、24輸出之圖像光導入至使用者之眼睛。調光板為薄板狀之光學元件,以覆蓋與使用者之眼睛之側為相反側之圖像顯示部20之表側之方式配置。調光板保護導光板261、262,抑制導光板261、262之損傷或污垢之附著等。又,藉由調整調光板之透光率,可調整進入至使用者之眼睛之外界光量而調整虛像之視認之容易度。再者,可省略調光板。
攝影機61係配置於使用者配戴圖像顯示部20時之與使用者之眉間對應之位置。因此,攝影機61係於使用者將圖像顯示部20配戴於頭部之狀態下,拍攝使用者之視線方向之外部之景色即外景,而獲取外景圖像。攝影機61為單眼攝影機(monocular camera),但亦可為立體攝影機(stereo camera)。攝影機61相當於請求項中之攝像部。
圖像顯示部20進而包括用以將圖像顯示部20連接於控制部10之連接部40。連接部40包含連接於控制部10之本體軟線48、右軟線42、左軟線44及連結構件46。右軟線42與左軟線44係本體軟線48分支成2根後之軟線。右軟線42係自右保持部21之延伸方向之前端部AP插入至右保持部21之殼體內,且連接於右顯示驅動部22。同樣地,左軟線44係自左保持部23之延伸方向之前端部AP插入至左保持部23之殼體內,且連接於左顯示驅動部24。連結構件46係設置於本體軟線48與右軟線42及左軟線44之分支點,且包括用以連接耳機插頭30之插孔。右耳機32及左耳機34係自耳機插頭30延伸。
圖像顯示部20與控制部10係經由連接部40而進行各種信號之傳輸。於本體軟線48中之與連結構件46為相反側之端部與控制部10之各 者設置有相互嵌合之連接器(未圖示)。藉由本體軟線48之連接器與控制部10之連接器之嵌合/解除嵌合,而將控制部10與圖像顯示部20連接或切斷。對於右軟線42、左軟線44及本體軟線48,例如可採用金屬纜線或光纖。
控制部10係用以控制頭部配戴型顯示裝置100之裝置。控制部10包含:決定鍵11、點燈部12、顯示切換鍵13、軌跡板(trackpad)14、亮度切換鍵15、方向鍵16、選單鍵17及電源開關18。決定鍵11係檢測按下操作,並輸出決定由控制部10進行操作之內容之信號。點燈部12係藉由其發光狀態而通知頭部配戴型顯示裝置100之動作狀態。作為頭部配戴型顯示裝置100之動作狀態,例如有電源之ON(接通)/OFF(斷開)等。作為點燈部12,例如使用LED(Light Emitting Diode,發光二極體)。顯示切換鍵13係檢測按下操作,並輸出例如將動畫內容之顯示模式切換為3D(Three-dimensional,三維)及2D(Two-dimensional,二維)之信號。軌跡板14係檢測軌跡板14之操作面上之使用者之手指之操作,並輸出與檢測內容對應之信號。作為軌跡板14,可採用靜電式或壓力檢測式、光學式之類之各種軌跡板。亮度切換鍵15係檢測按下操作,並輸出增減圖像顯示部20之亮度之信號。方向鍵16係檢測與上下左右方向對應之對鍵之按下操作,並輸出與檢測內容相對應之信號。電源開關18係藉由檢測開關之滑動操作,而切換頭部配戴型顯示裝置100之電源接通狀態。
圖2係功能性地表示頭部配戴型顯示裝置100之構成之方塊圖。如圖2所示,控制部10包括輸入資訊獲取部110、記憶部120、電源130、操作部135、CPU(Central Processing Unit,中央處理單元)140、介面180、發送部51(Tx51)及發送部52(Tx52)、GPS(Global Positioning System,全球定位系統)模組134以及無線通信部132。操作部135係受理使用者之操作,包含決定鍵11、顯示切換鍵13、軌跡板14、亮度切 換鍵15、方向鍵16、選單鍵17及電源開關18。
輸入資訊獲取部110係獲取與使用者之操作輸入相對應之信號。作為與操作輸入相對應之信號,例如有對配置於操作部135之軌跡板14、方向鍵16、電源開關18之操作輸入。電源130係對頭部配戴型顯示裝置100之各部供給電力。作為電源130,例如可使用二次電池。記憶部120儲存有各種電腦程式。記憶部120包含ROM(Read Only Memory,唯讀記憶體)或RAM(Random Access Memory,隨機存取記憶體)等。
GPS模組134係藉由接收來自GPS衛星之信號,而特定圖像顯示部20之當前位置,並產生表示位置之資訊。藉由特定圖像顯示部20之當前位置,而特定頭部配戴型顯示裝置100之使用者之當前位置。無線通信部132係按照無線LAN(Local Area Network,區域網路)或藍牙之類之特定之無線通信標準,於與其他機器之間進行無線通信。無線通信部132可藉由進行無線通信而接收例如建築物之位置資訊。再者,GPS模組134相當於請求項中之顯示部位置特定部,無線通信部132相當於請求項中之位置資訊接收部。
CPU140係藉由讀出並執行儲存於記憶部120之電腦程式,而作為作業系統150(OS(Operating system)150)、顯示控制部190、聲音處理部170、圖像處理部160、方向判定部166、圖像位置控制部165及圖像判定部168發揮功能。
顯示控制部190係產生控制右顯示驅動部22及左顯示驅動部24之控制信號。具體而言,顯示控制部190係藉由控制信號而個別地控制利用右LCD控制部211進行之右LCD241之驅動ON/OFF、利用右背光源控制部201進行之右背光源221之驅動ON/OFF、利用左LCD控制部212進行之左LCD242之驅動ON/OFF、及利用左背光源控制部202進行之左背光源222之驅動ON/OFF等。藉此,顯示控制部190係控制利用 右顯示驅動部22及左顯示驅動部24之各者所進行之圖像光之產生及出射。例如,顯示控制部190係使右顯示驅動部22及左顯示驅動部24之兩者產生圖像光,或僅使一者產生圖像光,或使兩者均不產生圖像光。
顯示控制部190係經由發送部51及52而發送對右LCD控制部211及左LCD控制部212之各控制信號。又,顯示控制部190係發送對右背光源控制部201及左背光源控制部202之各控制信號。
圖像處理部160係獲取內容中所包含之圖像信號。圖像處理部160係自所獲取之圖像信號分離垂直同步信號VSync或水平同步信號HSync等同步信號。又,圖像處理部160係相應於分離之垂直同步信號VSync或水平同步信號HSync之週期,利用PLL(Phase Locked Loop,鎖相迴路)電路等(未圖示)而產生時脈信號PCLK。圖像處理部160係使用A/D(Analog-to-Digital,類比數位)轉換電路等(未圖示)將同步信號經分離之類比圖像信號轉換為數位圖像信號。其後,圖像處理部160係將轉換後之數位圖像信號作為對象圖像之圖像資料(RGB(Red Green Blue,紅綠藍)資料),針對每一訊框儲存於記憶部120內之DRAM(Dynamic Random Access Memory,動態隨機存取記憶體)。再者,圖像處理部160亦可視需要對圖像資料執行解像度轉換處理、亮度、彩度之調整之類之各種色調修正處理、梯形修正處理等圖像處理。
圖像處理部160係經由發送部51、52而發送所產生之時脈信號PCLK、垂直同步信號VSync、水平同步信號HSync、及儲存於記憶部120內之DRAM之圖像資料之各者。發送部51、52係作為用於控制部10與圖像顯示部20之間之串列傳輸之收發器(transceiver)發揮功能。
聲音處理部170係獲取內容中所包含之聲音信號,將所獲取聲音信號放大,並供給至連接於連結構件46之右耳機32內之揚聲器(未圖 示)及左耳機34內之揚聲器(未圖示)。再者,例如於採用Dolby(杜比)(註冊商標)系統之情形時,進行對聲音信號之處理,自右耳機32及左耳機34之各者輸出例如頻率等已改變之不同之聲音。
方向判定部166係判定下述之9軸感測器66所檢測出之圖像顯示部20之方向或移動。方向判定部166係藉由判定圖像顯示部20之方向,而推斷使用者之頭部之方向。圖像判定部168係藉由圖案匹配而判定外景圖像中是否包含與預先記憶於記憶部120之特定對象物之圖像資料相同之特定對象物。又,圖像判定部168係於外景圖像中包含特定對象物之情形時,與記憶於記憶部120之資料進行對照,提取預先設定於特定對象物之特徵點。圖像判定部168係將連結使用者至特徵點之方向設定為特定方向。再者,圖像判定部168相當於請求項中之特定方向設定部。
圖像位置控制部165係於外景圖像中包含特定對象物之情形時,以圖像判定部168所設定之特定方向為基準,使表現與特定對象物建立關聯而設定之圖像資料的圖像顯示於圖像顯示部20。作為與特定對象物建立關聯而設定之圖像資料,例如為特定對象物之名稱或位置資訊等。關於詳細情況係於下文進行敍述,圖像位置控制部165係以如下方式設定顯示圖像之位置,即:若設定有特定方向,則相應於圖像顯示部20之方向之變化,將特定方向與顯示圖像進行對位。又,圖像位置控制部165係相應於外景圖像之顏色(RGB值),基於圖像資料,製成使RGB值變化而得之圖像資料,或相應於外景圖像之亮度,使圖像顯示部20之亮度變化,藉此,基於同一圖像資料產生不同之圖像。例如,圖像位置控制部165係自使用者至特定對象物為止之距離越近,越是製成使圖像資料中所包含之文字變大之圖像資料,或外景圖像之亮度越低,將圖像顯示部20之亮度設定得越小。再者,圖像位置控制部165相當於請求項中之控制部,圖像資料中所包含之文字相當 於請求項中之物件。
介面180係用以對控制部10連接成為內容之供給源之各種外部機器OA之介面。作為外部機器OA,例如有個人電腦(PC)或行動電話終端、遊戲終端等。作為介面180,例如可使用USB(Universal Serial Bus,通用串列匯流排)介面、微型USB介面、記憶卡用介面等。
圖像顯示部20具備右顯示驅動部22、左顯示驅動部24、作為右光學影像顯示部26之右導光板261、作為左光學影像顯示部28之左導光板262、9軸感測器66及攝影機61。
9軸感測器66係檢測加速度(3軸)、角速度(3軸)、地磁(3軸)之移動感測器。9軸感測器66係設置於圖像顯示部20,故而於將圖像顯示部20配戴於使用者之頭部時,檢測使用者之頭部之移動。根據所檢測出之使用者之頭部之移動而特定出圖像顯示部20之方向。再者,9軸感測器66與方向判定部166相當於請求項中之顯示部方向特定部。
右顯示驅動部22包含接收部53(Rx53)、作為光源發揮功能之右背光源控制部201(右BL控制部201)及右背光源221(右BL221)、作為顯示元件發揮功能之右LCD控制部211及右LCD241、以及右投射光學系統251。右背光源控制部201與右背光源221係作為光源發揮功能。右LCD控制部211與右LCD241係作為顯示元件發揮功能。再者,亦將右背光源控制部201、右LCD控制部211、右背光源221及右LCD241統稱為「圖像光產生部」。
接收部53係作為用於控制部10與圖像顯示部20之間之串列傳輸之接收器發揮功能。右背光源控制部201係基於所輸入之控制信號而驅動右背光源221。右背光源221例如為LED或電致發光(EL)等之發光體。右LCD控制部211係基於經由接收部53而輸入之時脈信號PCLK、垂直同步信號VSync、水平同步信號HSync及右眼用圖像資料,而驅動右LCD241。右LCD241係將複數個像素配置成矩陣狀之穿透式液晶 面板。
右投射光學系統251包含使自右LCD241出射之圖像光為平行狀態之光束之準直透鏡(collimated lens)。作為右光學影像顯示部26之右導光板261係使自右投射光學系統251輸出之圖像光一面沿特定之光路反射一面導入至使用者之右眼RE。再者,亦將右投射光學系統251與右導光板261統稱為「導光部」。
左顯示驅動部24具有與右顯示驅動部22相同之構成。左顯示驅動部24包含接收部54(Rx54)、作為光源發揮功能之左背光源控制部202(左BL控制部202)及左背光源222(左BL222)、作為顯示元件發揮功能之左LCD控制部212及左LCD242、以及左投射光學系統252。左背光源控制部202與左背光源222係作為光源發揮功能。左LCD控制部212與左LCD242係作為顯示元件發揮功能。再者,亦將左背光源控制部202、左LCD控制部212、左背光源222及左LCD242統稱為「圖像光產生部」。又,左投射光學系統252包含使自左LCD242出射之圖像光為平行狀態之光束之準直透鏡。作為左光學影像顯示部28之左導光板262係使自左投射光學系統252輸出之圖像光一面沿特定之光路反射一面導入至使用者之左眼LE。再者,亦將左投射光學系統252與左導光板262統稱為「導光部」。
圖3係表示藉由圖像光產生部出射圖像光之情況之說明圖。右LCD241係藉由驅動配置成矩陣狀之各像素位置之液晶而使透過右LCD241之光之透過率變化,藉此,將自右背光源221照射之照明光IL調變成表現圖像之有效之圖像光PL。關於左側亦相同。再者,如圖3般,於本實施形態中採用背光源方式,但亦可設為使用正面光方式或反射方式出射圖像光之構成。
A-2.圖像顯示處理:
圖4係表示圖像顯示處理之流程之說明圖。於圖像顯示處理中, 於外景圖像中包含特定對象物之情形時,即便使用者之視線方向變化,亦可以進行將特定方向與顯示圖像之位置關係固定之對位之方式,變更顯示圖像之位置並將顯示圖像顯示於圖像顯示部20。
當受理開始圖像顯示處理之特定之操作時,首先,攝影機61拍攝外景(步驟S11)。其次,圖像判定部168對在所拍攝之外景圖像中是否包含作為由記憶部120記憶作為檢測對象之特定對象物之特定之建築物(步驟S12)。於判定在外景圖像中不包含特定對象物之情形時(步驟S12:否(NO)),攝影機61再次拍攝外景(步驟S11),圖像判定部168對在所拍攝之外景圖像中是否包含特定對象物進行判定(步驟S12)。
於判定在外景圖像中包含特定對象物之情形時(步驟S12:是(YES)),圖像判定部168提取特定建築物之特徵點,方向判定部166設定連結使用者至特徵點之特定方向(步驟S13)。圖5係表示被使用者視認之視野VR之一例之說明圖。如圖5所示,對於使用者,可視認透過圖像顯示部20之光學影像顯示部26、28之外景SC。於外景SC中,包含作為特定對象物之建造中之建築物BL。圖像判定部168係當辨識建築物BL時,與記憶於記憶部120之建築物BL之資料進行對照,藉此,將建築物BL之角之特徵點SP1提取作為特徵點。方向判定部166係將自使用者朝向所提取之特徵點SP1之方向設定為特定方向。再者,圖像顯示部20可顯示圖像之最大區域為圖像顯示最大區域PN,由虛線表示。為方便起見,將圖像顯示最大區域PN及特徵點SP1示於圖5中,實際上,未被使用者視認。又,攝影機61可拍攝與使用者之視野VR相同之範圍。
當設定建築物BL之特徵點SP1及特定方向時(圖4之步驟S13),GPS模組134特定出圖像顯示部20之當前位置、即使用者之當前位置(步驟S14)。接下來,無線通信部132係藉由無線通信而接收記憶於作為與頭部配戴型顯示裝置100不同之裝置之伺服器的作為特定對象物 之建築物BL之位置資訊(例如緯度及經度),並特定出建築物BL之位置(例如建築物BL之中心之緯度及經度)(步驟S15)。圖像位置控制部165係藉由所特定出之使用者之當前位置與建築物BL之位置,而算出自使用者之當前位置至建築物BL之位置為止之距離(步驟S16)。接下來,圖像位置控制部165係設定顯示於圖像顯示部20之圖像之位置並顯示圖像(步驟S17)。圖像位置控制部165係使關於建築物BL之資訊(例如預定完工日期)以文字圖像之形式顯示於圖像顯示部20。又,圖像位置控制部165係自使用者之當前位置至建築物BL之位置為止之距離越近,使顯示於圖像顯示部20之文字圖像越大。再者,若顯示於圖像顯示部20之文字圖像變大,則於圖像顯示部20顯示有圖像之顯示區域變大。
圖6係表示被使用者視認之顯示圖像IM1之一例之說明圖。於圖6中,表示被使用者視認之視野VR。於圖像顯示最大區域PN內,顯示有藉由圖像位置控制部165而設定之顯示圖像IM1。顯示圖像IM1係表示與建築物BL之承包者之姓名、施工方及預定完工日期相關之資訊之文字圖像。顯示圖像IM1之文字圖像之大小係藉由相應於自使用者之當前位置至建築物BL為止之距離,變更記憶於記憶部120之圖像資料而設定。
當於圖像顯示部20顯示有顯示圖像IM1時(圖4之步驟S17),方向判定部166及GPS模組134係檢測作為圖像顯示部20之配戴者之使用者與作為特定對象物之建築物BL之位置關係之變化(步驟S18)。所謂位置關係之變化係指自使用者之位置至建築物BL之位置為止之距離之變化、及最初設定之特定方向與當前時間點之自使用者朝向特徵點SP1之方向上之方向的變化。於檢測出使用者與建築物BL之位置關係之變化之情形時(步驟S18:YES),圖像位置控制部165係以相應於位置關係之變化,使最初設定之特定方向與顯示圖像IM1之顯示區域之 位置關係固定之方式,設定圖像顯示部20中之顯示圖像之位置並使圖像顯示部20顯示圖像(步驟S19)。
圖7係表示被使用者視認之視野VR之一例之說明圖。於圖7中,表示與圖6之視野VR相比,自圖像顯示部20至建築物BL為止之距離、即自使用者至建築物BL為止之距離變小,且於使用者之頭部朝向更上方之情形時被使用者視認之視野VR。如圖7所示,因使用者與建築物BL之位置關係變化,建築物BL被使用者視認得更大,外景圖像中所包含之特徵點SP1之位置變化。因此,最初設定之特定方向與當前時間點之自使用者朝向特徵點SP1之方向變化。又,與建築物BL相關之文字圖像係與顯示圖像IM1相比,於圖像顯示最大區域PN中,於更大之顯示區域以更大之文字之大小,顯示作為顯示圖像IM2。即,於顯示圖像IM1中以文字形式顯示之物件係於顯示圖像IM2中顯示為更大之物件。如此,圖像位置控制部165係將特徵點SP1與顯示圖像IM2之顯示區域、即特定方向與顯示圖像IM2之顯示區域之位置關係固定為與圖像顯示部20與特徵點SP1之位置關係變化之前相同之位置關係,使顯示圖像IM2顯示於圖像顯示部20。
於將顯示圖像IM2顯示於圖像顯示部20之情形(圖4之步驟S19)或於步驟S18之處理中未檢測出位置關係之變化之情形時(步驟S18:NO),圖像位置控制部165係監視使圖像顯示處理結束之操作之檢測(步驟S20)。於未檢測出結束之操作之情形時(步驟S20:NO),方向判定部166及GPS模組134繼續監視圖像顯示部20與特定方向之位置關係之變化之檢測(步驟S18)。於檢測出結束之操作之情形時,(步驟S20:YES),圖像位置控制部165係使圖像顯示處理結束。
如以上所作說明般,於本實施形態之頭部配戴型顯示裝置100中,9軸感測器66及方向判定部166判定圖像顯示部20之方向,將自使用者朝向特徵點SP1之方向設定為特定方向。若設定了特定方向,則 圖像位置控制部165係以相應於圖像顯示部20之方向之變化進行使顯示圖像IM1之顯示區域與特定方向之位置關係固定之對位之方式設定顯示圖像IM2之顯示區域。因此,於本實施形態之頭部配戴型顯示裝置100中,將顯示區域相對於外景SC進行對位,故而顯示圖像IM1及顯示圖像IM2與外景SC一體化地被使用者視認,即便於使用者移動之情形時,外景SC與顯示圖像IM1亦無偏移,故而可抑制使用者之影像眩暈。
又,於本實施形態之頭部配戴型顯示裝置100中,攝影機61拍攝外景SC,圖像判定部168係對在外景圖像中是否包含作為特定對象物之建築物BL進行判定,且將自使用者至建築物BL之特徵點SP1之方向設定為特定方向。因此,於本實施形態之頭部配戴型顯示裝置100中,藉由所辨識之特定對象物而設定特定方向,故而得以將更符合使用者所視認之外景SC之圖像顯示於圖像顯示部20,使用者之便利性提高。
又,於本實施形態之頭部配戴型顯示裝置100中,GPS模組134特定出圖像顯示部20之當前位置,無線通信部132藉由進行無線通信而接收建築物BL之位置資訊。圖像位置控制部165係自圖像顯示部20之位置至建築物BL之位置為止距離越近,使顯示於圖像顯示部20之文字圖像中所包含之作為物件之文字越大。因此,於本實施形態之頭部配戴型顯示裝置100中,相應於使用者與建築物BL之位置關係,顯示於圖像顯示部20之文字圖像中所包含之文字之大小變化,故而使用者更容易視認與建築物BL之位置關係,使用者之便利性進一步提高。
B.比較例:
圖8係表示於比較例中被使用者視認之視野VR之一例之說明圖。於圖8中,以與圖7之視野VR相同之方式,表示於使用者與建築物BL之位置關係變化之情形時被使用者視認之視野VR。於圖8中,與圖7 之視野VR相比,顯示於圖像顯示部20之顯示圖像IM1與顯示圖像IM2不同,關於被使用者視認之外景SC係相同。於比較例中,不論使用者與建築物BL之位置關係之變化如何,均使顯示圖像IM1相對於圖像顯示最大區域PN之顯示區域固定。即,不以使特定方向與顯示圖像IM1之顯示區域之位置關係固定之方式進行對位。因此,於比較例中,於使用者移動之情形時,外景SC相應於使用者之移動而變化,但顯示圖像IM1未相應於使用者之移動變化,而外景SC與顯示圖像IM1發生偏移,故而有使用者產生影像眩暈之虞。
C.第2實施形態:
於第2實施形態中,基於外景圖像中所包含之特定對象物及與特定對象物不同之基準對象物,而算出使用者與特定對象物之距離。又,根據外景圖像之像素之顏色而設定顯示文字圖像等之顯示區域或文字圖像之字型之顏色。
於第2實施形態中,頭部配戴型顯示裝置100之構成相同,但一部分之構成之功能不同。記憶部120除記憶特定對象物之圖像資料以外,亦記憶包含作為基準對象物之使用者之食指之大小之資訊的圖像資料。記憶部120係藉由操作部135被操作,而記憶使用者之食指之圖像資料。圖像判定部168係藉由圖案匹配而判定於利用攝影機61拍攝之外景圖像中是否包含與基準對象物之圖像資料相同之基準對象物。圖像判定部168係藉由將外景圖像中所包含之特定對象物之大小與基準對象物之大小加以比較,而特定出頭部配戴型顯示裝置100之使用者與特定對象物之距離。再者,第2實施形態中之記憶部120相當於請求項中之第1對象物記憶部及第2對象物記憶部,基準對象物相當於請求項中之距離基準對象物。又,圖像判定部168相當於請求項中之距離特定部。圖像判定部168對外景圖像中是否包含與基準對象物相同之圖像資料進行判定係相當於請求項中之距離特定部對所拍攝之圖像 中所包含之距離基準對象物加以辨別。
圖9及圖10係表示第2實施形態中之圖像顯示處理之流程之說明圖。於第2實施形態中,步驟S35之後之處理與第1實施形態之圖像顯示處理(圖4)不同。於第2實施形態之圖像顯示處理中,攝影機61拍攝外景(圖9之步驟S31),當判定外景圖像中包含特定對象物時(步驟S33:YES),圖像判定部168係對外景圖像中是否包含記憶於記憶部120之作為基準對象物之使用者之「食指」進行判定(步驟S35)。於判定外景圖像中包含使用者之食指之情形時(步驟S35:YES),以與第1實施形態相同之方式,圖像判定部168提取特定對象物之特徵點,方向判定部166設定特定方向(步驟S37)。
圖11係表示被使用者視認之視野VR之一例之說明圖。於圖11所示之視野VR中,表示出被判定為包含於外景SC中且包含於外景圖像中之作為特定對象物之塔TW及作為基準對象物之使用者之食指FG。又,表示出塔TW之特徵點SP9、藉由下述圖像顯示部20而顯示於圖像顯示最大區域PN內之文字圖像IM3、及下述食指之長度Lf及塔TW之長度Lt。再者,為方便起見,將塔TW之特徵點SP9、長度Lf及長度Lt、表示長度Lf之箭頭及表示長度Lt示於圖11中,但未被使用者視認。
若設定了特徵點SP9及特定方向,則圖像判定部168將長度Lt特定為塔TW之大小且將長度Lf特定為食指FG之大小(圖9之步驟S39)。圖11所示之食指FG係於使用者將左臂筆直地伸向前方之狀態下豎立。因此,圖像判定部168係基於所拍攝之塔TW之長度Lt與食指FG之長度Lf、預先設定之使用者之左臂之長度、塔TW之大小、及食指FG之大小,藉由三角法而算出配戴有圖像顯示部20之使用者與塔TW之距離(圖9之步驟S41)。
於已算出使用者與塔TW之距離之情形時(步驟S41)、或於步驟 S35之處理中未檢測出作為基準對象物之食指FG之情形時(步驟S35:NO),圖像判定部168將外景圖像之各像素二值化,藉此,藉由與對各像素之RGB值之各者設定之閾值進行比較而將各像素區分為2個。例如,為了區分外景圖像中所含之表現「藍天」之像素,將G值為150以上且230以下、且B值為200以上且255以下之像素與除此以外之像素加以區分。
接下來,圖像位置控制部165係判定所算出之使用者與塔TW之距離是否為預先設定之閾值以上(步驟S45)。於第2實施形態中,將10公里(km)設定作為閾值。於圖11所示之例中,使用者與塔TW之距離為5km,距離未達閾值(步驟S45:NO),故而圖像位置控制部165係自圖像顯示最大區域PN之中心部提取顯示文字圖像IM3之顯示區域之候補(步驟S49)。再者,於第2實施形態中,所謂圖像顯示最大區域PN之中心部係指將圖像顯示最大區域PN於縱向及橫向分別分成4等分,被分割為16個部分之圖像顯示最大區域PN之中心之4個區域。又,將除中心之4個區域以外之區域稱為圖像顯示最大區域PN之周邊部。接下來,如圖11所示,圖像位置控制部165係自文字圖像IM3之顯示區域之候補中將靠近特徵點SP9之部分設定作為文字圖像IM3之顯示位置,使圖像顯示部20顯示以文字形式表現出距離塔TW之距離之文字圖像IM3(圖9之步驟S51)。
若顯示出文字圖像IM3,則圖像判定部168係監視使用者與塔TW之距離是否因使用者之移動等而變化(圖10之步驟S53)。於判定距離已變化之情形時(步驟S53:YES),圖像判定部168進行圖9之步驟S37之後之處理。
圖12係表示被使用者視認之視野VR之一例之說明圖。於圖12中,表示自圖11所示之狀態之視野VR,使用者與塔TW之距離變遠之狀態之視野VR。於圖12中,相對於圖11,除使用者與塔TW之距離變 遠以外,時間自白天變化為夜晚,外景SC變暗。
若於使用者與塔TW之距離變化之後,進行自圖9之步驟S37至步驟S41之處理,則圖像判定部168將外景圖像之各像素之亮度二值化(步驟S43)。於圖12所示之視野VR中,外景SC相比白天變暗,故而外景SC之亮度或外景圖像之RGB值與圖11所示之視野VR不同,故而圖像判定部168為了辨別外景圖像中所包含之「夜空」,而將各像素二值化。再者,於第2實施形態中,基於外景圖像中所包含之像素之RGB值、或者白天或夜晚之類之時間帶,自動地變更用於進行二值化之閾值。於第2實施形態中,圖像位置控制部165係於使如文字圖像IM3或文字圖像IM4之文字圖像顯示於圖像顯示部20之情形時,顯示由與顯示文字圖像之區域重複之外景圖像之像素之顏色的補色之顏色之字型形成的文字圖像。因此,如圖12所示,圖像位置控制部165係以與文字圖像IM3(圖11)不同之方式,於黑色之背景顯示由白色字型之文字構成之圖像作為文字圖像IM4。
若外景圖像之各像素被二值化,則圖像位置控制部165係判定使用者與塔TW之距離是否為閾值以上(圖9之步驟S45)。於圖12所示之例中,距離為20km,為閾值10km以上(步驟S45:YES),故而圖像位置控制部165係自圖像顯示最大區域PN之周邊部提取圖像之顯示區域之候補(步驟S47)。於使用者與塔TW之距離為閾值以上之情形時,如圖12所示,圖像位置控制部165係使以文字形式表現出距離塔TW之距離之文字圖像IM4、及指示表現文字圖像IM4之內容表示塔TW之資訊之特徵點SP9的游標圖像CS顯示於圖像顯示部20(圖9之步驟S51)。再者,游標圖像CS相當於表示與請求項中之特定對象物之位置關係之圖像光。
於圖10之步驟S53之處理中,於判定使用者與塔TW之距離未變化之情形時(步驟S53:NO),方向判定部166係判定使用者之視線方 向是否變化(步驟S55)。於判定使用者之視線方向已變化之情形時(步驟S55:YES),圖像位置控制部165係對是否使顯示之文字圖像IM3或文字圖像IM4之僅一部分顯示於圖像顯示最大區域PN進行判定(步驟S57)。於判定顯示有文字圖像IM3或文字圖像IM4之僅一部分之情形時(步驟S57:YES),作為文字圖像而言僅顯示出一部分並不明朗,故而圖像位置控制部165係藉由進行圖9之步驟S45之後之處理,而再次設定文字圖像之顯示位置。
於在圖10之步驟S55之處理中判定視線方向未變化之情形時(步驟S55:NO)或在步驟S57之處理中判定顯示文字圖像之全部或全部未顯示之情形時(步驟S57:NO),圖像位置控制部165係監視圖像顯示處理之結束之操作之檢測(步驟S59)。於未檢測出圖像顯示處理之結束之操作之情形時(步驟S59:NO),進行步驟S53之後之處理。於在步驟S59之處理中檢測出圖像顯示處理之結束之操作之情形時(步驟S59:YES),圖像位置控制部165係使圖像顯示處理結束。
如以上所說明般,於第2實施形態之頭部配戴型顯示裝置100中,圖像判定部168係藉由將外景圖像中所包含之特定對象物之大小與基準對象物之大小進行比較,而算出頭部配戴型顯示裝置100之使用者與特定對象物之距離。如圖11及圖12所示,圖像位置控制部165係基於使用者與特定對象物之距離,而顯示文字圖像IM3或文字圖像IM4之類之不同之圖像。因此,於第2實施形態之頭部配戴型顯示裝置100中,根據利用特定對象物之大小與基準對象物之大小而算出之頭部配戴型顯示裝置100之使用者與特定對象物之距離,而設定顯示於圖像顯示部20之圖像。藉此,可令使用者視認與使用者之狀況相對應之圖像,而提高使用者之便利性。
又,於第2實施形態之頭部配戴型顯示裝置100中,如圖12所示,圖像位置控制部165係於使用者與特定對象物之距離為閾值以上 之情形時,使文字圖像IM4及游標圖像CS顯示於圖像顯示部20。又,圖像位置控制部165係如圖11所示般,於使用者與特定對象物之距離未達閾值之情形時,使文字圖像IM3顯示於圖像顯示部20。因此,於第2實施形態之頭部配戴型顯示裝置100中,根據使用者與特定對象物之距離,令使用者視認之圖像有所不同,故而使用者可根據顯示圖像而辨識與特定對象物之距離,從而使用者之便利性提高。
又,於第2實施形態之頭部配戴型顯示裝置100中,圖像位置控制部165係於顯示文字圖像之情形時,顯示由與顯示文字圖像之區域重複之外景圖像之像素之顏色的補色之顏色之字型形成之文字圖像。因此,於第2實施形態之頭部配戴型顯示裝置100中,所顯示之圖像不與外景SC混雜地被使用者明確地視認,故而令使用者更容易辨識顯示圖像,使用者之便利性提高。
D.變化例:
再者,本發明並不限定於上述實施形態,可於不脫離其主旨之範圍內以各種態樣實施,例如亦可進行如下之變化。
D1.變化例1:
圖13係表示於變化例中被使用者視認之視野VR之一例之說明圖。於圖13中,於賽艇場中進行之賽船被使用者視認。於該變化例中,當操作部135受理特定之操作時,無線通信部132進行由賽艇場管理之伺服器與各種資訊之收發,藉此,圖像判定部168係藉由圖案匹配而辨識攝影機61所拍攝之賽艇用之船之船頭及設置於船頭之旗幟之顏色。於該變化例中,對各船分配船編號,自圖13所示之右方之船依序為船BT1、船BT2、船BT3、船BT4、船BT5。圖像判定部168係將於圖像顯示最大區域PN內被使用者視認之外景SC中所包含之船之船頭之各者提取作為船之各個特徵點。例如關於船BT5之船頭係十字之圖像作為特徵點SP5顯示於圖像顯示部20。再者,船BT1之船頭不處 於圖像顯示最大區域PN內,故而船BT1之特徵點未顯示於圖像顯示部20。
若提取船BT5之特徵點SP5,則方向判定部166將自使用者朝向特徵點SP5之方向設定作為船BT5之特定方向。圖像位置控制部165係與特徵點SP5建立關聯,使船BT5之操縱者之名字作為文字圖像IM05顯示於圖像顯示部20。以相同之方式,圖像位置控制部165係基於特徵點SP2、SP3、SP4之各者,使船BT2、BT3、BT4之操縱者之名字作為文字圖像IM02、IM03、IM04顯示於圖像顯示部20。其後,例如若使用者與船BT5之位置關係變化,則圖像位置控制部165係以使船BT5之特徵點SP5與文字圖像IM05之位置關係固定之方式,設定顯示於圖像顯示部20之文字圖像IM05之區域。
圖14係表示於變化例中被使用者視認之視野VR之一例之說明圖。於圖14中,於圖書館內,收納有複數本書之書架被使用者視認。於該變化例中,若操作部135受理特定之操作,則無線通信部132進行由圖書館管理之伺服器與各種資訊之收發,藉由GPS模組134而特定出圖書館內之使用者之位置資訊。其後,藉由使用者之位置資訊、及利用圖像判定部168所進行之外景圖像中所包含之書架之識別,而將收納於書架之書之種類作為文字圖像令使用者視認。
圖像判定部168係提取特徵點SP6、SP7、SP8作為書架之特徵點。方向判定部166係將自使用者朝向特徵點SP6、SP7、SP8之各者之方向設定作為各個書架之特定方向。若設定了各個書架之特定方向,則圖像位置控制部165使圖像顯示部20顯示基於特徵點SP6之「文庫」之文字圖像IM06、基於特徵點SP7之「歷史」之文字圖像IM07、及基於特徵點SP8之「新刊」之文字圖像IM08。其後,例如若使用者與特徵點SP6之位置關係變化,則圖像位置控制部165係以使特徵點SP6與文字圖像IM06之位置關係固定之方式,設定顯示於圖像顯示部 20之文字圖像IM06之區域。
D2.變化例2:
於上述實施形態中,藉由9軸感測器66及方向判定部166而特定出圖像顯示部20之方向,並設定自使用者朝向特徵點之特定方向,但設定特定方向之方法並不限定於此,可進行各種變化。例如亦可根據攝影機61所拍攝之外景圖像中所包含之特定對象物之位置關係而設定特定之方向。圖像判定部168係藉由圖案匹配而辨識特定對象物,並藉由特定時間點之外景圖像中所包含之特定對象物、及其他時間點之外景圖像中所包含之特定對象物而特定出圖像顯示部20之方向。再者,於該變化例中,攝影機61及圖像判定部168相當於請求項中之顯示部方向特定部。
又,於上述實施形態中,設為預先設定特定對象物與特徵點之位置關係之態樣,但對特定對象物設定特徵點之方法並不限定於此,可進行各種變化。例如亦可藉由於在外景圖像中辨識出特定對象物之後,操作部135受理特定之操作,而設定特定對象物與特徵點之位置關係,亦可不設定特徵點而直接設定特定方向。
又,於上述實施形態中,特徵點係設為未顯示於圖像顯示部20之態樣,但亦可為顯示於圖像顯示部20之態樣。又,特定對象物係設為預先記憶於記憶部120之態樣,但亦可藉由操作部135受理特定之操作,而由使用者個別地設定特定對象物,亦可經由無線通信部132,自與頭部配戴型顯示裝置100不同之其他記憶裝置接收與特定對象物相關之資訊。
D3.變化例3:
於上述實施形態中,藉由辨識外景圖像中所包含之特定對象物,而將基於與特定對象物建立關聯而設定之圖像資料之圖像顯示於圖像顯示部20,但顯示於圖像顯示部20之圖像亦可未必與特定對象物 相關,可進行各種變化。例如亦可藉由操作部135受理特定之操作,而根據圖像顯示部20之方向設定顯示於圖像顯示部20之動畫內容之顯示位置。於在圖像顯示部20播放動畫內容之情形時,例如方向判定部166係將自使用者朝向播放開始時之動畫內容之中心之方向設定為特定方向,圖像位置控制部165係以使特定方向與動畫內容之中心之位置關係固定之方式,相應於圖像顯示部20之方向之變化,設定動畫內容之顯示位置。於該變化例中,與上述實施形態不同,亦可無需辨識外景SC中所包含之特定對象物。又,由於以動畫內容之顯示區域相對於外景SC固定之方式進行對位,故而即便於使用者移動之情形時,外景SC與動畫內容亦不會有偏移,故而可抑制使用者之影像眩暈。再者,特定方向並不限定於自使用者朝向動畫內容之中心之方向,亦可藉由操作部135受理操作而設定任意之方向,且可進行各種變化。
D4.變化例4:
於上述實施形態中,顯示於圖像顯示部20之物件之大小相應於自圖像顯示部20之位置至特定對象物之位置為止之距離而變化,但作為相應於該距離而變化之圖像,並不限定於物件之大小,可進行各種變化。例如圖像位置控制部165亦可相應於自圖像顯示部20之位置至特定對象物之位置為止之距離,而將顯示該距離、即基於不同之圖像資料之圖像顯示於圖像顯示部20。於該變化例中,相應於圖像顯示部20與特定對象物之位置關係,而設定顯示於圖像顯示部20之圖像,故而使用者更容易視認與特定對象物之位置關係,使用者之便利性進一步提高。
又,於上述實施形態中,作為顯示圖像中所包含之物件,列舉文字為例進行說明,但物件未必限定於文字,可進行各種變化。例如既可為圖形或符號,亦可為將文字或圖形合成而得者。
又,作為物件,亦可為特定之圖像或標記等。
又,於上述實施形態中,相應於圖像顯示部20與特定對象物之位置關係,而設定顯示於圖像顯示部20之圖像,但亦可相應於藉由攝影機61所拍攝之外景圖像,設定顯示於圖像顯示部20之圖像。例如亦可為圖像判定部168檢測外景圖像之亮度(例如中央部分之亮度),圖像位置控制部165相應於外景圖像之亮度而設定圖像顯示部20之背光源221、222之亮度。圖像位置控制部165係外景圖像之亮度越高,使圖像顯示部20之亮度越高,外景圖像之亮度越低,使圖像顯示部20之亮度越低。於該變化例中,相應於外景圖像之亮度而設定圖像顯示部20之亮度,故而即便成為顯示於圖像顯示部20之圖像之基礎之圖像資料相同,亦可藉由使顯示於圖像顯示部20之圖像不同,而更提高使用者之視認性。又,於外景圖像之亮度較低之情形時,藉由使圖像顯示部20之亮度變低,可不消耗多餘之電力,而使頭部配戴型顯示裝置100之使用時間變長。
D5.變化例5:
於上述實施形態中,根據使用者與特定對象物之距離等而設定各種顯示圖像,但例如亦可根據使用者之移動等而設定顯示圖像。例如根據藉由9軸感測器66所檢測出之使用者之頭部之移動,方向判定部166係對步行或乘坐於汽車等之使用者之移動狀態進行判定。圖像位置控制部165亦可以消除因移動狀態而產生之週期性之頭部之上下左右之移動之方式設定圖像之顯示區域。於該變化例中,將因使用者之移動狀態所引起之顯示圖像相對於使用者之相對之移動抵消,故而可抑制使用者之影像眩暈。再者,該變化例中之9軸感測器66及方向判定部166相當於請求項中之移動特定部。
又,於上述實施形態中,於將顯示圖像IM1等顯示於圖像顯示部20之情形時,關於圖像自非顯示之狀態至顯示為止之時間即圖像顯示 推移時間,未進行特別之設定,但亦可根據使用者之移動等而設定圖像顯示推移時間。例如圖像位置控制部165係使用者之頭部之移動越快,將圖像顯示推移時間設定得越長。即,圖像位置控制部165係以圖像顯示推移時間相對於使用者之頭部之移動之速度成為單調遞增之關係之方式,設定圖像顯示推移時間。於圖像顯示推移時間中,於將經過圖像顯示推移時間之後之顯示圖像之亮度設為百分之百之情形時,圖像位置控制部165係隨著時間經過而使亮度緩慢地上升,藉此調整圖像顯示推移時間。於使用者之移動較快之情形時,若以圖像顯示推移時間較短之狀態顯示圖像,則有於使用者之視界中各種顯示圖像頻繁地重複顯示與非顯示之虞。但是,於該變化例中,於使用者之移動較快之情形時,藉由將圖像顯示推移時間設定得較長,可減少使用者之視界中之圖像之變化,而可更抑制使用者之影像眩暈。又,圖像位置控制部165亦可以相同之方式,相應於使用者之移動速度而設定自顯示圖像之狀態變化為非顯示之狀態之時間。
於上述第2實施形態中,圖像判定部168係基於外景圖像中所包含之塔TW之長度Lt、食指FG之長度Lf、預先設定之使用者之左臂之長度、塔TW之大小及食指FG之大小而算出使用者與塔TW之距離,但使用者與塔TW之距離之算出方法可進行各種變化。例如圖像判定部168亦可基於攝影機61之焦點距離、外景圖像中所包含之塔TW之長度Lt、預先設定之塔TW之大小而算出使用者與塔TW之距離。圖像判定部168亦可藉由代替食指FG之長度Lf而使用攝影機61之焦點距離之三角法,算出使用者與塔TW之距離。因此,於該變化例中,根據利用攝影機61之焦點距離與特定對象物之大小而算出之頭部配戴型顯示裝置100之使用者與特定對象物之距離,而設定顯示於圖像顯示部20之圖像。藉此,可令使用者視認與使用者之狀況相對應之圖像,使用者之便利性提高。
D6.變化例6:
於上述第2實施形態中,圖像判定部168藉由將構成外景圖像之各像素二值化而將各像素區分為2個,但關於對外景圖像進行加工之方法,並不限定於此,可進行各種變化。例如圖像判定部168亦可不對外景圖像之各像素進行二值化等加工,而圖像位置控制部165基於預先決定之RGB值使文字圖像等顯示於圖像顯示部20。又,外景圖像之加工亦可不為二值化,例如亦可為如下加工:不使用閾值而基於各像素之RGB值,利用不同顏色之像素而非相同顏色之像素構成文字圖像內之全部。又,第2實施形態中所示之二值化之G值或B值之數字為一例,亦可為不同之數值。
於上述第2實施形態中,基於所算出之使用者與作為特定對象物之塔TW之距離和閾值之比較結果,設定顯示圖像或顯示區域,但關於顯示圖像或顯示區域之設定並不限定於此,可進行各種變化。例如,圖像位置控制部165亦可不論使用者與塔TW之距離如何,將顯示區域設定於相同之位置。又,圖像位置控制部165係藉由複數個閾值而非僅1個閾值,對使用者與塔TW之距離進行比較,藉此,對應於複數個文字圖像或複數個顯示區域顯示圖像。又,如圖12所示,於使用者與塔TW之距離為閾值以上之情形時,圖像位置控制部165係顯示文字圖像IM4與游標圖像CS之2種圖像,但亦可不顯示游標圖像CS而僅顯示文字圖像IM4。又,文字圖像IM4或游標圖像CS為顯示圖像之一例,圖像位置控制部165亦可顯示與上述實施形態不同之圖像。
又,於上述第2實施形態中,圖像顯示最大區域PN之中心部與周邊部係藉由區分被分割成16個部分之區域而設定,但圖像顯示最大區域PN中之中心部與周邊部之區域之區分可進行各種變化。例如圖像位置控制部165亦可將圖像顯示最大區域PN於縱向與橫向分別分成3等分,將被分割成9個部分之圖像顯示最大區域PN之中心之1個區域 設定為中心部,將其他8個區域設定為周邊部。又,關於圖像顯示最大區域PN之中心部或周邊部,亦可藉由操作操作部135,而由使用者個別地進行設定。
又,於上述實施形態中,圖像判定部168係對記憶於記憶部120之特定對象物之圖像資料是否包含於外景圖像進行判定,但關於圖像判定部168對外景圖像中所包含之特定對象物進行判定之方法,可進行各種變化。例如圖像判定部168亦可藉由將記憶於與頭部配戴型顯示裝置100不同之其他裝置圖像資料和外景圖像中所包含之特定對象物之圖像資料進行對照而進行判定。
又,於上述實施形態中,圖像判定部168係藉由圖案匹配而判定於外景圖像中是否包含特定對象物或基準對象物,但亦可藉由除圖案匹配以外之方法,判定外景圖像中是否包含特定對象物等。例如圖像判定部168亦可基於根據特定之RGB值之閾值使外景圖像之像素之顏色二值化之結果,檢測外景圖像中所包含之特定對象物。
又,於上述第2實施形態中,作為基準對象物,列舉使用者之食指為例進行了說明,但關於基準對象物,可進行各種變化。例如被用作基準對象物者可為頭部配戴型顯示裝置100之控制部10之大小,可為使用者隨身配戴之手錶或戒指,亦可為使用者所攜帶之圓珠筆或行動電話等。
D7.變化例7:
於上述實施形態中,於控制部10形成有操作部135,但關於操作部135之態樣,可進行各種變化。例如亦可為與控制部10分開地具有作為操作部135之使用者介面的態樣。此情形時,操作部135係與形成有電源130等之控制部10分開,故而可小型化,且使用者之操作性提高。又,將檢測操作部135之移動之9軸感測器形成於操作部135,並基於所檢測出之移動進行各種操作,由此,使用者可憑感覺進行頭部 配戴型顯示裝置100之操作。
例如,圖像光產生部亦可設為具備有機EL(有機電致發光,Organic Electro-Luminescence)之顯示器、及有機EL控制部之構成。又,例如圖像光產生部亦可使用LCOS(Liquid crystal on silicon(矽上液晶),LCoS為註冊商標)、或數位微鏡裝置等(Digital Micro-mirror Device)代替LCD。又,例如亦可對雷射視網膜投影型之頭戴式顯示器應用本發明。於雷射視網膜投影型之情形時,所謂「圖像光產生部中之可出射圖像光之區域」可定義為被使用者之眼睛辨識之圖像區域。
又,例如頭戴式顯示器亦可設為光學影像顯示部僅覆蓋使用者之眼睛之一部分之態樣、換言之光學影像顯示部未完全覆蓋使用者之眼睛之態樣之頭戴式顯示器。又,頭戴式顯示器亦可設為所謂單眼式之頭戴式顯示器。
圖15係表示變化例中之頭部配戴型顯示裝置100a之外觀構成之說明圖。於圖15(A)之例之情形時,與圖1所示之頭部配戴型顯示裝置100之不同之處在於如下方面:圖像顯示部20a具備右光學影像顯示部26a而代替右光學影像顯示部26;以及具備左光學影像顯示部28a而代替左光學影像顯示部28。右光學影像顯示部26a形成得較上述實施形態之光學構件小,且配置於配戴頭部配戴型顯示裝置100a時之使用者之右眼之斜上方。同樣地,左光學影像顯示部28a形成得較上述實施形態之光學構件小,且配置於配戴頭部配戴型顯示裝置100a時之使用者之左眼之斜上方。於圖15(B)之例之情形時,與圖1所示之頭部配戴型顯示裝置100之不同之處在於如下方面:圖像顯示部20b具備右光學影像顯示部26b而代替右光學影像顯示部26;以及具備左光學影像顯示部28b而代替左光學影像顯示部28。右光學影像顯示部26b形成得較上述實施形態之光學構件小,且配置於配戴頭戴式顯示器時之使用者 之右眼之斜下方。左光學影像顯示部28b形成得較上述實施形態之光學構件小,且配置於配戴頭戴式顯示器時之使用者之左眼之斜下方。如此,光學影像顯示部配置於使用者之眼睛之附近便可。又,形成光學影像顯示部之光學構件之大小亦為任意,可作為光學影像顯示部僅覆蓋使用者之眼睛之一部分之態樣、換言之光學影像顯示部未完全覆蓋使用者之眼睛之態樣之頭部配戴型顯示裝置100而實現。
又,耳機可採用耳掛型或頭戴型,亦可省略。又,例如亦可作為搭載於汽車或飛機等車輛之頭戴式顯示器而構成。又,例如亦可作為內置於頭盔等身體防護具之頭戴式顯示器而構成。
上述實施形態中之頭部配戴型顯示裝置100之構成終究為一例,可進行各種變化。例如亦可省略設置於控制部10之方向鍵16或軌跡板14之一者,或者,除方向鍵16或軌跡板14以外或代替方向鍵16或軌跡板14而設置操作用桿等其他操作用介面。又,控制部10係可連接鍵盤或滑鼠等輸入裝置之構成,且亦可設為自鍵盤或滑鼠受理輸入者。
又,作為圖像顯示部,亦可代替如眼鏡般配戴之圖像顯示部20,而採用例如帽子般配戴之圖像顯示部之類之其他方式之圖像顯示部。又,可適當省略耳機32、34。
又,於上述實施形態中,頭部配戴型顯示裝置100既可設為將表示相同之圖像之圖像光導入至使用者之左右眼而令使用者視認二維圖像,亦可設為將表現不同圖像之圖像光導入至使用者之左右眼而令使用者視認三維圖像。
又,於上述實施形態中,可將藉由硬體而實現之構成之一部分置換為軟體,相反,亦可將藉由軟體而實現之構成之一部分置換為硬體。例如於上述實施形態中,設為圖像處理部160或聲音處理部170係藉由CPU140讀出並執行電腦程式而實現,但亦可設為該等功能部係藉由硬體電路而實現。
又,於利用軟體實現本發明之功能之一部分或全部之情形時,該軟體(電腦程式)能夠以儲存於電腦可讀取之記錄媒體之形式提供。於本發明中,所謂「電腦可讀取之記錄媒體」並不限定於如軟碟或CD-ROM(Compact Disc Read Only Memory,光碟-唯讀記憶體)之可攜式之記錄媒體,亦包含各種RAM或ROM等固定於電腦內之內部記憶裝置、或硬碟等固定於電腦之外部記憶裝置。
又,於上述實施形態中,如圖1及圖2所示,控制部10與圖像顯示部20可形成為分開之構成,但控制部10與圖像顯示部20之構成並不限定於此,可進行各種變化。例如既可於圖像顯示部20之內部形成形成於控制部10之構成之全部,亦可形成一部分。又,上述實施形態中之電源130可為單獨形成且可更換之構成,亦可將形成於控制部10之構成重複地形成於圖像顯示部20。例如,圖2所示之CPU140既可形成於控制部10與圖像顯示部20之兩者,亦可設為形成於控制部10之CPU140與形成於圖像顯示部20之CPU所履行之功能各自分開之構成。
又,亦可為控制部10與圖像顯示部20一體化地安裝於使用者之衣服之隨身電腦之態樣。
本發明並不限定於上述實施形態或變化例,可於不脫離其主旨之範圍內以各種構成實現。例如與發明內容之欄中記載之各形態中之技術性特徵相對應之實施形態、變化例中之技術性特徵可適當進行替換或組合,以解決上述問題之一部分或全部或者達成上述效果之一部分或全部。又,若未說明該技術性特徵於本說明書必需,則可適當進行刪除。
IM2‧‧‧顯示圖像
PN‧‧‧圖像顯示最大區域
SC‧‧‧外景
SP1‧‧‧特徵點
VR‧‧‧視野

Claims (14)

  1. 一種頭部配戴型顯示裝置,其係穿透式之頭部配戴型顯示裝置,且具備:圖像顯示部,其包括基於圖像資料而產生並出射圖像光之圖像光產生部,且於配戴在使用者之頭部之狀態下,令使用者視認上述圖像光作為虛像並且使外景透過;顯示部方向特定部,其特定上述圖像顯示部之朝向即顯示部方向;特定方向設定部,其基於上述圖像光產生部產生上述圖像光之圖像光產生區域與上述顯示部方向而設定特定方向;以及控制部,其於設定上述特定方向之後,以將上述圖像光產生區域與上述特定方向進行對位之方式,基於上述顯示部方向而設定上述圖像光產生區域之位置。
  2. 如請求項1之頭部配戴型顯示裝置,其進而具備拍攝上述外景之攝像部,上述特定方向設定部係辨別所拍攝之圖像中所含之特定對象物,基於上述特定對象物而設定上述特定方向。
  3. 如請求項2之頭部配戴型顯示裝置,其進而具備:第1對象物記憶部,其記憶上述特定對象物之大小;以及距離特定部,其基於上述攝像部之焦點距離與上述特定對象物之圖像之大小,而特定上述圖像顯示部與上述特定對象物之距離;且上述控制部係基於所特定出之上述距離而設定上述圖像光。
  4. 如請求項2之頭部配戴型顯示裝置,其進而具備:第2對象物記憶部,其記憶上述特定對象物之大小及與上述特 定對象物不同之距離基準對象物之大小;以及距離特定部,其辨別所拍攝之圖像中所含之上述距離基準對象物,且基於上述特定對象物之圖像之大小及上述距離基準對象物之圖像之大小,而特定上述圖像顯示部與上述特定對象物之距離;且上述控制部係基於特定出之上述距離而設定上述圖像光。
  5. 如請求項3或4之頭部配戴型顯示裝置,其中上述控制部係於特定出之上述距離為閾值以上之情形時,設定於上述圖像顯示部可產生上述圖像光之區域內之除中心部分以外之部分包含物件之上述圖像光、及表示於上述可產生圖像光之區域中包含上述物件之圖像光與拍攝到之圖像中所含之上述特定對象物之位置關係之上述圖像光,且於特定出之上述距離未達上述閾值之情形時,設定於上述可產生圖像光之區域內之中心部分包含物件之上述圖像光。
  6. 如請求項2至5中任一項之頭部配戴型顯示裝置,其進而具備:顯示部位置特定部,其特定上述圖像顯示部之位置;以及位置資訊接收部,其接收特定上述特定對象物之位置之資訊;且上述控制部係基於上述圖像顯示部與上述特定對象物之位置關係而設定上述圖像光。
  7. 如請求項3至6中任一項之頭部配戴型顯示裝置,其中上述控制部係以自上述圖像顯示部之位置至上述特定對象物之位置之距離越近,則上述圖像光中所含之物件越大之方式進行設定。
  8. 如請求項2至7中任一項之頭部配戴型顯示裝置,其中上述控制部係基於拍攝到之圖像中之上述特定對象物之圖像 以外之部分之像素之顏色,而設定上述圖像光。
  9. 如請求項8之頭部配戴型顯示裝置,其中上述控制部係以使構成上述圖像光中所含之物件之像素之顏色成為上述特定對象物之圖像以外的部分之像素的顏色之補色的顏色之方式設定上述圖像光。
  10. 如請求項2至9中任一項之頭部配戴型顯示裝置,其中上述控制部係基於上述所拍攝之圖像之亮度而設定上述圖像光之亮度。
  11. 如請求項10之頭部配戴型顯示裝置,其中上述控制部係上述所拍攝之圖像之亮度越高,則將上述圖像光之亮度設定得越高。
  12. 如請求項1至11中任一項之頭部配戴型顯示裝置,其進而具備特定上述圖像顯示部之移動之移動特定部;且上述控制部係基於根據上述圖像顯示部之移動而特定出之使用者之移動狀態,設定上述圖像光產生區域之位置。
  13. 如請求項12之頭部配戴型顯示裝置,其中上述控制部係將上述圖像光自未被使用者視認之狀態變化為被視認之狀態之時間、與上述圖像光自被使用者視認之狀態變化為未被視認之狀態之時間之至少一者,設定為如相對於上述圖像顯示部之移動之速度單調遞增之關係。
  14. 一種頭部配戴型顯示裝置之控制方法,該頭部配戴型顯示裝置係具備圖像顯示部之穿透式之頭部配戴型顯示裝置,上述圖像顯示部包括基於圖像資料而產生並出射圖像光之圖像光產生部,且於配戴在使用者之頭部之狀態下,令使用者視認上述圖像光作為虛像並且使外景透過;且該控制方法具備如下步驟:特定上述圖像顯示部之方向即顯示部方向; 基於上述圖像光產生部產生上述圖像光之圖像光產生區域與上述顯示部方向而設定特定方向;以及於設定上述特定方向之後,以上述圖像光產生區域與上述特定方向進行對位之方式,基於上述顯示部方向而設定上述圖像光產生區域之位置。
TW103123524A 2013-07-11 2014-07-08 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法 TW201502581A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013145644A JP6252002B2 (ja) 2013-07-11 2013-07-11 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2014065567A JP6375662B2 (ja) 2014-03-27 2014-03-27 頭部装着型表示装置

Publications (1)

Publication Number Publication Date
TW201502581A true TW201502581A (zh) 2015-01-16

Family

ID=51303099

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103123524A TW201502581A (zh) 2013-07-11 2014-07-08 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法

Country Status (7)

Country Link
US (1) US9971155B2 (zh)
EP (1) EP3020027B1 (zh)
KR (1) KR101791494B1 (zh)
CN (1) CN104280884B (zh)
RU (1) RU2643649C2 (zh)
TW (1) TW201502581A (zh)
WO (1) WO2015004916A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI725574B (zh) * 2019-02-22 2021-04-21 宏達國際電子股份有限公司 頭戴式顯示裝置以及眼球追蹤游標的顯示方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6609920B2 (ja) * 2014-12-25 2019-11-27 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP6534292B2 (ja) * 2015-04-24 2019-06-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
US20160343168A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Virtual personification for augmented reality system
CN106293561B (zh) * 2015-05-28 2020-02-28 北京智谷睿拓技术服务有限公司 显示控制方法和装置、显示设备
JP6641763B2 (ja) 2015-08-03 2020-02-05 セイコーエプソン株式会社 表示システム
US20170053545A1 (en) * 2015-08-19 2017-02-23 Htc Corporation Electronic system, portable display device and guiding device
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
TWI660304B (zh) * 2016-05-30 2019-05-21 李建樺 虛擬實境即時導覽方法及系統
US11601638B2 (en) * 2017-01-10 2023-03-07 Intel Corporation Head-mounted display device
JP6855872B2 (ja) * 2017-03-24 2021-04-07 アイシン精機株式会社 顔認識装置
GB2574780B (en) * 2017-04-04 2022-09-21 Canon Kk Electronic device and control method thereof
CN108427199A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 一种增强现实设备、系统及方法
US11195477B2 (en) * 2020-03-31 2021-12-07 Lenovo (Singapore) Pte. Ltd. Adjustment of pixel drive strength within an augmented reality scene
JP6801136B1 (ja) * 2020-05-14 2020-12-16 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム
CN112291577B (zh) * 2020-10-16 2023-05-05 北京金山云网络技术有限公司 直播视频的发送方法和装置、存储介质、电子装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP4401727B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
JP4801340B2 (ja) 2003-10-28 2011-10-26 株式会社半導体エネルギー研究所 表示装置
US8884845B2 (en) 2003-10-28 2014-11-11 Semiconductor Energy Laboratory Co., Ltd. Display device and telecommunication system
US8212859B2 (en) 2006-10-13 2012-07-03 Apple Inc. Peripheral treatment for head-mounted displays
EP2167920B1 (en) * 2007-07-18 2013-09-18 Elbit Systems Ltd. Aircraft landing assistance
RU2413264C2 (ru) * 2009-02-16 2011-02-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Устройство воспроизведения изображения (варианты)
JP2011175035A (ja) 2010-02-23 2011-09-08 Shimadzu Corp 頭部装着型表示装置
WO2011122654A1 (ja) 2010-03-30 2011-10-06 新日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム、情報処理装置、空きスペース案内システム、空きスペース案内方法及びプログラム、画像表示システム、画像表示方法及びプログラム
JP5704313B2 (ja) 2010-11-16 2015-04-22 セイコーエプソン株式会社 映像表示装置及び映像表示方法
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9330499B2 (en) 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
JP5709261B2 (ja) 2011-08-10 2015-04-30 Kddi株式会社 情報端末、情報提供システム及び情報提供方法
KR20140066258A (ko) 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI725574B (zh) * 2019-02-22 2021-04-21 宏達國際電子股份有限公司 頭戴式顯示裝置以及眼球追蹤游標的顯示方法

Also Published As

Publication number Publication date
WO2015004916A3 (en) 2015-03-05
RU2016104391A (ru) 2017-08-16
US20160161744A1 (en) 2016-06-09
EP3020027B1 (en) 2018-10-31
KR101791494B1 (ko) 2017-10-30
CN104280884A (zh) 2015-01-14
CN104280884B (zh) 2018-11-20
WO2015004916A2 (en) 2015-01-15
RU2643649C2 (ru) 2018-02-02
EP3020027A2 (en) 2016-05-18
US9971155B2 (en) 2018-05-15
KR20160027117A (ko) 2016-03-09

Similar Documents

Publication Publication Date Title
TW201502581A (zh) 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法
US10175484B2 (en) Head-mounted display device, control method for head-mounted display device, and computer program
US9823473B2 (en) Head-mounted display device and control method for head-mounted display device
US10073262B2 (en) Information distribution system, head mounted display, method for controlling head mounted display, and computer program
US9870048B2 (en) Head-mounted display device, method of controlling the same, and computer program
JP6488786B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6600945B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6492673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US20160021360A1 (en) Display device, method of controlling display device, and program
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6488629B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
TW201617826A (zh) 顯示裝置、顯示裝置之控制方法及程式
JP6337534B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6252002B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016033763A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6828235B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP6375662B2 (ja) 頭部装着型表示装置
JP2016142966A (ja) 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP6669183B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2017117175A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム