JP2024007643A - 表示システム、制御装置及び表示システムの表示方法 - Google Patents

表示システム、制御装置及び表示システムの表示方法 Download PDF

Info

Publication number
JP2024007643A
JP2024007643A JP2022108839A JP2022108839A JP2024007643A JP 2024007643 A JP2024007643 A JP 2024007643A JP 2022108839 A JP2022108839 A JP 2022108839A JP 2022108839 A JP2022108839 A JP 2022108839A JP 2024007643 A JP2024007643 A JP 2024007643A
Authority
JP
Japan
Prior art keywords
display
image
range
head
display image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022108839A
Other languages
English (en)
Inventor
呂比奈 厚地
Rohina Atsuji
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2022108839A priority Critical patent/JP2024007643A/ja
Priority to US18/346,775 priority patent/US20240013689A1/en
Publication of JP2024007643A publication Critical patent/JP2024007643A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/04—Display device controller operating with a plurality of display units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】頭部装着型表示装置の表示部を通して、表示装置が表示する画像を視認可能な場合に、視認する画像の画質を向上させた表示システムを提供する。【解決手段】プロジェクター１００と、ＨＭＤ２００と、使用者ＵがＨＭＤ表示装置２１０を通して第１表示領域５０を視認するときに、ＨＭＤ表示装置２１０が第２表示画像を表示する第２表示領域７０に重なる第１表示領域５０の範囲である第１範囲と、第１範囲に対応する第１表示画像の範囲である第２範囲と、を検出する検出部３７１と、オブジェクトを含む第１表示画像と、オブジェクトを含む第２表示画像と、を生成する生成部３７３と、を備える制御装置３００と、を有し、制御装置３００は、オブジェクトを表示する第２表示領域の位置に対応する第２範囲内の位置に、第１表示領域５０とＨＭＤ２００との距離に対応した表示サイズでオブジェクトを配置して第１表示画像を生成する。【選択図】図４

Description

本発明は、表示システム、制御装置及び表示システムの表示方法に関する。
従来、表示面に画像を表示する表示装置と、使用者の頭部に装着され、使用者に画像を視認させる頭部装着型表示装置とが協同するシステムが知られている。
例えば、特許文献１は、画像を表示する第１の表示装置と、使用者に画像を視認させるとともに外景を透過す表示部を備える透過型の第２の表示装置とを備える表示システムを開示する。第２の表示装置は、第１の表示装置が表示する表示画像のデータを取得するデータ取得部と、表示部を通して表示画像を視認可能なときに、データ取得部が取得したデータに基づき、表示画像の少なくとも一部を表示部により表示する制御部と、を備える。
特開２０１６－３１３７３号公報
表示装置が表示する画像のサイズが大きくなると、表示される画像の画質が低下する場合がある。このため、頭部装着型表示装置の表示部を通して、表示装置が表示する画像を視認可能な場合に、視認する画像の画質を向上させたいという要望がある。
本開示は、第１表示画像を第１表示領域に表示する表示装置と、使用者の頭部に装着され、外景を視認可能に第２表示画像を第２表示領域に表示する表示部を備える頭部装着型表示装置と、前記使用者が前記表示部を通して前記第１表示画像を視認するときに、前記第２表示領域が重なる前記第１表示領域の範囲である第１範囲と、前記第１範囲に対応する前記第１表示画像の範囲である第２範囲と、を検出する検出部と、オブジェクトを含む前記第１表示画像と、前記オブジェクトを含む前記第２表示画像と、を生成する生成部と、を備える制御装置と、を有し、前記表示装置により前記オブジェクトを含む前記第１表示画像を表示し、前記頭部装着型表示装置により前記オブジェクトを含む前記第２表示画像を表示し、前記制御装置は、前記オブジェクトを表示する前記第２表示領域の位置に対応する前記第２範囲内の位置に、前記第１表示領域と前記頭部装着型表示装置との距離に対応した表示サイズで前記オブジェクトを配置して前記第１表示画像を生成する、表示システムである。
本開示は、第１表示画像を第１表示領域に表示する表示装置と、使用者の頭部に装着され、外景を視認可能に第２表示画像を第２表示領域に表示する表示部を備える頭部装着型表示装置と、に表示させる画像を制御する制御装置であって、前記使用者が前記表示部を通して前記第１表示画像を視認するときに、前記第２表示領域が重なる前記第１表示領域の範囲である第１範囲と、前記第１範囲に対応する前記第１表示画像の範囲である第２範囲と、を検出する検出部と、オブジェクトを含む前記第１表示画像と、前記オブジェクトを含む前記第２表示画像と、を生成する生成部と、前記オブジェクトを含む前記第１表示画像を前記表示装置に送信し、前記オブジェクトを含む前記第２表示画像を前記頭部装着型表示装置に送信する送信部と、を備え、前記生成部は、前記オブジェクトを表示する前記第２表示領域の位置に対応する前記第２範囲内の位置に、前記第１表示領域と前記頭部装着型表示装置との距離に対応した表示サイズで前記オブジェクトを配置して前記第１表示画像を生成する、制御装置である。
本開示は、第１表示画像を第１表示領域に表示する表示装置と、使用者の頭部に装着され、外景を視認可能に第２表示画像を第２表示領域に表示する表示部を備える頭部装着型表示装置と、を備える表示システムの表示方法であって、前記使用者が前記表示部を通して前記第１表示領域を視認するときに、前記使用者が前記表示部を通して前記第１表示画像を視認するときに、前記第２表示領域が重なる前記第１表示領域の範囲である第１範囲と、前記第１範囲に対応する前記第１表示画像の範囲である第２範囲と、を検出するステップと、オブジェクトを含む前記第１表示画像と、前記オブジェクトを含む前記第２表示画像と、を生成するステップと、前記オブジェクトを含む前記第１表示画像を前記表示装置に送信し、前記オブジェクトを含む前記第２表示画像を前記頭部装着型表示装置に送信するステップと、を含み、前記生成するステップは、前記オブジェクトを表示する前記第２表示領域の位置に対応する前記第２範囲内の位置に、前記第１表示領域と前記頭部装着型表示装置との距離に対応した表示サイズで前記オブジェクトを配置して前記第１表示画像を生成する、表示システムの表示方法である。
表示システムのシステム構成を示す図。 プロジェクターの構成を示すブロック図。 頭部装着型表示装置の構成を示すブロック図。 制御装置の構成を示すブロック図。 頭部装着型表示装置に対する投写面の角度を示す図。 頭部装着型表示装置の表示領域が投写面に重なった状態で使用者が視認する画像の例を示す図。 頭部装着型表示装置の表示領域が投写面に重なった状態で使用者が視認する画像の例を示す図。 頭部装着型表示装置の表示領域が投写面に重なった状態で使用者が視認する画像の例を示す図。 頭部装着型表示装置の表示領域が投写面に重なった状態で使用者が視認する画像の例を示す図。 制御装置の動作を示すフローチャート。 制御装置の動作を示すフローチャート。
［１．表示システムのシステム構成］
以下、本発明の実施形態について図面を参照しながら説明する。
図１は、表示システム１の概略構成を示す図である。
表示システム１は、プロジェクター１００と、頭部装着型表示装置２００と、制御装置３００と、を備える。以下では、頭部装着型表示装置２００をＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）２００と表記する。
制御装置３００は、プロジェクター１００及び頭部装着型表示装置２００とデータ通信可能に接続される。図１には、制御装置３００とプロジェクター１００とを有線接続し、制御装置３００とＨＭＤ２００とを無線接続した例を示すが、制御装置３００とプロジェクター１００とを無線接続してもよい。
図１には、プロジェクター１００、ＨＭＤ２００及び制御装置３００を１台ずつ示すが、プロジェクター１００、ＨＭＤ２００及び制御装置３００の台数は任意である。
例えば、表示システム１が複数のＨＭＤ２００を備え、これら複数のＨＭＤ２００を、複数の使用者Ｕの各々に装着させる構成であってもよい。
プロジェクター１００は、制御装置３００から供給される画像データに基づいて画像光を生成し、生成した画像光を投写面１０に投写する。これにより投写面１０には、画像データに対応した画像が表示される。プロジェクター１００が投写面１０に表示する画像を第１表示画像という。また、プロジェクター１００により第１表示画像が表示される投写面１０の領域を第１表示領域５０という。投写面１０は、幕状のスクリーンであってもよいし、建造物の外壁や室内の壁面、設置物の平面等を投写面１０としてもよい。また、投写面１０は、平面に限らず、曲面や凹凸を有する面であってもよい。
ＨＭＤ２００は、使用者Ｕの頭部に装着されるＨＭＤ表示装置２１０と、このＨＭＤ表示装置２１０を制御するＨＭＤ制御装置２３０と備える。ＨＭＤ２００は、ＨＭＤ表示装置２１０を頭部に装着した使用者Ｕに画像を視認させるとともに、外景も直接視認可能な光学透過型の表示装置である。ＨＭＤ表示装置２１０は、表示部に相当する。ＨＭＤ２００は、制御装置３００から受信した画像データに基づく画像をＨＭＤ表示装置２１０により表示する。ＨＭＤ表示装置２１０が使用者に視認させる画像を第２表示画像という。
ＨＭＤ制御装置２３０は、ＨＭＤ２００のために専用に設けられた装置であってもよいし、ＨＭＤ表示装置２１０に接続した接続装置を介して、スマートフォン等の外部装置を接続する構成であってもよい。接続装置を介して外部装置を接続する構成の場合、接続装置は、ＨＭＤ表示装置２１０が備える各種センサーを動作させたり、外部装置から入力される画像データに基づき、ＨＭＤ表示装置２１０に画像を表示させたりする処理を実行する。
制御装置３００は、プロジェクター１００に表示させる第１表示画像を生成し、ＨＭＤ２００に表示させる第２表示画像を生成する。
制御装置３００は、プロジェクター１００やＨＭＤ２００からセンサーデータを受信する。制御装置３００は、受信したセンサーデータに基づいて第１表示画像や第２表示画像を生成する。制御装置３００は、生成した第１表示画像をプロジェクター１００に送信し、生成した第２表示画像をＨＭＤ２００に送信する。
［２．プロジェクターの構成］
図２は、プロジェクター１００の構成を示すブロック構成図である。
図２を参照しながらプロジェクター１００の構成について説明する。
プロジェクター１００は、第１有線インターフェイス１１０、プロジェクターカメラ１２０、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）１３０、画像処理部１４０、フレームメモリー１４５、投写部１５０及び第１制御部１６０を備える。以下、インターフェイスをＩ／Ｆと略記する。
第１有線Ｉ／Ｆ１１０は、所定の通信規格に準拠したコネクター及びインターフェイス回路を備え、ケーブルを介して接続された制御装置３００とデータの送受信を行う。第１有線Ｉ／Ｆ１１０は、画像データを受信すると、受信した画像データを第１制御部１６０に出力する。
プロジェクターカメラ１２０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。プロジェクターカメラ１２０は、単眼カメラであってもよいし、ステレオカメラであってもよい。
プロジェクターカメラ１２０は、撮像画像を生成し、生成した撮像画像を第１制御部１６０に出力する。
ＬｉＤＡＲ１３０は、レーザー光等の検出光を射出し、この検出光を射出してから反射光が受光されるまでの時間に基づいて、当該反射光を生じた物体までの距離を検出する。
画像処理部１４０には、第１有線Ｉ／Ｆ１１０が受信した第１表示画像が第１制御部１６０から入力される。画像処理部１４０は、入力された第１表示画像をフレームメモリー１４５に展開する。画像処理部１４０は、フレームメモリー１４５に展開した第１表示画像に対して、例えば、解像度変換処理又はリサイズ処理、歪曲収差の補正、形状補正処理、デジタルズーム処理、画像の色合いや輝度の調整等の画像処理を行う。画像処理部１４０は、上記のうち複数の画像処理を組み合わせて実行することも勿論可能である。画像処理部１４０は、画像処理が終了すると、フレームメモリー１４５に展開された第１表示画像に対応した表示信号を生成し、生成した表示信号を投写部１５０に出力する。
画像処理部１４０及びフレームメモリー１４５は、例えば、集積回路により構成される。集積回路には、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）等が含まれる。また、集積回路の構成の一部にアナログ回路が含まれていてもよく、第１制御部１６０と集積回路とが組み合わされた構成であってもよい。
投写部１５０は、光源１５１、光変調装置１５３及び光学ユニット１５７を備える。
光源１５１は、超高圧水銀ランプやメタルハライドランプ等の放電型の光源ランプ、又は発光ダイオードや半導体レーザー等の固体光源を備える。光源１５１が射出した光は、光変調装置１５３に入射される。
光変調装置１５３は、光源１５１が射出した光を変調する光変調素子として、一対の透明基板間に液晶が封入された透過型の液晶パネル１５５を備える。液晶パネル１５５は、マトリクス状に配列された複数の画素を備える。光変調装置１５３は、画像処理部１４０から入力される表示信号に対応した駆動電圧を液晶パネル１５５の各画素に印加し、各画素の光透過率を画像データに対応した透過率に変更する。光源１５１から射出された光が液晶パネル１５５を透過することで光源１５１が射出した光が変調され、第１表示画像に対応した画像光が生成される。
光変調装置１５３が備える光変調素子は、透過型の液晶パネル１５５に限定されず、例えば、反射型の液晶パネルでもよいし、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）でもよい。
光学ユニット１５７は、不図示の投写レンズ等を備え、光変調装置１５３により変調された画像光を投写面１０に拡大投写する。これにより投写面１０の第１表示領域５０には、画像光に対応した画像である第１表示画像が表示される。
第１制御部１６０は、第１記憶部１７０と、第１プロセッサー１８０とを備えるコンピューター装置である。
第１記憶部１７０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリーを備える。
第１記憶部１７０は、第１プロセッサー１８０が実行するプログラムや、第１プロセッサー１８０により処理される各種データを不揮発的に記憶する。例えば、第１記憶部１７０は、第１プロセッサー１８０が実行するファームウェア等の制御プログラム１７１や、キャリブレーションデータ１７３を記憶する。また、第１記憶部１７０は、制御プログラム１７１の実行時に処理されるデータや処理結果のデータを記憶する。
キャリブレーションデータ１７３は、投写面１０に表示される第１表示画像と、投写面１０をプロジェクターカメラ１２０により撮像した撮像画像での第１表示画像とを対応づけるデータである。
キャリブレーションデータ１７３は、以下の方法により生成される。
まず、プロジェクター１００は、予め用意されたパターン画像を液晶パネル１５５に展開して画像光を生成し、生成した画像光を投写面１０に投写する。パターン画像は、予め設定された画像パターンを有する画像である。例えば、パターン画像は、パターン画像の全面に一定の間隔でドットを形成した画像である。
次に、プロジェクター１００は、投写面１０をプロジェクターカメラ１２０で撮像して撮像画像を生成する。プロジェクター１００は、生成した撮像画像を解析して、パターン画像に含まれる各ドットの位置を特定する。その後、プロジェクター１００は、撮像画像の各ドットの位置と、液晶パネル１５５に展開したパターン画像の各ドットの位置を対応づけることでキャリブレーションデータ１７３を生成する。
第１プロセッサー１８０は、１以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイコン又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等により構成される。第１プロセッサー１８０は、プログラムを実行することによりプロジェクター１００の各部を制御する。第１プロセッサー１８０は、第１プロセッサー１８０及び第１記憶部１７０を統合したＳｏＣにより構成してもよい。
第１制御部１６０は、制御装置３００からの指示によりプロジェクターカメラ１２０に撮像を実行させたり、ＬｉＤＡＲ１３０に測定を実行させたりする。第１制御部１６０は、プロジェクターカメラ１２０の撮像画像や、ＬｉＤＡＲ１３０の測定結果を示すセンサーデータを制御装置３００に送信する。
［３．ＨＭＤの構成］
次に、図３を参照しながらＨＭＤ２００の構成について説明する。
ＨＭＤ表示装置２１０は、図１に示すように眼鏡形状の部材である。ＨＭＤ表示装置２１０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示部２２、左表示部２４、右導光板２６及び左導光板２８を備える。また、ＨＭＤ表示装置２１０には、センサーとして、外側カメラ２１１、内側カメラ２１３、地磁気センサー２１５、６軸センサー２１７及び距離センサー２１９が搭載される。
右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部にＨＭＤ表示装置２１０を保持する。
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者ＵがＨＭＤ表示装置２１０を装着する装着状態で、使用者Ｕの眉間に対応する。
右表示部２２及び左表示部２４は、それぞれ、光学ユニット及び周辺回路をユニット化したモジュールである。右表示部２２は、右導光板２６により画像を表示させ、左表示部２４は左導光板２８により画像を表示させる。右表示部２２は右保持部２１に取り付けられ、左表示部２４は左保持部２３に取り付けられる。
右表示部２２は、右眼に画像を視認させる構成として、画像光を発する右ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニットや、右ＯＬＥＤユニットが発する画像光を右導光板２６に導く右光学系を備える。左表示部２４は、左眼に画像を視認させる構成として、画像光を発する左ＯＬＥＤユニットや、左ＯＬＥＤユニットが発する画像光を左導光板２８に導く左光学系を備える。右ＯＬＥＤユニット、左ＯＬＥＤユニット、右光学系及び左光学系の図示は省略する。使用者Ｕは、右導光板２６及び左導光板２８により導かれた画像光である第２表示画像を視認する。また、ＨＭＤ表示装置２１０を頭部に装着した使用者Ｕの視野範囲のうち、ＨＭＤ表示装置２１０によって第２表示画像を表示可能な領域を第２表示領域７０という。
外側カメラ２１１は、前部フレーム２７において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。外側カメラ２１１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもよいし、ステレオカメラであってもよい。外側カメラ２１１の画角は、ＨＭＤ表示装置２１０を装着した使用者Ｕが右導光板２６及び左導光板２８を透過して視認する外景の範囲の少なくとも一部を含む。
内側カメラ２１３は、ＨＭＤ表示装置２１０において、使用者Ｕの顔に対向して配置され、使用者Ｕの右眼及び左眼を撮像する。ＨＭＤ２００は、内側カメラ２１３の撮像画像を解析して右眼の視線の方向、及び左眼の視線の方向を特定する。
地磁気センサー２１５は、Ｘ軸方向、Ｙ軸方向及びＺ軸方向における磁界を検出する３軸のセンサーである。Ｘ軸、Ｙ軸及びＺ軸は、図１に示すように相互に直交する３軸方向であり、Ｚ軸方向が鉛直方向に対応し、Ｘ軸方向が使用者Ｕの頭部の左右方向に対応し、Ｙ軸方向が使用者Ｕの頭部の前後方向に対応する。
６軸センサー２１７は、３軸加速度センサー及び３軸ジャイロセンサーを備えるモーションセンサーである。６軸センサー２１７は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。
地磁気センサー２１５及び６軸センサー２１７及びは、例えば、５０ｍｓｅｃ等の所定の周期毎にサンプリングを実行し、検出結果を示すアナログ電圧値を出力する。出力された電圧値は、Ａ／Ｄ変換器によってデジタル信号に変換され、第２制御部２４０に出力される。
距離センサー２１９は、使用者Ｕの前方に位置する対象物までの距離を検出する。対象物は、実空間に存在する現実の物体や構造物である。距離センサー２１９は、例えば、光反射式距離センサーであってもよい。具体的には、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が対象物に反射する反射光を受光する受光部とを有するセンサーが挙げられる。また、距離センサー２１９は、超音波式の距離センサーであってもよい。すなわち、距離センサー２１９は、超音波を発する音源と、対象物で反射する超音波を受信する検出部とを備える構成であってもよい。また、距離センサー２１９は、測域センサーとも呼ばれるレーザーレンジスキャナーであってもよい。
次に、ＨＭＤ制御装置２３０について説明する。
ＨＭＤ制御装置２３０は、第１無線Ｉ／Ｆ２３１、操作部２３３及び第２制御部２４０を備える。また、ＨＭＤ制御装置２３０には、不図示のオーディオコネクターを介してヘッドセット２２０が接続される。
ヘッドセット２２０は、ステレオヘッドホンを構成する右イヤホン及び左イヤホンと、マイクとを備える。右イヤホン及び左イヤホンは、第２制御部２４０から入力される音声信号に基づく音声を出力する。また、マイクは、音声を集音して音声信号を生成し、生成した音声信号を第２制御部２４０に出力する。
第１無線Ｉ／Ｆ２３１は、例えば、ＢｌｕｅｔｏｏｔｈやＷｉ－Ｆｉ等の規格に対応した通信回路を備える無線通信デバイスである。Ｂｌｕｅｔｏｏｔｈ及びＷｉ－Ｆｉは、登録商標である。第１無線Ｉ／Ｆ２３１は、制御装置３００に無線接続し、制御装置３００との間で相互にデータ通信を行う。
操作部２３３は、ボタンやスイッチ等を備え、使用者Ｕの操作を受け付ける受付部である。操作部２３３は、受け付けた操作に対応した操作信号をＨＭＤ制御装置２３０に出力する。
第２制御部２４０は、第２記憶部２５０及び第２プロセッサー２６０を備える。
第２記憶部２５０は、ＲＯＭやＲＡＭを備える。また、第２記憶部２５０は、ＲＯＭやＲＡＭに加えてフラッシュメモリー等の不揮発性メモリーを備える構成であってもよい。
第２記憶部２５０は、第２プロセッサー２６０が実行するプログラムや、第２プロセッサー２６０により処理される各種データを不揮発的に記憶する。例えば、第２記憶部２５０は、第２プロセッサー２６０が実行する基本制御プログラムとしてのオペレーティングシステム、及び、オペレーティングシステム上で動作するアプリケーションプログラム等を記憶する。また、第２プロセッサー２６０は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。
第２プロセッサー２６０は、１以上のＣＰＵ、マイコン又はＤＳＰ等により構成され、プログラムを実行することによりＨＭＤ制御装置２３０の各部を制御する。第２プロセッサー２６０は、第２プロセッサー２６０及び第２記憶部２５０を統合したＳｏＣであってもよい。
第２制御部２４０は、制御装置３００からの指示により外側カメラ２１１及び内側カメラ２１３に撮像を実行させたり、地磁気センサー２１５、６軸センサー２１７及び距離センサー２１９に測定を実行させたりする。第２制御部２４０は、外側カメラ２１１及び内側カメラ２１３の撮像画像や、地磁気センサー２１５、６軸センサー２１７及び距離センサー２１９の測定結果を示すセンサーデータを制御装置３００に送信する。
［４．制御装置の構成］
次に、図４を参照しながら制御装置３００の構成について説明する。図４は、制御装置３００の構成を示すブロック構成図である。
制御装置３００は、いわゆるコンピューター装置であり、ノート型や、デスクトップ型、タブレット型等のコンピューターが用いられる。
制御装置３００は、第２有線Ｉ／Ｆ３１０、第２無線Ｉ／Ｆ３２０、操作部３３０、表示部３４０及び第３制御部３５０を備える。
第２有線Ｉ／Ｆ３１０は、送信部に相当し、所定の通信規格に準拠したコネクター及びインターフェイス回路を備え、ケーブルを介して接続されたプロジェクター１００とデータの送受信を行う。
第２無線Ｉ／Ｆ３２０は、送信部に相当し、ＢｌｕｅｔｏｏｔｈやＷｉ－Ｆｉ等の無線通信プロトコルに対応し、ＨＭＤ２００に無線接続してＨＭＤ２００との間で相互にデータ通信を行う。
操作部３３０は、マウスやキーボード等の入力デバイスを備え、使用者の操作を受け付ける。操作部３３０は、入力デバイスにより受け付けた操作に対応した操作信号を第３制御部３５０に出力する。
表示部３４０は、例えば、液晶パネルや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等の表示パネルを備え、第３制御部３５０が生成した表示画像を表示パネルに表示させる。表示パネルの図示は省略する。
第３制御部３５０は、第３記憶部３６０と、第３プロセッサー３７０と、を備えるコンピューター装置である。
第３記憶部３６０は、ＲＯＭ等の不揮発性のメモリーと、ＲＡＭ等の揮発性のメモリーとを備える。また、第３記憶部３６０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の補助記憶装置を備える構成であってもよい。
第３記憶部３６０は、第３プロセッサー３７０が実行する制御プログラム３６１や、第３プロセッサー３７０により処理される各種データを不揮発的に記憶する。例えば、第３記憶部３６０は、第３プロセッサー３７０が実行する基本制御プログラムとしてのオペレーティングシステム、及び、オペレーティングシステム上で動作するアプリケーションプログラム等を制御プログラム３６１として記憶する。アプリケーションプログラムには、プロジェクター１００及びＨＭＤ２００の表示を制御するアプリケーションプログラムが含まれる。以下、アプリケーションプログラムをＡＰＰと表記する。また、第３記憶部３６０は、制御プログラム２６１の実行時に処理されるデータや処理結果のデータを記憶する。
第３プロセッサー３７０は、１以上のＣＰＵ、マイコン又はＤＳＰ等により構成され、プログラムを実行することにより制御装置３００の各部を制御する。第３プロセッサー３７０は、第３プロセッサー３７０及び第３記憶部３６０を統合したＳｏＣにより構成してもよい。第３プロセッサー３７０は、機能的構成として、検出部３７１及び生成部３７３を備える。これらの機能的構成は、第３プロセッサー３７０が、制御プログラム３６１に従った演算を行うことで実現される機能である。
第３制御部３５０は、第１表示画像及び第２表示画像を生成する。
第１表示画像は、プロジェクター１００に投写させる画像である。第２表示画像は、ＨＭＤ２００に表示させる画像である。本実施形態では、ＨＭＤ２００が表示する第２表示画像は、使用者ＵがＨＭＤ表示装置２１０を通して投写面１０の第１表示領域５０を視認するときに表示される画像であるとして説明する。
まず、検出部３７１は、ＨＭＤ２００の第２表示領域７０の少なくとも一部が、投写面１０の少なくとも一部に重なるか否かを判定する。例えば、検出部３７１は、外側カメラ２１１の撮像画像の所定範囲内からプロジェクター１００により表示された第１表示画像を検出した場合に、ＨＭＤ２００の第２表示領域７０少なくとも一部が、投写面１０の少なくとも一部に重なったと判定する。
所定範囲は、外側カメラ２１１が撮像した撮像画像において、ＨＭＤ表示装置２１０が第２表示画像を表示する範囲に対応する。外側カメラ２１１は、ＨＭＤ表示装置２１０に固定され、外側カメラ２１１の画角は、一定に設定される。このため、外側カメラ２１１の撮像画像において、ＨＭＤ表示装置２１０が第２表示画像を表示する範囲は一定の範囲となる。
第３制御部３５０は、ＨＭＤ２００の第２表示領域７０の少なくとも一部が、投写面１０の少なくとも一部に重なると検出部３７１が判定した場合、ＨＭＤ表示装置２１０が表示する第２表示画像を、プロジェクター１００が投写面１０に表示する第１表示画像に重ねる。つまり、使用者Ｕから見た場合、ＨＭＤ表示装置２１０が表示する第２表示画像と、投写面１０に表示される第１表示画像の一部とが重なって１つの画像として視認される。ＨＭＤ表示装置２１０が表示する第２表示画像の大きさは、プロジェクター１００が投写面１０に表示する第１表示画像の大きさよりも小さい。このため、ＨＭＤ表示装置２１０が表示する第２表示画像が、投写面１０に表示される第１表示画像の一部と重なる。
検出部３７１は、ＨＭＤ表示装置２１０の第２表示領域７０が投写面１０に重なる範囲を判定する。検出部３７１は、ＨＭＤ２００から受信したセンサーデータに基づき、ＨＭＤ２００と投写面１０との距離と、ＨＭＤ２００に対する投写面１０の角度と、を検出する。また、検出部３７１は、これらに加えて使用者Ｕの頭部の向きを検出してもよい。検出部３７１は、検出したＨＭＤ２００と投写面１０との距離、及び、ＨＭＤ２００に対する投写面１０の角度に基づき、第２表示領域７０が投写面１０に重なる範囲を判定する。また、検出部３７１は、検出したＨＭＤ２００と投写面１０との距離と、ＨＭＤ２００に対する投写面１０の角度とに加えて、使用者Ｕの頭部の向きに基づき、第２表示領域７０が投写面１０に重なる範囲を判定してもよい。以下では、第２表示領域７０が重なる投写面１０の範囲を、第１範囲という。
検出部３７１は、まず、ＨＭＤ２００から投写面１０までの距離を求める。
ＨＭＤ２００の位置として、例えば、ＨＭＤ２００に搭載された距離センサー２１９の位置を用いる。検出部３７１は、距離センサー２１９が測定したセンサーデータに基づき、ＨＭＤ２００から投写面１０までの距離を求める。
図５は、ＨＭＤ２００に対する投写面１０の角度θを示す図である。
次に、検出部３７１は、ＨＭＤ２００に対する投写面１０の角度θを求める。
第３制御部３５０は、距離センサー２１９が測定したセンサーデータに基づき、ＨＭＤ２００に対する投写面１０の角度θを求める。ＨＭＤ表示装置２１０が備える距離センサー２１９の位置を位置Ａとし、投写面１０の縦方向及び横方向の中心を位置Ｂとする。また、位置Ａを始点とする投写面１０の法線に水平な線分が、投写面１０と交差する位置を位置Ｃとする。この場合、ＨＭＤ２００に対する投写面１０の角度θ、すなわち、距離センサー２１９に対する投写面１０の角度θは、位置Ａから位置Ｃ及び位置Ｂを見込む角度である。
また、検出部３７１は、６軸センサー２１７や地磁気センサー２１５の測定結果に基づき、使用者Ｕの頭部が向く方向である方位角を検出する。さらに、検出部３７１は、６軸センサー２１７に含まれるジャイロセンサーの測定結果に基づき、使用者Ｕの頭部のＺ軸まわりの回転角であるヨー角や、頭部の回転速度を示す角速度を検出する。
検出部３７１は、ＨＭＤ２００と投写面１０との距離と、ＨＭＤ２００に対する投写面１０の角度と、に基づき、第２表示領域７０が重なる投写面１０の範囲である第１範囲を決定する。また、頭部の向きを加えて第１範囲を検出してもよい。
検出部３７１は、第２表示領域７０が投写面１０の範囲である第１範囲を決定すると、次に、第２範囲を検出する。第２範囲は、第１範囲に対応する第１表示画像の範囲である。すなわち、第２範囲は、第１範囲に表示される第１表示画像の範囲である。
検出部３７１は、キャリブレーションデータ１７３に基づき、第１範囲に表示される第１表示画像の範囲である第２範囲を検出する。
生成部３７３は、第１表示画像及び第２表示画像を生成する。第１表示画像は、例えば、第３記憶部３６０に記憶した画像を再生したものであってもよいし、第２無線Ｉ／Ｆ３２０により受信した画像であってもよい。また、第１表示画像は、静止画像であってもよいし、動画像であってもよい。
また、生成部３７３は、検出部３７１が検出した第２範囲に対応する画像を第１表示画像から切り出して第２表示画像を生成する。
第３制御部３５０は、第１表示画像をプロジェクター１００に送信し、第２表示画像をＨＭＤ２００に送信する。
図６及び図７は、ＨＭＤ２００の第２表示領域７０が投写面１０の第１表示領域５０に重なった状態で使用者Ｕが視認する画像の例を示す図である。
図６に示す画像の例では、魚の画像５１や、海藻の画像５２、亀の画像５３及び竜の落とし子の画像５４が、プロジェクター１００により第１表示画像として第１表示領域５０に表示される。また、亀の画像７１が、ＨＭＤ２００により第２表示画像として第２表示領域７０に表示される。
プロジェクター１００が投写面１０に表示する亀の画像５３と、ＨＭＤ２００が第２表示領域７０に表示する亀の画像７１とは、使用者Ｕには重なって１つの画像として視認される。
図７に示す画像の例では、ピッチャーの画像５５が、プロジェクター１００により第１表示画像として第１表示領域５０に表示される。また、ピッチャーの画像の一部７３と、ボールの画像７５とが、ＨＭＤ２００により第２表示画像として第２表示領域７０に表示される。ピッチャーの画像の一部７３は、図７に破線で示す第２表示領域７０内の画像である。
プロジェクター１００が投写面１０に表示するピッチャーの画像５５と、ＨＭＤ２００が第２表示領域７０に表示するピッチャーの画像の一部７３とは、使用者Ｕには重なって１つの画像として視認される。
また、プロジェクター１００によりピッチャーの画像５５を表示し、ＨＭＤ２００は、ピッチャーの画像の一部７３を表示することなく、ボールの画像７５だけを第２表示領域７０に表示してもよい。
ＨＭＤ２００が第２表示領域７０に表示するボールの画像７５は３次元画像であり、使用者Ｕには立体的に視認される。
第３制御部３５０は、使用者Ｕに認識させる画像の位置を計算し、その位置に仮想的な画像が見えるように、両眼視の視差を演算し、視差を有する右左の画像をＨＭＤ２０に送信する。ＨＭＤ２００の右表示部２２は、右導光板２６を介して使用者Ｕの右眼に視認させる画像を出力する。同様に、左表示部２４は、左導光板２８を介して使用者Ｕの左眼に視認させる画像を出力する。これにより、ＨＭＤ２００は、ピッチャーにより投じられたボールの画像７５を、バッターである不図示の使用者Ｕの方向に向かって飛んでくるように表示する。使用者Ｕの腕にハプティクスデバイスを事前に装着し、使用者Ｕがバットを振ることで、使用者Ｕはボールを打ったような感覚が得られる。
図８及び図９は、ＨＭＤ２００の第２表示領域７０が第１表示領域５０に重なった状態で使用者Ｕが視認する画像の例を示す図である。
図８及び図９には、プロジェクター１００及びＨＭＤ２００により同一のオブジェクトを表示させた画像の例を示す。図８に示す画像は、使用者Ｕが頭部を回転する前に使用者Ｕが視認する画像を示す図である。図９に示す画像は、使用者Ｕが頭部を右方向に回転させた後に使用者Ｕが視認する画像を示す図である。
図８及び図９には、プロジェクター１００がオブジェクトとして表示する自転車の画像５７と、ＨＭＤ２００がオブジェクトとして表示する自転車の画像７７とを示す。使用者Ｕには、自転車の画像５７と、自転車の画像７７とは重なって１つの画像として視認される。
オブジェクトは、使用者ＵがＨＭＤ表示装置２１０を通して投写面１０の第１表示領域５０を視認する場合、第１表示画像及び第２表示画像に含まれる画像である。また、オブジェクトは、第２表示画像では、使用者Ｕの頭部の動きによらず第２表示領域７０の一定の位置に表示される。さらに、オブジェクトは、第１表示領域では、使用者Ｕの頭部の動きに対応して第１表示領域５０を移動する画像である。
ＨＭＤ２００が表示する自転車の画像７７は、使用者Ｕが頭部を左方向又は右方向に回転させても第２表示領域７０の同一の位置に表示される。プロジェクター１００が表示する自転車の画像５７は、使用者Ｕの頭部の動きに合わせて第１表示領域５０を移動する。つまり、プロジェクター１００が表示する第１表示画像では、ＨＭＤ２００が第２表示領域７０に表示する自転車の画像７７と重なる第１表示領域５０内の位置に、自転車の画像５７を表示する。
ここで、第１表示領域に表示されるオブジェクトの移動速度について説明する。
第１表示領域５０に表示される自転車の画像５７の移動速度は、ＨＭＤ２００と投写面１０との距離と、使用者Ｕの頭部の回転速度である角速度と、によって変更される。
投写面１０が、ＨＭＤ２００から第１距離Ｒ１の位置と、ＨＭＤ２００から第２距離Ｒ２の位置とに配置されていると仮定する。第１距離Ｒ１は、第２距離Ｒ２よりも短い。
プロジェクター１００が表示する自転車の画像５７は、使用者Ｕから見て、第２表示領域７０に表示される自転車の画像７７に重なるように表示される。このため、使用者Ｕが同じ角度だけ頭部を回転させても、第２距離Ｒ２に配置された投写面１０でのオブジェクトの移動距離は、第１距離Ｒ１に配置された投写面１０でのオブジェクトの移動距離よりも大きい。つまり、第２距離Ｒ２に配置された投写面１０でのオブジェクトの移動速度は、第１距離Ｒ１に配置された投写面１０でのオブジェクトの移動速度よりも速い。このため、第１表示領域５０に表示される自転車の画像５７の移動速度は、ＨＭＤ２００と投写面１０との距離と、使用者Ｕの頭部の回転速度である角速度とに基づいて変更される。
また、第２距離Ｒ２に配置された投写面１０に表示されるオブジェクトの大きさは、第１距離Ｒ１に配置された投写面１０に表示されるオブジェクトの大きさよりも大きく表示される。投写面１０に表示されるオブジェクトは、ＨＭＤ２００が第２表示領域７０に表示するオブジェクトの表示サイズに一致させる必要がある。このため、検出部３７１は、ＨＭＤ２００からの距離が近い第１距離Ｒ１の位置に配置した投写面１０に表示するオブジェクトよりも、ＨＭＤ２００からの距離が遠い第２距離Ｒ２の位置に配置した投写面１０に表示するオブジェクトの表示サイズを大きくする。
検出部３７１は、ＨＭＤ２００から受信する角速度の情報により使用者Ｕの頭部が左方向又は右方向に回転したことを検出すると、第１表示画像におけるオブジェクトの表示位置を変更する。検出部３７１は、ＨＭＤ２００から受信するセンサーデータに含まれる角速度の情報と、ＨＭＤ２００と投写面１０との距離とに基づいて、第１表示画像におけるオブジェクトの表示位置を変更する。
検出部３７１は、ＨＭＤ２００から受信する角速度の情報と、ＨＭＤ２００と投写面１０との距離の情報とに基づき、オブジェクトを移動させる移動方向及び移動量を求める。
生成部３７３は、検出部３７１が求めた移動方向及び移動量に対応した第１表示画像の位置にオブジェクトを表示させる。第３制御部３５０は、生成した第２表示画像をＨＭＤ２００に送信し、第１表示画像をプロジェクター１００に送信する。
また、プロジェクター１００が画像光を投写する投写面１０の第１表示領域５０の範囲は、プロジェクター１００と投写面１０との距離と、プロジェクター１００に対する投写面１０の角度と、に基づいて決定してもよい。
プロジェクター１００と投写面１０との距離は、プロジェクター１００の光学ユニット１５７が備える投写レンズから投写面１０までの距離である。また、投写面１０は、投写面１０の縦方向及び横方向の中心の位置である。
プロジェクター１００が備えるＬｉＤＡＲ１３０により、ＬｉＤＡＲ１３０から投写面１０までの距離と、ＬｉＤＡＲ１３０に対する投写面１０の角度とは測定可能である。また、ＬｉＤＡＲ１３０に代えて、プロジェクターカメラ１２０の撮像画像に基づいて、プロジェクター１００と投写面１０との距離と、プロジェクター１００に対する投写面１０の角度とを検出してもよい。
ＬｉＤＡＲ１３０と投写レンズとの距離や、ＬｉＤＡＲ１３０の位置を基準とした投写レンズの方位等の情報は、設定データとして第３記憶部３６０に記憶させておく。
［５．制御装置の動作］
図１０及び図１１は、制御装置３００の動作を示すフローチャートである。
図１０及び図１１に示すフローチャートを参照しながら制御装置３００の動作を説明する。
第３制御部３５０は、アプリが選択されると、選択されたアプリを起動する（ステップＳ１）。ここでは、プロジェクター１００及びＨＭＤ２００の表示を制御するアプリが選択された場合について説明する。
次に、第３制御部３５０は、第１表示画像を選択する操作を受け付けたか否かを判定する（ステップＳ２）。第３制御部３５０は、第１表示画像を選択する操作を受け付けていない場合（ステップＳ２／ＮＯ）、第１表示画像を選択する操作を受け付けるまで待機する。
第３制御部３５０は、第１表示画像を選択する操作を受け付けると（ステップＳ２／ＹＥＳ）、受け付けた操作により選択された第１表示画像をプロジェクター１００に送信する（ステップＳ３）。
次に、第３制御部３５０は、センサーデータの取得要求をＨＭＤ２００に送信し（ステップＳ４）、ＨＭＤ２００からセンサーデータを受信したか否かを判定する（ステップＳ５）。第３制御部３５０は、ＨＭＤ２００からセンサーデータを受信していない場合（ステップＳ５／ＮＯ）、センサーデータを受信するまで待機する。
第３制御部３５０は、ＨＭＤ２００からセンサーデータを受信すると（ステップＳ５／ＹＥＳ）、センサーデータに含まれる外側カメラ２１１の撮像画像を取得する。第３制御部３５０は、取得した撮像画像を解析して、撮像画像の所定範囲から第１表示画像を検出したか否かを判定する（ステップＳ６）。
第３制御部３５０は、撮像画像の所定範囲から第１表示画像を検出できなかった場合（ステップＳ６／ＮＯ）、表示終了の操作を受け付けたか否かを判定する（ステップＳ８）。第３制御部３５０は、表示終了の操作を受け付けていない場合（ステップＳ８／ＮＯ）、ステップＳ３の処理に戻る。また、第３制御部３５０は、表示終了の操作を受け付けた場合（ステップＳ８／ＹＥＳ）、この処理フローを終了する。
第３制御部３５０は、撮像画像の所定範囲から第１表示画像を検出した場合（ステップＳ６／ＹＥＳ）、ＨＭＤ２００の第２表示領域７０が投写面１０に重なると判定する。この場合、第３制御部３５０は、ステップＳ５で取得したセンサーデータに基づき、使用者Ｕの頭部の向きを検出し（ステップＳ９）、ＨＭＤ２００と投写面１０との距離を検出する（ステップＳ１０）。また、第３制御部３５０は、ステップＳ６で取得したセンサーデータに基づき、ＨＭＤ２００と投写面１０との角度θを検出する（ステップＳ１１）。
次に、第３制御部３５０は、検出した使用者Ｕの頭部の向きと、ＨＭＤ２００と投写面１０との距離と、ＨＭＤ２００に対する投写面１０の角度と、に基づき、第１表示領域５０が重なる投写面１０の範囲である第１範囲を決定する（ステップＳ１２）。
次に、第３制御部３５０は、決定した投写面１０の第１範囲に対応する範囲の第１表示画像をキャリブレーションデータ１７３に基づいて切り出す（ステップＳ１３）。次に、第３制御部３５０は、第１表示画像をプロジェクター１００に送信し（ステップＳ１４）、第１表示画像から切り出した画像である第２表示画像をＨＭＤ２００に送信する（ステップＳ１５）。
次に、第３制御部３５０は、ＨＭＤ２００から受信したセンサーデータに含まれる角速度の情報を取得する（ステップＳ１６）。第３制御部３５０は、取得した角速度の情報に基づいて使用者Ｕの頭部の回転を検出したか否かを判定する（ステップＳ１７）。
第３制御部３５０は、使用者Ｕの頭部の回転を検出していない場合（ステップＳ１７／ＮＯ）、第１表示画像のプロジェクター１００への送信を継続し（ステップＳ１９）、第２表示画像のＨＭＤ２００への送信を継続する（ステップＳ２０）。その後、第３制御部３５０は、表示終了の操作を受け付けたか否かを判定する（ステップＳ２１）。第３制御部３５０は、表示終了の操作を受け付けていない場合（ステップＳ２１／ＮＯ）、ステップＳ１６の処理に戻る。また、第３制御部３５０は、表示終了の操作を受け付けた場合（ステップＳ２１／ＹＥＳ）、この処理フローを終了する。
また、第３制御部３５０は、使用者Ｕの頭部の回転を検出した場合（ステップＳ１７／ＹＥＳ）、外側カメラ２１１の撮像画像を取得し、取得した撮像画像を解析する。第３制御部３５０は、撮像画像の所定範囲から第１表示画像を検出したか否かを判定する（ステップＳ１８）。
第３制御部３５０は、撮像画像の所定範囲から第１表示画像を検出できなかった場合（ステップＳ１８／ＮＯ）、ＨＭＤ２００の第２表示領域７０が投写面１０に重ならないと判定し、ステップＳ１９の処理に移行する。
また、第３制御部３５０は、撮像画像の所定範囲から第１表示画像を検出した場合（ステップＳ１８／ＹＥＳ）、ＨＭＤ２００の第２表示領域７０が投写面１０に重なると判定する。この場合、第３制御部３５０は、ステップＳ１６で取得した角速度の情報と、ステップＳ１０で検出した投写面１０との距離の情報とに基づき、オブジェクトを移動させる移動方向及び移動量を算出する（ステップＳ２２）。
次に、第３制御部３５０は、ステップＳ２２で算出した第１範囲の移動方向及び移動量に基づいてオブジェクトの表示位置を移動させて第１表示画像を生成する（ステップＳ２３）。第３制御部３５０は、生成した第１表示画像をプロジェクター１００に送信する（ステップＳ２４）。また、第３制御部３５０は、第２表示画像をＨＭＤ２００に送信する（ステップＳ２５）。この第２表示画像に含まれるオブジェクトの表示位置は、ステップＳ１５でＨＭＤ２００に送信した第２表示画像に含まれるオブジェクトの表示位置と同一の位置である。第３制御部３５０は、第２表示画像をＨＭＤ２００に送信すると、ステップＳ１６の処理に戻る。
［６．本開示のまとめ］
以下、本開示のまとめを付記する。
（付記１）
第１表示画像を第１表示領域に表示する表示装置と、
使用者の頭部に装着され、外景を視認可能に第２表示画像を第２表示領域に表示する表示部を備える頭部装着型表示装置と、
前記使用者が前記表示部を通して前記第１表示画像を視認するときに、前記第２表示領域が重なる前記第１表示領域の範囲である第１範囲と、前記第１範囲に対応する前記第１表示画像の範囲である第２範囲と、を検出する検出部と、
オブジェクトを含む前記第１表示画像と、前記オブジェクトを含む前記第２表示画像と、を生成する生成部と、
を備える制御装置と、を有し、
前記表示装置により前記オブジェクトを含む前記第１表示画像を表示し、
前記頭部装着型表示装置により前記オブジェクトを含む前記第２表示画像を表示し、
前記制御装置は、
前記オブジェクトを表示する前記第２表示領域の位置に対応する前記第２範囲内の位置に、前記第１表示領域と前記頭部装着型表示装置との距離に対応した表示サイズで前記オブジェクトを配置して前記第１表示画像を生成する、表示システム。
この構成によれば、使用者が表示部を通して第１表示領域を視認するときに、表示装置が表示するオブジェクトと、頭部装着型表示装置が表示するオブジェクトとが重なって視認される。このため、表示装置が表示する第１表示画像の画質が低くても、頭部装着型表示装置が表示する第２表示画像に含まれるオブジェクトを視認することで、使用者が視認するオブジェクトの画質を向上させることができる。
（付記２）
前記制御装置は、
前記使用者の前記頭部の体軸まわりの回転の角速度を示す情報と、
前記表示装置が前記第１表示画像を表示する表示面と、前記頭部装着型表示装置との距離を示す情報とを取得し、
前記生成部は、
前記角速度を示す情報と、前記距離を示す情報と、に基づいて、前記オブジェクトの表示位置を変更した前記第１表示画像を生成する、付記１記載の表示システム。
この構成によれば、使用者が表示部を通して第１表示領域を視認するときに、使用者が頭部を回転させても、使用者に、表示装置が表示するオブジェクトと、頭部装着型表示装置が表示するオブジェクトとを重ねて視認させることができる。このため、表示装置が表示する第１表示画像の画質が低くても、頭部装着型表示装置が表示する第２表示画像に含まれるオブジェクトを視認することで、使用者が視認するオブジェクトの画質を向上させることができる。
（付記３）
前記表示面と前記頭部装着型表示装置との距離が第１距離である場合に、前記第１表示画像に表示する前記オブジェクトの表示サイズよりも、前記表示面と前記頭部装着型表示装置との距離が第１距離よりも大きい第２距離である場合に、前記第１表示画像に表示する前記オブジェクトの表示サイズが大きくなるように、前記第１表示画像に含まれる前記オブジェクトの表示サイズを変更する、付記２記載の表示システム。
この構成によれば、使用者が表示部を通して第１表示領域を視認するときに、使用者が視認する、表示装置が表示するオブジェクトと、頭部装着型表示装置が表示するオブジェクトとの表示サイズを一致させることができる。このため、使用者に、オブジェクトを違和感なく視認させることができる。
（付記４）
前記検出部は、
前記第１表示領域と前記表示部との距離と、前記表示部に対する前記第１表示領域の角度と、に基づいて前記第１範囲を検出する、付記１から３のいずれか一項に記載の表示システム。
この構成によれば、第１範囲の検出精度を向上させることができる。
（付記５）
前記検出部は、
前記表示面と前記表示装置との距離と、前記表示装置に対する前記表示面の角度と、に基づいて、前記表示面の前記第１表示領域を検出する、付記２又は３記載の表示システム。
この構成によれば、表示装置が第１表示画像を表示する第１表示領域を精度よく検出することができる。
（付記６）
第１表示画像を第１表示領域に表示する表示装置と、
使用者の頭部に装着され、外景を視認可能に第２表示画像を第２表示領域に表示する表示部を備える頭部装着型表示装置と、に表示させる画像を制御する制御装置であって、
前記使用者が前記表示部を通して前記第１表示画像を視認するときに、前記第２表示領域が重なる前記第１表示領域の範囲である第１範囲と、前記第１範囲に対応する前記第１表示画像の範囲である第２範囲と、を検出する検出部と、
オブジェクトを含む前記第１表示画像と、前記オブジェクトを含む前記第２表示画像と、を生成する生成部と、
前記オブジェクトを含む前記第１表示画像を前記表示装置に送信し、前記オブジェクトを含む前記第２表示画像を前記頭部装着型表示装置に送信する送信部と、
を備え、
前記生成部は、前記オブジェクトを表示する前記第２表示領域の位置に対応する前記第２範囲内の位置に、前記第１表示領域と前記頭部装着型表示装置との距離に対応した表示サイズで前記オブジェクトを配置して前記第１表示画像を生成する、制御装置。
この構成によれば、使用者が表示部を通して第１表示領域を視認するときに、表示装置が表示するオブジェクトと、頭部装着型表示装置が表示するオブジェクトとが重なって視認される。このため、第１表示画像の画質が低くても、頭部装着型表示装置が表示する第２表示画像に含まれるオブジェクトを視認することで、使用者が視認するオブジェクトの画質を向上させることができる。
（付記７）
第１表示画像を第１表示領域に表示する表示装置と、
使用者の頭部に装着され、外景を視認可能に第２表示画像を第２表示領域に表示する表示部を備える頭部装着型表示装置と、を備える表示システムの表示方法であって、
前記使用者が前記表示部を通して前記第１表示領域を視認するときに、前記使用者が前記表示部を通して前記第１表示画像を視認するときに、前記第２表示領域が重なる前記第１表示領域の範囲である第１範囲と、前記第１範囲に対応する前記第１表示画像の範囲である第２範囲と、を検出するステップと、
オブジェクトを含む前記第１表示画像と、前記オブジェクトを含む前記第２表示画像と、を生成するステップと、
前記オブジェクトを含む前記第１表示画像を前記表示装置に送信し、前記オブジェクトを含む前記第２表示画像を前記頭部装着型表示装置に送信するステップと、
を含み、
前記生成するステップは、
前記オブジェクトを表示する前記第２表示領域の位置に対応する前記第２範囲内の位置に、前記第１表示領域と前記頭部装着型表示装置との距離に対応した表示サイズで前記オブジェクトを配置して前記第１表示画像を生成する、表示システムの表示方法。
この構成によれば、使用者が表示部を通して第１表示領域を視認するときに、表示装置が表示するオブジェクトと、頭部装着型表示装置が表示するオブジェクトとが重なって視認される。このため、第１表示画像の画質が低くても、頭部装着型表示装置が表示する第２表示画像に含まれるオブジェクトを視認することで、使用者が視認するオブジェクトの画質を向上させることができる。
本発明は上記各実施形態で説明した構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、図２に示すプロジェクター１００、図３に示すＨＭＤ２００及び図４に示す制御装置３００の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、また、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。
また、上述した表示システムの表示方法を、制御装置３００に搭載されたコンピューターを用いて実現する場合、このコンピューターに実行させるプログラムを記録媒体の態様で構成することも可能である。また、コンピューターに実行させるプログラムは、プログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、Ｂｌｕ－ｒａｙ Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、サーバー装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。Ｂｌｕ－ｒａｙは、登録商標である。
また、図１０及び図１１に示すフローチャートの処理単位は、第３制御部３５０の処理を理解容易にするために、主な処理内容に応じて分割したものであり、図１０及び図１１のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、第３制御部３５０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
また、上述した実施形態では、表示装置としてプロジェクター１００を用いる構成を例示したが、表示装置はプロジェクター１００に限定されない。例えば、液晶表示パネルに画像を表示する液晶表示装置や、有機ＥＬパネルに画像を表示する表示装置など、モニター若しくは液晶テレビ等の自発光型の表示装置であってもよい。
また、上述した実施形態では、プロジェクター１００、ＨＭＤ２００及び制御装置３００がそれぞれ別体である表示システム１を例示したが、この表示システム１に限定されない。例えば、プロジェクター１００が制御装置３００を内蔵する構成であってもよいし、ＨＭＤ２００が制御装置３００を内蔵する構成であってもよい。つまり、プロジェクター１００の第１制御部１６０、又はＨＭＤ２００のＨＭＤ制御装置２３０を制御装置３００として動作させる構成であってもよい。
また、ＨＭＤ表示装置２１０の光学系の構成は任意であり、使用者Ｕの眼の前方に位置して使用者Ｕの視界の一部又は全部に重なる光学部材を用いてもよい。或いは、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。或いは、光学部材の内部で画像光を導光させるものに限らず、使用者Ｕの眼に向けて画像光を屈折又は反射させて導く機能のみを有するものであってもよい。
また、内側カメラ６３の撮像画像から使用者Ｕの視線方向と、使用者Ｕが注視する注視点の奥行き方向の位置とを検出してもよい。第３制御部３５０は、使用者Ｕの両眼の視線方向として、左眼の視線方向と右眼の視線方向とのそれぞれを検出する。第３制御部３５０は、左眼の視線方向と右眼の視線方向とが交差する点から、注視点の奥行き方向の位置を検出する。左眼の視線方向と、右眼の視線方向とが交差する点が、注視点の奥行き方向の位置に対応する。第３制御部３５０は、検出した注視点の奥行き方向の位置に基づき、使用者Ｕに認識させる画像の奥行き方向の位置を算出し、算出した奥行き方向の位置に仮想的な画像が見えるように、両眼視の視差を演算し、視差を有する右左の画像をＨＭＤ２０に送信する。
１…表示システム、１０…投写面、２１…右保持部、２２…右表示部、２３…左保持部、２４…左表示部、２６…右導光板、２７…前部フレーム、２８…左導光板、５０…第１表示領域、７０…第２表示領域、１００…プロジェクター、１１０…第１有線Ｉ／Ｆ、１２０…プロジェクターカメラ、１３０…ＬｉＤＡＲ、１４０…画像処理部、１４５…フレームメモリー、１５０…投写部、１５１…光源、１５３…光変調装置、１５５…液晶パネル、１５７…光学ユニット、１６０…第１制御部、１７０…第１記憶部、１７１…制御プログラム、１７３…キャリブレーションデータ、１８０…第１プロセッサー、２００…頭部装着型表示装置、２１０…ＨＭＤ表示装置、２１１…外側カメラ、２１３…内側カメラ、２１５…地磁気センサー、２１７…６軸センサー、２１９…距離センサー、２２０…ヘッドセット、２３０…ＨＭＤ制御装置、２３１…第１無線Ｉ／Ｆ、２３３…操作部、２４０…第２制御部、２５０…第２記憶部、２６０…第２プロセッサー、２６１…制御プログラム、３００…制御装置、３１０…第２有線Ｉ／Ｆ、３２０…第２無線Ｉ／Ｆ、３３０…操作部、３４０…表示部、３５０…第３制御部、３６０…第３記憶部、３６１…制御プログラム、３７０…第３プロセッサー、３７１…検出部、３７３…生成部。

Claims (7)

  1. 第１表示画像を第１表示領域に表示する表示装置と、
    使用者の頭部に装着され、外景を視認可能に第２表示画像を第２表示領域に表示する表示部を備える頭部装着型表示装置と、
    前記使用者が前記表示部を通して前記第１表示画像を視認するときに、前記第２表示領域が重なる前記第１表示領域の範囲である第１範囲と、前記第１範囲に対応する前記第１表示画像の範囲である第２範囲と、を検出する検出部と、
    オブジェクトを含む前記第１表示画像と、前記オブジェクトを含む前記第２表示画像と、を生成する生成部と、
    を備える制御装置と、を有し、
    前記表示装置により前記オブジェクトを含む前記第１表示画像を表示し、
    前記頭部装着型表示装置により前記オブジェクトを含む前記第２表示画像を表示し、
    前記制御装置は、
    前記オブジェクトを表示する前記第２表示領域の位置に対応する前記第２範囲内の位置に、前記第１表示領域と前記頭部装着型表示装置との距離に対応した表示サイズで前記オブジェクトを配置して前記第１表示画像を生成する、表示システム。
  2. 前記制御装置は、
    前記使用者の前記頭部の体軸まわりの回転の角速度を示す情報と、
    前記表示装置が前記第１表示画像を表示する表示面と、前記頭部装着型表示装置との距離を示す情報とを取得し、
    前記生成部は、
    前記角速度を示す情報と、前記距離を示す情報と、に基づいて、前記オブジェクトの表示位置を変更した前記第１表示画像を生成する、請求項１記載の表示システム。
  3. 前記表示面と前記頭部装着型表示装置との距離が第１距離である場合に、前記第１表示画像に表示する前記オブジェクトの表示サイズよりも、前記表示面と前記頭部装着型表示装置との距離が第１距離よりも大きい第２距離である場合に、前記第１表示画像に表示する前記オブジェクトの表示サイズが大きくなるように、前記第１表示画像に含まれる前記オブジェクトの表示サイズを変更する、請求項２記載の表示システム。
  4. 前記検出部は、
    前記第１表示領域と前記表示部との距離と、前記表示部に対する前記第１表示領域の角度と、に基づいて前記第１範囲を検出する、請求項１から３のいずれか一項に記載の表示システム。
  5. 前記検出部は、
    前記表示面と前記表示装置との距離と、前記表示装置に対する前記表示面の角度と、に基づいて、前記表示面の前記第１表示領域を検出する、請求項２又は３記載の表示システム。
  6. 第１表示画像を第１表示領域に表示する表示装置と、
    使用者の頭部に装着され、外景を視認可能に第２表示画像を第２表示領域に表示する表示部を備える頭部装着型表示装置と、に表示させる画像を制御する制御装置であって、
    前記使用者が前記表示部を通して前記第１表示画像を視認するときに、前記第２表示領域が重なる前記第１表示領域の範囲である第１範囲と、前記第１範囲に対応する前記第１表示画像の範囲である第２範囲と、を検出する検出部と、
    オブジェクトを含む前記第１表示画像と、前記オブジェクトを含む前記第２表示画像と、を生成する生成部と、
    前記オブジェクトを含む前記第１表示画像を前記表示装置に送信し、前記オブジェクトを含む前記第２表示画像を前記頭部装着型表示装置に送信する送信部と、
    を備え、
    前記生成部は、前記オブジェクトを表示する前記第２表示領域の位置に対応する前記第２範囲内の位置に、前記第１表示領域と前記頭部装着型表示装置との距離に対応した表示サイズで前記オブジェクトを配置して前記第１表示画像を生成する、制御装置。
  7. 第１表示画像を第１表示領域に表示する表示装置と、
    使用者の頭部に装着され、外景を視認可能に第２表示画像を第２表示領域に表示する表示部を備える頭部装着型表示装置と、を備える表示システムの表示方法であって、
    前記使用者が前記表示部を通して前記第１表示領域を視認するときに、前記使用者が前記表示部を通して前記第１表示画像を視認するときに、前記第２表示領域が重なる前記第１表示領域の範囲である第１範囲と、前記第１範囲に対応する前記第１表示画像の範囲である第２範囲と、を検出するステップと、
    オブジェクトを含む前記第１表示画像と、前記オブジェクトを含む前記第２表示画像と、を生成するステップと、
    前記オブジェクトを含む前記第１表示画像を前記表示装置に送信し、前記オブジェクトを含む前記第２表示画像を前記頭部装着型表示装置に送信するステップと、
    を含み、
    前記生成するステップは、
    前記オブジェクトを表示する前記第２表示領域の位置に対応する前記第２範囲内の位置に、前記第１表示領域と前記頭部装着型表示装置との距離に対応した表示サイズで前記オブジェクトを配置して前記第１表示画像を生成する、表示システムの表示方法。
JP2022108839A 2022-07-06 2022-07-06 表示システム、制御装置及び表示システムの表示方法 Pending JP2024007643A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022108839A JP2024007643A (ja) 2022-07-06 2022-07-06 表示システム、制御装置及び表示システムの表示方法
US18/346,775 US20240013689A1 (en) 2022-07-06 2023-07-03 Display system, control device, and display method of display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022108839A JP2024007643A (ja) 2022-07-06 2022-07-06 表示システム、制御装置及び表示システムの表示方法

Publications (1)

Publication Number Publication Date
JP2024007643A true JP2024007643A (ja) 2024-01-19

Family

ID=89431748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022108839A Pending JP2024007643A (ja) 2022-07-06 2022-07-06 表示システム、制御装置及び表示システムの表示方法

Country Status (2)

Country Link
US (1) US20240013689A1 (ja)
JP (1) JP2024007643A (ja)

Also Published As

Publication number Publication date
US20240013689A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
US9898868B2 (en) Display device, method of controlling the same, and program
US10635182B2 (en) Head mounted display device and control method for head mounted display device
US11127380B2 (en) Content stabilization for head-mounted displays
JP6770536B2 (ja) 仮想画像生成システムにおけるテキストをより効率的に表示するための技法
JP7087481B2 (ja) 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
US20190227694A1 (en) Device for providing augmented reality service, and method of operating the same
US20170324899A1 (en) Image pickup apparatus, head-mounted display apparatus, information processing system and information processing method
CN108139806A (zh) 相对于可穿戴设备跟踪穿戴者的眼睛
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
JP2015536514A (ja) Ｉｍｕを用いた直接ホログラム操作
US20170289533A1 (en) Head mounted display, control method thereof, and computer program
JP2018151851A (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
US9846305B2 (en) Head mounted display, method for controlling head mounted display, and computer program
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US20190227642A1 (en) Head-mounted display apparatus and method of controlling head-mounted display apparatus
JP7218376B2 (ja) 視線追跡方法および装置
JP2019082891A (ja) 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
JP2018055589A (ja) プログラム、物体の追跡方法、表示装置
WO2011136213A1 (ja) 表示装置
CN112384883A (zh) 可穿戴设备及其控制方法
US11579449B2 (en) Systems and methods for providing mixed-reality experiences under low light conditions
US20210063746A1 (en) Information processing apparatus, information processing method, and program
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP2024007643A (ja) 表示システム、制御装置及び表示システムの表示方法
JP2017079389A (ja) 表示装置、表示装置の制御方法、及び、プログラム