JP6507827B2 - 表示システム - Google Patents

表示システム Download PDF

Info

Publication number
JP6507827B2
JP6507827B2 JP2015092142A JP2015092142A JP6507827B2 JP 6507827 B2 JP6507827 B2 JP 6507827B2 JP 2015092142 A JP2015092142 A JP 2015092142A JP 2015092142 A JP2015092142 A JP 2015092142A JP 6507827 B2 JP6507827 B2 JP 6507827B2
Authority
JP
Japan
Prior art keywords
user
image forming
forming apparatus
image
setting screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015092142A
Other languages
English (en)
Other versions
JP2016206617A (ja
Inventor
国晃 大山
国晃 大山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2015092142A priority Critical patent/JP6507827B2/ja
Priority to EP16166580.7A priority patent/EP3088995B1/en
Priority to US15/136,177 priority patent/US10025382B2/en
Priority to CN201610261914.2A priority patent/CN106094202B/zh
Publication of JP2016206617A publication Critical patent/JP2016206617A/ja
Application granted granted Critical
Publication of JP6507827B2 publication Critical patent/JP6507827B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00246—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with an optical device, e.g. an optical viewing aid
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Description

本発明は、表示システムに関する。
近年、ヘッドマウントディスプレーを用いて画像形成装置の設定を行うための技術の開発が行われている。ヘッドマウントディスプレーは、ウェアラブル端末（又はウェアラブルコンピューター）の一種であり、ユーザーが視認できるように所定の画像（所定の情報）を表示する。例えば特許文献１には、網膜投影方式（透過方式）の単眼型ヘッドマウントディスプレーを用いて画像形成装置の設定を行う技術が開示されている。
詳しくは、特許文献１に開示されている技術によれば、ヘッドマウントディスプレー本体に電源が投入されると、所定の画像形成装置の設定画面（操作パネル）が網膜に投影される。また、ユーザーの視野範囲の少なくとも一部が撮像されており、ユーザーが設定画面を操作するために撮像範囲（ユーザーの視野範囲）内で指を動かすと、撮像された画像が解析されて、ユーザーの指の動きが検知される。そして、動いた指の指先の座標と、設定画面に含まれる各キーの座標とが比較されて、ユーザーが操作したキーが判別される。
特開２０１０−１４５８６０号公報
しかしながら、特許文献１に開示されている技術は、複数の画像形成装置（複数の端末）を設定の対象とすることができない。
本発明は上記課題に鑑みてなされたものであり、その目的は、複数の端末を設定の対象とすることができる表示システムを提供することにある。
本発明の表示システムは、ユーザーに視認されるように所定の端末の設定画面を表示する。当該表示システムは、視線方向検出部と、端末特定部と、表示制御部とを備える。前記視線方向検出部は、前記ユーザーの視線方向を検出する。前記端末特定部は、前記視線方向検出部により検出された前記視線方向に基づき、前記ユーザーの視野内に存在する複数の前記端末のうちの１つを特定する。前記表示制御部は、前記端末特定部により特定された前記端末の前記設定画面を表示させる。
本発明によれば、複数の端末を設定の対象とすることができる。
本発明の実施形態に係る表示システムの構成を示す図である。 本発明の実施形態に係るヘッドマウントディスプレーを示す図である。 本発明の実施形態に係るヘッドマウントディスプレーの構成を示すブロック図である。 本発明の実施形態に係る画像形成装置の構成を示すブロック図である。 本発明の実施形態に係る表示システムにおいて表示される画像を示す図である。 本発明の実施形態に係る表示システムにおいて表示される画像を示す図である。 本発明の実施形態に係る表示システムにおいて表示される画像を示す図である。 本発明の実施形態に係る表示システムにおいて表示される画像を示す図である。 本発明の実施形態に係る表示システムにおいて表示される画像を示す図である。 本発明の実施形態に係る表示システムにおいて表示される画像を示す図である。 本発明の実施形態に係る表示システムの動作を示すフローチャートである。
以下、図面を参照して本発明の実施形態を説明する。但し、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
まず図１を参照して、本実施形態に係る表示システム１０の構成を説明する。図１は表示システム１０の構成を示す図である。図１に示すように、表示システム１０は、ヘッドマウントディスプレー２０と、複数（本実施形態では２つ）の画像形成装置４０（第１画像形成装置４０ａ及び第２画像形成装置４０ｂ）とを備える。
表示システム１０は、ヘッドマウントディスプレー２０を用いて、複数の画像形成装置４０（複数の固定端末）のうちのいずれか１つ画像形成装置４０の設定画面をユーザーが視認できるように表示する。また、表示システム１０は、表示されている設定画面に対するユーザーの指の動きを検出する。そして、表示中の設定画面を所有する画像形成装置４０（以下、現在の設定対象の画像形成装置４０と記載する場合がある）に対し、ユーザーの指の動きに応じた信号を送信する。この結果、画像形成装置４０の設定が更新される。
本実施形態におけるヘッドマウントディスプレー２０はビデオ透過式であり、環境画像取得部２１を備える。環境画像取得部２１は、ユーザーの視野に入ることが推定される周辺環境の画像を取得する。環境画像取得部２１は、例えば、ＣＭＯＳイメージセンサーやＣＣＤイメージセンサーのような撮像素子を含む。
ヘッドマウントディスプレー２０を装着したユーザーは、環境画像取得部２１により取得された周辺環境画像を視認する。また、ヘッドマウントディスプレー２０を装着したユーザーの視野内（周辺環境画像内）に１つの画像形成装置４０が存在する場合、ヘッドマウントディスプレー２０は、周辺環境画像とともに、周辺環境画像内の画像形成装置４０の設定画面をユーザーに視認させる。つまり、周辺環境画像とともに、周辺環境画像内の画像形成装置４０の設定画面が表示される。また、ヘッドマウントディスプレー２０を装着したユーザーの視野内（周辺環境画像内）に複数の画像形成装置４０が存在する場合、ヘッドマウントディスプレー２０は、周辺環境画像とともに、周辺環境画像内の複数の画像形成装置４０のうちの１つの画像形成装置４０の設定画面をユーザーに視認させる。
ヘッドマウントディスプレー２０は更に、周辺環境画像を画像解析することにより、周辺環境画像内にユーザーの手が含まれるか否かを判定する。その判定の結果、周辺環境画像内にユーザーの手が含まれる場合には、ヘッドマウントディスプレー２０は、周辺環境画像を画像解析することにより、ユーザーの指の動きを検出する。
本実施形態において、ヘッドマウントディスプレー２０は、各画像形成装置４０との間で無線通信を行うことができる。ヘッドマウントディスプレー２０を装着したユーザーの視野内（周辺環境画像内）に１つの画像形成装置４０が存在する場合、ヘッドマウントディスプレー２０は、周辺環境画像内の画像形成装置４０に対して設定画面情報を要求する第１要求信号を送信するとともに、第１要求信号の送信先の画像形成装置４０から設定画面情報を受信する。ヘッドマウントディスプレー２０は、受信した設定画面情報に基づいて設定画面を表示する。また、ヘッドマウントディスプレー２０を装着したユーザーの視野内（周辺環境画像内）に複数の画像形成装置４０が存在する場合、ヘッドマウントディスプレー２０は、周辺環境画像内の複数の画像形成装置４０のうちのいずれか１つに対して第１要求信号を送信する。この結果、周辺環境画像内の複数の画像形成装置４０のうちの１つの画像形成装置４０の設定画面が表示される。
ヘッドマウントディスプレー２０は、ユーザーの視野内（周辺環境画像内）に存在する全ての画像形成装置４０の近傍に、例えばバルーンのようなアイコンを表示させる。更に、ヘッドマウントディスプレー２０は、ユーザーの視野内（周辺環境画像内）に存在する全ての画像形成装置４０に対して使用状況の情報を要求する第２要求信号を送信する。これにより、ヘッドマウントディスプレー２０は、第２要求信号の送信先の画像形成装置４０から使用状況の情報を受信する。そして、ヘッドマウントディスプレー２０は、周辺環境画像内の全ての画像形成装置４０のそれぞれの使用状況に応じて、対応するアイコンを変化させる。本実施形態では、アイコンの色が使用状況に応じた色に設定される。例えば、使用可能な画像形成装置４０に対応するアイコンの色は緑色に設定され、他者が使用中の画像形成装置４０に対応するアイコンの色は黄色に設定され、使用不可能な画像形成装置４０に対応するアイコンの色は赤色に設定される。これにより、ユーザーは、現在使用することが可能な画像形成装置４０を容易に判断することができる。したがって、ユーザーの利便性が向上する。
続いて図２及び図３を参照して、ヘッドマウントディスプレー２０の構成について説明する。図２は、ヘッドマウントディスプレー２０を示す図である。詳しくは、図２は、ユーザーの顔面側（眼球側）から見たヘッドマウントディスプレー２０を示している。換言すると、図２は、ヘッドマウントディスプレー２０の内側を示している。
図２に示すように、本実施形態におけるヘッドマウントディスプレー２０は双眼型である。したがってヘッドマウントディスプレー２０は、ユーザーの左右の目（眼球）の前方にそれぞれ配置される２つのディスプレー２２（表示部）を備えるとともに、２つのディスプレー２２に同じ画像を表示する。ディスプレー２２は、例えば液晶ディスプレーや有機エレクトロルミネッセンス（有機ＥＬ）ディスプレーのような表示素子からなる。
また、ヘッドマウントディスプレー２０は、左右一対の眼球画像取得部２３を備える。左右一対の眼球画像取得部２３は、ユーザーの左右の目（眼球）の画像を取得できるように配置される。眼球画像取得部２３により取得される眼球画像は、ユーザーの視線方向を検出するために用いられる。ヘッドマウントディスプレー２０は、検出した視線方向に基づき、ユーザーが注視している画像形成装置４０を特定する。そして、ヘッドマウントディスプレー２０は、特定された画像形成装置４０の設定画面を表示する。したがって、ユーザーの視野内（周辺環境画像内）に複数の画像形成装置４０が存在する場合、周辺環境画像内に存在する複数の画像形成装置４０間でユーザーが注視する画像形成装置４０が切り替わると、表示される設定画面も切り替わる。
本実施形態では、眼球画像取得部２３は、近赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）２３１、及び赤外線カメラ２３２を有する。赤外線カメラ２３２は、例えばＣＣＤイメージセンサーやＩｎＧａＡｓ／Ｔ２ＳＬ（Ｔｙｐｅ ＩＩ Ｓｕｐｅｒ Ｌａｔｔｉｃｅ）センサーのような撮像素子を含み得る。
眼球画像取得部２３が近赤外線ＬＥＤ２３１と赤外線カメラ２３２とを有する場合、近赤外線ＬＥＤ２３１により近赤外線がユーザーの眼球に照射される。赤外線カメラ２３２は、近赤外線が照射されたユーザーの眼球を撮像する。この結果、眼球画像が取得される。ヘッドマウントディスプレー２０は、眼球画像から角膜反射点と瞳孔とを検知し、それらの位置関係からユーザーの視線方向を検出する。つまり、本実施形態では、角膜反射法によってユーザーの視線方向が検出される。
ヘッドマウントディスプレー２０は、検出した視線方向に基づいて、ディスプレー２２に表示される周辺環境画像内でのユーザーの注視点（ユーザーが注視している位置）を検出する。また、ヘッドマウントディスプレー２０は、周辺環境画像における画像形成装置４０の画像と注視点との位置関係に基づき、注視点が含まれる画像形成装置４０の画像を検出する。これにより、ユーザーが注視している画像形成装置４０が特定される。
更に、ヘッドマウントディスプレー２０は、表示された設定画面を所有する画像形成装置４０（現在の設定対象の画像形成装置４０）のアイコンの色を特定の色にする。これにより、ユーザーは、現在の設定対象の画像形成装置４０を容易に判別することができる。また、ヘッドマウントディスプレー２０は、表示された設定画面を所有する画像形成装置４０（現在の設定対象の画像形成装置４０）のアイコンを点滅させる。これにより、ユーザーは、現在の設定対象の画像形成装置４０を容易に判別することができる。
ヘッドマウントディスプレー２０は、注視点が画像形成装置４０から外れている場合、ユーザーの視野内（周辺環境画像内）に存在する使用可能な画像形成装置４０のうち、ヘッドマウントディスプレー２０に最も近い画像形成装置４０の設定画面を、通常の濃さよりも薄く表示させる。その後、表示中の設定画面を所有する画像形成装置４０がユーザーによって注視されると、又は、薄く表示されている設定画面がユーザーによって注視されると、ヘッドマウントディスプレー２０は、設定画面を濃く表示する。
図３はヘッドマウントディスプレー２０の構成を示すブロック図である。図３に示すように、ヘッドマウントディスプレー２０は、環境画像取得部２１、ディスプレー２２、及び眼球画像取得部２３に加えて、表示制御部２４、無線通信インターフェイス（Ｉ／Ｆ）２５、位置検出部２６、向き検出部２７、制御部２８、及び記憶部２９を更に備える。
表示制御部２４は、制御部２８によって制御されて、ディスプレー２２に所定の画像を表示させる。具体的には、表示制御部２４は、環境画像取得部２１により取得された周辺環境画像をディスプレー２２に表示させる。また、表示制御部２４は、画像形成装置４０の設定画面をディスプレー２２に表示させる。更に表示制御部２４は、アイコンをディスプレー２２に表示させる。なお、本実施形態において表示制御部２４は、ディスプレー２２を駆動する駆動回路である。
無線通信インターフェイス２５は、画像形成装置４０との間の無線通信に使用される。無線通信方式は特に限定されず、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信方式が採用され得る。
位置検出部２６は、ヘッドマウントディスプレー２０の現在位置を検出する。換言すると、位置検出部２６は、ヘッドマウントディスプレー２０を装着したユーザーの現在位置を検出する。位置検出部２６は、例えばＧＰＳ機能を有する。
向き検出部２７は、ヘッドマウントディスプレー２０の向きを検出する。換言すると、向き検出部２７は、ヘッドマウントディスプレー２０を装着したユーザーの顔の向きを検出する。向き検出部２７は、例えば電子コンパスを含む。
制御部２８は、記憶部２９に記憶されたプログラムを実行することによって、数値計算や情報処理、機器制御のような様々な処理を行う。制御部２８は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含み得る。
記憶部２９は、プログラムや設定情報を記憶する。また、記憶部２９は、アイコンの画像や、各画像形成装置４０の座標（位置）の情報（マッピング情報）などを記憶する。記憶部２９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が備える磁気ディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）によって構成され得る。
本実施形態において、制御部２８は、記憶部２９に記憶されているプログラムを実行することにより、第１判定部３１、視線方向検出部３２、端末特定部３３、及び第２判定部３４として機能する。
第１判定部３１は、ヘッドマウントディスプレー２０を装着しているユーザーの視野内（周辺環境画像内）に画像形成装置４０（固定端末）が存在するか否かを判定する。本実施形態では、第１判定部３１は、環境画像取得部２１により取得された周辺環境画像を画像解析して、周辺環境画像に画像形成装置４０が含まれるか否かを判定する。例えば、周辺環境画像に画像形成装置４０が含まれるか否かの判定は、マッチング処理によって実行され得る。具体的には、画像解析により、周辺環境画像に含まれる画像形成装置４０の輪郭が抽出される。記憶部２９は、各画像形成装置４０の輪郭を示す基準輪郭データ群を記憶し、制御部２８は、抽出された輪郭と、予め記憶されている基準輪郭データ群との照合（マッチング処理）を行う。この照合により、周辺環境画像に画像形成装置４０が含まれるか否かが判定される。
第１判定部３１により、ユーザーの視野内（周辺環境画像内）に画像形成装置４０が存在すると判定された場合、制御部２８はディスプレー２２にアイコンを表示させる。
本実施形態では、まず、記憶部２９に記憶されている各画像形成装置４０の座標（位置）と、位置検出部２６により検出されたヘッドマウントディスプレー２０の現在位置（ユーザーの現在位置）と、向き検出部２７により検出されたヘッドマウントディスプレー２０の向き（ユーザーの顔の向き）とに基づいて、制御部２８が、ユーザーの視野内（周辺環境画像内）に存在する画像形成装置４０を特定する。
次に、制御部２８は、無線通信インターフェイス２５を介して、特定された画像形成装置４０に対し第２要求信号を送信する。即ち、ヘッドマウントディスプレー２０は、ユーザーの視野内に存在する画像形成装置４０に対して、使用状況の情報の送信を要求する。
そして、無線通信インターフェイス２５が画像形成装置４０から使用状況の情報を受信すると、制御部２８は、アイコンを含む周辺環境画像をディスプレー２２に表示させる。具体的には、画像形成装置４０の近傍に、使用状況に応じた色のアイコンが表示される。
視線方向検出部３２は、眼球画像取得部２３により取得された眼球画像に基づいて、角膜反射法によってユーザーの視線方向を検出する。端末特定部３３は、ユーザーの視野内（周辺環境画像内）に複数の画像形成装置４０（複数の固定端末）が存在する場合に、視線方向検出部３２により検出された視線方向に基づき、ユーザーの視野内に存在する複数の画像形成装置４０のうちの１つを特定する。表示制御部２４は、端末特定部３３により特定された画像形成装置４０の設定画面をディスプレーに表示させる。
具体的には、端末特定部３３は、ユーザーが注視している画像形成装置４０を特定する。即ち、端末特定部３３は、視線方向に基づいて、ディスプレー２２に表示される周辺環境画像内でのユーザーの注視点を検出する。そして、端末特定部３３は、周辺環境画像における画像形成装置４０の画像と注視点との位置関係に基づき、注視点が含まれる画像形成装置４０の画像を検出するための第１検出処理を実行する。この第１検出処理により、ユーザーが注視している画像形成装置４０が特定される。
制御部２８は、端末特定部３３の第１検出処理により特定された画像形成装置４０に対し、無線通信インターフェイス２５を介して第１要求信号を送信する。即ち、第１検出処理により特定された画像形成装置４０に対し、設定画面情報の送信が要求される。制御部２８は、無線通信インターフェイス２５によって受信された設定画面情報に基づき、ディスプレー２２の所定の領域に設定画面を表示させる。
また、ユーザーの視野内（周辺環境画像内）に複数の画像形成装置４０が存在する場合、周辺環境画像内に存在する複数の画像形成装置４０間でユーザーが注視する画像形成装置４０が切り替わると、端末特定部３３の第１検出処理により特定される画像形成装置４０も切り替わる。制御部２８は、端末特定部３３の第１検出処理により特定される画像形成装置４０が切り替わるごとに、第１要求信号を送信するための処理を実行する。したがって、ユーザーが注視する画像形成装置４０が切り替わると、表示される設定画面が切り替わる。換言すると、ある画像形成装置４０の設定画面が表示された後は、注視点が他の画像形成装置４０の画像に含まれるようになるまで、表示される設定画面は切り替わらない。
一方、第１検出処理の結果、注視点が含まれる画像形成装置４０の画像を検出できなかった場合、換言すると、ユーザーが画像形成装置４０を注視していない場合（注視点が画像形成装置４０から外れている場合）、端末特定部３３は、ユーザーの視野内（周辺環境画像内）に存在する使用可能な画像形成装置４０のうち、ヘッドマウントディスプレー２０に最も近いという初期条件を満たす画像形成装置４０を検出するための第２検出処理を行う。
具体的には、端末特定部３３は、ユーザーの視野内（周辺環境画像内）に存在する各画像形成装置４０の使用状況と、位置検出部２６により検出されたヘッドマウントディスプレー２０の現在位置と、記憶部２９に記憶されている各画像形成装置４０の座標（位置）とに基づいて、初期条件を満たす画像形成装置４０を検出（特定）する。
制御部２８は、端末特定部３３の第２検出処理により特定された画像形成装置４０に対し、無線通信インターフェイス２５を介して第１要求信号を送信する。即ち、第２検出処理により特定された画像形成装置４０に対し、設定画面情報の送信が要求される。制御部２８は、無線通信インターフェイス２５によって受信された設定画面情報に基づき、ディスプレー２２の所定の領域に設定画面を通常の濃さよりも薄く表示させる。
その後、ユーザーの視線（注視点）が移動して、ある画像形成装置４０の画像に注視点が含まれるようなると、端末特定部３３の第１検出処理により、ユーザーが注視している画像形成装置４０が特定される。したがって、ディスプレー２２に、ユーザーが注視している画像形成装置４０の設定画面が表示される。例えば、初期条件を満たす画像形成装置４０の画像に注視点が含まれるようになると、薄く表示されていた設定画面が通常の濃さで表示される。また、本実施形態では、薄く表示されている設定画面がユーザーによって注視されると、つまり、薄く表示されている設定画面に注視点が含まれるようになると、薄く表示されていた設定画面が通常の濃さで表示される。
また、制御部２８は、表示された設定画面を所有する画像形成装置４０（現在の設定対象の画像形成装置４０）のアイコンの色を特定の色にする。更に、制御部２８は、表示された設定画面を所有する画像形成装置４０（現在の設定対象の画像形成装置４０）のアイコンを点滅させる。
第２判定部３４は、環境画像取得部２１により取得された周辺環境画像に基づき、ユーザーの視野内（周辺環境画像）に手（所定のオブジェクト）が存在するか否かを判定する。第２判定部３４により、周辺環境画像に手が存在すると判定されている間、制御部２８は、表示される設定画面の切り替えを制限する。つまり、周辺環境画像に手が存在する間は、現在の設定対象の画像形成装置４０とは異なる他の画像形成装置４０の画像内に注視点が移動しても、ディスプレー２２に表示される設定画面は切り替わらない。ユーザーの視野内（周辺環境画像内）に手（所定のオブジェクト）が存在するか否かを判定する処理は、例えばマッチング処理によって実行され得る。
このように設定画面の切り替えが制限されることにより、現在の設定対象の画像形成装置４０とは異なる他の画像形成装置４０をユーザーが一時的に見たとしても、設定画面は切り替わらず、ユーザーは、その後に設定操作を続行することができる。ユーザーが設定操作を完了して、ユーザーの視野内（周辺環境画像内）に手が存在しなくなると、ユーザーの視線方向に応じた設定画面の切り替えが可能となる。なお、手が検知されることにより設定画面の切り替えが制限されている状態において、現在の設定対象の画像形成装置４０とは異なる他の画像形成装置４０がユーザーによって設定時間以上注視された場合や、現在の設定対象の画像形成装置４０とは異なる他の画像形成装置４０を選択するための所定の操作がユーザーによって行われた場合に、設定画面を切り替わってもよい。
本実施形態では、更に、第１検出処理又は第２検出処理により特定された画像形成装置４０の設定画面が複数種類存在する場合、表示制御部２４は、それら複数種類の設定画面を、重ねられつつ所定の方向にずらされた状態でディスプレー２２に表示させる。また、表示制御部２４は、複数種類の設定画面のうち最上層（最上位）に位置させる設定画面を、視線方向検出部３２により検出された視線方向に応じて切り替える。
具体的には、制御部２８が、設定画面情報に基づいて、重ねられつつ所定の方向にずらされた状態で表示される複数種類の設定画面の画像を生成する。また、制御部２８が、視線方向検出部３２により検出された視線方向に基づき、注視点が含まれる設定画面を複数種類の設定画面のうちから検出するための第３検出処理を実行する。この第３検出処理の結果、現在最上層に位置している設定画面とは異なる設定画面に注視点が含まれる場合、制御部２８は、注視点が含まれる設定画面が最上層に位置するように、表示される複数種類の設定画面の画像を更新する。なお、第２判定部３４により、ユーザーの視野内（周辺環境画像内）に手が存在すると判定されている間、最上層に位置させる設定画面の切り替えが制限されてもよい。このように設定画面の切り替えが制限されることにより、画像形成装置４０の設定を行っている途中で設定画面が切り替わる不具合の発生を抑制することができる。
続いて図４を参照して、画像形成装置４０の構成について説明する。図４は、画像形成装置４０の構成を示すブロック図である。図４に示すように、画像形成装置４０は、操作パネル４１、ＦＡＸ通信部４２、画像形成部４３、無線通信インターフェイス（Ｉ／Ｆ）４４、制御部４５、及び記憶部４６を備える。
操作パネル４１は、ボタンなどの入力デバイスと、液晶ディスプレーなどの表示デバイスとを含む。ユーザーが操作パネル４１（入力デバイス）を操作することにより、その操作に対応する処理を画像形成装置４０が実行する。ユーザーは操作パネル４１（入力デバイス）を介して、画像形成装置４０に種々の処理を実行させることができる。表示デバイスは、種々の設定画面を表示する。なお、表示デバイスは、タッチパネルであってもよい。この場合、表示デバイスは、入力デバイスとしても機能する。
ＦＡＸ通信部４２は、公衆電話回線に接続されて相手先ファクシミリとの間で通信を行う。
画像形成部４３は、用紙等のシートに画像を形成する。画像形成部４３は、例えば電子写真方式の画像形成部、又はインクジェット方式の画像形成部であり得る。
無線通信インターフェイス４４は、ヘッドマウントディスプレー２０との間の無線通信に使用される。つまり、画像形成装置４０の無線通信インターフェイス４４の無線通信方式は、ヘッドマウントディスプレー２０の無線通信インターフェイス２５と同じである。
制御部４５は、記憶部４６に記憶されたプログラムを実行することによって、数値計算や情報処理、機器制御のような様々な処理を行う。制御部４５は、例えばＣＰＵ又はＭＰＵを含み得る。
記憶部４６は、プログラムや設定情報を記憶する。例えば、記憶部４６は、各種の設定画面の情報を記憶している。記憶部４６は、例えば、ＨＤＤが備える磁気ディスク、ＲＡＭ及びＲＯＭによって構成され得る。
本実施形態の画像形成装置４０が備える制御部４５は、無線通信インターフェイス４４がヘッドマウントディスプレー２０から第１要求信号を受信すると、記憶部４６に記憶されている設定画面の情報を、無線通信インターフェイス４４を介してヘッドマウントディスプレー２０へ送信する。また、画像形成装置４０の制御部４５は、無線通信インターフェイス４４がヘッドマウントディスプレー２０から第２要求信号を受信すると、画像形成装置４０の使用状況の情報を、無線通信インターフェイス４４を介してヘッドマウントディスプレー２０へ送信する。
続いて図５〜図１０を参照して、表示システム１０において表示される画像（ディスプレー２２に表示される画像）について説明する。図５〜図１０はそれぞれ、表示システム１０において表示される画像を示す図である。詳しくは、図５〜図９は、ユーザーの視野内（周辺環境画像内）に２つの画像形成装置４０（第１画像形成装置４０ａ及び第２画像形成装置４０ｂ）が存在する場合に表示される設定画面を示している。なお、図６〜図１０において、視線方向は矢印によって示される。また、視線方向を示す矢印の先端が指す位置が、ユーザーの注視点である。
図５に示すように、ユーザーの視野内（周辺環境画像内）に第１画像形成装置４０ａ及び第２画像形成装置４０ｂが存在する場合、第１画像形成装置４０ａの近傍に「アイコン１」が表示され、第２画像形成装置４０ｂの近傍に「アイコン２」が表示される。詳しくは、本実施形態では、第１画像形成装置４０ａの直上に「アイコン１」が表示され、第２画像形成装置４０ｂの直上に「アイコン２」が表示される。
ユーザーが第１画像形成装置４０ａ及び第２画像形成装置４０ｂのいずれも注視していない場合、図５に示すように、初期条件を満たす画像形成装置４０の設定画面が所定の位置（本実施形態では、ディスプレー２２の左側の端部）に表示される。つまり、ユーザーの視野内（周辺環境画像内）に存在する使用可能な画像形成装置４０のうち、ヘッドマウントディスプレー２０に最も近い画像形成装置４０の設定画面が表示される。図５では、第１画像形成装置４０ａの「設定画面１」が表示されている。また、このとき、第１画像形成装置４０ａの「設定画面１」は、通常の濃さよりも薄く表示される。図５では、設定画面１が薄く表示されていることを破線で示している。
その後、図６に示すように、ユーザーが第１画像形成装置４０ａを注視すると、「設定画面１」が通常の濃さで表示される。また、図７に示すように、ユーザーが第２画像形成装置４０ｂを注視すると、第２画像形成装置４０ｂの「設定画面２」が通常の濃さ表示される。なお、図６〜図９では、設定画面が通常の濃さで表示されていることを実線で示している。
図８に示すように、第１画像形成装置４０ａの設定を変更するために、ディスプレー２２に表示されている設定画面１に対してユーザーが指を動かす際には、ユーザーの視野内（周辺環境画像内）に手６１が存在する。したがって、設定画面１から他の設定画面への切り替えが制限される。具体的には、図９に示すように、ユーザーが第２画像形成装置４０ｂを注視しても、ディスプレー２２には設定画面１が表示され続け、第２画像形成装置４０ｂの設定画面２は表示されない。
また、図１０に示すように、設定画面が複数種類存在する場合、それら複数種類の設定画面は、重ねられつつ所定の方向にずらされた状態でディスプレー２２に表示される。例えば図１０に示すように、複数種類の設定画面は、各設定画面の種類を示すタブ部（「Ｃｏｐｙ」、「Ｓｅｎｄ」、「Ｂｏｘ」、「ＦＡＸ」の各語句が表示される部分）をユーザーが視認できるように表示される。図１０には、Ｃｏｐｙ機能の設定画面と、Ｓｅｎｄ機能の設定画面と、Ｂｏｘ機能の設定画面と、ＦＡＸ機能の設定画面が例示されている。なお、Ｓｅｎｄ機能は、画像形成装置４０に蓄積されている画像データを、他の画像形成装置や外部ＰＣ（パーソナルコンピューター）等へ送る機能である。また、Ｂｏｘ機能は、ユーザーごとに画像データを蓄積する機能である。
図１０（ａ）に示すように、現在最上層に位置しているＣｏｐｙ設定画面とは異なる設定画面（Ｓｅｎｄ設定画面）がユーザーによって注視されると、図１０（ｂ）に示すように、最上層に位置する設定画面がＣｏｐｙ設定画面からＳｅｎｄ設定画面に切り替わる。また、図１０（ｂ）に示すように、現在最上層に位置しているＳｅｎｄ設定画面とは異なる設定画面（Ｂｏｘ設定画面）がユーザーによって注視されると、図１０（ｃ）に示すように、最上層に位置する設定画面がＳｅｎｄ設定画面からＢｏｘ設定画面に切り替わる。
続いて図１〜図４、及び図１１を参照して、本実施形態に係る表示システム１０の動作を説明する。図１１は、表示システム１０の動作を示すフローチャートである。ヘッドマウントディスプレー２０の電源がＯＮに設定されると、ユーザーの視野情報として、環境画像取得部２１により取得された周辺環境画像がヘッドマウントディスプレー２０のディスプレー２２に表示（反映）される（ステップＳ１）。
次に、表示システム１０によって設定操作が可能な画像形成装置４０（端末）がユーザーの視野内（周辺環境画像内）に存在するか否かの判定が、ヘッドマウントディスプレー２０の制御部２８に含まれる第１判定部３１によって実行される（ステップＳ２）。その結果、画像形成装置４０がユーザーの視野内に存在しないと第１判定部３１が判定した場合（ステップＳ２のＮｏ）、処理はステップＳ３に移行し、ヘッドマウントディスプレー２０のディスプレー２２に表示される視野情報（周辺環境画像）が更新されて（ステップＳ３）、処理はステップＳ２に戻る。その後、画像形成装置４０がユーザーの視野内に入るまで、ステップＳ２及びステップＳ３の各処理が繰り返される。
画像形成装置４０がユーザーの視野内（周辺環境画像内）に存在すると第１判定部３１が判定すると（ステップＳ２のＹｅｓ）、処理はステップＳ４に移行する。
ステップＳ４では、ユーザーの視野内（周辺環境画像内）に存在する画像形成装置４０の近傍にアイコンが表示される。次に、ヘッドマウントディスプレー２０の制御部２８に含まれる視線方向検出部３２によりユーザーの視線方向が検出される。そして、ヘッドマウントディスプレー２０の制御部２８に含まれる端末特定部３３が、視線方向検出部３２により検出された視線方向に基づき、第１検出処理を実行する。即ち、ユーザーが注視している画像形成装置４０を検出するための処理が実行される（ステップＳ５）。その結果、ユーザーが注視している画像形成装置４０が検出されない場合（ステップＳ５のＮｏ）、処理はステップＳ３へ戻る。一方、ユーザーが注視している画像形成装置４０が検出された場合（ステップＳ５のＹｅｓ）、処理はステップＳ６へ移行する。
ステップＳ６では、ユーザーが注視している画像形成装置４０に対応するアイコンが点滅状態で表示されるようになる。また、ユーザーが注視している画像形成装置４０の設定画面が表示される。
次に、ヘッドマウントディスプレー２０の制御部２８に含まれる第２判定部３４が、ユーザーの視野内（周辺環境画像内）に手が存在するか否かの判定を行う（ステップＳ７）。そして、ユーザーの視野内に手が存在しないと第２判定部３４が判定した場合（ステップＳ７のＮｏ）、処理はステップＳ３に戻る。一方、ユーザーの視野内（周辺環境画像内）に手が存在すると第２判定部３４が判定した場合（ステップＳ７のＹｅｓ）、ヘッドマウントディスプレー２０の制御部２８の状態が、設定画面の切り替えが制限される状態に遷移する（ステップＳ８）。
次に、ヘッドマウントディスプレー２０の制御部２８に含まれる第２判定部３４が、ユーザーの視野内（周辺環境画像内）に手が存在するか否かの判定を行う（ステップＳ９）。そして、ユーザーの視野内に手が存在しないと第２判定部３４が判定した場合（ステップＳ９のＮｏ）、処理はステップＳ３に戻る。一方、ユーザーの視野内に手が存在すると第２判定部３４が判定した場合（ステップＳ９のＹｅｓ）、ヘッドマウントディスプレー２０の制御部２８は、ユーザーによる画像形成装置４０の設定操作が完了したか否かの判定を行う（ステップＳ１０）。例えば、ヘッドマウントディスプレー２０の制御部２８は、設定画面内の「ＯＫ」ボタンが操作されたか否かにより、ユーザーによる画像形成装置４０の設定操作が完了したか否かを検出する。そして、ユーザーによる画像形成装置４０の設定操作が完了していないと制御部２８が判定した場合（ステップＳ１０のＮｏ）、処理はステップＳ９に戻る。一方、ユーザーによる画像形成装置４０の設定操作が完了したと制御部２８が判定した場合（ステップＳ１０のＹｅｓ）、処理は終了する。
以上、図面を参照しながら本発明の実施形態について説明した。本発明の実施形態によれば、ユーザーの視野内に存在する複数の画像形成装置４０のうち、ユーザーが注視した画像形成装置４０の設定画面のみが表示される。したがって、複数の画像形成装置４０（複数の端末）の設定画面を切り替えて表示することができる。よって、複数の画像形成装置４０（複数の端末）を設定の対象とすることができ、ユーザーの利便性を高めることができる。
また、ユーザーの注視によって選択された画像形成装置４０が複数種類の設定画面を有する場合には、それら複数種類の設定画面が、重ねられつつ所定の方向にずらされた状態で表示される。そして、ユーザーの視線方向（注視点）に応じて、ユーザーが操作する対象となる設定画面の種類を変更することができる。したがって、ユーザーの利便性を高めることができる。
また、ユーザーの視野内（周辺環境画像内）で手（所定のオブジェクト）が検知されると、設定画面の切り替えが制限される。これによりユーザーは、設定操作中に自身の視点を気にすることなく設定の操作を行うことができる。また、ユーザーの視野の外（環境画像取得部２１の撮像範囲の外）へ手が外れることにより、設定画面の切り替えの制限が解除される。よって、他の画像形成装置４０（端末）の設定画面を容易に表示させることができる。したがって、ユーザーの利便性を高めることができる。具体的には、ユーザーは、自身の視野内（周辺環境画像内）に存在する複数の画像形成装置４０（複数の端末）のそれぞれの設定操作を連続して行うことができる。
なお、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。
例えば、本発明の実施形態では、設定対象の端末が画像形成装置である場合について説明したが、本発明はこれに限定されない。本発明は、設定画面を有する様々な端末に適用することができる。例えば、本発明は、パーソナルコンピューターのような電子機器に適用することができる。
また、本発明の実施形態では、左右一対のディスプレー２２が同一の画像を表示する場合について説明したが、本発明はこれに限定されない。左右一対のディスプレー２２により、３次元画像（３Ｄ画像）が表示されてもよい。つまり、ユーザーが立体的に画像を視認できるように、左右一対のディスプレー２２において撮像角度をずらした一対の画像を表示させてもよい。これにより、複数種類の設定画面を表示する際に、複数種類の設定画面を深さ方向にずらして表示することが可能となる。この場合、ヘッドマウントディスプレー２０の制御部２８は、ユーザーの視線方向に基づいて、ユーザーの注視点の３次元座標を検出するとともに、注視点の３次元座標と、３次元画像内での各設定画面の３次元座標とを比較することにより、ユーザーが注視している設定画面を特定することができる。
また、本発明の実施形態では、ユーザーの指の動きに応じた信号により画像形成装置４０の設定が更新されたが、本発明はこれに限定されない。例えば、ユーザーの指に替えて、所定の形状を有する操作部材（例えば、所定の形状を有するペン）の動きに応じた信号が生成されることにより、画像形成装置４０の設定が更新されてもよい。
また、本発明の実施形態では、検出されたユーザーの視線方向に基づき、ユーザーが注視している画像形成装置４０が特定されたが、本発明はこれに限定されない。例えば、ユーザーの視線方向に基づき、ユーザーが注視しているアイコンを検出することにより、ユーザーが注視しているアイコンに対応する画像形成装置４０の設定画面を表示してもよい。
また、本発明の実施形態では、周辺環境画像に画像形成装置４０が含まれるか否かの判定がマッチング処理によって実行される場合について説明したが、本発明はこれに限定されない。周辺環境画像に画像形成装置４０が含まれるか否かは、各画像形成装置４０の座標（位置）と、ヘッドマウントディスプレー２０の現在位置（ユーザーの現在位置）と、ヘッドマウントディスプレー２０の向き（ユーザーの顔の向き）とに基づいて判定されてもよい。
また、本発明の実施形態では、ユーザーの視野内（周辺環境画像内）に存在する画像形成装置４０が、各画像形成装置４０の座標（位置）と、ヘッドマウントディスプレー２０の現在位置（ユーザーの現在位置）と、ヘッドマウントディスプレー２０の向き（ユーザーの顔の向き）とに基づいて特定される場合について説明したが、本発明はこれに限定されない。例えば、ユーザーの視野内に存在する画像形成装置４０は、マッチング処理によって特定されてもよい。又は、各画像形成装置４０にそれぞれ固有のマーカーを付し、周辺環境画像を画像解析してマーカーを特定することにより、ユーザーの視野内に存在する画像形成装置４０を特定してもよい。
また、本発明の実施形態では、ユーザーの視野内に手が検知された場合に、設定画面の切り替え、及び、最上層に位置させる設定画面の切り替えが制限される場合について説明したが、本発明はこれに限定されない。例えば、ユーザーの手に替えて、所定の形状を有する操作部材（例えば、所定の形状を有するペン）が検知された場合に、設定画面の切り替え、及び、最上層に位置させる設定画面の切り替えが制限されてもよい。
また、本発明の実施形態では、ビデオ透過式のヘッドマウントディスプレー２０を用いた場合について説明したが、本発明はこれに限定されない。本発明は、光学透過式のヘッドマウントディスプレーにも適用することができる。光学透過式のヘッドマウントディスプレーは、外界（ユーザーの周辺環境）を直接ユーザーに視認させる。この場合、ヘッドマウントディスプレーは、ハーフミラーのような光学結合素子又はユーザーの網膜に設定画面及びアイコンを投影（結像）してもよいし、液晶ディスプレーのような光を透過する表示素子に設定画面及びアイコンを表示させてもよい。また、光学透過式のヘッドマウントディスプレーを用いる場合、ユーザーの注視点の３次元座標と、各画像形成装置４０の３次元座標とを比較することにより、ユーザーが注視している画像形成装置４０を特定することができる。注視点の３次元座標は、ヘッドマウントディスプレー２０の現在位置（ユーザーの現在位置）と、ヘッドマウントディスプレー２０の向き（ユーザーの顔の向き）と、視線方向とに基づいて算出し得る。
また、本発明の実施形態では、双眼型のヘッドマウントディスプレー２０を用いた場合について説明したが、本発明はこれに限定されない。本発明は、単眼型、及び両眼型のヘッドマウントディスプレーに適用し得る。単眼型は、左右の目のうちの一方に対して計算機画像を視認させる方式であり、両眼型は、左右の目にそれぞれ異なる計算機画像を視認させる方式である。両眼型によれば、３次元画像（３Ｄ画像）をユーザーに視認させることも可能となる。
例えば、ビデオ透過式のヘッドマウントディスプレーを用いて３次元画像を表示することにより、ユーザーは、違和感を感じることなく周辺環境を視認することができる。また、光学透過式のヘッドマウントディスプレーを用いて、ユーザーが直接視認している画像形成装置の上方に実際にアイコンが存在しているかの如く、アイコンの立体画像を表示させることが可能となる。ビデオ透過式のヘッドマウントディスプレーを用いて３次元画像を表示する場合は、ユーザーの注視点の３次元座標と、３次元画像内での各画像形成装置４０の３次元座標とを比較することにより、ユーザーが注視している画像形成装置４０を特定することができる。また、光学透過式のヘッドマウントディスプレーを用いてアイコンの立体画像を表示させる場合は、ユーザーの注視点の３次元座標と、３次元画像内でのアイコンの３次元座標とを比較することにより、ユーザーが注視しているアイコンに対応する画像形成装置４０を特定することができる。
また、本発明の実施形態では、角膜反射法によってユーザーの視線方向が検出されたが、本発明はこれに限定されない。例えば、可視光を撮像するカメラにより眼球画像を取得して、眼球画像を解析し、目頭に対する虹彩の位置に基づいて視線方向を検出してもよい。
本発明は、端末の設定画面を遠隔操作し得るシステムに有用である。
１０ 表示システム
２０ ヘッドマウントディスプレー
４０、４０ａ、４０ｂ 画像形成装置
３２ 視線方向検出部
３３ 端末特定部
２４ 表示制御部

Claims (5)

  1. ユーザーに視認されるように所定の端末の設定画面を表示する表示システムであって、
    前記ユーザーの視線方向を検出する視線方向検出部と、
    前記視線方向検出部により検出された前記視線方向に基づき、前記ユーザーの視野内に存在する複数の前記端末のうちの１つを特定する端末特定部と、
    前記端末特定部により特定された前記端末の前記設定画面を表示させる表示制御部と、
    前記ユーザーの視野に入る周辺環境の画像を取得する環境画像取得部と、
    前記環境画像取得部により取得された前記周辺環境の画像に基づき、前記ユーザーの視野内に所定のオブジェクトが存在するか否かを判定する判定部と
    を備え、
    前記端末の前記設定画面が複数種類存在し、
    前記表示制御部は、
    重ねられつつ所定の方向にずらされた状態の前記複数種類の設定画面を表示させるとともに、
    前記複数種類の設定画面のうち、最上層に位置させる前記設定画面を、前記視線方向に応じて切り替え、
    前記判定部により前記オブジェクトが存在すると判定されている間、前記設定画面の切り替え、及び、前記最上層に位置させる前記設定画面の切り替えが制限される、表示システム。
  2. 前記端末特定部は、前記複数の端末のうち、前記ユーザーによって注視されている端末を特定する、請求項１に記載の表示システム。
  3. 前記表示制御部は、前記ユーザーに視認されるように前記端末の近傍にアイコンを表示させる、請求項１又は請求項２に記載の表示システム。
  4. 前記端末特定部は、前記ユーザーによって注視されている前記アイコンに対応する前記端末を特定する、請求項３に記載の表示システム。
  5. 前記端末特定部は、
    前記視線方向検出部により検出された前記視線方向に基づき、前記ユーザーの注視点の３次元座標を検出し、
    前記注視点に基づき、前記ユーザーの視野内に存在する複数の前記端末のうちの１つを特定する、請求項１〜請求項３のいずれか１項に記載の表示システム。
JP2015092142A 2015-04-28 2015-04-28 表示システム Expired - Fee Related JP6507827B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015092142A JP6507827B2 (ja) 2015-04-28 2015-04-28 表示システム
EP16166580.7A EP3088995B1 (en) 2015-04-28 2016-04-22 Display system and head mounted display
US15/136,177 US10025382B2 (en) 2015-04-28 2016-04-22 Display system and head mounted display
CN201610261914.2A CN106094202B (zh) 2015-04-28 2016-04-25 显示系统和头戴式显示器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015092142A JP6507827B2 (ja) 2015-04-28 2015-04-28 表示システム

Publications (2)

Publication Number Publication Date
JP2016206617A JP2016206617A (ja) 2016-12-08
JP6507827B2 true JP6507827B2 (ja) 2019-05-08

Family

ID=55808986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015092142A Expired - Fee Related JP6507827B2 (ja) 2015-04-28 2015-04-28 表示システム

Country Status (4)

Country Link
US (1) US10025382B2 (ja)
EP (1) EP3088995B1 (ja)
JP (1) JP6507827B2 (ja)
CN (1) CN106094202B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018120521A (ja) * 2017-01-27 2018-08-02 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP6958141B2 (ja) * 2017-09-05 2021-11-02 富士フイルムビジネスイノベーション株式会社 情報処理装置、画像形成装置、および、プログラム
JP2019061556A (ja) * 2017-09-27 2019-04-18 京セラドキュメントソリューションズ株式会社 通信システム及びウェアラブル端末
JP7135444B2 (ja) * 2018-05-29 2022-09-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP6940702B2 (ja) * 2018-06-25 2021-09-29 マクセル株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法
JP7263869B2 (ja) 2019-03-22 2023-04-25 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11500511B1 (en) 2021-05-25 2022-11-15 Capital One Services, Llc Augmented reality system visualization

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005339266A (ja) * 2004-05-27 2005-12-08 Canon Inc 情報処理方法、情報処理装置、撮像装置
JP2006146803A (ja) * 2004-11-24 2006-06-08 Olympus Corp 操作装置及び遠隔操作システム
US8578301B2 (en) * 2006-11-22 2013-11-05 Skadool, Inc. Hierarchical events
JP5293154B2 (ja) 2008-12-19 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5743416B2 (ja) 2010-03-29 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5651386B2 (ja) * 2010-06-23 2015-01-14 ソフトバンクモバイル株式会社 眼鏡型表示装置
JP2012029164A (ja) * 2010-07-26 2012-02-09 Konica Minolta Business Technologies Inc 携帯端末及び装置管理方法
JP2012053342A (ja) * 2010-09-02 2012-03-15 Sony Corp 表示装置
JP5664031B2 (ja) * 2010-09-02 2015-02-04 ソニー株式会社 表示装置
JP2012058599A (ja) * 2010-09-10 2012-03-22 Sony Corp 立体画像表示装置および画像表示素子
JP2012063704A (ja) * 2010-09-17 2012-03-29 Sony Corp 表示装置
US9773345B2 (en) * 2012-02-15 2017-09-26 Nokia Technologies Oy Method and apparatus for generating a virtual environment for controlling one or more electronic devices
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US8893164B1 (en) * 2012-05-16 2014-11-18 Google Inc. Audio system
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
KR20140126492A (ko) * 2013-04-23 2014-10-31 엘지전자 주식회사 인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법
KR102056221B1 (ko) 2013-07-12 2019-12-16 삼성전자주식회사 시선인식을 이용한 장치 연결 방법 및 장치
JP5885714B2 (ja) * 2013-08-28 2016-03-15 京セラドキュメントソリューションズ株式会社 画像形成システムおよび出力指示プログラム

Also Published As

Publication number Publication date
CN106094202B (zh) 2018-12-04
EP3088995A1 (en) 2016-11-02
CN106094202A (zh) 2016-11-09
EP3088995B1 (en) 2017-12-13
US10025382B2 (en) 2018-07-17
JP2016206617A (ja) 2016-12-08
US20160320836A1 (en) 2016-11-03

Similar Documents

Publication Publication Date Title
JP6507827B2 (ja) 表示システム
US9921646B2 (en) Head-mounted display device and method of controlling head-mounted display device
JP6264087B2 (ja) 表示制御装置、表示装置および表示制御システム
US10656731B2 (en) Peripheral device for head-mounted display
US10663729B2 (en) Peripheral device for head-mounted display
US10642348B2 (en) Display device and image display method
WO2016158000A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
CN114402589A (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
JP6339887B2 (ja) 画像表示装置
US20180316911A1 (en) Information processing apparatus
US20150009103A1 (en) Wearable Display, Computer-Readable Medium Storing Program and Method for Receiving Gesture Input
WO2018047384A1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、当該情報処理方法が実行される情報処理装置、及び情報処理システム
WO2019187487A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018036993A (ja) 表示システム、携帯情報機器、ウエラブル型端末、情報表示方法およびプログラム
JP2018029907A (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP2016189120A (ja) 情報処理装置、情報処理システム、及び頭部装着ディスプレイ
JP2014187574A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR20230037147A (ko) 비접촉 응시 기반 헤딩 정보를 이용한 사용자 명령 인식 장치 및 이를 이용한 방법
CN103713387A (zh) 电子设备和采集方法
JP6319220B2 (ja) 透過型ウェアラブル端末、データ処理装置、及びデータ処理システム
US11125997B2 (en) Information processing apparatus, information processing method, and program
JP6617766B2 (ja) 医療用観察システム、表示制御システムおよび表示制御装置
JP2017113136A (ja) 眼調節機能支援システム、眼調節機能支援装置、眼調節機能支援方法、及び眼調節機能支援器具の制御方法
WO2020183792A1 (ja) 表示装置、表示方法、及び表示プログラム
JP6789377B2 (ja) 画像表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190318

R150 Certificate of patent or registration of utility model

Ref document number: 6507827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees