JP6867055B2 - Image display unit - Google Patents

Image display unit Download PDF

Info

Publication number
JP6867055B2
JP6867055B2 JP2019506914A JP2019506914A JP6867055B2 JP 6867055 B2 JP6867055 B2 JP 6867055B2 JP 2019506914 A JP2019506914 A JP 2019506914A JP 2019506914 A JP2019506914 A JP 2019506914A JP 6867055 B2 JP6867055 B2 JP 6867055B2
Authority
JP
Japan
Prior art keywords
display unit
display
image
unit
central portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019506914A
Other languages
Japanese (ja)
Other versions
JPWO2018173288A1 (en
Inventor
悦雄 粥川
悦雄 粥川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suncorporation
Original Assignee
Suncorporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suncorporation filed Critical Suncorporation
Publication of JPWO2018173288A1 publication Critical patent/JPWO2018173288A1/en
Application granted granted Critical
Publication of JP6867055B2 publication Critical patent/JP6867055B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本明細書によって開示される技術は、ユーザの頭部に装着して使用される頭部装着装置と、頭部装着装置と通信可能に設けられる操作装置とを備える画像表示ユニットに関する。 The technology disclosed herein relates to an image display unit comprising a head-mounted device that is worn and used on the user's head and an operating device that is communicable with the head-mounted device.

例えば、特開2016−149587号公報(以下、特許文献1という)には、ユーザの頭部に装着して使用される画像表示装置が開示されている。この画像表示装置は、ユーザの頭部に装着可能なフレームと、フレームに搭載され、フレームを装着したユーザの眼に対向する位置に配置される表示部を備える。そして、画像表示装置は、画像表示装置とは別体に設けられる操作装置とコードを介して通信可能に接続されている。ユーザは、画像表示装置を頭部に装着した状態で、操作装置を操作することで、画像表示装置に様々な指示を入力することができる。 For example, Japanese Patent Application Laid-Open No. 2016-149587 (hereinafter referred to as Patent Document 1) discloses an image display device worn on a user's head and used. This image display device includes a frame that can be worn on the user's head and a display unit that is mounted on the frame and is arranged at a position facing the eyes of the user who wears the frame. Then, the image display device is communicably connected to an operation device provided separately from the image display device via a cord. The user can input various instructions to the image display device by operating the operation device with the image display device attached to the head.

特許文献1の技術では、操作装置は、決定キー、タッチパッド、方向キーを含む操作部を備えているが、画像を表示するための表示部は備えていない。特許文献1の技術では、操作装置に表示部が備えられる場合において、画像表示装置の表示部と操作装置の表示部とにどのように画像を表示させるのかは考慮されていない。 In the technique of Patent Document 1, the operating device includes an operating unit including a decision key, a touch pad, and a direction key, but does not include a display unit for displaying an image. In the technique of Patent Document 1, when the operation device is provided with a display unit, how to display an image on the display unit of the image display device and the display unit of the operation device is not considered.

本明細書では、ユーザが視認し得る態様で各表示部に適切に画像を表示し得る画像表示ユニットを開示する。 The present specification discloses an image display unit capable of appropriately displaying an image on each display unit in a manner that can be visually recognized by a user.

本明細書によって開示される画像表示ユニットは、頭部装着装置と、前記頭部装着装置と別体に設けられる操作装置であって、前記頭部装着装置と通信可能に設けられる前記操作装置と、制御装置と、を備える。前記頭部装着装置は、ユーザの頭部に装着可能なフレームと、前記フレームに搭載され、前記フレームを装着した前記ユーザの右眼に対向する位置に配置され、透過性を有する第1表示部と、前記フレームに搭載され、前記フレームを装着した前記ユーザの左眼に対向する位置に配置され、透過性を有する第2表示部と、を備える。前記操作装置は、前記ユーザが指示を入力するための操作部と、情報を表示するための第3表示部と、を備える。前記制御装置は、前記第1表示部と前記第2表示部と前記第3表示部とに、前記第1表示部における中央部近傍の範囲である第1中央部と、前記第2表示部における中央部近傍の範囲である第2中央部と、に画像を表示させずに、前記第3表示部に画像を表示させる、第1表示と、前記第1中央部と前記第2中央部とに画像を表示させる、第2表示と、を選択的に行わせる。 The image display unit disclosed by the present specification is a head-mounted device and an operating device provided separately from the head-mounted device, and the operating device is provided so as to be able to communicate with the head-mounted device. , A control device, and so on. The head-mounted device is a first display unit that has a transparent frame and is mounted on the frame and is arranged at a position facing the right eye of the user who wears the frame. A second display unit mounted on the frame, arranged at a position facing the left eye of the user wearing the frame, and having transparency. The operating device includes an operating unit for the user to input an instruction and a third display unit for displaying information. The control device includes the first display unit, the second display unit, the third display unit, a first central portion which is a range near the central portion in the first display unit, and the second display unit. The first display, which displays an image on the third display unit without displaying the image on the second central portion, which is a range near the central portion, and the first central portion and the second central portion. The image is displayed and the second display is selectively performed.

ここで、「第1中央部」は、第1表示部のうち、ユーザの右眼が正面を見る場合において、ユーザの視野の中央部近傍に対応する範囲、と言い換えてもよい。また、「第1中央部」を、第1表示部のうち、ユーザの右眼が正面を見る場合において、ユーザの右眼の瞳孔に対向する範囲、と言い換えてもよい。同様に、「第2中央部」は、第2表示部のうち、ユーザの左眼が正面を見る場合において、ユーザの視野の中央部近傍に対応する範囲、と言い換えてもよい。また、「第2中央部」を、第2表示部のうち、ユーザの左眼が正面を見る場合において、ユーザの左眼の瞳孔に対向する範囲、と言い換えてもよい。 Here, the "first central portion" may be rephrased as a range of the first display portion corresponding to the vicinity of the central portion of the user's visual field when the user's right eye looks at the front. Further, the "first central portion" may be rephrased as a range of the first display portion facing the pupil of the user's right eye when the user's right eye looks at the front. Similarly, the "second central portion" may be rephrased as a range of the second display portion corresponding to the vicinity of the central portion of the user's visual field when the user's left eye looks at the front. Further, the "second central portion" may be rephrased as a range of the second display portion facing the pupil of the user's left eye when the user's left eye looks at the front.

上記の構成によると、第1表示が行われている間は、第1中央部及び第2中央部に画像が表示されないため、頭部装着装置を装着しているユーザは、第1表示部及び第2表示部越しに、操作装置の第3表示部に表示されている画像を、第1表示部及び第2表示部に表示される画像によって妨げられることなく視認することができる。そして、第2表示が行われている間は、第1中央部及び第2中央部に画像が表示されるため、頭部装着装置を装着しているユーザは、第1中央部及び第2中央部に表示される画像を視認することができる。従って、上記の構成によると、第1表示部と第2表示部と第3表示部とに、ユーザが視認できる態様で適切に画像を表示させ得る。 According to the above configuration, since the image is not displayed in the first central portion and the second central portion while the first display is being performed, the user wearing the head wearing device can use the first display portion and the second central portion. Through the second display unit, the image displayed on the third display unit of the operating device can be visually recognized without being hindered by the images displayed on the first display unit and the second display unit. Then, while the second display is being performed, the images are displayed in the first central portion and the second central portion, so that the user wearing the head wearing device can use the first central portion and the second central portion. The image displayed on the unit can be visually recognized. Therefore, according to the above configuration, the image can be appropriately displayed on the first display unit, the second display unit, and the third display unit in a manner that can be visually recognized by the user.

前記制御装置は、前記操作部に第1操作の入力が要求されている間に、前記第1表示部と前記第2表示部と前記第3表示部とに前記第1表示を行わせ、前記操作部に前記第1操作の入力が要求されていない間に、前記第1表示部と前記第2表示部と前記第3表示部とに前記第2表示を行わせるようにしてもよい。 The control device causes the first display unit, the second display unit, and the third display unit to perform the first display while the operation unit is requested to input the first operation. While the operation unit is not requested to input the first operation, the first display unit, the second display unit, and the third display unit may be made to perform the second display.

ここで、「第1操作」は、例えば、ユーザID及びパスワードの入力操作、暗証番号の入力操作、OKボタン(又はキャンセルボタン)の選択操作、アプリケーション終了操作等、ユーザに対して、入力が要求される様々な操作を含む。 Here, the "first operation" requires the user to input, for example, a user ID and password input operation, a password input operation, an OK button (or cancel button) selection operation, an application termination operation, and the like. Including various operations to be performed.

操作部に第1操作の入力が要求されている場合には、頭部装着装置を装着しているユーザは、操作装置の第3表示部を見ながら操作部に第1操作を入力する必要がある可能性が高い。上記の構成によると、操作部に第1操作の入力が要求されている場合に、頭部装着装置を装着しているユーザは、第1表示部及び第2表示部越しに、操作装置の第3表示部に表示されている画像を、第1表示部及び第2表示部に表示される画像によって妨げられることなく視認しながら第1操作を入力することができる。ユーザが第1操作を適切に入力することができる。 When the operation unit is required to input the first operation, the user wearing the head-mounted device needs to input the first operation to the operation unit while looking at the third display unit of the operation device. There is a high possibility. According to the above configuration, when the operation unit is requested to input the first operation, the user wearing the head-mounted device can use the first display unit and the second display unit to pass the first operation device. 3 The first operation can be input while visually recognizing the image displayed on the display unit without being hindered by the images displayed on the first display unit and the second display unit. The user can appropriately input the first operation.

前記制御装置は、前記第1表示部と前記第2表示部と前記第3表示部とが前記第2表示を行っている間に、前記操作部に前記第1操作とは異なる第2操作が入力される場合に、前記第1表示部と前記第2表示部と前記第3表示部とに前記第2表示を終了させて前記第1表示を開始させてもよい。前記第2操作は、前記第1表示部と前記第2表示部と前記第3表示部とが前記第2表示を行っている間に、前記操作部への入力が要求されていない操作であってもよい。 In the control device, while the first display unit, the second display unit, and the third display unit perform the second display, the operation unit is subjected to a second operation different from the first operation. When input, the first display unit, the second display unit, and the third display unit may end the second display and start the first display. The second operation is an operation in which input to the operation unit is not required while the first display unit, the second display unit, and the third display unit are performing the second display. You may.

ここで、「第2操作」は、例えば、操作装置のロック状態を解除するためのタッチ操作等、ユーザに第1操作の入力が要求される前の様々な操作を含む。 Here, the "second operation" includes various operations before the user is requested to input the first operation, such as a touch operation for releasing the locked state of the operating device.

操作部に第2操作が入力される場合、ユーザが、その後、操作部にさらに操作(例えば第1操作)を入力する可能性がある。上記の構成によると、第2表示が行われている間に第2操作が入力される場合に、第2表示が終了して第1表示が開始される。そのため、第2操作が入力された後、ユーザは、第1表示部及び第2表示部に表示される画像によって妨げられることなく、そのまま第3表示部を視認しながら操作部に操作を入力することができる。ユーザの操作の利便性が妨げられることを抑制することができる。 When the second operation is input to the operation unit, the user may then input another operation (for example, the first operation) to the operation unit. According to the above configuration, if the second operation is input while the second display is being performed, the second display ends and the first display starts. Therefore, after the second operation is input, the user inputs the operation to the operation unit while visually recognizing the third display unit without being hindered by the images displayed on the first display unit and the second display unit. be able to. It is possible to prevent the convenience of user operation from being hindered.

前記制御装置は、前記第1表示部と前記第2表示部と前記第3表示部とが前記第1表示を行っている間に、前記操作部に前記第1操作が入力される場合に、前記第1表示部と前記第2表示部と前記第3表示部とに前記第1表示を終了させて前記第2表示を開始させてもよい。 In the control device, when the first operation is input to the operation unit while the first display unit, the second display unit, and the third display unit are performing the first display. The first display unit, the second display unit, and the third display unit may end the first display and start the second display.

この構成によると、ユーザが第3表示部を視認しながら操作部に第1操作を入力した後は、ユーザは、第1中央部及び第2中央部に表示される画像を視認することができる。 According to this configuration, after the user inputs the first operation to the operation unit while visually recognizing the third display unit, the user can visually recognize the images displayed in the first central portion and the second central portion. ..

前記第2表示は、前記第1中央部と前記第2中央部とに同じ画像を表示させる第1種の前記第2表示と、前記第1中央部と前記第2中央部とに異なる画像を表示させる第2種の前記第2表示と、を含んでもよい。前記制御装置は、前記第1表示部と前記第2表示部と前記第3表示部とに、前記第1種の第2表示と、前記第2種の第2表示と、を選択的に行わせてもよい。 The second display is a type 1 second display in which the same image is displayed on the first central portion and the second central portion, and different images are displayed on the first central portion and the second central portion. The second display of the second type to be displayed may be included. The control device selectively performs the second display of the first type and the second display of the second type on the first display unit, the second display unit, and the third display unit. You may let me.

この構成によると、ユーザに様々な態様の画像を視認させ得る。 According to this configuration, the user can visually recognize images in various modes.

前記第2種の第2表示では、前記第1中央部に表示される画像は、右眼によって第1角度から見た対象物を示す画像を含み、前記第2中央部に表示される画像は、左眼によって前記第1角度とは異なる第2角度から見た前記対象物を示す画像を含んでもよい。 In the second display of the second type, the image displayed in the first central portion includes an image showing an object viewed from a first angle by the right eye, and the image displayed in the second central portion is , May include an image showing the object viewed from a second angle different from the first angle by the left eye.

この構成によると、ユーザに画像を立体的に視認させ得る。 According to this configuration, the user can visually recognize the image in three dimensions.

なお、上記の頭部装着装置、操作装置、及び、制御装置を実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを格納するコンピュータ読取可能媒体も、新規で有用である。 The head-mounted device, the operating device, the control method for realizing the control device, the computer program, and the computer-readable medium for storing the computer program are also new and useful.

画像表示ユニットの外観を示す。The appearance of the image display unit is shown. 画像表示ユニットのブロック図を示す。The block diagram of the image display unit is shown. 表示制御処理のフローチャートを示す。The flowchart of the display control process is shown. 第1表示の一例を示す。An example of the first display is shown. 第2表示の一例(2D表示)を示す。An example of the second display (2D display) is shown. 第2表示の一例(2D連続表示)を示す。An example of the second display (2D continuous display) is shown. 第2表示の一例(3D表示)を示す。An example of the second display (3D display) is shown.

(実施例)
(画像表示ユニット2の構成;図1)
図1に示す画像表示ユニット2は、頭部装着装置10と、操作装置100とを備える。画像表示ユニット2は、頭部装着装置10と、操作装置100とを用いて各種画像を表示するための表示ユニットである。頭部装着装置10と操作装置100とは、通信ケーブル150によって有線通信可能に接続されている。変形例では、頭部装着装置10と操作装置100とは、相互に無線通信可能であってもよい。
(Example)
(Structure of image display unit 2; FIG. 1)
The image display unit 2 shown in FIG. 1 includes a head-mounted device 10 and an operating device 100. The image display unit 2 is a display unit for displaying various images by using the head mounting device 10 and the operation device 100. The head-mounted device 10 and the operating device 100 are connected by a communication cable 150 so as to be capable of wired communication. In the modified example, the head-mounted device 10 and the operating device 100 may be capable of wireless communication with each other.

(頭部装着装置10の構成;図1、図2)
図1に示す頭部装着装置10は、ユーザの頭部に装着して用いられる画像表示用装置(いわゆるヘッドマウントディスプレイ)である。図1に示すように、頭部装着装置10は、フレーム12と、右表示部14Rと、左表示部14Lと、操作部16と、右カメラ18Rと、左カメラ18Lと、右投影部20Rと、左投影部20Lと、コントロールボックス30と、を備えている。以下、右表示部14Rと左表示部14Lとを区別せずに呼ぶ場合には単に「表示部14」と呼ぶ場合がある。同様に、右カメラ18Rと左カメラ18Lとを区別せずに「カメラ18」と呼び、右投影部20Rと左投影部20Lとを区別せずに「投影部20」と呼ぶ場合がある。
(Structure of Head Wearing Device 10; FIGS. 1 and 2)
The head-mounted device 10 shown in FIG. 1 is an image display device (so-called head-mounted display) that is used by being worn on the user's head. As shown in FIG. 1, the head mounting device 10 includes a frame 12, a right display unit 14R, a left display unit 14L, an operation unit 16, a right camera 18R, a left camera 18L, and a right projection unit 20R. , A left projection unit 20L and a control box 30 are provided. Hereinafter, when the right display unit 14R and the left display unit 14L are referred to without distinction, they may be simply referred to as "display unit 14". Similarly, the right camera 18R and the left camera 18L may be referred to as the "camera 18" without distinction, and the right projection unit 20R and the left projection unit 20L may be referred to as the "projection unit 20" without distinction.

フレーム12は、眼鏡フレーム状の部材である。ユーザは、眼鏡を装着するようにフレーム12を装着することによって、頭部装着装置10を頭部に装着することができる。 The frame 12 is a member in the shape of a spectacle frame. The user can wear the head wearing device 10 on the head by wearing the frame 12 as if wearing glasses.

表示部14は透光性の表示部材である。ユーザが頭部装着装置10を頭部に装着すると、ユーザの右眼に対向する位置に右表示部14Rが配置され、左眼に対向する位置に左表示部14Lが配置される。表示部14が透光性であるため、ユーザは、表示部14越しに周囲を視認することができる。また、表示部14はハーフミラー構造を有しており、投影部20から照射される光(即ち画像を構成する光)を反射してユーザの眼に投影し、ユーザの眼に画像を視認させることができる。 The display unit 14 is a translucent display member. When the user attaches the head mounting device 10 to the head, the right display unit 14R is arranged at a position facing the user's right eye, and the left display unit 14L is arranged at a position facing the left eye. Since the display unit 14 is translucent, the user can visually recognize the surroundings through the display unit 14. Further, the display unit 14 has a half mirror structure, reflects the light emitted from the projection unit 20 (that is, the light constituting the image) and projects it onto the user's eye, and makes the user's eye visually recognize the image. be able to.

操作部16は、複数個のボタン、ダイヤル等を含む。ユーザは、操作部16を操作して、頭部装着装置10に様々な指示を入力することができる。 The operation unit 16 includes a plurality of buttons, dials, and the like. The user can operate the operation unit 16 to input various instructions to the head mounting device 10.

カメラ18は、頭部装着装置10を装着するユーザの視界範囲に対応する範囲を撮影するためのカメラである。右カメラ18Rは、フレーム12のうち、右表示部14Rの上方位置(即ち、ユーザの右眼の上方に対応する位置)に配置されている。一方、左カメラ18Lは、フレーム12のうち、左表示部14Lの上方位置(即ち、ユーザの左眼の上方に対応する位置)に配置されている。右カメラ18Rはユーザの右眼の視界範囲を撮影し、左カメラ18Lはユーザの左眼の視界範囲を撮影する。 The camera 18 is a camera for photographing a range corresponding to the field of view of the user who wears the head wearing device 10. The right camera 18R is arranged at a position above the right display unit 14R (that is, a position corresponding to above the user's right eye) in the frame 12. On the other hand, the left camera 18L is arranged at a position above the left display unit 14L (that is, a position corresponding to above the user's left eye) in the frame 12. The right camera 18R photographs the field of view of the user's right eye, and the left camera 18L photographs the field of view of the user's left eye.

投影部20は、投影部20は、表示部14に画像を表わす光を投影するための部材である。右投影部20R、左投影部20Lは、それぞれ、右表示部14R、左表示部14Lの側部に設けられている。右投影部20Rは右表示部14Rに光を照射し、左投影部20Lは左表示部14Lに光を照射する。投影部20は、図示しないLEDパネル、プリズム、LCOSパネル、レンズ等の光学要素を内蔵している。投影部20は、制御部40(図2参照)の指示に従って、所定の仮想画像を側方から表示部14に投影する。表示部14は、投影部20から投影された光を反射してユーザの眼に投影する。これにより、ユーザは、表示部14越しにユーザが視認可能な現実世界の対象物又は/及び空間の所定の位置に、画像が重畳されたかの様に、現実世界の対象物又は/及び空間と画像とを視認することができる。以下、本明細書では、制御部40が、投影部20に画像の投影を指示することによって、表示部14に所望の画像が表示されているようにユーザに視認させることを説明する場合に、投影部20の動作の説明を省略し、単に「制御部40が表示部14に所望の画像を表示させる」などと表現する場合がある。 The projection unit 20 is a member for projecting light representing an image onto the display unit 14. The right projection unit 20R and the left projection unit 20L are provided on the side portions of the right display unit 14R and the left display unit 14L, respectively. The right projection unit 20R irradiates the right display unit 14R with light, and the left projection unit 20L irradiates the left display unit 14L with light. The projection unit 20 contains optical elements such as an LED panel, a prism, an LCOS panel, and a lens (not shown). The projection unit 20 projects a predetermined virtual image onto the display unit 14 from the side according to the instruction of the control unit 40 (see FIG. 2). The display unit 14 reflects the light projected from the projection unit 20 and projects it onto the user's eyes. As a result, the user can see the real-world object or / and the space and the image as if the image was superimposed on the predetermined position of the real-world object or / and the space that the user can see through the display unit 14. Can be visually recognized. Hereinafter, in the present specification, when it is described that the control unit 40 instructs the projection unit 20 to project an image so that the user can visually recognize that a desired image is displayed on the display unit 14. The description of the operation of the projection unit 20 may be omitted, and it may be simply expressed as "the control unit 40 causes the display unit 14 to display a desired image".

図1、図2に示すコントロールボックス30は、フレーム12の一部に内蔵されている制御装置である。コントロールボックス30には、頭部装着装置10の制御系統を司る各要素が収容されている。具体的には、図2に示すように、コントロールボックス30には、制御部40と、メモリ42と、無線通信インターフェース44と、有線通信インターフェース46とが収容されている。以下では、インターフェースのことを「I/F」と記載する。 The control box 30 shown in FIGS. 1 and 2 is a control device built in a part of the frame 12. The control box 30 houses each element that controls the control system of the head-mounted device 10. Specifically, as shown in FIG. 2, the control box 30 houses a control unit 40, a memory 42, a wireless communication interface 44, and a wired communication interface 46. In the following, the interface will be referred to as "I / F".

制御部40は、メモリ42に記憶されているプログラムに従って様々な処理を実行する。また、制御部40は、図2に示すように、操作部16、カメラ18、投影部20、メモリ42、無線通信I/F44、及び有線通信I/F46と電気的に接続されており、これらの各要素の動作を制御することができる。また、制御部40は、有線通信I/F46を介して操作装置100の制御部140と有線通信を行うことにより、制御部140と協働して後述の表示制御処理(図3参照)を実行することもできる。 The control unit 40 executes various processes according to the program stored in the memory 42. Further, as shown in FIG. 2, the control unit 40 is electrically connected to the operation unit 16, the camera 18, the projection unit 20, the memory 42, the wireless communication I / F44, and the wired communication I / F46. It is possible to control the operation of each element of. Further, the control unit 40 performs a display control process (see FIG. 3) described later in cooperation with the control unit 140 by performing wired communication with the control unit 140 of the operation device 100 via the wired communication I / F46. You can also do it.

無線通信I/F44は、図示しないインターネットを介して外部の装置と無線通信(即ちWi−Fi通信)を実行するためのI/Fである。 The wireless communication I / F 44 is an I / F for executing wireless communication (that is, Wi-Fi communication) with an external device via the Internet (not shown).

有線通信I/F46は、通信ケーブル150を介して、操作装置100と有線通信を実行するためのI/Fである。有線通信I/F46は通信ケーブル150に接続されている。 The wired communication I / F 46 is an I / F for executing wired communication with the operating device 100 via the communication cable 150. The wired communication I / F 46 is connected to the communication cable 150.

(操作装置100の構成;図1、図2)
操作装置100は、ユーザが手で操作して様々な指示を入力するための端末装置である。操作装置100は、操作装置100及び頭部装着装置10に電力を供給するバッテリ(図示省略)を内蔵している。図1に示すように、操作装置100は、本体102と、本体102の表面に設けられているタッチパネル103と、を備える。そして、図2に示すように、本体102の内側には、さらに、制御部140と、メモリ142と、有線通信I/F146とが設けられている。
(Structure of Operation Device 100; FIGS. 1 and 2)
The operation device 100 is a terminal device for a user to manually operate and input various instructions. The operating device 100 has a built-in battery (not shown) that supplies electric power to the operating device 100 and the head-mounted device 10. As shown in FIG. 1, the operation device 100 includes a main body 102 and a touch panel 103 provided on the surface of the main body 102. Then, as shown in FIG. 2, a control unit 140, a memory 142, and a wired communication I / F 146 are further provided inside the main body 102.

本体102は、操作装置100の筐体である。タッチパネル103は、様々な情報を表示するためのディスプレイとしての機能と、ユーザが入力する様々な指示を操作装置100に入力するタッチパッドとしての機能とを併せ持つ。タッチパネル103は、ユーザの操作を検出するためのセンサ(図示しない)を内蔵している。即ち、タッチパネル103は、表示部と操作部とが一体に構成された要素である。変形例では、表示部と操作部とが別体に設けられていてもよい。 The main body 102 is a housing of the operating device 100. The touch panel 103 has both a function as a display for displaying various information and a function as a touch pad for inputting various instructions input by the user to the operation device 100. The touch panel 103 has a built-in sensor (not shown) for detecting the user's operation. That is, the touch panel 103 is an element in which the display unit and the operation unit are integrally configured. In the modified example, the display unit and the operation unit may be provided separately.

制御部140は、メモリ142に記憶されているプログラムに従って様々な処理を実行する。また、制御部140は、図2に示すように、タッチパネル103、メモリ142、及び、有線通信I/F146と電気的に接続されており、これらの各要素の動作を制御することができる。また、制御部140は、有線通信I/F146を介して頭部装着装置10の制御部40と有線通信を行うことにより、制御部40と協働して後述の表示制御処理(図3参照)を実行することもできる。 The control unit 140 executes various processes according to the program stored in the memory 142. Further, as shown in FIG. 2, the control unit 140 is electrically connected to the touch panel 103, the memory 142, and the wired communication I / F 146, and can control the operation of each of these elements. Further, the control unit 140 performs wired communication with the control unit 40 of the head mounting device 10 via the wired communication I / F 146, and cooperates with the control unit 40 to perform display control processing described later (see FIG. 3). Can also be executed.

有線通信I/F46は、通信ケーブル150を介して、頭部装着装置10と有線通信を実行するためのI/Fである。有線通信I/F46は通信ケーブル150に接続されている。 The wired communication I / F 46 is an I / F for executing wired communication with the head-mounted device 10 via the communication cable 150. The wired communication I / F 46 is connected to the communication cable 150.

(表示制御処理;図3)
続いて、頭部装着装置10の制御部40と、操作装置100の制御部140とが協働して実行する表示制御処理について説明する。以下の説明では、協働する制御部40と制御部140とを総称して単に「制御部」と呼ぶ場合がある。表示制御処理は、右表示部14R、左表示部14L、及びタッチパネル103に対して、状況に応じた画像を表示させるための制御処理である。制御部は、頭部装着装置10及び操作装置100の電源がオンされている間、図3の表示制御処理を繰り返し実行する。
(Display control process; Fig. 3)
Subsequently, the display control process executed by the control unit 40 of the head mounting device 10 and the control unit 140 of the operation device 100 will be described. In the following description, the cooperating control unit 40 and the control unit 140 may be collectively referred to as a "control unit". The display control process is a control process for displaying an image according to the situation on the right display unit 14R, the left display unit 14L, and the touch panel 103. The control unit repeatedly executes the display control process of FIG. 3 while the power of the head-mounted device 10 and the operating device 100 is turned on.

S10では、制御部は、操作装置100のタッチパネル103における操作の入力が要求されている状況であるか否かを判断する。以下では、タッチパネル103での操作の入力が要求されている状況のことを「特定の状況」と呼ぶ場合がある。ここで、「特定の状況」は、例えば、ユーザID及びパスワードの入力操作、暗証番号の入力操作、OKボタン(又はキャンセルボタン)の選択操作、アプリケーション終了操作等、ユーザに対して、タッチパネル103での操作の入力が要求される様々な状況を含む。一方、特定の状況ではない状況とは、例えば、右表示部14R及び左表示部14Lに画像が表示され、ユーザがタッチパネル103を操作する必要がない状況である。制御部は、現在特定の状況であると判断する場合に、S10でYESと判断してS12に進む。一方、制御部は、現在特定の状況ではないと判断する場合に、S10でNOと判断してS14に進む。 In S10, the control unit determines whether or not the input of the operation on the touch panel 103 of the operation device 100 is required. In the following, a situation in which input of an operation on the touch panel 103 is required may be referred to as a “specific situation”. Here, the "specific situation" is, for example, a user ID and password input operation, a password input operation, an OK button (or cancel button) selection operation, an application termination operation, etc., on the touch panel 103. Includes various situations where input of the operation of is required. On the other hand, the situation that is not a specific situation is, for example, a situation in which an image is displayed on the right display unit 14R and the left display unit 14L, and the user does not need to operate the touch panel 103. When the control unit determines that the current situation is specific, the control unit determines YES in S10 and proceeds to S12. On the other hand, when the control unit determines that the current situation is not specific, the control unit determines NO in S10 and proceeds to S14.

S12では、制御部は、右表示部14R、左表示部14L、及びタッチパネル103に第1表示(図4参照)を行わせる。S12の時点で既に第1表示が行われている場合には、制御部は、第1表示が行われている状態を維持する。 In S12, the control unit causes the right display unit 14R, the left display unit 14L, and the touch panel 103 to perform the first display (see FIG. 4). If the first display has already been performed at the time of S12, the control unit maintains the state in which the first display is performed.

(第1表示の具体例;図4)
図4を参照して第1表示の一例を説明する。図4に示す第1表示は、タッチパネル103を操作して暗証番号(即ちPINコード)を入力することをユーザに要求するための表示である。図4の例では、右表示部14Rの中央部近傍の部分である右中央部14RCと、左表示部14Lの中央部近傍の部分である左中央部14LCと、には画像が一切表示されない。右中央部14RCは、頭部装着装置10を装着したユーザの右眼が正面を見る場合において、ユーザの視野の中央部近傍に対応する範囲、と言い換えてもよい。また、右中央部14RCは、頭部装着装置10を装着したユーザの右眼が正面を見る場合において、ユーザの右眼の瞳孔に対向する範囲、と言い換えてもよい。同様に、左中央部14LCは、頭部装着装置10を装着したユーザの左眼が正面を見る場合において、ユーザの視野の中央部近傍に対応する範囲、と言い換えてもよい。また、左中央部14LCは、頭部装着装置10を装着したユーザの左眼が正面を見る場合において、ユーザの左眼の瞳孔に対向する範囲、と言い換えてもよい。
(Specific example of the first display; FIG. 4)
An example of the first display will be described with reference to FIG. The first display shown in FIG. 4 is a display for requesting the user to operate the touch panel 103 and input a personal identification number (that is, a PIN code). In the example of FIG. 4, no image is displayed on the right central portion 14RC, which is a portion near the central portion of the right display portion 14R, and the left central portion 14LC, which is a portion near the central portion of the left display unit 14L. The right central portion 14RC may be rephrased as a range corresponding to the vicinity of the central portion of the user's visual field when the right eye of the user wearing the head wearing device 10 looks at the front. Further, the right central portion 14RC may be rephrased as a range facing the pupil of the user's right eye when the user's right eye wearing the head wearing device 10 looks at the front. Similarly, the left central portion 14LC may be rephrased as a range corresponding to the vicinity of the central portion of the user's visual field when the left eye of the user wearing the head wearing device 10 looks at the front. Further, the left central portion 14LC may be rephrased as a range facing the pupil of the user's left eye when the left eye of the user wearing the head wearing device 10 looks at the front.

これに対し、右表示部14Rのうちの右中央部14RCの周囲の部分である右周辺部14RPと、左表示部14Lのうちの左中央部14LCの周囲の部分である左周辺部14LPとには、タッチパネル103を操作して、暗証番号を入力すべきことをユーザに伝えるメッセージを示す画像200R、200Lが表示される。画像200R、200Lは同じ画像である。そのため、ユーザは、視界の下方の部分において「Enter Code」というメッセージを視認することができる。ただし、右中央部14RC及び左中央部14LCに画像が表示されていないため、ユーザは、画像200R,200Lによって妨げられることなく、表示部14越しに周囲(例えばタッチパネル103)を視認することができる。 On the other hand, the right peripheral portion 14RP, which is the peripheral portion of the right central portion 14RC of the right display portion 14R, and the left peripheral portion 14LP, which is the peripheral portion of the left central portion 14LC of the left display portion 14L, Displays images 200R and 200L indicating a message telling the user that the personal identification number should be input by operating the touch panel 103. Images 200R and 200L are the same image. Therefore, the user can see the message "Enter Code" in the lower part of the field of view. However, since the image is not displayed on the right center portion 14RC and the left center portion 14LC, the user can visually recognize the surroundings (for example, the touch panel 103) through the display unit 14 without being hindered by the images 200R and 200L. ..

タッチパネル103には、暗証番号入力のためのキーボードを示す画像210と、OKボタンを示す画像220と、キャンセルボタンを示す画像230と、が表示される。ユーザは、表示部14越しにタッチパネル103を見ながら、暗証番号を入力する操作を行うことができる。 The touch panel 103 displays an image 210 showing a keyboard for inputting a password, an image 220 showing an OK button, and an image 230 showing a cancel button. The user can perform an operation of inputting the personal identification number while looking at the touch panel 103 through the display unit 14.

即ち、図3のS12で行われる第1表示は、右中央部14RC及び左中央部14LCに画像を表示させることなく、タッチパネル103に画像を表示させる表示、と言い換えてもよい。制御部は、S12で第1表示を行うと、S10に戻って、特定の状況か否かの判断を再度行う。 That is, the first display performed in S12 of FIG. 3 may be rephrased as a display in which the image is displayed on the touch panel 103 without displaying the image on the right center portion 14RC and the left center portion 14LC. When the first display is performed in S12, the control unit returns to S10 and redetermines whether or not it is a specific situation.

一方、S14では、制御部は、右表示部14R、左表示部14L、及びタッチパネル103に第2表示(図5〜図7参照)を行わせる。S14の時点で既に第2表示が行われている場合には、制御部は、第2表示が行われている状態を維持する。 On the other hand, in S14, the control unit causes the right display unit 14R, the left display unit 14L, and the touch panel 103 to perform the second display (see FIGS. 5 to 7). If the second display has already been performed at the time of S14, the control unit maintains the state in which the second display is performed.

(第2表示の具体例(1);図5)
図5を参照して第2表示の一例を説明する。図5に示す第2表示は、ユーザに、表示部14に表示されたリンゴの画像250L,250Rを平面的に視認させるための表示である。図5の例では、左表示部14L,右表示部14Rには、リンゴを示す画像250L,250Rが表示されている。図5の例では、画像250L,250Rは、左中央部14LC,右中央部14RCを含む範囲に表示される。画像250L,250Rは同じ画像である。これにより、ユーザに、1個のリンゴの画像を平面的に視認させることができる。そのため、図5に示すタイプの第2表示を「2D表示」と呼んでもよい。
(Specific example of the second display (1); FIG. 5)
An example of the second display will be described with reference to FIG. The second display shown in FIG. 5 is a display for allowing the user to visually recognize the apple images 250L and 250R displayed on the display unit 14 in a plane. In the example of FIG. 5, images 250L and 250R showing apples are displayed on the left display unit 14L and the right display unit 14R. In the example of FIG. 5, the images 250L and 250R are displayed in a range including the left central portion 14LC and the right central portion 14RC. The images 250L and 250R are the same images. As a result, the user can visually recognize the image of one apple in a plane. Therefore, the second display of the type shown in FIG. 5 may be referred to as "2D display".

タッチパネル103には、ロック解除用のアイコンを示す画像260が表示されている。即ち、図5の例では、タッチパネル103は、操作装置100が待機中であることを示している。ユーザが画像260をタッチする操作を入力すると、操作装置100のロックが解除され、操作装置100を操作可能な状態(例えば、特定の状況)に移行する。 An image 260 showing an unlocking icon is displayed on the touch panel 103. That is, in the example of FIG. 5, the touch panel 103 shows that the operating device 100 is on standby. When the user inputs an operation of touching the image 260, the operation device 100 is unlocked, and the operation device 100 is put into an operable state (for example, a specific situation).

(第2表示の具体例(2);図6)
図6を参照して第2表示の他の一例を説明する。図6に示す第2表示は、ユーザに、表示部14に表示された一つの蛇の画像270L,270Rを平面的に視認させるための表示である。図6の例では、左表示部14Lには、頭部を含む蛇の半身を示す画像270Lが表示され、右表示部14Rには、尾部を含む蛇の半身を示す画像270R(即ち画像270Lの続きの画像)が表示されている。図6の例でも、画像270L,270Rは、左中央部14LC,右中央部14RCを含む範囲に表示される。図6の例では、画像270L,270Rが表示されることにより、一続きの1匹の大きな蛇の画像をユーザに平面的に視認させる。そのため、図6に示すタイプの第2表示を「2D連続表示」と呼んでもよい。なお、図6の例でも、タッチパネル103には、ロック解除用のアイコンを示す画像260が表示される。ユーザが画像260をタッチする操作を入力すると、ロックが解除され、操作装置100を操作可能な状態(例えば、特定の状況)に移行する。
(Specific example of the second display (2); FIG. 6)
Another example of the second display will be described with reference to FIG. The second display shown in FIG. 6 is a display for allowing the user to visually recognize the images 270L and 270R of one snake displayed on the display unit 14 in a plane. In the example of FIG. 6, the left display unit 14L displays an image 270L showing the half body of the snake including the head, and the right display unit 14R displays the image 270R showing the half body of the snake including the tail (that is, the image 270L). (Continued image) is displayed. Also in the example of FIG. 6, the images 270L and 270R are displayed in a range including the left central portion 14LC and the right central portion 14RC. In the example of FIG. 6, by displaying the images 270L and 270R, the user can visually recognize a series of images of one large snake in a plane. Therefore, the second display of the type shown in FIG. 6 may be referred to as "2D continuous display". In the example of FIG. 6, the touch panel 103 also displays an image 260 showing an unlocking icon. When the user inputs an operation of touching the image 260, the lock is released and the operation device 100 shifts to an operable state (for example, a specific situation).

(第2表示の具体例(3);図7)
図7を参照して第2表示の他の一例を説明する。図7に示す第2表示は、ユーザに、表示部14に表示されたマグカップの画像280R,280Lを立体的に視認させるための表示である。図7の例では、右表示部14Rには、右眼によって右側の角度から見た場合の1個のマグカップを示す画像である画像280Rが表示される。左表示部14Lには、左眼によって左側の角度から見た場合の1個のマグカップを示す画像である画像280Lが表示される。図7の例でも、画像280L,280Rは、左中央部14LC,右中央部14RCを含む範囲に表示される。画像280L,280Rは、同じ対象物を異なる角度から見た場合の画像であり、互いに異なる画像である。図7の例では、画像280L,280Rが表示されることにより、1個のマグカップの画像をユーザに立体的に視認させる。そのため、図7に示すタイプの第2表示を「3D表示」と呼んでもよい。なお、図7の例でも、タッチパネル103には、ロック解除用のアイコンを示す画像260が表示される。ユーザが画像260をタッチする操作を入力すると、ロックが解除され、操作装置100を操作可能な状態(例えば、特定の状況)に移行する。
(Specific example of the second display (3); FIG. 7)
Another example of the second display will be described with reference to FIG. 7. The second display shown in FIG. 7 is a display for allowing the user to three-dimensionally visually recognize the images 280R and 280L of the mug displayed on the display unit 14. In the example of FIG. 7, the image 280R, which is an image showing one mug when viewed from the right angle by the right eye, is displayed on the right display unit 14R. On the left display unit 14L, an image 280L, which is an image showing one mug when viewed from the left angle by the left eye, is displayed. Also in the example of FIG. 7, the images 280L and 280R are displayed in a range including the left central portion 14LC and the right central portion 14RC. The images 280L and 280R are images when the same object is viewed from different angles, and are images different from each other. In the example of FIG. 7, the images 280L and 280R are displayed so that the user can visually recognize the image of one mug in three dimensions. Therefore, the second display of the type shown in FIG. 7 may be referred to as "3D display". Also in the example of FIG. 7, an image 260 showing an unlocking icon is displayed on the touch panel 103. When the user inputs an operation of touching the image 260, the lock is released and the operation device 100 shifts to an operable state (for example, a specific situation).

図5〜図7の各例に示すように、図3のS14で行われる第2表示は、右中央部14RC及び左中央部14LCに画像を表示させる表示、と言い換えてもよい。S14では、制御部は、画像表示ユニット2の稼働状況に応じて、図5〜図7のうちのどのタイプの第2表示を行わせるのかを切り替えることができる。制御部は、S14で第2表示を行うと、S10に戻って、特定の状況か否かの判断を再度行う。 As shown in each example of FIGS. 5 to 7, the second display performed in S14 of FIG. 3 may be rephrased as a display in which an image is displayed on the right center portion 14RC and the left center portion 14LC. In S14, the control unit can switch which type of second display of FIGS. 5 to 7 is to be performed according to the operating status of the image display unit 2. When the second display is performed in S14, the control unit returns to S10 and redetermines whether or not the situation is specific.

(表示切替の具体例)
表示部が図3の表示制御処理を実行することにより、右表示部14R、左表示部14L、及びタッチパネル103が、第1表示(S12)と第2表示(S14)とを選択的に行う場合の具体例を説明する。
(Specific example of display switching)
When the display unit executes the display control process of FIG. 3, and the right display unit 14R, the left display unit 14L, and the touch panel 103 selectively perform the first display (S12) and the second display (S14). A specific example of the above will be described.

例えば、画像表示ユニット2において所定のアプリケーションが起動され、右表示部14R、左表示部14L、及びタッチパネル103が、図5に示す第2表示(即ち2D表示)を行っている状況を想定する。この場合、ユーザが、タッチパネル103の画像260にタッチすると、操作装置100のロックが解除される。 For example, it is assumed that a predetermined application is started in the image display unit 2, and the right display unit 14R, the left display unit 14L, and the touch panel 103 perform the second display (that is, 2D display) shown in FIG. In this case, when the user touches the image 260 on the touch panel 103, the operation device 100 is unlocked.

操作装置100のロックが解除されると、タッチパネル103は、ユーザに暗証番号の入力を要求する。この際、制御部は、特定の状況であると判断し(S10でYES)、右表示部14R、左表示部14L、及びタッチパネル103に図4に示す第1表示を行わせる(S12)。 When the operation device 100 is unlocked, the touch panel 103 requests the user to input a personal identification number. At this time, the control unit determines that the situation is specific (YES in S10), and causes the right display unit 14R, the left display unit 14L, and the touch panel 103 to perform the first display shown in FIG. 4 (S12).

ユーザは、表示部14越しにタッチパネル103を視認しながらタッチパネル103を操作し、暗証番号を入力する操作を行う。入力された暗証番号の認証が成功すると、別のアプリケーションが起動される。その結果、制御部は、特定の状況ではなくなったと判断し(S10でNO)、右表示部14R、左表示部14L、及びタッチパネル103に、第1表示を終了させて図6に示す第2表示(即ち2D連続表示)を行わせる。この場合の第2表示(図6)は、暗証番号の認証が成功したことによって行われる第2表示である。 The user operates the touch panel 103 while visually recognizing the touch panel 103 through the display unit 14, and performs an operation of inputting a personal identification number. If the entered PIN is successfully authenticated, another application will be launched. As a result, the control unit determines that the specific situation is no longer present (NO in S10), and causes the right display unit 14R, the left display unit 14L, and the touch panel 103 to end the first display and display the second display shown in FIG. (That is, 2D continuous display) is performed. The second display (FIG. 6) in this case is the second display performed by the successful authentication of the personal identification number.

上記の例に示すように、制御部は、右表示部14R、左表示部14L、及びタッチパネル103が第2表示(図5〜図7参照)を行っている間に、タッチパネル103の画像260にタッチする操作を行うことで、制御部は、右表示部14R、左表示部14L、及びタッチパネル103に第2表示を終了させ、第1表示を行わせることができる。また、制御部は、右表示部14R、左表示部14L、及びタッチパネル103が第1表示(図4参照)を行っている間に、タッチパネル103において、ユーザに要求されている操作が入力される場合に、右表示部14R、左表示部14L、及びタッチパネル103に第1表示を終了させ、第2表示を行わせることができる。このように、制御部は、画像表示ユニット2の状況に応じて、右表示部14R、左表示部14L、及びタッチパネル103に第1表示と第2表示のどちらを行わせるのかを切り替えることができる。 As shown in the above example, the control unit displays the image 260 of the touch panel 103 while the right display unit 14R, the left display unit 14L, and the touch panel 103 perform the second display (see FIGS. 5 to 7). By performing the touch operation, the control unit can end the second display on the right display unit 14R, the left display unit 14L, and the touch panel 103, and cause the first display to be performed. Further, in the control unit, while the right display unit 14R, the left display unit 14L, and the touch panel 103 are performing the first display (see FIG. 4), the operation requested by the user is input on the touch panel 103. In this case, the right display unit 14R, the left display unit 14L, and the touch panel 103 can end the first display and perform the second display. In this way, the control unit can switch whether the right display unit 14R, the left display unit 14L, and the touch panel 103 perform the first display or the second display according to the situation of the image display unit 2. ..

以上、本実施例の画像表示ユニット2の構成及び動作について説明した。本実施例の画像表示ユニット2によると、右表示部14R、左表示部14L、及びタッチパネル103において第1表示(図4参照)が行われている間は、右中央部14RC及び左中央部14LCに画像が表示されないため、頭部装着装置10を装着しているユーザは、表示部14越しに、操作装置100のタッチパネル103に表示されている画像を、表示部14に表示される画像によって妨げられることなく視認することができる。そのため、ユーザは、表示部14越しにタッチパネル103を視認しながら、タッチパネル103を操作して、要求されている操作を入力することができる。そして、右表示部14R、左表示部14L、及びタッチパネル103において第2表示(図5〜図7参照)が行われている間は、右中央部14RC及び左中央部14LCを含む右表示部14R及び左表示部14Lに画像が表示されるため、頭部装着装置10を装着しているユーザは、右表示部14R及び左表示部14Lに表示される画像を視認することができる。従って、本実施例の画像表示ユニット2によると、右表示部14R、左表示部14L、及びタッチパネル103に、ユーザが視認できる態様で適切に画像を表示させることができる。 The configuration and operation of the image display unit 2 of this embodiment have been described above. According to the image display unit 2 of this embodiment, the right center portion 14RC and the left center portion 14LC are performed while the first display (see FIG. 4) is performed on the right display unit 14R, the left display unit 14L, and the touch panel 103. Since the image is not displayed on the head-mounted device 10, the user wearing the head-mounted device 10 interferes with the image displayed on the touch panel 103 of the operating device 100 through the display unit 14 by the image displayed on the display unit 14. It can be visually recognized without being damaged. Therefore, the user can operate the touch panel 103 while visually recognizing the touch panel 103 through the display unit 14 to input the requested operation. Then, while the second display (see FIGS. 5 to 7) is performed on the right display unit 14R, the left display unit 14L, and the touch panel 103, the right display unit 14R including the right center portion 14RC and the left center portion 14LC is performed. Since the image is displayed on the left display unit 14L, the user wearing the head mounting device 10 can visually recognize the image displayed on the right display unit 14R and the left display unit 14L. Therefore, according to the image display unit 2 of the present embodiment, the image can be appropriately displayed on the right display unit 14R, the left display unit 14L, and the touch panel 103 in a manner that can be visually recognized by the user.

また、制御部は、画像表示ユニット2の状況に応じて、右表示部14R、左表示部14L、及びタッチパネル103に第1表示と第2表示のどちらを行わせるのかを切り替えることができる(図3参照)。第2表示が行われている間に、タッチパネル103に画像260をタッチする操作が入力される場合、ユーザが、その後、タッチパネル103にさらに操作(例えば暗証番号の入力操作)を入力する可能性がある。本実施例によると、第2表示が行われている間に画像260をタッチする操作が入力される場合に、第2表示が終了して第1表示が開始される。そのため、画像260をタッチする操作が入力された後、ユーザは、表示部14に表示される画像によって妨げられることなく、そのままタッチパネル103を視認しながらタッチパネル103に操作を入力することができる。ユーザの操作の利便性が妨げられることを抑制することができる。 Further, the control unit can switch whether the right display unit 14R, the left display unit 14L, and the touch panel 103 perform the first display or the second display according to the situation of the image display unit 2 (FIG.). 3). If an operation of touching the image 260 is input to the touch panel 103 while the second display is being performed, the user may then input another operation (for example, a password input operation) to the touch panel 103. is there. According to this embodiment, when the operation of touching the image 260 is input while the second display is being performed, the second display ends and the first display starts. Therefore, after the operation of touching the image 260 is input, the user can input the operation to the touch panel 103 while visually recognizing the touch panel 103 as it is without being hindered by the image displayed on the display unit 14. It is possible to prevent the convenience of user operation from being hindered.

また、本実施例では、制御部は、右表示部14R、左表示部14L、及びタッチパネル103に第2表示を行わせる場合に、図5〜図7のうちのいずれかのタイプの第2表示を行わせることができる。本実施例の画像表示ユニット2によると、ユーザに様々な態様の画像を視認させることができる。 Further, in the present embodiment, when the control unit causes the right display unit 14R, the left display unit 14L, and the touch panel 103 to perform the second display, the second display of any one of FIGS. 5 to 7 is displayed. Can be done. According to the image display unit 2 of this embodiment, the user can visually recognize images in various modes.

実施例と請求項の対応関係を説明しておく。右表示部14R、左表示部14L、タッチパネル103が、それぞれ「第1表示部」、「第2表示部」、「第3表示部」の一例である。右中央部14RC、左中央部14LCが、それぞれ、「第1中央部」、「第2中央部」の一例である。タッチパネル103が「操作部」の一例である。制御部40と制御部140とが「制御装置」の一例である。図4の画像210〜230がタッチパネル103に表示されている間に、タッチパネル103に暗証番号を入力する操作が「第1操作」の一例である。図5〜図7の画像260をタッチする操作が「第2操作」の一例である。図5の表示が「第1種の第2表示」の一例である。図6、図7の表示が「第2種の第2表示」の一例である。 The correspondence between the embodiment and the claims will be described. The right display unit 14R, the left display unit 14L, and the touch panel 103 are examples of the “first display unit”, the “second display unit”, and the “third display unit”, respectively. The right central portion 14RC and the left central portion 14LC are examples of the “first central portion” and the “second central portion”, respectively. The touch panel 103 is an example of an “operation unit”. The control unit 40 and the control unit 140 are examples of a “control device”. An operation of inputting a personal identification number on the touch panel 103 while the images 210 to 230 of FIG. 4 are displayed on the touch panel 103 is an example of the “first operation”. The operation of touching the image 260 of FIGS. 5 to 7 is an example of the “second operation”. The display of FIG. 5 is an example of "the second display of the first type". The display of FIGS. 6 and 7 is an example of the "second type of second display".

以上、実施例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、以下の変形例が含まれる。 Although the examples have been described in detail above, these are merely examples and do not limit the scope of claims. The techniques described in the claims include various modifications and modifications of the specific examples illustrated above. For example, the following modifications are included.

(変形例1)上記の実施例では、制御部40と制御部140とが協働して図3の表示制御処理を実行する。これに限られず、制御部40が単独で図3の表示制御処理を実行してもよい。その場合、制御部40が「制御装置」の一例である。また、制御部140が単独で図3の表示制御処理を実行してもよい。その場合、制御部140が「制御装置」の一例である。また、頭部装着装置10と操作装置100とは異なる別の制御装置が図3の表示制御処理を実行してもよい。 (Modification 1) In the above embodiment, the control unit 40 and the control unit 140 cooperate to execute the display control process of FIG. Not limited to this, the control unit 40 may independently execute the display control process of FIG. In that case, the control unit 40 is an example of a “control device”. Further, the control unit 140 may independently execute the display control process of FIG. In that case, the control unit 140 is an example of a “control device”. Further, another control device different from the head mounting device 10 and the operation device 100 may execute the display control process of FIG.

また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。 In addition, the technical elements described in the present specification or the drawings exhibit technical usefulness alone or in various combinations, and are not limited to the combinations described in the claims at the time of filing. In addition, the techniques illustrated in this specification or drawings achieve a plurality of objectives at the same time, and achieving one of the objectives itself has technical usefulness.

Claims (7)

画像表示ユニットであって、
頭部装着装置と、
前記頭部装着装置と別体に設けられる操作装置であって、前記頭部装着装置と通信可能に設けられる前記操作装置と、
制御装置と、を備え、
前記頭部装着装置は、
ユーザの頭部に装着可能なフレームと、
前記フレームに搭載され、前記フレームを装着した前記ユーザの右眼に対向する位置に配置され、透過性を有する第1表示部と、
前記フレームに搭載され、前記フレームを装着した前記ユーザの左眼に対向する位置に配置され、透過性を有する第2表示部と、
を備え、
前記操作装置は、
前記ユーザが前記操作装置に指示を入力するための操作部と、
情報を表示するための第3表示部と、
を備え、
前記制御装置は、前記第1表示部と前記第2表示部と前記第3表示部とに、
前記第1表示部における中央部近傍の範囲である第1中央部と、前記第2表示部における中央部近傍の範囲である第2中央部と、に画像を表示させずに、前記第3表示部に画像を表示させる、第1表示と、
前記第1中央部と前記第2中央部とに画像を表示させる、第2表示と、
を選択的に行わせ、
前記制御装置は、前記操作部に第1操作の入力が要求されている間に、前記第1表示部と前記第2表示部と前記第3表示部とに前記第1表示を行わせる、画像表示ユニット。
It is an image display unit
Head-mounted device and
An operating device provided separately from the head-mounted device, which is provided so as to be able to communicate with the head-mounted device.
Equipped with a control device,
The head-mounted device is
A frame that can be attached to the user's head and
A first display unit mounted on the frame, arranged at a position facing the right eye of the user wearing the frame, and having transparency,
A second display unit mounted on the frame, arranged at a position facing the left eye of the user wearing the frame, and having transparency,
With
The operating device is
An operation unit for the user to input an instruction to the operation device,
A third display unit for displaying information,
With
The control device includes the first display unit, the second display unit, and the third display unit.
The third display without displaying an image on the first central portion, which is a range near the central portion in the first display unit, and the second central portion, which is a range near the central portion in the second display unit. The first display, which displays an image in the section,
A second display, in which an image is displayed on the first central portion and the second central portion,
Let me do it selectively
The control device causes the first display unit, the second display unit, and the third display unit to perform the first display while the operation unit is requested to input the first operation. Display unit.
前記制御装置は、前記操作部に前記第1操作の入力が要求されていない間に、前記第1表示部と前記第2表示部と前記第3表示部とに前記第2表示を行わせる、
請求項1に記載の画像表示ユニット。
The control device causes the first display unit, the second display unit, and the third display unit to perform the second display while the operation unit is not requested to input the first operation.
The image display unit according to claim 1.
前記制御装置は、
前記第1表示部と前記第2表示部と前記第3表示部とが前記第2表示を行っている間に、前記操作部に前記第1操作とは異なる第2操作が入力される場合に、前記第1表示部と前記第2表示部と前記第3表示部とに前記第2表示を終了させて前記第1表示を開始させ、
前記第2操作は、前記第1表示部と前記第2表示部と前記第3表示部とが前記第2表示を行っている間に、前記操作部への入力が要求されていない操作である、
請求項2に記載の画像表示ユニット。
The control device is
When a second operation different from the first operation is input to the operation unit while the first display unit, the second display unit, and the third display unit are performing the second display. , The first display unit, the second display unit, and the third display unit end the second display and start the first display.
The second operation is an operation in which input to the operation unit is not required while the first display unit, the second display unit, and the third display unit are performing the second display. ,
The image display unit according to claim 2.
前記制御装置は、
前記第1表示部と前記第2表示部と前記第3表示部とが前記第1表示を行っている間に、前記操作部に前記第1操作が入力される場合に、前記第1表示部と前記第2表示部と前記第3表示部とに前記第1表示を終了させて前記第2表示を開始させる、
請求項2又は3に記載の画像表示ユニット。
The control device is
When the first operation is input to the operation unit while the first display unit, the second display unit, and the third display unit perform the first display, the first display unit. And the second display unit and the third display unit end the first display and start the second display.
The image display unit according to claim 2 or 3.
前記第2表示は、
前記第1中央部と前記第2中央部とに同じ画像を表示させる第1種の前記第2表示と、
前記第1中央部と前記第2中央部とに異なる画像を表示させる第2種の前記第2表示と、を含み、
前記制御装置は、前記第1表示部と前記第2表示部と前記第3表示部とに、前記第1種の第2表示と、前記第2種の第2表示と、を選択的に行わせる、
請求項1から4のいずれか一項に記載の画像表示ユニット。
The second display is
The second display of the first type for displaying the same image on the first central portion and the second central portion, and
The second display of the second kind, which causes a different image to be displayed on the first central portion and the second central portion, is included.
The control device selectively performs the second display of the first type and the second display of the second type on the first display unit, the second display unit, and the third display unit. Let, let
The image display unit according to any one of claims 1 to 4.
前記第2種の第2表示では、前記第1中央部に表示される画像は、右眼によって第1角度から見た対象物を示す画像を含み、前記第2中央部に表示される画像は、左眼によって前記第1角度とは異なる第2角度から見た前記対象物を示す画像を含む、
請求項5に記載の画像表示ユニット。
In the second display of the second type, the image displayed in the first central portion includes an image showing an object viewed from a first angle by the right eye, and the image displayed in the second central portion is Includes an image showing the object viewed from a second angle different from the first angle by the left eye.
The image display unit according to claim 5.
頭部装着装置と、前記頭部装着装置と別体であって前記頭部装着装置と通信可能に設けられる操作装置と、制御装置と、を備える画像表示ユニットにおける前記制御装置のためのコンピュータプログラムであって、
前記頭部装着装置は、
ユーザの頭部に装着可能なフレームと、
前記フレームに搭載され、前記フレームを装着した前記ユーザの右眼に対向する位置に配置され、透過性を有する第1表示部と、
前記フレームに搭載され、前記フレームを装着した前記ユーザの左眼に対向する位置に配置され、透過性を有する第2表示部と、
を備え、
前記操作装置は、
前記ユーザが前記操作装置に指示を入力するための操作部と、
情報を表示するための第3表示部と、
を備え、
前記コンピュータプログラムは、前記制御装置を、
前記第1表示部と前記第2表示部と前記第3表示部とに、
前記第1表示部における中央部近傍の範囲である第1中央部と、前記第2表示部における中央部近傍の範囲である第2中央部と、に画像を表示させずに、前記第3表示部に画像を表示させる、第1表示と、
前記第1中央部と前記第2中央部とに画像を表示させる、第2表示と、
を選択的に行わせ、
前記コンピュータプログラムは、前記制御装置を、前記操作部に第1操作の入力が要求されている間に、前記第1表示部と前記第2表示部と前記第3表示部とに前記第1表示を行わせるように機能させる、
コンピュータプログラム。
A head mounted device, for the control device in an image display unit comprising: a manipulation unit that is provided to be capable of communicating with the head-mounted device wherein a head-mounted device and another body, a control unit, the It ’s a computer program
The head-mounted device is
A frame that can be attached to the user's head and
A first display unit mounted on the frame, arranged at a position facing the right eye of the user wearing the frame, and having transparency,
A second display unit mounted on the frame, arranged at a position facing the left eye of the user wearing the frame, and having transparency,
With
The operating device is
An operation unit for the user to input an instruction to the operation device,
A third display unit for displaying information,
With
The computer program controls the control device.
The first display unit, the second display unit, and the third display unit
The third display without displaying an image on the first central portion, which is a range near the central portion in the first display unit, and the second central portion, which is a range near the central portion in the second display unit. The first display, which displays an image in the section,
A second display, in which an image is displayed on the first central portion and the second central portion,
Let me do it selectively
The computer program displays the control device on the first display unit, the second display unit, and the third display unit while the operation unit is requested to input the first operation. To function to do,
Computer program.
JP2019506914A 2017-03-24 2017-03-24 Image display unit Active JP6867055B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/012161 WO2018173288A1 (en) 2017-03-24 2017-03-24 Image display unit

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021018412A Division JP7051155B2 (en) 2017-03-24 2021-02-08 Image display unit

Publications (2)

Publication Number Publication Date
JPWO2018173288A1 JPWO2018173288A1 (en) 2020-01-23
JP6867055B2 true JP6867055B2 (en) 2021-04-28

Family

ID=63585205

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019506914A Active JP6867055B2 (en) 2017-03-24 2017-03-24 Image display unit
JP2021018412A Active JP7051155B2 (en) 2017-03-24 2021-02-08 Image display unit

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021018412A Active JP7051155B2 (en) 2017-03-24 2021-02-08 Image display unit

Country Status (2)

Country Link
JP (2) JP6867055B2 (en)
WO (1) WO2018173288A1 (en)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3159538B2 (en) * 1992-08-24 2001-04-23 オリンパス光学工業株式会社 Head-mounted display device
JPH085954A (en) * 1994-06-21 1996-01-12 Matsushita Electric Ind Co Ltd Spectacles type picture display device
JPH08328512A (en) * 1995-05-26 1996-12-13 Canon Inc Head mounting type display device
JP4373286B2 (en) 2004-05-06 2009-11-25 オリンパス株式会社 Head-mounted display device
JP4642400B2 (en) * 2004-07-20 2011-03-02 オリンパス株式会社 Information display system
JP2009042967A (en) * 2007-08-08 2009-02-26 Nikon Corp Information input display system, information terminal and display device
JP5834439B2 (en) * 2011-03-24 2015-12-24 セイコーエプソン株式会社 Head-mounted display device and method for controlling head-mounted display device
JP2015023435A (en) * 2013-07-19 2015-02-02 セイコーエプソン株式会社 Display device, transmissive display device, and method of controlling display device
JP6701631B2 (en) * 2015-06-22 2020-05-27 セイコーエプソン株式会社 Display device, display device control method, display system, and program
JP6740584B2 (en) * 2015-09-15 2020-08-19 セイコーエプソン株式会社 Display system, display device control method, and program

Also Published As

Publication number Publication date
JPWO2018173288A1 (en) 2020-01-23
JP2021100252A (en) 2021-07-01
JP7051155B2 (en) 2022-04-11
WO2018173288A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
EP3179290B1 (en) Mobile terminal and method for controlling the same
US10205883B2 (en) Display control method, terminal device, and storage medium
US9503800B2 (en) Glass-type terminal and method of controlling the same
US11062015B2 (en) Authentication management method, information processing apparatus, wearable device, and computer program
JP6547741B2 (en) INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING METHOD
JP6339887B2 (en) Image display device
JP6528962B2 (en) Head-up display
JP2009512911A (en) Communication apparatus, system, and method
KR20150032019A (en) Method and apparatus for providing user interface by using eye tracking
EP3771314B1 (en) Seamless driver authentication using an in-vehicle camera in conjunction with a trusted mobile computing device
WO2013146862A1 (en) Head-mounted display and computer program
JP6789170B2 (en) Display device, authentication method, and authentication program
JP7051155B2 (en) Image display unit
US11353704B2 (en) Head mounted device (HMD) coupled to smartphone executing personal authentication of a user
JP6817643B2 (en) Information processing device
JP2013206411A (en) Head-mounted display and computer program
KR102620077B1 (en) Electronic apparatus and method for recognizing fingerprint in electronic apparatus
JP5270779B1 (en) Vehicle rearview mirror and vehicle
JP6569320B2 (en) Electronic device and method for controlling electronic device
JP2017113136A (en) Eye adjusting function support system, eye adjusting function support device, eye adjusting function support method, and control method of eye adjusting function support instrument
WO2018179069A1 (en) Image display system
KR101596760B1 (en) Mobile terminal of glass type, method of unlocking trunk lock device andsystem of unlocking trunk lock device using the mobile terminal
JP2014102682A (en) Authentication control device, control method thereof, and computer program
JP7247586B2 (en) Information processing method and information processing system
JP6778150B2 (en) Head-mounted display device, authentication method, and authentication program

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200319

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210401

R150 Certificate of patent or registration of utility model

Ref document number: 6867055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150