JP6647150B2

JP6647150B2 - Information display device

Info

Publication number: JP6647150B2
Application number: JP2016118786A
Authority: JP
Inventors: 択磨松村
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2016-06-15
Filing date: 2016-06-15
Publication date: 2020-02-14
Anticipated expiration: 2036-06-15
Also published as: JP2017224141A

Description

本発明は、情報表示装置に関する。 The present invention relates to an information display device.

特許文献１は、画面に表示された画像（表示情報）を見ているユーザが眼を見開いているかそれとも目を細めているかといった眼の開き具合に応じて、表示情報を拡大表示または縮小表示する装置を開示する。 Patent Literature 1 enlarges or displays display information in accordance with the degree of eye opening such as whether the user who is viewing the image (display information) displayed on the screen opens his eyes or narrows his eyes. An apparatus is disclosed.

特開２０１３−２２８４９０号公報JP 2013-228490 A

ユーザが、通常の状態よりも眼を見開いているかそれとも目を細めているかあるいは通常の状態であるかといった眼の開き具合（「瞼開度」等と呼ばれることもあり、以下そのように言う場合もある。）を変えると、ユーザの眼に入射する光量が減少するので、表示情報が暗く見えてしまうという問題がある。このような問題について、特許文献１では何ら検討がなされていない。また、ユーザが瞼開度を変えたからといって、ユーザが表示情報を拡大表示または縮小表示することを要望しているとは限らない。したがって、瞼開度に応じた適切な表示を行うという点で、改善の余地がある。 The degree of eye opening such as whether the user has a wider or narrower eye than in a normal state or is in a normal state (sometimes referred to as "eyelid opening", etc. Is changed, the amount of light incident on the user's eyes is reduced, so that there is a problem that display information appears dark. Patent Literature 1 does not discuss such a problem at all. Further, just because the user changes the eyelid opening does not necessarily mean that the user has requested that the display information be enlarged or reduced. Therefore, there is room for improvement in that an appropriate display is performed according to the eyelid opening.

本発明は、上記課題に鑑みてなされたものであり、瞼開度に応じた適切な表示を行うことが可能な情報表示装置を提供することを目的とする。 The present invention has been made in view of the above problems, and has as its object to provide an information display device capable of performing an appropriate display according to the eyelid opening.

本発明の一態様に係る情報表示装置は、表示情報を表示するとともに当該表示情報の表示態様を変更する表示手段と、表示手段によって表示される表示情報を見ているユーザの瞼開度を検出する検出手段と、を備え、表示手段は、検出手段によって検出された瞼開度に応じて、表示情報の輝度およびコントラスト比の少なくとも一方を変更することによって、表示態様を変更する。 An information display device according to one embodiment of the present invention displays a display information and changes a display mode of the display information, and detects an eyelid opening of a user who is viewing the display information displayed by the display means. The display unit changes the display mode by changing at least one of the brightness and the contrast ratio of the display information in accordance with the eyelid opening detected by the detection unit.

上記の情報表示装置では、表示情報を見ているユーザの瞼開度が検出され、検出された瞼開度に応じて、表示情報の輝度およびコントラスト比の少なくとも一方が変更される。たとえば、瞼開度が小さいほど、ユーザの眼に入射する光量が減少するので、表示情報の輝度およびコントラスト比の少なくとも一方を大きくすることで、瞼開度が小さくなったときに表示情報が暗く見えてしまうことを防ぐように表示情報の表示態様を変更することができる。したがって、瞼開度に応じた適切な表示を行うことができる。 In the above information display device, the eyelid opening of the user who is viewing the display information is detected, and at least one of the luminance and the contrast ratio of the display information is changed according to the detected eyelid opening. For example, the smaller the eyelid opening, the smaller the amount of light incident on the user's eye. Therefore, by increasing at least one of the luminance and the contrast ratio of the display information, the display information becomes darker when the eyelid opening decreases. The display mode of the display information can be changed so as to prevent the display information from being seen. Therefore, an appropriate display according to the eyelid opening can be performed.

表示情報は、複数の画像を重ね合わせた重畳画像であって、複数の画像のうちの一部の画像が、ユーザが見たときに当該一部の画像を通して他の画像を視認できるような透過率を有する画像である当該重畳画像であり、表示手段は、さらに、検出手段によって検出された瞼開度に応じて、重畳画像における一部の画像の透過率を変更することによって、表示態様を変更してもよい。この場合、一部の画像の透過率が低くなるほど一部の画像が他の画像よりも見やすくなり、逆に、一部の画像の透過率が高くなるほど他の画像が一部の画像よりも見やすくなる。したがって、瞼開度に応じて透過率を変えることで、重畳画像に含まれるそれぞれの画像が見やすくなるように表示情報の表示態様を変更することもできる。 The display information is a superimposed image obtained by superimposing a plurality of images, and a part of the plurality of images is transparent so that the user can visually recognize another image through the part of the images when the user views the image. The superimposed image is an image having a ratio, and the display unit further changes the transmittance of some of the images in the superimposed image according to the eyelid opening detected by the detection unit, thereby changing a display mode. May be changed. In this case, the lower the transmittance of some of the images, the easier it is to view some of the images than the other images, and conversely, the higher the transmittance of some of the images, the easier to see other images than some of the images Become. Therefore, by changing the transmittance according to the eyelid opening, the display mode of the display information can be changed so that each image included in the superimposed image can be easily viewed.

重畳画像は、原文および翻訳文を重ね合わせた重畳画像であってよい。これにより、瞼開度に応じて、原文および翻訳文のそれぞれが見やすくなるように表示情報の態様を変更することができる。 The superimposed image may be a superimposed image obtained by superimposing the original sentence and the translated sentence. This makes it possible to change the form of the display information according to the eyelid opening so that the original sentence and the translated sentence can be easily viewed.

重畳画像は、周辺画像および当該周辺画像に関する関連画像を重ね合わせた重畳画像であってよい。たとえば、関連画像は、周辺画像中に示される現実に存在する物に関する、拡張現実（ＡＲ）空間での情報を表示する画像とすることができる。その場合、瞼開度に応じて、周辺画像（つまり現実に存在する物）の表示および関連画像（拡張現実空間での情報）の一方を表示することによって、表示情報の表示態様を変更することもできる。 The superimposed image may be a superimposed image obtained by superimposing a peripheral image and a related image related to the peripheral image. For example, the related image can be an image that displays information in an augmented reality (AR) space about the real thing shown in the surrounding image. In this case, the display mode of the display information is changed by displaying one of a peripheral image (that is, an object that actually exists) and a related image (information in augmented reality space) according to the eyelid opening degree. Can also.

表示情報は、ユーザが仮想空間を見たときにユーザの前方に映る前方画像であり、表示手段は、さらに、検出手段によって検出された瞼開度に応じて、前方画像における被写界範囲を変更することによって、表示態様を変更してもよい。３次元空間である仮想空間には、異なる位置にさまざまな対象物が存在している。ここで、ユーザが仮想空間を見たときにユーザの前方に映る前方画像として、被写界範囲内に位置する対象物がはっきりと見え、それ以外の対象物はぼやけて見えるような前方画像を表示することで、仮想空間がよりリアルなものとなる。上記構成によれば、そのような仮想空間の前方画像を表示する場合に、瞼開度に応じて被写界範囲、つまり前後方向において対象物がはっきりと見える範囲（被写界深度）およびその中心の位置（焦点位置）を変更することによって、表示情報の表示態様を変更することもできる。 The display information is a front image reflected in front of the user when the user looks at the virtual space, and the display unit further sets a field range in the front image according to the eyelid opening detected by the detection unit. The display mode may be changed by changing. In a virtual space that is a three-dimensional space, various objects exist at different positions. Here, as a front image reflected in front of the user when the user looks at the virtual space, a front image in which an object located within the field of view is clearly visible and other objects are blurred. The display makes the virtual space more realistic. According to the above configuration, when such a front image in the virtual space is displayed, the range of the field according to the eyelid opening, that is, the range in which the object can be clearly seen in the front-rear direction (depth of field) and its By changing the center position (focal position), the display mode of the display information can be changed.

本発明によれば、瞼開度に応じた適切な表示を行うことが可能になる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to perform an appropriate display according to an eyelid opening degree.

実施形態に係る装置の概略構成を示す図である。It is a figure showing the schematic structure of the device concerning an embodiment. 装置のハードウェア構成を示す図である。FIG. 2 is a diagram illustrating a hardware configuration of the device. 表示態様の変更の例を示す図である。It is a figure showing an example of change of a display mode. 表示態様の変更の例を示す図である。It is a figure showing an example of change of a display mode. 表示態様の変更の例を示す図である。It is a figure showing an example of change of a display mode. 表示態様の変更の例を示す図である。It is a figure showing an example of change of a display mode. 表示態様の変更の例を示す図である。It is a figure showing an example of change of a display mode. 装置において実行される処置の一例を示すフローチャートである。9 is a flowchart illustrating an example of a process performed in the device. 装置において実行される処置の一例を示すフローチャートである。9 is a flowchart illustrating an example of a process performed in the device. 装置において実行される処置の一例を示すフローチャートである。9 is a flowchart illustrating an example of a process performed in the device. 変形例に係る装置の概略構成を示す図である。It is a figure showing the schematic structure of the device concerning a modification.

以下、本発明の実施形態について、図面を参照しながら説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the description of the drawings, the same elements will be denoted by the same reference symbols, without redundant description.

図１は、実施形態に係る情報表示装置（以下、単に「装置」という場合もある）の概略構成を示す図である。装置１０は、テレビ、モニタ、ＰＣ、スマートフォンおよびウェアラブル機器（スマートグラスおよびＶＲ（Virtual Reality）ゴーグルなど）のようなさまざまな電子機器として実現され得る。装置１０は、そのようなさまざまな電子機器で扱われる表示情報をユーザに提供する。装置１０は、後述の原理により、表示情報の表示態様を、ユーザが手および指などを用いて機器を操作することなく切り替えることを可能とする。 FIG. 1 is a diagram illustrating a schematic configuration of an information display device (hereinafter, may be simply referred to as “device”) according to the embodiment. The device 10 can be realized as various electronic devices such as a television, a monitor, a PC, a smartphone, and wearable devices (such as smart glasses and VR (Virtual Reality) goggles). The device 10 provides the user with display information handled by such various electronic devices. The device 10 enables the user to switch the display mode of the display information without operating the device using a hand, a finger, or the like according to a principle described later.

表示情報の例について説明する。表示情報は、たとえば複数の画像を重ね合わせた重畳画像であってよい。重畳画像の例としては、翻訳に関する画像がある。翻訳に関する画像は、原文および翻訳文を重ね合わせて構成される重畳画像であり、たとえば、ＷＥＢ画面に表示されている文を原文とし、当該原文およびその翻訳文を重ね合わせて構成される。翻訳に関する画像以外にも、重畳画像として、たとえば、建物のフロアガイドの画像であって対象フロアの異なる複数の画像（１階〜３階等のそれぞれのフロアガイドの画像）を重ね合わせて構成される重畳画像、レストランのメニューの画像であって説明文が異なる複数の画像を重ね合わせて構成される重畳画像などがある。レストランのメニュー画像における異なる説明文の例としては、「ラーメン 390円あっさりした美味しいラーメンです」、「熱量:579Kcal たんぱく質:22g 脂質:17.0g 炭水化物:82.6g 食塩：7.4g」、「アレルギー卵乳小麦」」などが考えられる。さらにその他にも、マンガの画像であって絵柄、吹き出し文字の異なる複数の画像を重ね合わせて構成される重畳画像などがある。異なる吹き出し文字の例は、人物が述べているセリフ、それについての追加の情報（たとえばその人物の心情）である。重畳画像のさらに別の例としては、拡張現実（ＡＲ）空間に関する画像がある。ＡＲ空間に関する画像は、装置１０の周辺画像および関連画像を重ね合わせて構成される重畳画像である。関連画像は周辺画像に関連する画像であり、関連画像の例としては、周辺画像中の文（原文）を翻訳文に置き代えた画像がある。また、表示情報は、仮想空間に関する画像であってよい。仮想空間に関する画像としては、ユーザが仮想空間を見たときにユーザの前方に映る画像（前方画像）がある。 An example of the display information will be described. The display information may be, for example, a superimposed image obtained by superimposing a plurality of images. An example of the superimposed image is an image related to translation. The image related to translation is a superimposed image formed by superimposing an original sentence and a translated sentence. For example, a sentence displayed on the WEB screen is used as an original sentence, and the original sentence and its translated sentence are overlapped. In addition to the image related to translation, as a superimposed image, for example, a plurality of images (images of floor guides such as the first to third floors) which are images of a building floor guide and have different target floors are superimposed. There are a superimposed image formed by superimposing a plurality of images, which are images of a restaurant menu and have different descriptions, on the menu. Examples of different descriptions in the menu image of the restaurant are "Ramen 390 yen It is a simple and delicious ramen", "Thermal amount: 579 Kcal Protein: 22 g Fat: 17.0 g Carbohydrate: 82.6 g Salt: 7.4 g", "Allergic egg milk wheat" "" And so on. Still another example is a superimposed image formed by superimposing a plurality of images that are cartoon images and have different patterns and balloon characters. Examples of different callouts are the line that the person is saying, and additional information about it (eg, the person's sentiment). Yet another example of a superimposed image is an image related to augmented reality (AR) space. The image related to the AR space is a superimposed image formed by superimposing the peripheral image of the device 10 and the related image. The related image is an image related to the peripheral image, and an example of the related image is an image in which a sentence (original sentence) in the peripheral image is replaced with a translated sentence. Further, the display information may be an image related to the virtual space. As an image relating to the virtual space, there is an image (front image) reflected in front of the user when the user views the virtual space.

ここで、装置１０のハードウェア構成の例を図２を参照して説明する。図２に示されるように、装置１０は、物理的には、１または複数のＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（Random Access Memory）１０２およびＲＯＭ（Read Only Memory)１０３、データ送受信デバイスである通信モジュール１０４、半導体メモリなどの補助記憶装置１０５、ユーザ操作の入力を受け付ける入力装置１０６、ディスプレイといった出力装置１０７などを備えるコンピュータとして構成され得る。後述の装置１０の各機能は、たとえば、ＣＰＵ１０１、ＲＡＭ１０２などのハードウェア上に１または複数の所定のコンピュータソフトウェア（プログラム）を読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７などを動作させるとともに、ＲＡＭ１０２および補助記憶装置１０５におけるデータの読み出しおよび書き込みを行うことで実現することができる。 Here, an example of the hardware configuration of the device 10 will be described with reference to FIG. As shown in FIG. 2, the device 10 physically includes one or more CPUs (Central Processing Units) 101, a main storage device such as a RAM (Random Access Memory) 102 and a ROM (Read Only Memory) 103, The computer may be configured as a computer including a communication module 104 as a data transmitting / receiving device, an auxiliary storage device 105 such as a semiconductor memory, an input device 106 for receiving an input of a user operation, an output device 107 such as a display, and the like. The functions of the device 10 described below include, for example, the communication module 104 and the input device under the control of the CPU 101 by reading one or a plurality of predetermined computer software (programs) on hardware such as the CPU 101 and the RAM 102. It can be realized by operating the output device 106 and the output device 107 and reading and writing data in the RAM 102 and the auxiliary storage device 105.

再び図１に戻り、装置１０は、入力部１１と、作成部１２と、検出部１３と、記憶部１４と、出力部１５とを含む。また、装置１０は上述の種々の画像を表示するための画面を備えている。画面への表示情報の表示は、後述の出力部１５によって行われる。 Returning to FIG. 1 again, the device 10 includes an input unit 11, a creation unit 12, a detection unit 13, a storage unit 14, and an output unit 15. In addition, the device 10 includes a screen for displaying the various images described above. The display information is displayed on the screen by the output unit 15 described later.

入力部１１は、上述のさまざまな表示情報の基礎となるデータを入力する部分である。表示情報が翻訳に関する画像である場合には、入力部１１は、原文を含む原文情報を入力する。原文情報はたとえば上述のＷＥＢ画面であり、その場合、原文情報は、ＨＴＭＬ等の形式で取得されてもよいし、画像データとして取得されてもよい。表示情報がＡＲ空間に関する画像である場合には、入力部１１は、装置１０の周辺画像を入力する。周辺画像は、たとえばカメラなどの撮像装置を用いて取得することができる。また、表示情報が仮想空間に関する画像である場合には、入力部１１は、仮想空間の情報を入力する。仮想空間の情報とは、たとえば、仮想空間中に存在するさまざまな対象物の位置（座標）、形状、種類などの情報である。なお、表示情報の基礎となるデータは、装置１０内の記憶部（たとえば後述の記憶部１４）に予め収容されていてもよく、その場合には、記憶部からそのデータを直接取得することもできるし、そのデータを取得するためのＡＰＩ（Application Programming Interface）等を用いて取得することもできる。 The input unit 11 is a unit for inputting data serving as a basis for the various display information described above. If the display information is an image related to translation, the input unit 11 inputs original text information including the original text. The original text information is, for example, the above-described WEB screen. In this case, the original text information may be obtained in a format such as HTML, or may be obtained as image data. When the display information is an image related to the AR space, the input unit 11 inputs a peripheral image of the device 10. The peripheral image can be acquired using an imaging device such as a camera, for example. When the display information is an image related to the virtual space, the input unit 11 inputs information on the virtual space. The information on the virtual space is, for example, information on the positions (coordinates), shapes, types, etc. of various objects existing in the virtual space. Note that the data serving as the basis of the display information may be stored in advance in a storage unit (for example, a storage unit 14 described later) in the device 10, and in that case, the data may be directly obtained from the storage unit. Alternatively, the data can be obtained using an API (Application Programming Interface) for obtaining the data.

作成部１２は、入力部１１によって入力されたデータに基づいて、表示情報を作成する部分である。具体的に、以下、表示情報が翻訳に関する画像、ＡＲ空間に関する画像および仮想空間に関する画像のそれぞれの場合について説明する。 The creating unit 12 is a unit that creates display information based on data input by the input unit 11. Specifically, a case where the display information is an image related to translation, an image related to AR space, and an image related to virtual space will be described below.

［翻訳に関する画像の作成］
表示情報が翻訳に関する画像の場合、作成部１２は、原文および翻訳文を重ね合わせた重畳画像を表示情報として作成する。具体的に、まず、作成部１２は、入力部１１によって入力された原文情報に含まれる文を、原文として取得する。原文情報が画像データの場合には、作成部１２は、たとえば、ＯＣＲ（Optical Character Recognition）機能を用いることによって、画像データに含まれる文字を認識し、認識した文字で構成される文を原文として取得する。なお、画像情報がＨＴＭＬ等の形式で表される場合には、ＨＴＭＬで記述される文を原文として取得してもよい。 [Creating images for translation]
When the display information is an image related to translation, the creating unit 12 creates a superimposed image in which the original sentence and the translated sentence are overlapped as the display information. Specifically, first, the creating unit 12 acquires a sentence included in the original sentence information input by the input unit 11 as an original sentence. When the original text information is image data, the creation unit 12 recognizes a character included in the image data by using, for example, an OCR (Optical Character Recognition) function, and uses a sentence composed of the recognized character as an original text. get. When the image information is represented in a format such as HTML, a sentence described in HTML may be acquired as an original sentence.

また、作成部１２は、取得した原文の翻訳文を取得する。翻訳には、種々の公知の機械翻訳技術が用いられてよい。機械翻訳にはさまざまな翻訳エンジンが用いられてよい。それらの翻訳エンジンは、作成部１２が利用可能であれば、装置１０内に設けられていてもよいし、装置１０の外部（たとえば外部サーバ）に設けられていてもよい。翻訳文の翻訳言語は、予め定められた言語であってもよいし、ユーザ操作によって指定されてもよい。ユーザ操作によって指定される場合には、たとえば入力部１１がそのユーザ操作の入力を受け付ける。翻訳言語は異なる複数の翻訳言語であってもよく、その場合、作成部１２は、原文について、異なる翻訳言語を用いた複数の翻訳文をそれぞれ取得する。 Further, the creating unit 12 acquires a translated sentence of the acquired original sentence. Various known machine translation techniques may be used for translation. Various translation engines may be used for machine translation. These translation engines may be provided in the device 10 or may be provided outside the device 10 (for example, an external server) as long as the creation unit 12 is available. The translation language of the translation may be a predetermined language or may be specified by a user operation. When specified by a user operation, for example, the input unit 11 receives an input of the user operation. The translation language may be a plurality of different translation languages, and in that case, the creating unit 12 acquires a plurality of translation sentences using different translation languages for the original text.

そして、作成部１２は、取得した原文および翻訳文を重ね合わせた重畳画像を作成する。重畳画像においては、原文の位置に翻訳文が位置するように原文および翻訳文が重ね合されることによって、原文のレイアウトが維持される。ここで、単に原文および翻訳文を重ね合わせただけでは、ユーザが画面を見た時に、原文および翻訳文の一方しか視認することができない。たとえば、ユーザから見たときに原文が翻訳文よりも手前に位置（つまり翻訳文が原文の背後に位置）するように重ね合わせると、ユーザは原文は視認できるが翻訳文は視認できない。 Then, the creating unit 12 creates a superimposed image in which the acquired original sentence and the translated sentence are overlapped. In the superimposed image, the original sentence and the translated sentence are superimposed such that the translated sentence is located at the position of the original sentence, thereby maintaining the original sentence layout. Here, by simply superimposing the original sentence and the translated sentence, when the user looks at the screen, only one of the original sentence and the translated sentence can be visually recognized. For example, if the original sentence is superimposed such that the original sentence is positioned before the translated sentence when viewed from the user (that is, the translated sentence is located behind the original sentence), the user can view the original sentence but cannot see the translated sentence.

そこで、作成部１２は、原文および翻訳文を用いて、重ね合わせの態様の異なる複数の重畳画像を、表示態様の異なる複数の表示情報として作成する。具体的に、作成部１２は、原文および翻訳文のうちの少なくとも一方に透過率を付与し、そのような透過率を有する原文および／または翻訳文を用いた重畳画像を少なくとも一つ作成する。ここでの透過率は、ユーザが後述の出力部１５によって表示されたその重畳画像を見たときに原文および翻訳文の一方を通して他方を視認できるような透過率である。たとえば、透過率を付与する原文および／または翻訳文を、枠等を用いて区切りボックス化したうえでボックスの背景色を定め、その文および背景色の両方に上述の透過率を付与してもよい。ボックスのサイズは、ボックス化されていない文をその内側に含むサイズとすることで、原文のレイアウトを保持することができる。上述のように原文が翻訳文よりも手前に位置するように両者が重ね合されている場合には、原文が上述の透過率を有するようにするとよい。その場合、原文の透過率が小さいほど原文は視認しやすくなるが、翻訳文は視認しにくくなる。逆に、原文の透過率が大きいほど翻訳文は視認しやすくなるが、原文は視認しにくくなる。原文の透過率を最小（ゼロ）に設定して、原文のみが視認できるようにすることもできる。 Therefore, using the original sentence and the translated sentence, the creating unit 12 creates a plurality of superimposed images having different superimposition modes as a plurality of display information having different display modes. Specifically, the creating unit 12 assigns a transmittance to at least one of the original sentence and the translated sentence, and creates at least one superimposed image using the original sentence and / or the translated sentence having such transmittance. Here, the transmittance is such that the user can visually recognize the other through one of the original sentence and the translated sentence when viewing the superimposed image displayed by the output unit 15 described later. For example, even if the original text and / or the translated text to which the transmittance is given are separated into boxes using a frame or the like, the background color of the box is determined, and the above-described transmittance is given to both the sentence and the background color. Good. By setting the size of the box to a size that includes an unboxed sentence inside the box, the layout of the original sentence can be maintained. As described above, when both are superimposed such that the original sentence is located before the translated sentence, it is preferable that the original sentence has the above-described transmittance. In this case, the lower the transmittance of the original sentence, the easier it is to see the original sentence, but the more difficult it is to see the translated sentence. Conversely, the higher the transmittance of the original sentence, the easier it is to see the translated sentence, but the more difficult it is to see the original sentence. It is also possible to set the transmittance of the original text to a minimum (zero) so that only the original text can be visually recognized.

先に説明したように作成部１２が複数の翻訳言語のそれぞれについて原文の翻訳文を取得してもよい。その場合、作成部１２は、原文および２つ以上の翻訳文（つまり３つ以上の文）の少なくとも一つに透過率を付与し、それらの文を用いて、重ね合わせの態様の異なる複数の重畳画像を、表示態様の異なる複数の表示情報として作成する。 As described above, the creating unit 12 may obtain the original translation of each of the plurality of translation languages. In that case, the creating unit 12 assigns a transmittance to at least one of the original sentence and two or more translated sentences (that is, three or more sentences), and uses those sentences to generate a plurality of sentences having different overlapping modes. A superimposed image is created as a plurality of pieces of display information having different display modes.

［ＡＲ空間に関する画像の作成］
表示情報がＡＲ空間に関する画像である場合、作成部１２は、周辺画像および関連画像を重ね合わせた重畳画像を表示情報として作成する。具体的に、まず、作成部１２は、入力部１１によって入力された周辺画像から、関連画像を作成する。たとえば関連画像が周辺画像中の文（原文）を翻訳文に置き代えた画像である場合、作成部１２は、周辺画像に含まれる案内表示および広告などに示される文を原文とした翻訳文を作成する。翻訳文の作成手法については上述のとおりである。そして、作成部１２は、周辺画像および関連画像を重ね合わせた重畳画像を作成する。周辺画像および／または関連画像は、上述のような透過率を有する画像である。作成部１２は、異なる透過率を有する周辺画像および／または関連画像を用いて、重ね合わせの態様の異なる複数の重畳画像を、表示態様の異なる複数の表示情報として作成する。なお、翻訳文は、複数の翻訳言語のそれぞれについての複数の翻訳文であってもよく、その場合には、それぞれの翻訳文を用いた関連画像（つまり複数の関連画像）が作成されてもよい。 [Creation of image related to AR space]
When the display information is an image related to the AR space, the creating unit 12 creates a superimposed image obtained by superimposing the peripheral image and the related image as the display information. Specifically, first, the creating unit 12 creates a related image from the peripheral image input by the input unit 11. For example, when the related image is an image in which a sentence (original sentence) in the peripheral image is replaced with a translated sentence, the creating unit 12 converts the translated sentence having the original sentence shown in the guidance display and advertisement included in the peripheral image into the original image. create. The method of creating the translation is as described above. Then, the creating unit 12 creates a superimposed image in which the peripheral image and the related image are superimposed. The peripheral image and / or the related image are images having the transmittance as described above. The creating unit 12 creates a plurality of superimposed images having different superimposition modes as a plurality of display information having different display modes using peripheral images and / or related images having different transmittances. The translated sentence may be a plurality of translated sentences for each of the plurality of translated languages, and in that case, a related image (that is, a plurality of related images) using each translated sentence may be created. Good.

［仮想空間に関する画像の作成］
表示情報が仮想空間に関する画像である場合、作成部１２は、仮想空間の前方画像を表示情報として作成する。具体的に、作成部１２は、入力部１１によって入力された仮想空間の情報を用いて、ユーザが仮想空間を見たときにユーザの前方に映る画像を前方画像として作成する。ここで、作成部１２は、前方画像が被写界範囲を有するように、前方画像を作成する。被写界範囲は、仮想空間において対象物がはっきりと見える領域を示している。被写界範囲は、たとえば、ユーザから見た前後方向におけるその領域の長さ（被写界深度）、および、その領域の中心点（焦点）の位置を用いて定められる。前方画像が被写界範囲を有することによって、被写界範囲内に位置する対象物がはっきりと見え、それ以外の対象物はぼやけて見えるような前方画像が表示されるので、仮想空間がよりリアルなものとなる。作成部１２は、異なる被写界範囲について複数の前方画像を作成することによって、被写界範囲の異なる複数の前方画像を、表示態様の異なる複数の表示情報として作成する。 [Creation of image about virtual space]
When the display information is an image related to the virtual space, the creating unit 12 creates an image in front of the virtual space as the display information. Specifically, using the information on the virtual space input by the input unit 11, the creating unit 12 creates an image that appears in front of the user when the user views the virtual space as a front image. Here, the creating unit 12 creates the front image so that the front image has the field range. The field range indicates an area in the virtual space where the target object can be clearly seen. The field range is determined using, for example, the length (depth of field) of the region in the front-back direction as viewed from the user, and the position of the center point (focal point) of the region. Since the front image has the field range, the object located within the field range is clearly visible, and the other objects are displayed as a blurred front image. It will be real. The creating unit 12 creates a plurality of front images with different subject ranges as a plurality of display information with different display modes by creating a plurality of front images for different subject ranges.

検出部１３は、画面に表示されている表示情報を見ているユーザの瞼開度を検出する部分（検出手段）である。瞼開度の検出手法はとくに限定されず、種々の公知の手法が用いられてよい。たとえば、上述のカメラなどの撮像装置によって撮像されたユーザの顔を含む画像から、瞼開度を検出してよい。他の検出手法として、ヒトの眼球に関する情報（たとえば眼電位等）を測定可能なセンサーを用いてその測定結果から瞼開度を検出する手法なども考えられる。 The detection unit 13 is a part (detection unit) that detects the eyelid opening degree of the user who is viewing the display information displayed on the screen. The method for detecting the eyelid opening is not particularly limited, and various known methods may be used. For example, the eyelid opening may be detected from an image including the user's face captured by an imaging device such as the camera described above. As another detection method, a method of detecting the degree of eyelid opening from a measurement result using a sensor that can measure information on the human eyeball (for example, electrooculogram) can be considered.

記憶部１４は、装置１０において実行される処理に必要な種々の情報を記憶する部分である。たとえば、記憶部１４は、上述の作成部１２によって作成された表示情報を記憶してよい。また、出力部１５は、後述する瞼開度と透過率とを対応づけたデータテーブルを記憶してよい。 The storage unit 14 is a unit that stores various types of information necessary for processing executed in the device 10. For example, the storage unit 14 may store the display information created by the creation unit 12 described above. In addition, the output unit 15 may store a data table that associates eyelid opening degrees and transmittance, which will be described later.

出力部１５は、作成部１２によって作成された表示情報を表示する部分（表示手段）である。ここで、本実施形態では、出力部１５は、検出部１３によって検出された瞼開度に応じて、表示情報の表示態様を変更する。表示態様の変更としては、表示情報の種類（翻訳に関する画像、ＡＲ空間に関する画像および仮想空間に関する画像）に関わらず行うことができる共通の変更（後述の第１の表示態様の変更）と、表示情報の種類に応じて行われる変更（後述の第２〜第４の表示態様の変更）とがある。第１の表示態様の変更、および、第２〜第４の表示態様の変更のいずれかを、組み合わせて行うこともできる。その場合、第１の表示態様と、第２〜第４の表示態様の変更のいずれかとが、同時に実行される。 The output unit 15 is a unit (display means) for displaying the display information created by the creating unit 12. Here, in the present embodiment, the output unit 15 changes the display mode of the display information according to the eyelid opening detected by the detection unit 13. The change of the display mode includes a common change (change of a first display mode described later) that can be performed regardless of the type of display information (an image related to translation, an image related to the AR space, and an image related to the virtual space). There is a change (change of the second to fourth display modes described later) performed according to the type of information. Any one of the change of the first display mode and the change of the second to fourth display modes can be performed in combination. In this case, the first display mode and any of the second to fourth display modes are simultaneously executed.

［第１の表示態様の変更］
表示情報の種類に関わらず行うことができる共通の変更について説明する。この場合、出力部１５は、検出部１３によって検出された瞼開度に応じて、表示情報の輝度およびコントラスト比の少なくとも一方を変更することによって、表示情報の表示態様を変更する。たとえば、瞼開度と、輝度およびコントラスト比とを対応づけたデータテーブルが記憶部１４に記憶されており、当該データテーブルを参照することによって、出力部１５は、瞼開度に応じた輝度および／またはコントラスト比（以下、単に「輝度等」と言う場合もある）を選択する。そして、出力部１５は、表示情報が表示される画面の輝度等を、選択した輝度等と同じか最も近い輝度等に設定する。輝度およびコントラスト比の設定は、たとえば画面を構成するディスプレイの光量を少なくとも部分的に変更することによって行うことができる。瞼開度と輝度およびコントラスト比との対応づけにおいては、瞼開度が小さくなるにつれて輝度等が大きくなるように定められてよい。瞼開度の変化に対して輝度等がリニアに変化するように定められていてもよい。 [Change of first display mode]
A common change that can be performed regardless of the type of display information will be described. In this case, the output unit 15 changes the display mode of the display information by changing at least one of the luminance and the contrast ratio of the display information according to the eyelid opening detected by the detection unit 13. For example, a data table in which the eyelid opening degree is associated with the luminance and the contrast ratio is stored in the storage unit 14, and by referring to the data table, the output unit 15 allows the output unit 15 to display the luminance and the brightness corresponding to the eyelid opening degree. And / or select a contrast ratio (hereinafter sometimes simply referred to as “brightness etc.”). Then, the output unit 15 sets the brightness or the like of the screen on which the display information is displayed to the same or the closest brightness or the like to the selected brightness or the like. The setting of the brightness and the contrast ratio can be performed, for example, by at least partially changing the amount of light of the display constituting the screen. In associating the eyelid opening with the brightness and the contrast ratio, the brightness and the like may be determined so as to increase as the eyelid opening decreases. The luminance and the like may be set so as to linearly change with respect to the change in the eyelid opening.

上述の表示情報の表示態様の変更の例について、図３を参照して説明する。ここでは、装置１０のユーザがユーザＵとして、表示情報が表示される装置１０の画面が画面Ｄとして図示される。装置１０はＶＲゴーグルであり、表示情報は仮想空間の前方画像である。この例では、ユーザＵが眼を細める（瞼開度が小さくなる）につれて、画面Ｄに表示されている表示情報の輝度が大きくなる。具体的に、図３の（ａ）に示されるようにユーザＵが眼を見開いている（瞼開度が大きい）ときよりも、図３の（ｂ）に示されるようにユーザＵが眼を細めている（瞼開度が小さい）ときの方が、画面Ｄに表示されている表示情報の輝度が大きい。なお、輝度とともにコントラスト比が大きくなってもよいし、輝度に代えてコントラスト比が大きくなってもよい。このように瞼開度に応じて表示情報の輝度および／またはコントラスト比を変える（自動調整する）ことによって、瞼開度が小さくなるほどユーザの眼に入射する光量が減少して表示情報が暗く見えてしまうことを防ぐことができる。 An example of changing the display mode of the display information described above will be described with reference to FIG. Here, a user of the device 10 is illustrated as a user U, and a screen of the device 10 on which display information is displayed is illustrated as a screen D. The device 10 is a VR goggle, and the display information is a front image of the virtual space. In this example, the brightness of the display information displayed on the screen D increases as the user U narrows his eyes (the eyelid opening decreases). More specifically, as shown in FIG. 3B, the user U sets his / her eyes closer to the user U as shown in FIG. 3B than when the user U opens his / her eyes (eyelid opening is large). The brightness of the display information displayed on the screen D is larger when the image is narrowed (the eyelid opening is small). Note that the contrast ratio may increase along with the luminance, or the contrast ratio may increase instead of the luminance. By changing (automatically adjusting) the brightness and / or the contrast ratio of the display information according to the eyelid opening in this way, the smaller the eyelid opening, the smaller the amount of light incident on the user's eye and the display information appears dark. Can be prevented.

［第２の表示態様の変更］
表示情報が翻訳に関する画像である場合の表示態様の変更について説明する。先に説明したように、翻訳に関する画像は、原文および翻訳文を重ね合わせた重畳画像である。出力部１５は、検出部１３によって検出された瞼開度に応じて、重畳画像における一部の画像の透過率を変更することによって、重畳画像の重ね合わせの態様を変更する。具体的に、出力部１５は、瞼開度に応じて、作成部１２によって作成された異なる透過率を有する原文および／または翻訳文を用いた複数の重畳画像のうちのいずれかの重畳画像を表示する。たとえば、瞼開度と透過率とを対応づけたデータテーブルが記憶部１４に記憶されており、当該データテーブルを参照することによって、出力部１５は、瞼開度に応じた透過率を選択する。そして、出力部１５は、作成部１２によって作成された複数の重畳画像のうちの、選択した透過率と同じか最も近い透過率を有する原文および／または翻訳文を用いた重畳画像を表示する。瞼開度と透過率との対応付けにおいては、たとえば、瞼開度が小さくなるにつれて透過率が大きくなるように定められていてもよいし、瞼開度が小さくなるにつれて透過率が小さくなるように定められていてもよい。瞼開度の変化に対して透過率がリニアに変化するように定められていてもよい。 [Change of second display mode]
The change of the display mode when the display information is an image related to translation will be described. As described above, the image related to translation is a superimposed image obtained by superimposing the original sentence and the translated sentence. The output unit 15 changes the mode of superimposition of the superimposed images by changing the transmittance of some of the images in the superimposed image according to the eyelid opening detected by the detection unit 13. Specifically, the output unit 15 outputs any one of a plurality of superimposed images using the original sentence and / or the translated sentence having different transmittances created by the creating unit 12 according to the eyelid opening degree. indicate. For example, a data table in which the eyelid opening and the transmittance are associated with each other is stored in the storage unit 14, and by referring to the data table, the output unit 15 selects the transmittance according to the eyelid opening. . Then, the output unit 15 displays a superimposed image using an original sentence and / or a translated sentence having a transmittance equal to or closest to the selected transmittance among the plurality of superimposed images created by the creating unit 12. In associating the eyelid opening with the transmittance, for example, the transmittance may be set to increase as the eyelid opening decreases, or the transmittance may decrease as the eyelid opening decreases. May be determined. It may be set so that the transmittance changes linearly with a change in the eyelid opening.

上述の表示態様の変更の例について、図４を参照して説明する。ここでは、装置１０はスマートフォンであり、表示情報は、原文および翻訳文を重ね合わせた重畳画像である。原文は日本語（以下、「日本語文」という場合もある）であり、翻訳文は、英語での翻訳文（以下、「英語文」と言う場合もある）であるものとする。この例では日本語文は「先週末はお越しいただいて本当に楽しかったです。また近いうちにお訪ねください。」であり、英語文は「We truly enjoyed your company last weekend, and hope you can visit again soon」である。日本語文および英語文は、日本語文が手前に位置するように重ね合されており、日本語文の透過率が変化するようになっている。他の文（ここでは英語文）よりも手前に位置する文（ここでは日本語文）には透過率が同様に変化するボックスも与えられているものとする。この例では、ユーザＵが眼を細める（瞼開度が小さくなる）につれて、日本語文の透過率が大きくなる。具体的に、図４の（ａ）に示されるように、ユーザＵが眼を見開いており瞼開度が大きいときには、日本語文の透過率が小さいので、英語文の手前に位置している日本語文がはっきりと視認できる一方で、日本語文の背後に位置している英語文がほとんど視認できない。 An example of the above-described change of the display mode will be described with reference to FIG. Here, the device 10 is a smartphone, and the display information is a superimposed image obtained by superimposing the original sentence and the translated sentence. It is assumed that the original sentence is Japanese (hereinafter sometimes referred to as “Japanese sentence”), and the translated sentence is an English translation (hereinafter sometimes referred to as “English sentence”). In this example, the Japanese sentence is "I really enjoyed coming over last weekend. Please come back soon." The English sentence is "We truly enjoyed your company last weekend, and hope you can visit again soon." It is. The Japanese sentence and the English sentence are superimposed such that the Japanese sentence is located in the foreground, and the transmittance of the Japanese sentence changes. It is assumed that a sentence (here, a Japanese sentence) located in front of another sentence (here, an English sentence) is also provided with a box whose transmittance similarly changes. In this example, the transmittance of the Japanese sentence increases as the user U narrows his eyes (the eyelid opening decreases). Specifically, as shown in FIG. 4A, when the user U has wide open eyes and the eyelid opening is large, the transmittance of Japanese sentences is small, and thus the Japanese sentence located in front of the English sentences is displayed. Word sentences are clearly visible, but English sentences behind Japanese sentences are hardly visible.

これに対し、図４の（ｂ）に示されるように、ユーザＵが眼を細めて瞼開度が小さくなるにつれて、日本語文の透過率が大きくなるので、英語文の手前に位置している日本語文だけでなく、日本語文の背後に位置している英語文も視認できるようになる。なお、日本語文の透過率がさらに大きくなれば、日本語文はほとんど視認できなくなるが、英語文ははっきりと視認できるようになる。このように瞼開度に応じて透過率を変えることで、原文を見えやすくしたり翻訳文を見えやすくしたりすることができる。なお、先に説明したように、原文および２つ以上の翻訳文を用いて重ね合わせの態様の異なる複数の重畳画像が作成されてもよい。たとえば、原文および２つの翻訳言語の翻訳文の３つの文が、原文が最も手前に位置し、第１の翻訳文が第２の翻訳文よりも手前に位置するように重ね合された重畳画像があるとする。この場合には、原文の透過率を大きくすると、第１の翻訳文がはっきり見えるようになり、そこからさらに第１の翻訳文の透過率を大きくすると、第２の翻訳文がはっきりと見えるようになる。そこで、瞼開度に応じて原文、第１の翻訳文、第２の翻訳文の透過率を順に変えて行くことによって、瞼開度が小さくあるいは大きくなるにつれて原文を通して第１の翻訳文が見えるようになり、さらに瞼開度が小さくあるいは大きくなるにつれて第１の翻訳文を通して第２の翻訳文が見えるようになるようにすることもできる。また、重畳画像が翻訳に関する画像以外、たとえば先に説明したような建物のフロアガイドの画像、レストランのメニューの画像、漫画の画像などを用いた重畳画像である場合も、同様の原理により、重畳画像の重ね合わせの態様を変更することができる。 On the other hand, as shown in FIG. 4B, as the user U narrows his eyes and the eyelid opening decreases, the transmittance of the Japanese sentence increases. Therefore, the user U is positioned before the English sentence. Not only Japanese sentences but also English sentences behind the Japanese sentences can be visually recognized. If the transmittance of the Japanese sentence is further increased, the Japanese sentence becomes almost invisible, but the English sentence becomes clearly visible. By changing the transmittance according to the eyelid opening in this way, the original sentence and the translated sentence can be made easier to see. As described above, a plurality of superimposed images having different superimposition modes may be created using the original sentence and two or more translated sentences. For example, a superimposed image in which three sentences of the original sentence and the translated sentences of the two translation languages are superimposed such that the original sentence is located at the front and the first translated sentence is located at the front of the second translated sentence There is In this case, when the transmittance of the original sentence is increased, the first translated sentence becomes clearly visible, and when the transmittance of the first translated sentence is further increased, the second translated sentence becomes clearly visible. become. Thus, by changing the transmittance of the original sentence, the first translation, and the second translation in order according to the eyelid opening, the first translation can be seen through the original as the eyelid opening decreases or increases. As the eyelid opening becomes smaller or larger, the second translation can be made visible through the first translation. In addition, when the superimposed image is a superimposed image using an image of a floor guide of a building, an image of a menu of a restaurant, an image of a manga, or the like, for example, as described above, other than an image related to translation, the superimposed image is also based on the same principle. The mode of superimposition of images can be changed.

［第３の表示態様の変更］
表示情報がＡＲ空間に関する画像である場合の表示態様の変更について説明する。ここでは、ＡＲ空間に関する画像は、案内表示を含む周辺画像、および、当該案内表示に示される文を翻訳文に置き代えた関連画像を重ね合わせた重畳画像であるとする。この場合、出力部１５は、検出部１３によって検出された瞼開度に応じて、作成部１２によって作成された異なる透過率を有する周辺画像および／または関連画像を用いた複数の重畳画像のうちのいずれかの重畳画像を表示する。瞼開度と透過率との対応付けについては、先に説明した翻訳に関する画像の例と同様であってよい。 [Change of Third Display Mode]
The change of the display mode when the display information is an image related to the AR space will be described. Here, it is assumed that the image relating to the AR space is a superimposed image obtained by superimposing a peripheral image including a guidance display and a related image obtained by replacing a sentence shown in the guidance display with a translated sentence. In this case, the output unit 15 outputs a plurality of superimposed images using peripheral images and / or related images having different transmittances created by the creation unit 12 according to the eyelid opening detected by the detection unit 13. Is displayed. The association between the eyelid opening and the transmittance may be similar to the example of the image related to translation described above.

上述の表示態様の変更の例について、図５を参照して説明する。ここでは、装置１０はＶＲゴーグルであり、表示情報は、周辺画像および関連画像を重ね合わせた重畳画像である。関連画像は、周辺画像に含まれる案内表示に示される英語文「WATCH YOUR STEP」を、その英語文を原文とする翻訳文である日本語文「足元に注意」に置き代えた画像である。日本語文および英語文は、日本語文が手前に位置するように重ね合わされており，日本語文の透過率が変化するようになっている。この例では、ユーザＵが眼を細める（瞼開度が小さくなる）につれて、日本語文の透過率が小さくなる。具体的に、図５の（ａ）に示されるようにユーザＵが眼を見開いている（瞼開度が大きい）ときには、日本語の透過率が大きいので、日本語文の背後に位置している英語文がはっきりと視認できる一方で、英語文の手前に位置している日本語文は視認できない。 An example of the above-described change of the display mode will be described with reference to FIG. Here, the device 10 is a VR goggle, and the display information is a superimposed image obtained by superimposing a peripheral image and a related image. The related image is an image in which the English sentence “WATCH YOUR STEP” shown in the guidance display included in the peripheral image is replaced with a Japanese sentence “Attention to feet” which is a translated sentence based on the English sentence. The Japanese sentence and the English sentence are superimposed such that the Japanese sentence is located in the foreground, and the transmittance of the Japanese sentence changes. In this example, as the user U narrows his eyes (the eyelid opening decreases), the transmittance of the Japanese sentence decreases. Specifically, as shown in FIG. 5A, when the user U opens his eyes (eyelid opening is large), since the transmittance of Japanese is large, the user U is located behind the Japanese sentence. The English sentence is clearly visible, while the Japanese sentence located in front of the English sentence is not visible.

これに対し，図５の（ｂ）に示されるように、ユーザＵが眼を細めている（瞼開度が小さい）ときには、日本語の透過率が小さいので、英語文の手前に位置している日本語がはっきりと視認できる一方で、日本語文の背後に位置している英語文は視認できない。なお、瞼開度によっては、日本語文および英語文の両方が視認できる透過率とすることもできる。このように瞼開度に応じて透過率を変えることで、ユーザが希望するタイミングで、周辺画像（現実の画像）と関連画像（ＡＲ空間中の画像）とを切り替えて表示することができる。なお、先に説明したように、複数の翻訳文のそれぞれについて複数の関連画像が作成されてもよく、その場合には、瞼開度に応じて各画像の透過率を順に変えて行くことによって、周辺画像および複数の関連画像を切り替えて表示することもできる。 On the other hand, as shown in FIG. 5B, when the user U is narrowing his eyes (eyelid opening is small), the transmittance of Japanese is small, so that the user U is positioned in front of the English sentence. The Japanese sentence is clearly visible, while the English sentence behind the Japanese sentence is not. Note that, depending on the eyelid opening, the transmittance may be such that both Japanese sentences and English sentences can be visually recognized. As described above, by changing the transmittance according to the eyelid opening, it is possible to switch and display the peripheral image (real image) and the related image (image in the AR space) at a timing desired by the user. As described above, a plurality of related images may be created for each of the plurality of translations. In this case, by changing the transmittance of each image in order according to the eyelid opening, The peripheral image and a plurality of related images can be switched and displayed.

［第４の表示態様の変更の例］
表示情報が仮想空間に関する画像である場合の表示態様の変更について説明する。ここでは、仮想空間に関する画像は、ユーザが仮想空間を見たときの前方画像であるとする。この場合、出力部１５は、瞼開度に応じて、前方画像における被写界範囲を変更することによって、表示情報の表示態様を変更する。具体的に、出力部１５は、瞼開度に応じて、作成部１２によって作成された異なる被写界範囲についての複数の前方画像のうちのいずれかの前方画像を表示する。たとえば、瞼開度と被写界範囲とを対応づけたデータテーブルが記憶部１４に記憶されており、当該データテーブルを参照することによって、出力部１５は、瞼開度に応じた被写界範囲を選択する。そして、出力部１５は、作成部１２によって作成された複数の前方画像のうちの、選択した被写界範囲と同じか最も近い被写界範囲を有する前方画像を表示する。瞼開度と被写界範囲との対応付けにおいては、たとえば、瞼開度が小さくなるにつれて被写界範囲が広くなる（被写界深度が大きくなる）ように定められていてもよい。瞼開度の変化に対して被写界深度がリニアに変化するように定められていてもよい。 [Example of Changing Fourth Display Mode]
The change of the display mode when the display information is an image related to the virtual space will be described. Here, it is assumed that the image related to the virtual space is a front image when the user views the virtual space. In this case, the output unit 15 changes the display mode of the display information by changing the field range in the front image according to the eyelid opening. Specifically, the output unit 15 displays any one of a plurality of front images in a different field range created by the creation unit 12 according to the eyelid opening degree. For example, a data table in which the eyelid opening degree and the object field range are associated with each other is stored in the storage unit 14, and by referring to the data table, the output unit 15 outputs the object field corresponding to the eyelid opening degree. Select a range. Then, the output unit 15 displays a front image having the same or closest to the selected field range among the plurality of front images generated by the generation unit 12. In associating the eyelid opening with the range of the field of view, for example, the field of view may be set wider (the depth of field becomes larger) as the degree of the eyelid opening decreases. The depth of field may be set to change linearly with a change in the eyelid opening.

上述の表示態様の変更の例について、図６および図７を参照して説明する。図６はユーザが仮想空間を見たときの前方画像であり、図７は、仮想空間を上方から見た状態を概念的に示す。ここでは、装置１０はＶＲゴーグルであり、表示情報は、２つの案内表示および２つの雲が対象物として存在する仮想空間の前方画像である。２つの案内表示は、左側の案内表示「←ＸＸＸ」が右側の案内表示「ＹＹＹ→」よりもユーザＵから見て遠くに位置するように、前後方向（図７の矢印ＡＲ１）の異なる位置に配置されている。２つの雲は、２つの案内表示よりもさらに遠くに位置している。この例では、ユーザが眼を細める（瞼開度が小さくなる）につれて、被写界深度が大きくなるか、あるいは焦点が遠くに移動するように、被写界範囲が変更される。 An example of the above-described change of the display mode will be described with reference to FIGS. FIG. 6 is a front image when the user views the virtual space, and FIG. 7 conceptually illustrates a state in which the virtual space is viewed from above. Here, the device 10 is a VR goggle, and the display information is a front image of a virtual space in which two guidance displays and two clouds exist as objects. The two guidance displays are located at different positions in the front-rear direction (arrow AR1 in FIG. 7) such that the left guidance display “← XXX” is located farther from the user U than the right guidance display “YYY →”. Are located. The two clouds are located farther than the two guidance signs. In this example, the field of view is changed such that the depth of field increases or the focal point moves farther as the user narrows the eye (the eyelid opening decreases).

具体的に、図６の（ａ）に示されるように、ユーザＵが眼を見開いており瞼開度が大きいときには、近くに位置する案内表示「ＹＹＹ→」がはっきりと見え、遠くに位置する案内表示「←ＸＸＸ」および２つの雲がぼやけて見える。これは、図７の（ａ）に示されるように、案内表示「ＹＹＹ→」が仮想空間において対象物がはっきりと見える領域に位置している一方で、案内表示「←ＸＸＸ」および２つの雲は対象物がぼやけて見える領域に位置しているためである。この例では、被写界深度はＰであり、焦点Ｆは矢印ＡＲ２の先端に位置している。矢印ＡＲ２の長さは、ユーザＵを基準とした焦点Ｆの位置を示す。前後方向（矢印ＡＲ１の方向）において、焦点Ｆから±（Ｐ／２）の範囲内の領域に位置する案内表示「ＹＹＹ→」がはっきりと見える。当該領域よりも前または後ろの領域に位置する案内表示「←ＸＸＸ」および２つの雲がぼやけて見える。 Specifically, as shown in FIG. 6A, when the user U has wide open eyes and the eyelid opening is large, the guidance display “YYY →” located nearby is clearly visible and located far away. The guidance display “← XXX” and the two clouds appear blurred. This is because, as shown in FIG. 7 (a), while the guidance display “YYY →” is located in the area where the target object can be clearly seen in the virtual space, the guidance display “← XXX” and the two clouds This is because the object is located in an area where the object looks blurry. In this example, the depth of field is P, and the focal point F is located at the tip of the arrow AR2. The length of the arrow AR2 indicates the position of the focal point F with respect to the user U. In the front-rear direction (the direction of arrow AR1), the guidance display “YYY →” located in an area within a range of ± (P / 2) from the focal point F is clearly visible. The guidance display “← XXX” and the two clouds located in the area before or after the area appear blurred.

これに対し、図６の（ｂ）に示されるように、ユーザＵが眼を細めて瞼開度が小さくなるにつれて、被写界深度が大きくなり、その結果、案内表示「ＹＹＹ→」だけでなく、案内表示「←ＸＸＸ」および２つの雲もはっきりと見えるようになる。これは、図７の（ｂ）に示されるように、被写界深度Ｐが大きくなるので、焦点Ｆから±（Ｐ／２）の範囲内の領域に、案内表示「ＹＹＹ→」だけでなく、案内表示「←ＸＸＸ」および２つの雲も位置するようになったためである。あるいは、図６の（ｃ）に示されるように、ユーザＵが眼を細めて瞼開度が小さくなるにつれて、焦点Ｆが遠くに移動し、案内表示「←ＸＸＸ」および２つの雲がはっきりと見え、案内表示「ＹＹＹ→」がぼやけて見えるようになってもよい。このように瞼開度に応じて被写界範囲（被写界深度、焦点の位置）を変えることで、仮想空間において被写界深度を再現し、よりリアルな仮想空間を提供することができるようになる。また、ユーザが被写界範囲を変えたいタイミングで表示態様を変更することができる。 On the other hand, as shown in FIG. 6B, as the user U narrows his eyes and the eyelid opening decreases, the depth of field increases, and as a result, only the guidance display “YYY →” In addition, the guidance display “← XXX” and the two clouds can be clearly seen. This is because, as shown in FIG. 7B, since the depth of field P increases, not only the guidance display “YYY →” but also the area within ± (P / 2) from the focus F This is because the guidance display “← XXX” and the two clouds are also located. Alternatively, as shown in FIG. 6 (c), as the user U narrows his eyes and the eyelid opening decreases, the focus F moves farther, and the guidance display “← XXX” and the two clouds clearly appear. The guidance display “YYY →” may be blurred. By changing the field range (depth of field, focus position) according to the eyelid opening in this way, the depth of field can be reproduced in the virtual space, and a more realistic virtual space can be provided. Become like Further, the display mode can be changed at a timing when the user wants to change the field range.

次に、以上説明した装置１０において実行される処理の例の例を、図８〜図１０を参照して説明する。 Next, an example of an example of processing executed in the device 10 described above will be described with reference to FIGS.

［第１の表示態様の変更の例］
図８は、第１の表示態様の変更（輝度・コントラスト比の変更）に際して装置１０において実行される処理の一例を示すフローチャートである。このフローチャートの処理は、たとえば、表示情報を表示するためのアプリケーションが装置１０において起動しているときに実行される。なお、とくに説明がない場合、その処理は、装置１０に含まれるいずれの要素によって実行されてもよい。 [Example of Changing First Display Mode]
FIG. 8 is a flowchart illustrating an example of processing executed in the device 10 when the first display mode is changed (the brightness / contrast ratio is changed). The process of this flowchart is executed, for example, when an application for displaying display information is running on device 10. Unless otherwise described, the processing may be executed by any element included in the device 10.

ステップＳ１１において、装置１０は、瞼開度の初期値を設定する。具体的に、検出部１３が、表示情報を見ているユーザの瞼開度を検出する。ここで検出された瞼開度は、瞼開度の初期値に設定される。瞼開度の検出結果は、眼の大きさ等の違いによりユーザごとにばらつく可能性があるが、このように瞼開度の初期値を設定することでユーザごとのバラつきを抑えることができる。 In step S11, the device 10 sets an initial value of the eyelid opening. Specifically, the detection unit 13 detects the eyelid opening of the user who is viewing the display information. The eyelid opening detected here is set to the initial value of the eyelid opening. Although the detection result of the eyelid opening may vary from user to user due to a difference in eye size or the like, setting the initial value of the eyelid opening in this manner can suppress variation from user to user.

ステップＳ１２において、装置１０は、瞼開度を検出する。この処理は、検出部１３によって実行される。このステップＳ１２の処理は、先のステップＳ１１において瞼開度を検出した後、またはこのステップＳ１２の処理が繰り返し実行される場合には前回このステップＳ１２において瞼開度を検出した後に実行されるので、その間にユーザが眼を開いたり細めたりする動作を行なうと、先に検出した瞼開度と異なる瞼開度が、このステップＳ１２において検出されることになる。 In step S12, the device 10 detects the eyelid opening degree. This processing is executed by the detection unit 13. Since the processing in step S12 is performed after the eyelid opening is detected in the previous step S11, or when the processing in step S12 is repeatedly executed, the processing is performed after the previous detection of the eyelid opening in step S12. If the user performs an operation of opening or narrowing the eyes during that time, an eyelid opening different from the previously detected eyelid opening is detected in step S12.

ステップＳ１３において、装置１０は、瞼開度に変化が有るか否かを判断する。具体的に、出力部１５が、初めてこのステップＳ１３の処理が実行されるときには、先のステップＳ１１において設定された瞼開度の初期値に対して、先のステップＳ１２において検出された瞼開度が大きくなっているか小さくなっている場合に、瞼開度に変化が有ると判断する。一方、後述のステップＳ１６の処理を経てステップＳ１２およびこのステップＳ１３の処理が実行されるときには、後述のステップＳ１６において更新された瞼開度の初期値に対して、先のステップＳ１２において検出された瞼開度が大きくなっているか小さくなっている場合に、瞼開度に変化が有ると判断する。瞼開度に変化が有る場合（ステップＳ１３：ＹＥＳ）、装置１０はステップＳ１４に処理を進める。そうでない場合（ステップＳ１３：ＮＯ）、装置１０はステップＳ１４をスキップしてステップＳ１５に処理を進める。 In step S13, the device 10 determines whether or not the eyelid opening has changed. Specifically, when the processing of step S13 is performed for the first time, the output unit 15 sets the initial value of the eyelid opening set in the previous step S11 to the eyelid opening detected in the previous step S12. If is larger or smaller, it is determined that there is a change in the eyelid opening. On the other hand, when the processing in step S12 and the processing in step S13 are performed after the processing in step S16 described below, the initial value of the eyelid opening updated in step S16 described below is detected in step S12. When the eyelid opening is large or small, it is determined that there is a change in the eyelid opening. If there is a change in the eyelid opening (step S13: YES), the apparatus 10 proceeds to step S14. Otherwise (step S13: NO), the device 10 skips step S14 and proceeds to step S15.

ステップＳ１４において、装置１０は、輝度および／またはコントラスト比を変更する。具体的に、出力部１５が、先のステップＳ１２において検出された瞼開度に応じて、先に説明したように、表示情報の輝度および瞼開度の少なくとも一方を変更することによって、表示情報の表示態様を変更する。 In step S14, the device 10 changes the brightness and / or the contrast ratio. Specifically, as described above, the output unit 15 changes at least one of the luminance of the display information and the eyelid opening degree in accordance with the eyelid opening degree detected in the previous step S12, thereby displaying the display information. Is changed.

ステップＳ１５において、装置１０は、終了操作が行われたか否かを判断する。たとえば、装置１０のユーザが上述のアプリケーションにおいて表示情報を表示するための機能を終了するための操作、あるいはアプリケーション自体を終了するための操作を行なった場合には、終了操作が行われたと判断される。終了操作が行われた場合（ステップＳ１５：ＹＥＳ）、装置１０はフローチャートの処理を終了する。そうでない場合（ステップＳ１５：ＮＯ）、装置１０はステップＳ１６に処理を進める。 In step S15, the device 10 determines whether an end operation has been performed. For example, when the user of the device 10 performs an operation for ending the function for displaying the display information in the application or an operation for ending the application itself, it is determined that the ending operation has been performed. You. If the end operation has been performed (step S15: YES), the apparatus 10 ends the processing of the flowchart. Otherwise (step S15: NO), the apparatus 10 proceeds to step S16.

ステップＳ１６において、装置１０は、瞼開度の初期値を更新する。具体的に、先のステップＳ１２において検出された瞼開度が、先のステップＳ１１において設定された瞼開度の初期値に代えて、新たな瞼開度の初期値として設定される。ステップＳ１６の処理が完了した後、装置１０は、ステップＳ１２に再び処理を戻す。ステップＳ１２〜Ｓ１６の処理が繰り返し実行されることによって、瞼開度に応じて表示情報の輝度および／またはコントラスト比が切り替わっていく。 In step S16, the device 10 updates the initial value of the eyelid opening degree. Specifically, the eyelid opening detected in the previous step S12 is set as a new initial value of the eyelid opening instead of the initial value of the eyelid opening set in the previous step S11. After the processing in step S16 is completed, the device 10 returns the processing to step S12 again. By repeatedly executing the processing of steps S12 to S16, the brightness and / or contrast ratio of the display information is switched according to the eyelid opening.

［第２および第３の表示態様の変更の例］
図９は、第２の表示態様の変更（翻訳に関する画像（重畳画像）の重ね合わせの態様の変更）および第３の表示態様の変更（ＡＲ空間に関する画像（重畳画像）の重ね合わせの態様の変更）に際して装置１０において実行される処理の一例を示すフローチャートである。ここでは、一例として、作成部１２によって先に説明したように日本語文および英語文の重ね合わせの態様が異なる複数の重畳画像が表示情報として作成され、記憶部１４に記憶されているものとする。表示情報において、日本語文および英語文は、日本語文が英語文よりも手前に位置するように重ね合されている。 [Example of Changing Second and Third Display Modes]
FIG. 9 is a diagram illustrating a change in the second display mode (change in the mode of superimposition of an image related to translation (superimposed image)) and a change in the third display mode (superimposition of an image related to the AR space (superimposed image)). 9 is a flowchart illustrating an example of a process performed by the device 10 when the change is performed. Here, as an example, it is assumed that a plurality of superimposed images in which the Japanese sentence and the English sentence are superimposed differently are created as display information by the creating unit 12 and stored in the storage unit 14 as described above. . In the display information, the Japanese sentence and the English sentence are superimposed such that the Japanese sentence is positioned before the English sentence.

ステップＳ２１において、装置１０は、透過率を初期値に設定する。たとえば、日本語文の透過率が１００％に、英語文の透過率が０％にそれぞれ設定され、その透過率での表示情報が表示される。なお、この場合には、翻訳文である英語文がはっきりと視認できることになる。 In step S21, the device 10 sets the transmittance to an initial value. For example, the transmittance of a Japanese sentence is set to 100%, and the transmittance of an English sentence is set to 0%, and display information at that transmittance is displayed. In this case, the translated English sentence can be clearly recognized.

ステップＳ２２において、装置１０は、瞼開度の初期値を設定する。具体的に、検出部１３が、先のステップＳ１において表示された表示情報を見ているユーザの瞼開度を検出する。ここで検出された瞼開度は、瞼開度の初期値に設定される。 In step S22, the device 10 sets an initial value of the eyelid opening. Specifically, the detection unit 13 detects the eyelid opening of the user who is viewing the display information displayed in the previous step S1. The eyelid opening detected here is set to the initial value of the eyelid opening.

ステップＳ２３において、装置１０は、瞼開度を検出する。この処理は検出部１３によって実行される。このステップＳ２３の処理は、先のステップＳ２２において瞼開度を検出した後、またはこのステップＳ２３の処理が繰り返し実行される場合には前回のこのステップＳ２３において瞼開度を検出した後に実行されるので、その間にユーザが眼を開いたり細めたりする動作を行なうと、先に検出した瞼開度と異なる瞼開度が、このステップＳ２３において検出されることになる。 In step S23, the device 10 detects the eyelid opening degree. This processing is executed by the detection unit 13. The process of step S23 is executed after the eyelid opening is detected in the previous step S22, or when the process of step S23 is repeatedly executed, after the eyelid opening is detected in the previous step S23. Therefore, if the user performs an operation of opening or narrowing the eyes during that time, an eyelid opening different from the previously detected eyelid opening will be detected in step S23.

ステップＳ２４において、装置１０は、瞼開度に変化が有るか否かを判断する。具体的に、出力部１５が、初めてこのステップＳ２４の処理が実行されるときには、先のステップＳ２２において設定された瞼開度の初期値に対して、先のステップＳ２３において検出された瞼開度が大きくなっているか小さくなっている場合に、瞼開度に変化が有ると判断する。一方、後述のステップＳ２７を経てステップＳ２３およびこのステップＳ２４の処理が実行されるときには、後述のステップＳ２７において更新された瞼開度の初期値に対して、先のステップＳ２３において検出された瞼開度が大きくなっているか小さくなっている場合に、瞼開度に変化が有ると判断する。瞼開度に変化が有る場合（ステップＳ２４：ＹＥＳ）、装置１０はステップＳ２５に処理を進める。そうでない場合（ステップＳ２４：ＮＯ）、装置１０はステップＳ２５をスキップしてステップＳ２６に処理を進める。 In step S24, the device 10 determines whether or not the eyelid opening has changed. Specifically, when the output unit 15 performs the process of step S24 for the first time, the output unit 15 compares the initial value of the eyelid opening set in step S22 with the eyelid opening detected in step S23. If is larger or smaller, it is determined that there is a change in the eyelid opening. On the other hand, when the processes of step S23 and step S24 are executed via step S27 described later, the eyelid opening detected in step S23 is compared with the initial value of the eyelid opening updated in step S27 described later. If the degree is increasing or decreasing, it is determined that there is a change in the degree of eyelid opening. If there is a change in the eyelid opening (step S24: YES), the apparatus 10 proceeds to step S25. Otherwise (step S24: NO), the apparatus 10 skips step S25 and proceeds to step S26.

ステップＳ２５において、装置１０は透過率を変更する。具体的に、出力部１５が、作成部１２によって作成された複数の重畳画像のうちの、先のステップＳ３において検出された瞼開度に応じた透過率を有する原文および／または翻訳文を用いた重畳画像を表示する。 In step S25, the device 10 changes the transmittance. Specifically, the output unit 15 uses the original sentence and / or the translated sentence having the transmittance corresponding to the eyelid opening detected in the previous step S3 among the plurality of superimposed images created by the creating unit 12. The displayed superimposed image is displayed.

ステップＳ２６において、装置１０は、終了操作が行われたか否かを判断する。この判断は、先に図８を参照して説明したステップＳ１５と同様であってよい。
終了操作が行われた場合（ステップＳ２６：ＹＥＳ）、装置１０はフローチャートの処理を終了する。そうでない場合（ステップＳ２６：ＮＯ）、装置１０はステップＳ２７に処理を進める。 In step S26, the device 10 determines whether an end operation has been performed. This determination may be the same as step S15 described above with reference to FIG.
If the end operation has been performed (step S26: YES), the apparatus 10 ends the processing of the flowchart. Otherwise (step S26: NO), the device 10 advances the process to step S27.

ステップＳ２７において、装置１０は、瞼開度の初期値を更新する。具体的に、先のステップＳ２３において検出された瞼開度が、先のステップＳ２２において設定された瞼開度の初期値に代えて、新たな瞼開度の初期値として設定される。ステップＳ２７の処理が完了した後、装置１０は、ステップＳ２３に再び処理を戻す。ステップＳ２３〜Ｓ２７の処理が繰り返し実行されることによって、瞼開度に応じて重畳画像を構成する原文および／または翻訳文の透過率が切り替わっていく。上述の例では、日本語文および英語文の２つの文を用いた重畳画像について説明したが、原文および２つ以上の翻訳文（つまり３つ以上の文）を用いた重畳画像についても図９のフローチャートの処理が適用できる。その場合には、ステップＳ２３〜Ｓ２７の処理が繰り返し実行されることによって、瞼開度に応じて各文の透過率が順に切り替わっていく。 In step S27, the device 10 updates the initial value of the eyelid opening. Specifically, the eyelid opening detected in the previous step S23 is set as a new initial value of the eyelid opening instead of the initial value of the eyelid opening set in the previous step S22. After the processing of step S27 is completed, the device 10 returns the processing to step S23 again. By repeatedly executing the processing of steps S23 to S27, the transmittance of the original sentence and / or the translated sentence forming the superimposed image is switched according to the eyelid opening. In the above example, a superimposed image using two sentences of a Japanese sentence and an English sentence has been described. However, a superimposed image using an original sentence and two or more translated sentences (that is, three or more sentences) is also illustrated in FIG. The processing of the flowchart can be applied. In that case, the processing of steps S23 to S27 is repeatedly executed, whereby the transmittance of each sentence is sequentially switched according to the eyelid opening.

［第４の表示態様の変更の例］
図１０は、第４の表示態様の変更（仮想空間に関する画像（前方画像）の変更）に際して装置１０において実行される処理の一例を示すフローチャートである。ここでは、作成部１２によって先に説明したように被写界範囲の異なる複数の前方画像が表示情報として作成され、記憶部１４に記憶されているものとする。 [Example of Changing Fourth Display Mode]
FIG. 10 is a flowchart illustrating an example of a process executed by the device 10 when the fourth display mode is changed (an image (forward image) related to the virtual space). Here, it is assumed that a plurality of front images having different object field ranges are created as display information by the creating unit 12 and stored in the storage unit 14 as described above.

ステップＳ３１において、装置１０は、被写界範囲の初期値を設定する。たとえば先に説明した図７の（ａ）に示されるように、仮想空間においてユーザの近くに位置する対象物がはっきりと見え、遠くに位置する対象物がぼやけて見えるような被写界深度および焦点の位置が、被写界範囲の初期値として設定される。 In step S31, the device 10 sets an initial value of the field range. For example, as shown in FIG. 7A described above, an object located close to the user in the virtual space is clearly visible, and an object located far away is blurred. The position of the focal point is set as an initial value of the field range.

ステップＳ３２〜Ｓ３４の処理は、先に図９を参照して説明したステップＳ２２〜Ｓ２４の処理と同様である。すなわち、装置１０は、瞼開度の初期値を設定し（ステップＳ３２）、瞼開度を検出し（ステップＳ３３）、瞼開度に変化が有るか否かを判断し（ステップＳ３４）、瞼開度に変化が有る場合には（ステップＳ３４：ＹＥＳ）ステップＳ３５に処理を進め、そうでない場合には（ステップＳ３４：ＮＯ）ステップＳ３５をスキップしてステップＳ３６に処理を進める。 The processing in steps S32 to S34 is the same as the processing in steps S22 to S24 described above with reference to FIG. That is, the apparatus 10 sets an initial value of the eyelid opening (Step S32), detects the eyelid opening (Step S33), determines whether or not the eyelid opening has changed (Step S34), If there is a change in the opening (step S34: YES), the process proceeds to step S35; otherwise (step S34: NO), step S35 is skipped and the process proceeds to step S36.

ステップＳ３５において、装置１０は、被写界範囲を変更する。具体的に、出力部１５が、作成部１２によって作成された複数の前方画像のうちの、先のステップＳ３３において検出された瞼開度に応じた被写界深度および焦点の位置で定められる被写界範囲を有する前方画像を表示する。 In step S35, the device 10 changes the field range. Specifically, the output unit 15 determines the depth of field and the focus position corresponding to the eyelid opening detected in step S33 in the plurality of front images created by the creation unit 12. A forward image having a field of view is displayed.

ステップＳ３６およびステップＳ３７の処理は、先に図９を参照して説明したステップＳ２６およびステップＳ２７の処理と同様である。すなわち、装置１０は、終了操作が行われたか否かを判断し（ステップＳ３６）、終了操作が行われた場合（ステップＳ３６：ＹＥＳ）、フローチャートの処理を終了し、そうでない場合（ステップＳ３６：ＮＯ）、瞼開度の初期値を変更し（ステップＳ３７）、ステップＳ３３に再び処理を戻す。ステップＳ３３〜Ｓ３７の処理が繰り返し実行されることによって、瞼開度に応じて前方画像の被写界範囲（被写界深度、焦点の位置）が切り替わっていく。 The processing of steps S36 and S37 is the same as the processing of steps S26 and S27 described above with reference to FIG. That is, the apparatus 10 determines whether or not an end operation has been performed (step S36). If the end operation has been performed (step S36: YES), the apparatus 10 ends the processing of the flowchart, and if not (step S36: NO), the initial value of the eyelid opening is changed (step S37), and the process returns to step S33. By repeatedly executing the processes in steps S33 to S37, the field range (depth of field, focus position) of the front image is switched according to the eyelid opening.

以上説明した装置１０によれば、表示情報を見ているユーザの瞼開度が検出され（ステップＳ１２）、検出された瞼開度に応じて、表示情報の輝度およびコントラスト比の少なくとも一方が変更される（ステップＳ１４）。たとえば、瞼開度が小さいほど、ユーザの眼に入射する光量が減少するので、表示情報の輝度およびコントラスト比の少なくとも一方を大きくすることで、瞼開度が小さくなったときに表示情報が暗く見えてしまうことを防ぐように表示情報の表示態様を変更することができる。したがって、瞼開度に応じた適切な表示を行うことができる。 According to the apparatus 10 described above, the eyelid opening of the user who is viewing the display information is detected (step S12), and at least one of the brightness and the contrast ratio of the display information is changed according to the detected eyelid opening. Is performed (step S14). For example, the smaller the eyelid opening, the smaller the amount of light incident on the user's eye. Therefore, by increasing at least one of the luminance and the contrast ratio of the display information, the display information becomes darker when the eyelid opening decreases. The display mode of the display information can be changed so as to prevent the display information from being seen. Therefore, an appropriate display according to the eyelid opening can be performed.

先に図４、図５を参照して説明したように、表示情報は、複数の画像を重ね合わせた重畳画像であり、一部の画像が、ユーザが見たときに当該一部の画像を通して他の画像を視認できるような透過率を有する画像である重畳画像であってよい。その場合、瞼開度に応じて、重畳画像における一部の画像の透過率を変更することによって、表示情報の表示態様が変更される（ステップＳ２４：ＹＥＳ、ステップＳ２５）。一部の画像の透過率が低くなるほど一部の画像が他の画像よりも見やすくなり、逆に、一部の画像の透過率が高くなるほど他の画像が一部の画像よりも見やすくなる。したがって、瞼開度に応じて透過率を変えることで、重畳画像に含まれるそれぞれの画像が見やすくなるように表示情報の表示態様を変更することもできる。 As described above with reference to FIGS. 4 and 5, the display information is a superimposed image obtained by superimposing a plurality of images. It may be a superimposed image that is an image having a transmittance such that another image can be visually recognized. In this case, the display mode of the display information is changed by changing the transmittance of some of the superimposed images according to the eyelid opening (step S24: YES, step S25). The lower the transmittance of some images, the easier it is to view some images than other images, and conversely, the higher the transmittance of some images, the easier it is to see other images than some images. Therefore, by changing the transmittance according to the eyelid opening, the display mode of the display information can be changed so that each image included in the superimposed image can be easily viewed.

具体的に、重畳画像は、原文および翻訳文を重ね合わせた重畳画像であってよい。これにより、瞼開度に応じて、原文および翻訳文のそれぞれが見やすくなるように表示情報の態様を変更することができる。 Specifically, the superimposed image may be a superimposed image obtained by superimposing an original sentence and a translated sentence. This makes it possible to change the form of the display information according to the eyelid opening so that the original sentence and the translated sentence can be easily viewed.

また、重畳画像は、周辺画像および当該周辺画像に関する関連画像を重ね合わせた重畳画像であってよい。関連画像は、周辺画像中に示される現実に存在する物に関する、拡張現実（ＡＲ）空間での情報を表示する画像とすることができる。その場合、瞼開度に応じて、周辺画像（つまり現実に存在する物）の表示および関連画像（拡張現実空間での情報）の一方を表示することによって、表示情報の表示態様を変更することもできる。 Further, the superimposed image may be a superimposed image obtained by superimposing a peripheral image and a related image related to the peripheral image. The related image may be an image that displays information in augmented reality (AR) space regarding an object that exists in reality and is shown in the surrounding image. In this case, the display mode of the display information is changed by displaying one of a peripheral image (that is, an object that actually exists) and a related image (information in augmented reality space) according to the eyelid opening degree. Can also.

先に図６を参照して説明したように、表示情報は、ユーザが仮想空間を見たときにユーザの前方に映る前方画像であってよい。その場合、瞼開度に応じて、前方画像における被写界範囲を変更することによって、表示態様を変更してもよい（ステップＳ３４：ＹＥＳ，ステップＳ３５）。３次元空間である仮想空間には、前後方向（奥行方向）の異なる位置にさまざまな対象物が存在している。ここで、ユーザが仮想空間を見たときにユーザの前方に映る前方画像として、被写界範囲内に位置する対象物がはっきりと見え、それ以外の対象物はぼやけて見えるような前方画像を表示することで、仮想空間がよりリアルなものとなる。上記構成によれば、そのような仮想空間の前方画像を表示する場合に、瞼開度に応じて被写界範囲（被写界深度および焦点位置）を変更することによって、表示情報の表示態様を変更することもできる。 As described above with reference to FIG. 6, the display information may be a front image that appears in front of the user when the user views the virtual space. In that case, the display mode may be changed by changing the field range in the front image according to the eyelid opening (Step S34: YES, Step S35). In a virtual space which is a three-dimensional space, various objects exist at different positions in the front-back direction (depth direction). Here, as a front image reflected in front of the user when the user looks at the virtual space, a front image in which an object located within the field of view is clearly visible and other objects are blurred. The display makes the virtual space more realistic. According to the above configuration, when displaying such a front image in the virtual space, the display mode of the display information is changed by changing the field range (depth of field and focal position) according to the eyelid opening. Can also be changed.

以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではない。 As mentioned above, although one Embodiment of this invention was described, this invention is not limited to said Embodiment.

たとえば、装置において実行される処理の一部が、外部サーバにおいて実行されてもよい。図１１はそのような変形例に係る装置１０Ａの概略構成を示す図である。装置１０Ａは、装置１０（図１）と比較して、作成部１２を含まない一方で、通信部１７を含む点で相違する。通信部１７は、サーバ２０と通信をするための部分である。サーバ２０は、作成部２１および通信部２２を含む。作成部２１の機能は、先に説明した作成部１２と同様であるのでここでは説明を省略する。通信部２２は、装置１０Ａの通信部１７と通信を行う部分である。図１１に示される装置１０Ａは、通信部１７を用いてサーバ２０と通信を行うことにより、サーバ２０の作成部２１の機能を利用することができる。このような構成によっても、装置１０Ａは、先に説明した装置１０と同様の処理を実行することができる。この場合、表示情報の作成のための処理がサーバ２０で実行される分だけ、装置１０Ａにおける処理負担を軽減することができる。 For example, a part of the processing executed in the device may be executed in the external server. FIG. 11 is a diagram showing a schematic configuration of an apparatus 10A according to such a modification. The device 10A is different from the device 10 (FIG. 1) in that the device 10A does not include the creating unit 12 but includes the communication unit 17. The communication unit 17 is a part for communicating with the server 20. The server 20 includes a creating unit 21 and a communication unit 22. The function of the creating unit 21 is the same as that of the creating unit 12 described above, and the description is omitted here. The communication unit 22 is a part that communicates with the communication unit 17 of the device 10A. The device 10 </ b> A illustrated in FIG. 11 can use the function of the creation unit 21 of the server 20 by communicating with the server 20 using the communication unit 17. With such a configuration, the device 10A can execute the same processing as that of the device 10 described above. In this case, the processing load on the device 10A can be reduced by the amount by which the process for creating the display information is executed by the server 20.

１０…装置、１１…入力部、１２、２１…作成部、１３…検出部（検出手段）、１４…記憶部、１５…出力部（表示手段）、１７、２２…通信部。 DESCRIPTION OF SYMBOLS 10 ... Device, 11 ... Input part, 12, 21 ... Creation part, 13 ... Detection part (detection means), 14 ... Storage part, 15 ... Output part (display means), 17, 22 ... Communication part.

Claims

Display means for displaying the display information and changing the display mode of the display information;
Detecting means for detecting the degree of eyelid opening of the user who is viewing the display information displayed by the display means,
With
The display unit changes the display mode by changing at least one of the luminance and the contrast ratio of the display information according to the eyelid opening detected by the detection unit ,
The display information is a superimposed image obtained by superimposing a plurality of images, and a part of the plurality of images can visually recognize another image through the part of the image when viewed by the user. The superimposed image is an image having such a transmittance,
The display unit further changes the display mode by changing the transmittance of the partial image in the superimposed image according to the eyelid opening detected by the detection unit .
Information display device.

The superimposed image is a superimposed image obtained by superimposing the original sentence and the translated sentence,
The information display device according to claim 1 .

The superimposed image is a superimposed image obtained by superimposing a peripheral image and a related image related to the peripheral image,
The information display device according to claim 1 .

Display means for displaying the display information and changing the display mode of the display information;
Detecting means for detecting the degree of eyelid opening of the user who is viewing the display information displayed by the display means,
With
The display unit changes the display mode by changing at least one of the brightness and the contrast ratio of the display information according to the eyelid opening detected by the detection unit,
The display information is a front image reflected in front of the user when the user looks at the virtual space,
The display unit further changes the display mode by changing a field range in the front image according to the eyelid opening detected by the detection unit.
Information display device.