JP7265856B2 - eyewear - Google Patents

eyewear Download PDF

Info

Publication number
JP7265856B2
JP7265856B2 JP2018209615A JP2018209615A JP7265856B2 JP 7265856 B2 JP7265856 B2 JP 7265856B2 JP 2018209615 A JP2018209615 A JP 2018209615A JP 2018209615 A JP2018209615 A JP 2018209615A JP 7265856 B2 JP7265856 B2 JP 7265856B2
Authority
JP
Japan
Prior art keywords
module
eyewear
mounting structure
temple
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018209615A
Other languages
Japanese (ja)
Other versions
JP2020076852A (en
Inventor
泰生 菰田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jins Holdings Inc
Original Assignee
Jins Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jins Holdings Inc filed Critical Jins Holdings Inc
Priority to JP2018209615A priority Critical patent/JP7265856B2/en
Publication of JP2020076852A publication Critical patent/JP2020076852A/en
Application granted granted Critical
Publication of JP7265856B2 publication Critical patent/JP7265856B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eyeglasses (AREA)
  • Headphones And Earphones (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、アイウエアに関する。 The present invention relates to eyewear.

従来、アイウエアに着脱可能な機能部を追加することが知られている。例えば、アイウエアのテンプルにイヤホンを着脱可能に追加する技術(特許文献1、2参照)や、光を照射する光源装置をブリッジに着脱可能に追加する技術(特許文献3参照)がある。 It is conventionally known to add detachable functional parts to eyewear. For example, there is a technique of detachably adding earphones to eyewear temples (see Patent Documents 1 and 2), and a technique of detachably adding a light source device that emits light to a bridge (see Patent Document 3).

特表2008-545287号公報Japanese Patent Publication No. 2008-545287 特開平3-68299号公報JP-A-3-68299 実用新案登録第3171527号Utility model registration No. 3171527

しかしながら、従来のアイウエアでは、所定のアイウエアに専用の機能を追加することはできるが、そもそも複数の機能をアイウエアに追加するという発想がないため、ユーザが所望する機能をユーザが適宜選択して自由に追加することができなかった。 However, with conventional eyewear, it is possible to add a dedicated function to a predetermined eyewear, but since there is no concept of adding multiple functions to the eyewear in the first place, the user can appropriately select the desired function. and could not be added freely.

そこで、本発明は、複数のモジュールを含むモジュール群の中から、ユーザが任意に選んだモジュールを適宜組み合わせて、ユーザ所望の機能を追加することが可能なアイウエアを提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide eyewear capable of adding user-desired functions by appropriately combining modules arbitrarily selected by the user from a module group including a plurality of modules. .

本発明の一態様におけるアイウエアは、フロントと、前記フロントの両端に連結される一対のテンプルと、前記一対のテンプルそれぞれに延設される一対のモダンと、を備え、各テンプルは、複数のモジュールを含む第1モジュール群のうちの任意のモジュールを共通して取り付け可能な第1取付構造を有し、各モダンは、複数のモジュールを含む第2モジュール群のうちの任意のモジュールを共通して取り付け可能な第2取付構造を有する。 An eyewear according to one aspect of the present invention includes a front, a pair of temples connected to both ends of the front, and a pair of temple ends extending from the pair of temples, each temple having a plurality of temples. Each end has a first mounting structure capable of commonly mounting an arbitrary module of a first module group including modules, and each end commonly mounts an arbitrary module of a second module group including a plurality of modules. a second mounting structure that can be mounted on the

本発明によれば、複数のモジュールを含むモジュール群の中から、ユーザが任意に選んだモジュールを適宜組み合わせて、ユーザ所望の機能をアイウエアに追加することができる。 According to the present invention, a user-desired function can be added to eyewear by appropriately combining modules arbitrarily selected by the user from a module group including a plurality of modules.

第1実施形態に係るアイウエアの前方からの一例を示す斜視図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a perspective view which shows an example from the front of the eyewear which concerns on 1st Embodiment. 第1実施形態に係るアイウエアの後方からの一例を示す斜視図である。It is a perspective view which shows an example from the back of the eyewear which concerns on 1st Embodiment. 第1実施形態に係る第1モジュール群を説明するための図である。FIG. 4 is a diagram for explaining a first module group according to the first embodiment; FIG. 第1実施形態に係る第2モジュール群を説明するための図である。FIG. 4 is a diagram for explaining a second module group according to the first embodiment; FIG. 第1実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。It is a block diagram showing an example of hardware constitutions of an information processor concerning a 1st embodiment. 第1実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。It is a block diagram showing an example of functional composition of an information processing device concerning a 1st embodiment. 第1実施形態に係る各モジュールの適用例を説明するための図である。It is a figure for demonstrating the application example of each module which concerns on 1st Embodiment. 第1実施形態に係る実現可能な機能の一例を示す図である。FIG. 3 is a diagram showing an example of functions that can be implemented according to the first embodiment; FIG. 第2実施形態に係る各モジュールの適用例を説明するための図である。It is a figure for demonstrating the application example of each module which concerns on 2nd Embodiment.

以下、図面を参照して本発明の実施の形態を詳細に説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, the embodiments described below are merely examples, and are not intended to exclude various modifications and application of techniques not explicitly described below. In other words, the present invention can be modified in various ways without departing from the scope of the invention. In addition, in the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals. The drawings are schematic and do not necessarily correspond to actual dimensions, proportions, and the like. Even between the drawings, there are cases where portions with different dimensional relationships and ratios are included.

[第1実施形態]
<アイウエア>
図1は、第1実施形態に係るアイウエア100の前方からの一例を示す斜視図である。図2は、第1実施形態に係るアイウエア100の後方からの一例を示す斜視図である。アイウエア100は、レンズ110及びフレーム120を備える。フレーム120自体も、アイウエアの一例である。
[First embodiment]
<Eyewear>
FIG. 1 is a perspective view showing an example of eyewear 100 according to the first embodiment from the front. FIG. 2 is a perspective view showing an example of the eyewear 100 according to the first embodiment from behind. Eyewear 100 includes lenses 110 and frames 120 . Frame 120 itself is also an example of eyewear.

フレーム120は、一対のレンズ110を支持する。フレーム120は、リム122と、眉間部(例えばブリッジ)124と、ヨロイ126と、丁番128と、テンプル130と、モダン132と、一対のノーズパッド140と、第1電極152と、第2電極154と、第3電極156と、電線(不図示)と、を有する。フロント118は、アイウエア100の前方にあるリム122、ブリッジ124、ヨロイ126、丁番128を含む。 Frame 120 supports a pair of lenses 110 . The frame 120 includes a rim 122, a glabella (e.g., bridge) 124, an end piece 126, a hinge 128, a temple 130, a temple end 132, a pair of nose pads 140, a first electrode 152, and a second electrode. 154, a third electrode 156, and an electric wire (not shown). Front 118 includes rim 122 , bridge 124 , end pieces 126 and hinges 128 at the front of eyewear 100 .

ブリッジ124に取り付け可能な第1機構(モジュール)250は、3つの電極(第1電極152~第3電極156:眼電位センサ)、6軸センサ、及びノーズパッド140を含む。なお、アイウエア100の種類によっては、一枚レンズを用いることでフレームのブリッジ部分がない場合がある。この場合、一枚レンズの眉間部分を眉間部とする。第1機構250は、電極や6軸センサを有さず、ノーズパッド140のみを含むものでもよい。 A first mechanism (module) 250 attachable to the bridge 124 includes three electrodes (first electrode 152 to third electrode 156: electrooculography sensor), a six-axis sensor, and a nose pad 140 . Depending on the type of eyewear 100, there may be no frame bridge portion due to the use of a single lens. In this case, the glabellar portion of the single lens is defined as the glabellar portion. The first mechanism 250 may include only the nose pad 140 without electrodes or the 6-axis sensor.

一対のノーズパッド140は、右ノーズパッド142及び左ノーズパッド144を含む。リム122、ヨロイ126、丁番128、テンプル130、及びモダン132は、それぞれ左右一対に設けられる。 A pair of nose pads 140 includes a right nose pad 142 and a left nose pad 144 . The rim 122, the end pieces 126, the hinges 128, the temples 130, and the end pieces 132 are provided in a left and right pair.

リム122は、レンズ110を保持する。ヨロイ126は、リム122の外側に設けられ、丁番128によりテンプル130を回転可能に保持する。テンプル130は、使用者の耳の上部を押圧して、この部位を挟持する。モダン132は、テンプル130の先端に設けられる。モダン132は、使用者の耳の上部に接触する。なお、モダン132は、テンプル130と一体型であってもよい。 Rim 122 holds lens 110 . An end piece 126 is provided on the outside of the rim 122 and rotatably retains the temple 130 with hinges 128 . The temple 130 presses the upper portion of the user's ear and clamps this portion. A modern 132 is provided at the tip of the temple 130 . The modern 132 contacts the top of the user's ear. In addition, the temple 130 and the temple 130 may be integrated.

第1電極152及び第2電極154は、一対のノーズパッド140のそれぞれの表面に設けられ、眼電位を検出する。例えば、第1電極152は、右ノーズパッド142に設けられ、第2電極154は、左ノーズパッド144に設けられる。 The first electrode 152 and the second electrode 154 are provided on the surface of each of the pair of nose pads 140 and detect electro-oculography. For example, the first electrode 152 is provided on the right nose pad 142 and the second electrode 154 is provided on the left nose pad 144 .

第1電極152は、使用者の右眼の眼電位を検出する。第2電極154は、使用者の左眼の眼電位を検出する。このように、眼電位を検出するための電極を、使用者の皮膚に必然的に接触するノーズパッドの表面に設ける。これにより、使用者の眼の周囲に二対の電極を接触させるのに比べて、使用者の皮膚に与える負担を軽減することができる。 The first electrode 152 detects the electro-oculogram of the user's right eye. The second electrode 154 detects the electro-oculogram of the user's left eye. In this way, the electrodes for detecting the electrooculography are provided on the surface of the nose pad which inevitably comes into contact with the user's skin. This can reduce the burden on the user's skin, compared to the case where two pairs of electrodes are brought into contact with the user's eyes.

第3電極156は、ブリッジ124の表面に設けられ、使用者の皮膚に接し、両眼の眼電位を検出する。接地電極(不図示)は、モダン132の表面に設けられるとする。アイウエア100にモダン132がない場合は、接地電極は、テンプル130の先に設けられてもよい。第1実施形態において、第1電極152、第2電極154及び第3電極156が検出する電位は、接地電極が検出する電位を基準としてもよい。 The third electrode 156 is provided on the surface of the bridge 124, contacts the user's skin, and detects electrooculography of both eyes. A ground electrode (not shown) is assumed to be provided on the surface of the modern 132 . If the eyewear 100 does not have a modern 132 , the ground electrode may be provided beyond the temple 130 . In the first embodiment, the potentials detected by the first electrode 152, the second electrode 154, and the third electrode 156 may be based on the potential detected by the ground electrode.

外部装置200は、通信機能を有する情報処理装置である。例えば、外部装置200は、使用者が所持する携帯電話及びスマートフォン等の携帯通信端末等である。外部装置200は、第1機構250から受信した眼電位信号や加速度データに基づく処理を実行する。例えば、外部装置200は、受信した眼電位信号から、瞬目や視線移動を検出する。 The external device 200 is an information processing device having a communication function. For example, the external device 200 is a mobile communication terminal such as a mobile phone and a smart phone owned by the user. The external device 200 executes processing based on the electro-oculography signal and acceleration data received from the first mechanism 250 . For example, the external device 200 detects a blink or eye movement from the received electro-oculography signal.

また、左テンプル130は、第1取付構造162Lを有し、右テンプル130は、第1取付構造162Rを有する。同様に、左モダン132は、第2取付構造164Lを有し、右モダン132は、第2取付構造164Rを有する。以下、左右の第1取付構造162R、Lを区別する必要がない場合は、第1取付構造162と表記し、左右の第2取付構造164R、Lを区別する必要がない場合は、第2取付構造164と表記する。なお、第1取付構造162は、少なくとも一方のテンプル130に設けられ、または、第2取付構造164は、少なくとも一方のモダン132に設けられてもよい。 Also, the left temple 130 has a first mounting structure 162L, and the right temple 130 has a first mounting structure 162R. Similarly, the left modern 132 has a second mounting structure 164L and the right modern 132 has a second mounting structure 164R. Hereinafter, when there is no need to distinguish between the left and right first mounting structures 162R and L, the term "first mounting structure 162" is used, and when there is no need to distinguish between the left and right second mounting structures 164R, L, the term "second mounting structure" is used. It is denoted as structure 164 . The first mounting structure 162 may be provided on at least one temple 130 , or the second mounting structure 164 may be provided on at least one modern 132 .

第1取付構造162は、複数のモジュールを含む第1モジュール群のうちの任意のモジュールを共通して取り付け可能になっている。第2取付構造164は、複数のモジュールを含む第2モジュール群のうちの任意のモジュールを共通して取り付け可能になっている。なお、取り付けられたモジュールは、取り外し可能である。 The first mounting structure 162 can commonly mount any module in the first module group including a plurality of modules. The second mounting structure 164 can commonly mount any module in the second module group including a plurality of modules. Note that the attached module is removable.

第1取付構造162及び第2取付構造164は、任意のモジュールを取付可能及び取り外し可能であれば、いずれの構造であってもよい。例えば、各取付構造と任意のモジュールが特定の関係(位置関係)を満たした場合に、各取付構造が任意のモジュールの動きを固定するような構造を含む。具体例としては、各取付構造は、レールを設けて、任意のモジュールを摺動して各取付構造に取り付ける摺動構造でもよいし、軸を穴に嵌合して取り付ける嵌合構造でもよいし、係止構造でもよいし、ねじ穴を設けて、ねじ止めする構造でもよいし、マジックテープ(登録商標)のような粘着、接着性を用いて取り付ける取付構造であってもよい。 The first mounting structure 162 and the second mounting structure 164 may be any structure as long as any module can be mounted and removed. For example, when each mounting structure and an arbitrary module satisfy a specific relationship (positional relationship), each mounting structure may fix the movement of an arbitrary module. As a specific example, each mounting structure may be a sliding structure in which a rail is provided and an arbitrary module may be slid to be mounted on each mounting structure, or a fitting structure in which a shaft is fitted into a hole to be mounted. , a locking structure, a structure in which a screw hole is provided and screwed, or a mounting structure in which adhesiveness such as Velcro (registered trademark) is used for attachment may be used.

任意のモジュールは、複数のモジュールのモジュール群の中から、ユーザ等により選択される。モジュールの例としては、カメラ、マイク、眼電位を取得するための電極や、加速度センサなどの機能を有する入力系のモジュール(以下、「入力モジュール」とも称す。)、スピーカーや発光装置、網膜投影装置などの機能を有する出力系のモジュール(以下、「出力モジュール」とも称す。)が挙げられる。また、モジュール群は、異なる機能のモジュール以外にも、同じ機能のモジュールでデザイン、サイズ、形状などが異なるモジュールも含む。また、機能の有無に関わらず、アイウエア100の左右の重さのバランスをとるための重りを有するモジュールもモジュール群に含まれる。 An arbitrary module is selected by a user or the like from among a module group of a plurality of modules. Examples of modules include cameras, microphones, electrodes for acquiring electrooculography, input modules with functions such as acceleration sensors (hereinafter also referred to as "input modules"), speakers, light emitting devices, and retinal projection. An output system module (hereinafter also referred to as an “output module”) having a function such as a device is exemplified. In addition to modules with different functions, the module group includes modules with the same function but different designs, sizes, shapes, and the like. The module group also includes a module having a weight for balancing the left and right weights of the eyewear 100, regardless of whether the eyewear 100 has a function or not.

また、第1モジュール群に含まれるモジュールは、第1取付構造162に取り付けられる共通の第3取付構造を有する。例えば、凹凸を用いて取り付ける構造の場合、第1取付構造162は、凹部の構造を有し、第3取付構造は、凸部の構造を有する。このとき、凸部を凹み部に嵌め込むことにより、第3取付構造を有するモジュールは、第1取付構造162を有するテンプルに取り付けられる。 Also, the modules included in the first module group have a common third mounting structure attached to the first mounting structure 162 . For example, in the case of a mounting structure using unevenness, the first mounting structure 162 has a concave structure and the third mounting structure has a convex structure. At this time, the module having the third mounting structure is mounted to the temple having the first mounting structure 162 by fitting the protrusion into the recess.

また、第2モジュール群に含まれるモジュールは、第2取付構造164に取り付けられる共通の第4取付構造を有する。例えば、ねじ止めを用いて取り付ける構造の場合、第2取付構造164と、第4取付構造とは、共通のねじ穴を有する。このとき、第2取付構造164と、第4取付構造とを重ね合わせて形成される共通のねじ穴にねじ止めすることにより、第4取付構造を有するモジュールは、第2取付構造164を有するモダンに取り付けられる。 Also, the modules included in the second module group have a common fourth mounting structure attached to the second mounting structure 164 . For example, in the case of a mounting structure using screws, the second mounting structure 164 and the fourth mounting structure have common screw holes. At this time, by screwing the second mounting structure 164 and the fourth mounting structure into a common screw hole formed by superimposing them, the module having the fourth mounting structure can be replaced with the modern having the second mounting structure 164 . can be attached to

これにより、ユーザは、第1モジュール群から任意のモジュールを選択し、テンプル130に取り付けたり、取り外したりすることが可能であり、また、第2モジュール群から任意のモジュールを選択し、モダン132に取り付けたり、取り外したりすることが可能になる。 This allows the user to select any module from the first module group and attach or detach it from the temple 130, or select any module from the second module group and attach it to the modern 132. It can be attached or removed.

また、第1取付構造162と第2取付構造164とは、同じ構造であってもよい。これにより、第1モジュール群と、第2モジュール群とに含まれるモジュールの取付構造も共通の構造になり、生産コストを削減することができる。また、ユーザは、1つのモジュール群の中から、任意のモジュールを選択することができ、左右のテンプル130、及びモダン132の好きな位置に1又は複数のモジュールを取り付けることが可能になる。 Also, the first mounting structure 162 and the second mounting structure 164 may have the same structure. As a result, the mounting structure of the modules included in the first module group and the second module group becomes a common structure, and the production cost can be reduced. Also, the user can select any module from one module group, and attach one or a plurality of modules to desired positions of the left and right temples 130 and modern ends 132 .

また、第1モジュール群は、データを入力する入力モジュールを含み、第2モジュール群は、データを出力する出力モジュールを含んでもよい。例えば、第1モジュール群は、カメラ、マイク、眼電位を取得するための電極や、加速度センサなどの機能を有する入力モジュールを含み、第2モジュール群は、スピーカー(イヤホン)の機能を有する出力モジュールを含む。 Also, the first module group may include an input module for inputting data, and the second module group may include an output module for outputting data. For example, the first module group includes an input module having functions such as a camera, a microphone, an electrode for acquiring electrooculography, and an acceleration sensor, and the second module group includes an output module having a speaker (earphone) function. including.

これにより、入力モジュールと、出力モジュールとで、モジュール群を分けておくことで、目や口に近いテンプル130に、カメラやマイクなどの入力モジュールをユーザが意識することなく取り付けることができ、耳に近いモダン132に、スピーカー(イヤホン)の出力モジュールを取り付けることができる。 Accordingly, by dividing the module group into the input module and the output module, the input module such as a camera or a microphone can be attached to the temple 130 near the eyes or mouth without the user being aware of it. A speaker (earphone) output module can be attached to the modern 132 near the .

また、第1モジュール群は、網膜投影装置や発光装置(例えばLEDインジケータ)などの出力モジュールをさらに含んでもよい。 Also, the first module group may further include an output module such as a retinal projection device or a light emitting device (eg, an LED indicator).

これにより、網膜投影装置や発光装置などの、目に知覚させたい出力モジュールがある場合には、その出力モジュールをテンプル130への取付対象である第1モジュール群に含めることで、誤ってモダン132に取り付けられることを防止することができる。 As a result, when there is an output module to be perceived by the eyes, such as a retinal projection device or a light emitting device, by including the output module in the first module group to be attached to the temple 130, the modern 132 can be prevented from being attached to

また、入力モジュールは、通信可能に接続された出力モジュールに、入力されたデータに基づく入力データを送信し、出力モジュールは、入力データに基づく出力データを出力してもよい。例えば、入力モジュールと出力モジュールは、無線通信インタフェースを備えており、相互に通信可能としてもよい。また、テンプル130及びモダン132内部で、第1取付構造162と第2取付構造4とを有線で接続し、各モジュールが有する通信インタフェースを用いて相互に通信可能としてもよい。 Also, the input module may transmit input data based on the input data to the communicably connected output module, and the output module may output output data based on the input data. For example, the input module and the output module may have wireless communication interfaces so that they can communicate with each other. Also, inside the temple 130 and the end piece 132, the first mounting structure 162 and the second mounting structure 4 may be connected by wire so that they can communicate with each other using the communication interface of each module.

これにより、1又は複数の機能が取り付けられたアイウエア100だけで、ユーザはその機能を利用することができる。 This allows the user to use only the eyewear 100 to which one or more functions are attached.

また、入力モジュールは、通信可能に接続された他の情報処理装置に、入力されたデータに基づく入力データを送信し、出力モジュールは、他の情報処理装置から受信したデータに基づく出力データを出力してもよい。例えば、他の情報処理装置は、アイウエアを装着したユーザが保有する情報処理端末である場合、情報処理端末の処理能力を用いて、データを処理することができる。 Also, the input module transmits input data based on the input data to another information processing device communicatively connected, and the output module outputs output data based on the data received from the other information processing device. You may For example, if the other information processing device is an information processing terminal owned by a user wearing eyewear, it can process data using the processing capability of the information processing terminal.

これにより、入力データは、処理能力が高い情報処理装置で処理可能になるため、図6を用いて後述するような高機能を実現することが可能になる。 As a result, the input data can be processed by an information processing apparatus having a high processing capability, so it is possible to realize advanced functions as will be described later with reference to FIG.

アイウエア100は、フロント118のブリッジ124に、入力モジュール及び一対のノーズパッド140を含む第1機構と、一対のノーズパッドを含む第2機構とを共通して取り付け可能な第5取付構造を有してもよい。入力モジュールは、例えば3点の電極を含み、眼電位信号を取得することができる。また、この入力モジュールに、加速度センサを加えてもよい。 The eyewear 100 has a fifth attachment structure capable of commonly attaching a first mechanism including an input module and a pair of nose pads 140 and a second mechanism including a pair of nose pads to the bridge 124 of the front 118. You may The input module includes, for example, three electrodes, and can acquire electro-oculography signals. An acceleration sensor may also be added to this input module.

このとき、ブリッジ124付近、つまり目に近いエリアで眼電位信号を取得することができ、安定的に眼電位信号を測定することができる。また、加速度センサは、顔の略中心位置で、顔の動きを計測することができ、安定的に加速度データを測定することができる。 At this time, the electro-oculography signal can be acquired near the bridge 124, that is, in an area close to the eye, and the electro-oculography signal can be stably measured. Moreover, the acceleration sensor can measure the movement of the face at the approximate center position of the face, and can stably measure the acceleration data.

<第1モジュール群>
次に、第1モジュール群に含まれるモジュールの例について説明する。図3は、第1実施形態に係る第1モジュール群を説明するための図である。図3(A)は、網膜投影装置304を含むモジュールの例を示す。図3(A)に示す例において、モジュール300Rは、第3取付構造302を有し、網膜投影装置304を有する。
<First module group>
Next, examples of modules included in the first module group will be described. FIG. 3 is a diagram for explaining the first module group according to the first embodiment. FIG. 3A shows an example of a module that includes a retinal projection device 304. FIG. In the example shown in FIG. 3A, the module 300R has a third mounting structure 302 and has a retinal projection device 304. In the example shown in FIG.

第3取付構造302は、第1取付構造162Rに取り付けられる。網膜投影装置304は、超小型プロジェクタを含み、この超小型プロジェクタからの微弱なレーザー光は、瞳孔の中心でいったん収束し、網膜へと直接投影される。 これにより、ユーザは、レンズである水晶体の状態に影響を受けにくいため、視力やピント位置に左右されずに、超小型プロジェクタから映し出される像を見ることが可能になる。 The third mounting structure 302 is attached to the first mounting structure 162R. The retinal projection device 304 includes a micro-projector, and weak laser light from this micro-projector is once converged at the center of the pupil and projected directly onto the retina. As a result, the user is less likely to be affected by the state of the crystalline lens, which is a lens, so that the user can see the image projected from the ultra-compact projector without being affected by visual acuity or focus position.

図3(B)は、第1実施形態に係るカメラとマイクとを有するモジュールである。図3(B)に示すモジュール310Lは、カメラ312と、マイク314とを含む。また、モジュール310Lは、第3取付構造316を有する。なお、モジュール310Lについて、カメラとマイクとを別のモジュールにしてもよい。 FIG. 3B shows a module having a camera and a microphone according to the first embodiment. Module 310L shown in FIG. 3B includes camera 312 and microphone 314 . The module 310L also has a third mounting structure 316 . It should be noted that the module 310L may be provided with separate modules for the camera and the microphone.

第3取付構造316は、テンプル130の第1取付構造162Lに取り付けられる。カメラ312は、例えば、アイウエア100装着者の視線位置からの風景を撮像し、画像データを出力する。マイク314は、音を入力し、音データを出力する。 The third mounting structure 316 is attached to the first mounting structure 162L of the temple 130 . The camera 312, for example, takes an image of the scenery from the sight line position of the eyewear wearer 100 and outputs image data. A microphone 314 inputs sound and outputs sound data.

<第2モジュール群>
次に、第2モジュール群に含まれるモジュールの例について説明する。図4は、第1実施形態に係る第2モジュール群を説明するための図である。図4(A)は、スピーカー(イヤホン)402を含むモジュール400Rの例を示す。図4(A)に示す例において、モジュール400Rは、第4取付構造404を有し、スピーカー402を有する。
<Second module group>
Next, examples of modules included in the second module group will be described. FIG. 4 is a diagram for explaining the second module group according to the first embodiment. FIG. 4A shows an example of a module 400R including a speaker (earphone) 402. FIG. In the example shown in FIG. 4A, module 400R has fourth mounting structure 404 and speaker 402 .

第4取付構造404は、第2取付構造164Rに取り付けられる。スピーカー402は、取得した音データに基づき音を出力する。スピーカー402は、アンプ機能を有しており、音量を調節して出力してもよい。これにより、耳に近いモダン132の第2取付構造にスピーカー402を取り付けることで、聞き取りやすい音を出力することができる。 A fourth mounting structure 404 is attached to the second mounting structure 164R. The speaker 402 outputs sound based on the acquired sound data. The speaker 402 has an amplifier function, and may adjust the volume and output. Accordingly, by attaching the speaker 402 to the second attachment structure of the modern 132 close to the ear, it is possible to output sound that is easy to hear.

図4(B)は、第1実施形態に係る発光装置を有するモジュールである。図4(B)に示すモジュール410Lは、第4取付構造414と、LEDライト412とを有し、LEDインジケータの役割を有する。 FIG. 4B shows a module having the light emitting device according to the first embodiment. A module 410L shown in FIG. 4B has a fourth mounting structure 414 and an LED light 412 and serves as an LED indicator.

第4取付構造414は、テンプル130の第1取付構造162Lに取り付けられる。LEDライト412は、例えば所定の状態にあるときに発光する。これにより、周りのユーザに対し、アイウエア100装着者がどのような状態にあるかを把握することができる。また、モジュール410Lは、フロント118付近のテンプルの内側(顔側)にモジュール410Lを取り付け、アイウエア100の装着者に向けて、自身の状態を示す信号を発光させてもよい。なお、上述したモジュールを含め、各モジュールは、左側に取り付けるタイプ(符号L)と、右側に取り付けるタイプ(符号R)とが用意されてもよい。 The fourth mounting structure 414 is attached to the first mounting structure 162L of the temple 130 . The LED light 412 emits light when it is in a predetermined state, for example. As a result, surrounding users can grasp what kind of state the wearer of the eyewear 100 is in. Also, the module 410L may be attached to the inner side (face side) of the temple near the front 118 to emit a signal indicating the state of the wearer of the eyewear 100 toward the wearer. Each module, including the modules described above, may be prepared in a left mounting type (symbol L) and a right mounting type (symbol R).

また、各モジュールには、無線通信機能と、バッテリとを備えるようにしてもよい。また、バッテリに給電できるようにしてもよく、その場合には、モジュールに給電用の端子を設ける。また、各モジュールは、BLE(Bluetooth Low Energy)やMESHネットワークを用いて相互に通信可能にしてもよい。 Also, each module may have a wireless communication function and a battery. Alternatively, the module may be configured to supply power to the battery, in which case the module is provided with a terminal for power supply. Also, each module may communicate with each other using BLE (Bluetooth Low Energy) or a MESH network.

<外部装置(情報処理装置)のハードウェア>
図5は、第1実施形態に係る情報処理装置200のハードウェア構成の一例を示すブロック図である。図5に示す情報処理装置200は、プロセッサ502と、メモリ504と、ストレージ506と、入出力インタフェース(入出力I/F)508と、通信インタフェース(通信I/F)510とを含む。情報処理装置200のハードウェアの各構成要素は、例えばバスBを介して相互に接続される。
<Hardware of external device (information processing device)>
FIG. 5 is a block diagram showing an example of the hardware configuration of the information processing device 200 according to the first embodiment. The information processing apparatus 200 shown in FIG. 5 includes a processor 502 , a memory 504 , a storage 506 , an input/output interface (input/output I/F) 508 and a communication interface (communication I/F) 510 . Each component of the hardware of the information processing device 200 is interconnected via a bus B, for example.

プロセッサ502は、ストレージ506に記憶されるプログラムに含まれるコードまたは命令によって実現する機能、および/または、方法を実行する。プロセッサ502は、例えば、中央処理装置(CPU)、MPU(Micro Processing Unit)、GPU、マイクロプロセッサ(microprocessor)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(Application-Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等を含む。 Processor 502 executes functions and/or methods implemented by code or instructions contained in programs stored in storage 506 . The processor 502 is, for example, a central processing unit (CPU), MPU (Micro Processing Unit), GPU, microprocessor, processor core, multiprocessor, ASIC (Application-Specific Integrated Circuit), Includes FPGA (Field Programmable Gate Array) and the like.

メモリ504は、ストレージ506からロードしたプログラムを一時的に記憶し、プロセッサ502に対して作業領域を提供する。メモリ504には、プロセッサ502がプログラムを実行している間に生成される各種データも一時的に格納される。メモリ504は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)などを含む。 Memory 504 temporarily stores programs loaded from storage 506 and provides a work area for processor 502 . The memory 504 also temporarily stores various data generated while the processor 502 is executing the program. The memory 504 includes, for example, RAM (Random Access Memory), ROM (Read Only Memory), and the like.

ストレージ506は、プロセッサ502により実行されるプログラム等を記憶する。ストレージ506は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、 フラッシュメモリなどを含む。 The storage 506 stores programs and the like executed by the processor 502 . The storage 506 includes, for example, HDDs (Hard Disk Drives), SSDs (Solid State Drives), flash memories, and the like.

入出力I/F508は、情報処理装置200に対する各種操作を入力する入力装置、および、情報処理装置200で処理された処理結果を出力する出力装置を含む。 The input/output I/F 508 includes an input device for inputting various operations to the information processing device 200 and an output device for outputting processing results processed by the information processing device 200 .

通信I/F510は、ネットワークを介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信I/F510は、ネットワークを介して、アイウエア100の各モジュールとの通信を実行する機能を有する。通信I/F510は、各種データをプロセッサ502からの指示に従って、アイウエア100に送信する。 Communication I/F 510 transmits and receives various data via a network. The communication may be performed by wire or wirelessly, and any communication protocol may be used as long as mutual communication can be performed. Communication I/F 510 has a function of executing communication with each module of eyewear 100 via a network. Communication I/F 510 transmits various data to eyewear 100 according to instructions from processor 502 .

第1実施形態に係る情報処理装置200のプログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。 記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。プログラムは、例えば、ソフトウェアプログラムやコンピュータプログラムを含む。 The program of the information processing apparatus 200 according to the first embodiment may be provided in a state stored in a computer-readable storage medium. The storage medium can store the program in a "non-temporary tangible medium". Programs include, for example, software programs and computer programs.

情報処理装置200における処理の少なくとも一部は、1以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。情報処理装置200における処理の少なくとも一部を、他の情報処理装置により行う構成としてもよい。この場合、プロセッサ502により実現される各機能部の処理のうち少なくとも一部の処理を、他の情報処理装置で行う構成としてもよい。 At least part of the processing in the information processing device 200 may be realized by cloud computing configured by one or more computers. At least part of the processing in the information processing device 200 may be configured to be performed by another information processing device. In this case, at least part of the processing of each functional unit realized by the processor 502 may be performed by another information processing apparatus.

<機能構成>
次に、第1実施形態に係る情報処理装置200の機能構成について順に説明する。図6は、第1実施形態に係る情報処理装置200の機能構成の一例を示すブロック図である。図6に示す情報処理装置200は、文字認識部602と、音声認識部604と、音声合成部606と、覚醒判定部608と、集中判定部610とを有する。各部は、プロセッサ102及び作業領域としてのメモリ204などにより実現されうる。
<Functional configuration>
Next, the functional configuration of the information processing apparatus 200 according to the first embodiment will be described in order. FIG. 6 is a block diagram showing an example of the functional configuration of the information processing device 200 according to the first embodiment. Information processing apparatus 200 shown in FIG. Each unit can be realized by the processor 102, the memory 204 as a work area, and the like.

文字認識部602は、OCR機能を有するアプリケーションであり、画像から文字を認識することが可能である。OCR機能については公知の技術を用いることができる。例えば、文字認識部602は、図3(B)に示すカメラ312から入力されたデータを用いて、OCR機能を用いて文字認識処理を実行する。なお、文字認識部602は、公開されている文字認識API(例えばGoogle (登録商標)Cloud Vision API)を用いて文字認識処理を実現してもよい。 A character recognition unit 602 is an application having an OCR function, and can recognize characters from an image. A known technique can be used for the OCR function. For example, the character recognition unit 602 uses data input from the camera 312 shown in FIG. 3B to perform character recognition processing using the OCR function. Note that the character recognition unit 602 may implement character recognition processing using a publicly available character recognition API (eg, Google (registered trademark) Cloud Vision API).

音声認識部604は、音声データから文字データに変化するアプリケーションであり、公知の技術を用いて実現されてもよい。例えば、音声認識部602は、図3(B)に示すマイク314から入力されたデータを用いて、音声認識処理を実行する。なお、音声認識部602は、公開されている音声認識API(例えばGoogle(登録商標) Cloud Speech API)を用いて音声認識処理を実現してもよい。 The voice recognition unit 604 is an application that converts voice data into character data, and may be implemented using known technology. For example, the speech recognition unit 602 performs speech recognition processing using data input from the microphone 314 shown in FIG. 3B. Note that the speech recognition unit 602 may implement speech recognition processing using a publicly available speech recognition API (eg, Google (registered trademark) Cloud Speech API).

音声合成部606は、テキストから音声を生成するアプリケーションであり、公知の技術を用いて実現されてもよい。また、音声合成部606は、文字を認識し、音声データに変換する。例えば、音声合成部606は、文字認識部602により認識された文字データを、音声データに変換する。なお、音声合成部606は、公開されている音声合成API(例えばGoogle (登録商標)Cloud Text-to-Speech)を用いて音声変換処理を実現してもよい。 The speech synthesizer 606 is an application that generates speech from text, and may be implemented using known technology. Also, the speech synthesizing unit 606 recognizes characters and converts them into speech data. For example, the speech synthesis unit 606 converts character data recognized by the character recognition unit 602 into speech data. Note that the speech synthesis unit 606 may implement speech conversion processing using a publicly available speech synthesis API (eg, Google (registered trademark) Cloud Text-to-Speech).

覚醒判定部608は、眼電位センサと6軸センサとにより、疲労や眠気に伴うまばたき・視線の変化と頭の動きから覚醒度を判定する。例えば、覚醒判定部608は、人は眠くなると、瞬きの頻度・強度・スピードが落ちるなどの兆候が表れるため、この兆候を検知し、人の覚醒度を判定する。覚醒判定部608は、出願人が開発した覚醒度判定アプリケーション(https://jins-meme.com/ja/drive/を参照)を用いて覚醒判定処理を実現してもよい。なお、覚醒判定部608は、公開されている覚醒判定APIを用いて覚醒判定処理を実現してもよい。 The arousal determination unit 608 determines the degree of arousal from changes in blinking/line of sight and head movements associated with fatigue and drowsiness using an electro-oculography sensor and a 6-axis sensor. For example, when a person becomes sleepy, symptoms such as a reduction in the frequency, intensity, and speed of blinking appear. The arousal determination unit 608 may implement the arousal determination process using an arousal level determination application developed by the applicant (see https://jins-meme.com/ja/drive/). Note that the arousal determination unit 608 may implement the arousal determination process using an open arousal determination API.

集中判定部610は、眼電位センサと6軸センサにより、まばたき・視線の変化と姿勢から集中度合いを判定する。集中判定部610は、出願人が開発した集中度判定アプリケーション(https://jins-meme.com/ja/office/を参照)を用いて集中判定処理を実現してもよい。なお、集中判定部610は、公開されている集中判定APIを用いて集中判定処理を実現してもよい。 A concentration determination unit 610 determines the degree of concentration from changes in blinking/line of sight and posture using an electro-oculography sensor and a 6-axis sensor. The concentration determination unit 610 may implement concentration determination processing using a concentration determination application developed by the applicant (see https://jins-meme.com/ja/office/). Note that the concentration determination unit 610 may implement concentration determination processing using a public concentration determination API.

上記の機能例は一例であって、アイウエア100から取得できるデータを用いて処理可能なアプリケーションを、情報処理装置200に適宜インストールすればよい。 The above function example is just an example, and an application capable of processing using data that can be obtained from the eyewear 100 may be installed in the information processing apparatus 200 as appropriate.

<モジュールの適用例>
第1実施形態に係るモジュールの適用例について説明する。図7は、第1実施形態に係る各モジュールの適用例を説明するための図である。図7に示す例では、網膜投影装置を含むモジュール300Rは、アイウエア100の右テンプルの外側に取り付け可能であり、発光装置を含むモジュール410Rは、右テンプルの内側(顔側)に取り付け可能である。また、イヤホンを含むモジュール400Rは、右モダンに取り付け可能である。
<Module application example>
An application example of the module according to the first embodiment will be described. FIG. 7 is a diagram for explaining an application example of each module according to the first embodiment. In the example shown in FIG. 7, the module 300R containing the retinal projection device can be attached to the outside of the right temple of the eyewear 100, and the module 410R containing the light emitting device can be attached to the inside (facial side) of the right temple. be. A module 400R containing an earphone can also be attached to the right end.

また、カメラ及びマイクを含むモジュール310Lは、アイウエア100の左テンプルの外側に取り付け可能であり、発光装置を含むモジュール410Lは、左テンプルの内側に取り付け可能である。また、イヤホンを含むモジュール400Lは、左モダンに取り付け可能である。 Also, the module 310L containing the camera and microphone can be attached to the outside of the left temple of the eyewear 100, and the module 410L containing the light emitting device can be attached to the inside of the left temple. A module 400L containing an earphone can also be attached to the left end.

さらに、眼電位センサ(複数の電極を含む)と、6軸センサとを含む第1機構(モジュール)は、アイウエア100のブリッジ124に取り付け可能である。 Additionally, a first mechanism (module) that includes an electro-oculography sensor (including multiple electrodes) and a 6-axis sensor can be attached to the bridge 124 of the eyewear 100 .

<アイウエアの機能例>
第1実施形態に係るアイウエア100は、各モジュールや外部の情報処理装置を用いて、様々な機能を実現することができる。図8は、第1実施形態に係る実現可能な機能の一例を示す図である。
<Example of eyewear functions>
The eyewear 100 according to the first embodiment can realize various functions using each module and an external information processing device. FIG. 8 is a diagram illustrating an example of a function that can be implemented according to the first embodiment;

(1)機能A・・・文字認識支援メガネ
機能Aを実現するために、ユーザは、カメラを含むモジュール310と、スピーカーモジュール400とをアイウエア100に取り付け、さらに、情報処理装置200において、文字認識部602と、音声合成部606とを用いる。
(1) Function A: Character Recognition Support Glasses In order to realize function A, the user attaches the module 310 including a camera and the speaker module 400 to the eyewear 100. A recognition unit 602 and a speech synthesis unit 606 are used.

アイウエア100に取り付けられたカメラは、文字を撮影し、撮影された画像データ(動画又は静止画を含むデータ)9を情報処理装置200に送信する。情報処理装置200の文字認識部602は、画像データから文字を認識し、音声合成部606は、認識された文字データを音声データに変換し、変換された音声データがアイウエア100のスピーカーに送信される。スピーカーは、受信した音声データを出力する。これにより、アイウエア100は、例えば失読症のユーザのために文字を読み上げる機能(文字認識支援機能)を有する。 A camera attached to the eyewear 100 captures characters and transmits captured image data (data including moving images or still images) 9 to the information processing device 200 . The character recognition unit 602 of the information processing apparatus 200 recognizes characters from the image data, and the speech synthesis unit 606 converts the recognized character data into voice data, and transmits the converted voice data to the speaker of the eyewear 100. be done. The speaker outputs the received audio data. Thereby, the eyewear 100 has a function of reading out characters (character recognition support function) for a dyslexic user, for example.

(2)機能B・・・視力矯正フリーメガネ
機能Bを実現するために、ユーザは、カメラを含むモジュール310と、フルカラーの網膜投影装置を含むモジュールをアイウエア100に取り付ける。
(2) Function B: Eyeglasses free of vision correction In order to realize function B, the user attaches to the eyewear 100 a module 310 containing a camera and a module containing a full-color retinal projection device.

アイウエア100に取り付けられたカメラは、アイウエア100の前方の景色等を撮影し、撮影された画像データを、網膜投影装置を含むモジュールに送信する。網膜投影装置を含むモジュールは、画像データを網膜に直接投影する。これにより、アイウエア100は、例えば視力矯正をさせずに、目の前の景色等をユーザに見せる機能(視力矯正フリー機能)を有する。 A camera attached to the eyewear 100 captures a scene or the like in front of the eyewear 100 and transmits the captured image data to a module including a retinal projection device. A module containing a retinal projector projects the image data directly onto the retina. Thus, the eyewear 100 has a function (visual correction free function) that allows the user to see the scenery in front of the user's eyes without correcting the visual acuity.

(3)機能C・・・難聴者向けメガネ
機能Cを実現するために、ユーザは、マイクを含むモジュール310と、単カラー網膜投影装置を含むモジュール300とをアイウエア100に取り付け、さらに、情報処理装置200において、音声認識部604を用いる。
(3) Function C: glasses for the hearing-impaired In order to realize function C, the user attaches module 310 including a microphone and module 300 including a single-color retinal projection device to eyewear 100, A speech recognition unit 604 is used in the processing device 200 .

アイウエア100に取り付けられたマイクは、音声を入力し、音声データを情報処理装置200に送信する。情報処理装置200の音声認識部604は、音声データから音声を認識し、文字データに変換する。変換された文字データがアイウエア100の単カラー網膜投影装置を含むモジュール300に送信される。モジュール300は、受信した文字データをユーザの網膜に直接投影する。これにより、アイウエア100は、例え難聴者のユーザに対して、マイクで入力した音声データを文字データに変換して網膜に直接投影する機能を有する。 A microphone attached to the eyewear 100 inputs sound and transmits sound data to the information processing device 200 . The speech recognition unit 604 of the information processing device 200 recognizes speech from the speech data and converts it into character data. The converted character data is sent to module 300 which contains the monochromatic retinal projection device of eyewear 100 . Module 300 projects the received character data directly onto the user's retina. Thus, the eyewear 100 has a function of converting voice data input through a microphone into character data and directly projecting the character data onto the retina of, for example, a hearing-impaired user.

(4)機能D・・・音声認識支援メガネ
機能Dを実現するために、ユーザは、マイクを含むモジュール310と、スピーカーモジュール400とをアイウエア100に取り付ける。
(4) Function D: Speech Recognition Assistance Glasses To implement function D, the user attaches module 310 including a microphone and speaker module 400 to eyewear 100 .

アイウエア100に取り付けられたマイクは、音声を入力し、音声データをスピーカーに送信する。スピーカーは、音声データの音量を調節して出力する。これにより、アイウエア100は、例えばユーザに対して、音声等の音量を調整して出力する機能(音声認識支援機能)を有する。 A microphone attached to the eyewear 100 inputs sound and transmits sound data to the speaker. The speaker adjusts the volume of the audio data and outputs it. Thus, the eyewear 100 has a function (speech recognition support function) for adjusting the volume of voice or the like and outputting it to the user, for example.

(5)機能E・・・眠気抑止メガネ
機能Eを実現するために、ユーザは、眼電位センサと6軸センサを含むモジュール250と、スピーカーモジュール400と、発光装置を含むモジュール410をアイウエア100に取り付け、さらに、情報処理装置200において、覚醒判定部608を用いる。
(5) Function E: sleepiness-suppressing glasses In order to realize function E, the user attaches a module 250 including an electro-oculography sensor and a 6-axis sensor, a speaker module 400, and a module 410 including a light-emitting device to the eyewear 100. Furthermore, in the information processing apparatus 200, the arousal determination unit 608 is used.

アイウエア100に取り付けられたモジュール250は、センシングしたデータ(眼電位信号、加速度データなど)を情報処理装置200に送信する。情報処理装置200の覚醒判定部608は、ユーザの覚醒度合いを判定し、判定結果を示す音声データをアイウエア100のスピーカーに送信する。スピーカーは、受信した音声データを出力する。また、覚醒判定部608は、ユーザの覚醒度合いが低い場合には、注意喚起として、発光信号を、アイウエア100の発光装置に送信し、発光装置は所定の発光を行う。発光の例は、赤点滅などである。これにより、アイウエア100は、例えば覚醒度合いをユーザに伝えたり、覚醒度合いが低いときなどに、ユーザに注意喚起を行ったりする機能(眠気防止機能)を有する。 A module 250 attached to the eyewear 100 transmits sensed data (electrooculography signal, acceleration data, etc.) to the information processing device 200 . The arousal determination unit 608 of the information processing device 200 determines the user's arousal level, and transmits audio data indicating the determination result to the speaker of the eyewear 100 . The speaker outputs the received audio data. Further, when the user's degree of arousal is low, the arousal determination unit 608 sends a light emission signal to the light emitting device of the eyewear 100 as a warning, and the light emitting device emits predetermined light. An example of light emission is red blinking. Thus, the eyewear 100 has a function (drowsiness prevention function) of, for example, notifying the user of the degree of arousal and calling the user's attention when the degree of arousal is low.

(6)機能F・・・集中メガネ
機能Fを実現するために、ユーザは、眼電位センサと6軸センサとを含むモジュール250と、発光装置を含むモジュール410をアイウエア100に取り付け、さらに、情報処理装置200において、集中判定部610を用いる。
(6) Function F: Concentration glasses In order to realize function F, the user attaches module 250 including an electro-oculogram sensor and a 6-axis sensor and module 410 including a light emitting device to eyewear 100, and further In the information processing apparatus 200, the concentration determination section 610 is used.

アイウエア100に取り付けられたモジュール250は、センシングしたデータ(眼電位信号、加速度データなど)を情報処理装置200に送信する。情報処理装置200の集中判定部610は、ユーザの集中度合いを判定し、ユーザの集中度合いが低い場合には、注意喚起として、発光信号を、アイウエア100の発光装置に送信する。発光装置は、発光信号を取得すると、所定の発光を行う。発光の例は、赤点滅などである。これにより、アイウエア100は、例えばユーザの集中度合いが低いときなどに、ユーザに注意喚起を行う機能を有する。 A module 250 attached to the eyewear 100 transmits sensed data (electrooculography signal, acceleration data, etc.) to the information processing device 200 . The concentration determination unit 610 of the information processing device 200 determines the degree of concentration of the user, and if the degree of concentration of the user is low, transmits a light emission signal to the light emitting device of the eyewear 100 as a warning. The light-emitting device emits predetermined light upon receiving the light emission signal. An example of light emission is red blinking. Thus, the eyewear 100 has a function of calling the user's attention, for example, when the user's degree of concentration is low.

なお、上記例では、発光装置は、アイウエア100装着者に注意喚起等するためテンプル130の内側に取り付けたが、周りの人に覚醒度合いや集中度合いを報知したい場合は、発光装置は、テンプル130の外側に設けられてもよい。なお、機能Fにおいて、アイウエア100は、スピーカーを用いて集中度合いをユーザに知らせてもよい。 In the above example, the light emitting device is attached inside the temple 130 to call attention to the wearer of the eyewear 100; 130 may be provided outside. In function F, the eyewear 100 may notify the user of the degree of concentration using a speaker.

なお、他の機能としては、アイウエア100に取り付けたカメラで撮影した人の顔を、情報処理装置200で顔認識してデータベース化しておく。次に、情報処理装置200は、アイウエア100のカメラで撮影された顔がデータベースに登録されていると判断すれば、発光信号を発光装置に送信する。発光装置は、発光信号を受信し、所定の発行を行う。これにより、アイウエア100は、装着者の目の前にいる人が一度会ったことがあるか否かをユーザに報知する機能を有する。また、上述した機能Aと機能Dとについて、情報処理装置200が翻訳部を有する場合、カメラで撮影した映像から文字認識した文字や、マイクに入力された音声を情報処理装置200の翻訳部で所定の言語に翻訳し、スピーカーで所定の言語を出力する機能を有してもよい。例えば、海外旅行者に装着されたアイウエア100が、現地の言語で記載された看板、案内表示等をカメラで撮影し、情報処理装置200が文字認識し、海外旅行者の母国語に翻訳して、アイエア100のスピーカーが、翻訳された母国語を出力する。また、アイウエア100が、現地の人が話した言葉をマイクで入力し、情報処理装置200が音声認識し、装着者の母国語に翻訳して、アイウエア100のスピーカーが、翻訳された母国語を出力する。なお、出力装置としてスピーカーを想定しているが、網膜投影装置や、図示しない小型ディスプレイ等を利用して翻訳後の母国語を表示することも可能である。また、情報処理装置200が翻訳後の母国語を表示したり音声で出力したりしてもよい。この場合、アイウエア100は入力装置として機能し、情報処理装置200は出力装置として機能する。 As another function, the information processing apparatus 200 recognizes the face of a person photographed by the camera attached to the eyewear 100 and stores it in a database. Next, when the information processing device 200 determines that the face captured by the camera of the eyewear 100 is registered in the database, the information processing device 200 transmits a light emission signal to the light emitting device. The light emitting device receives the light emission signal and emits a predetermined light. Thus, the eyewear 100 has the function of informing the user whether or not the person in front of the wearer has met once. For functions A and D described above, if the information processing apparatus 200 has a translation unit, the translation unit of the information processing apparatus 200 translates characters recognized from an image captured by a camera or voice input into a microphone. It may have a function of translating into a predetermined language and outputting the predetermined language through a speaker. For example, the eyewear 100 worn by an overseas traveler takes a picture of a signboard, guide display, etc. written in the local language with a camera, and the information processing device 200 recognizes the characters and translates them into the native language of the overseas traveler. Then, the Aiea 100 speaker outputs the translated native language. Also, the eyewear 100 inputs the language spoken by the local person through a microphone, the information processing device 200 recognizes the speech, translates it into the native language of the wearer, and the speaker of the eyewear 100 outputs the translated mother tongue. Output national language. Although a speaker is assumed as an output device, it is also possible to display the native language after translation using a retinal projection device, a small display (not shown), or the like. Further, the information processing apparatus 200 may display the native language after translation or output it by voice. In this case, the eyewear 100 functions as an input device, and the information processing device 200 functions as an output device.

以上、第1実施形態によれば、アイウエア100は、ベースとなるアイウエア100と、モジュール群の中の任意のモジュールとから構成される。また、各機能は、1つのモジュール(カメラ・マイク・生体センサー・ディスプレイ・イヤホン・LEDインジケータ等)として実装され、それぞれ決められたフレームの位置に取り付け・取り外しすることができる。 As described above, according to the first embodiment, the eyewear 100 is composed of the base eyewear 100 and arbitrary modules in the module group. In addition, each function is implemented as one module (camera, microphone, biosensor, display, earphone, LED indicator, etc.) and can be attached/detached to/from a predetermined frame position.

また、一部の機能付きのモジュールのみ使う場合は、アイウエア100の左右重量比バランスを取るために、機能付きのモジュールと同様の重りを搭載したモジュールを、反対側の部位に取り付けてもよい。 Also, when using only modules with a part of functions, in order to balance the left-right weight ratio of the eyewear 100, a module equipped with the same weight as the module with functions may be attached to the opposite side. .

また、上述したように、第1実施形態に係るアイウエア100は、例えば補聴器機能を持ったメガネや、デジタル視力矯正メガネ、文字認識メガネ、などを実現するためのモジュールを容易に組み合わせて取り付けることが可能である。 In addition, as described above, the eyewear 100 according to the first embodiment can easily combine and attach modules for realizing, for example, glasses with a hearing aid function, digital vision correction glasses, character recognition glasses, and the like. is possible.

また、量産型フレームのデザインの自由度を担保しながら、機能別にモジュールを追加搭載することができるため、機能別のアイウエア自体を供給するよりも生産コストを削減することができる。 In addition, since it is possible to additionally install modules for each function while ensuring the degree of freedom in the design of mass-produced frames, production costs can be reduced compared to supplying the eyewear itself for each function.

また、各モジュールをアイウエア100に取り付ける際に、取付方を共通化することで、開発側では、新たなモジュールにも共通の取付構造を設ければよく、機能の異なる別モジュールを継続的に開発することができる。また、各モジュールは、取付自在であるため、ファッションの一部であるアイテムとして受け入れられやすくなる。 In addition, when each module is attached to the eyewear 100, by standardizing the attachment method, the development side only needs to provide a common attachment structure for new modules, and different modules with different functions can be continuously attached. can be developed. Moreover, since each module can be freely attached, it is likely to be accepted as an item that is part of fashion.

[第2実施形態]
次に、第2実施形態に係るアイウエアについて説明する。第2実施形態では、各機能がテンプルやモダンに含まれていて、テンプルやモダンの各部が着脱自在になっている。これにより、第1実施形態と同様の効果をそうすることができる。
[Second embodiment]
Next, eyewear according to the second embodiment will be described. In the second embodiment, each function is included in the temple and the end piece, and each part of the temple and the end piece is detachable. Thereby, the same effects as those of the first embodiment can be obtained.

<モジュールの適用例>
第2実施形態に係るモジュールの適用例について説明する。図9は、第2実施形態に係る各モジュールの適用例を説明するための図である。まず、図9に示す例を用いて、第2実施形態におけるアイウエア900の構造を説明する。
<Module application example>
An application example of the module according to the second embodiment will be described. FIG. 9 is a diagram for explaining an application example of each module according to the second embodiment. First, the structure of eyewear 900 in the second embodiment will be described using the example shown in FIG.

アイウエア900は、着脱可能な第1着脱構造904R、904Lを両端に有するフロント902を有する。また、各テンプルは、フロント902の第1着脱構造904に着脱可能な第2着脱構造906を含む第1端部と、第3着脱構造914を含む第2端部とを有する。また、各モダンは、テンプルの第3着脱構造914に着脱可能な第4着脱構造916を一方の端部に有する。 The eyewear 900 has a front 902 with first removable structures 904R, 904L at opposite ends. Each temple also has a first end including a second attachment/detachment structure 906 detachable from the first attachment/detachment structure 904 of the front 902 and a second end including a third attachment/detachment structure 914 . Each modern end also has a fourth detachable structure 916 at one end that is detachable from the third detachable structure 914 of the temple.

各テンプルは、複数のモジュールを含む第1モジュール群のうちの任意のモジュールを含み、各モダンは、複数のモジュールを含む第2モジュール群のうちの任意のモジュールを含む。 Each temple includes any module of a first group of modules, and each modern includes any module of a second group of modules.

これにより、モダン、テンプル自体を取り換えることができ、アイウエアとしてのファッション性を失わずに各種機能を実現することができる。 As a result, the temple itself can be replaced, and various functions can be achieved without losing the fashionableness of eyewear.

以下、図9に示すモジュールの適用例について説明する。アイウエア900の右テンプルとして、網膜投影装置を含む右テンプル910R、又は機能なしの右テンプル912Rがある。このとき、ユーザは、右テンプルを適宜選択して、フロント902の右端部の第1着脱構造904Rに右テンプルの第2着脱構造906Rを、ねじなどを用いて着脱可能に係止する。また、発光装置のモジュール410Rは、第1実施形態と同様に、右テンプルの内側(顔側)に取り付け可能である。 An application example of the module shown in FIG. 9 will be described below. The right temple of the eyewear 900 includes a right temple 910R containing a retinal projection device or a non-functional right temple 912R. At this time, the user appropriately selects the right temple and detachably locks the second attachment/detachment structure 906R of the right temple to the first attachment/detachment structure 904R on the right end of the front 902 using screws or the like. Further, the module 410R of the light emitting device can be attached to the inner side (face side) of the right temple as in the first embodiment.

アイウエア900の左テンプルとして、カメラ9102及びマイク9102を含む左テンプル910L、又は機能なしの左テンプル912Lがある。このとき、ユーザは、左テンプルを適宜選択して、フロント902の左端部の第1着脱構造904Lに左テンプルの第2着脱構造906Lを、ねじなどを用いて着脱可能に係止する。 The left temple of the eyewear 900 may be left temple 910L containing camera 9102 and microphone 9102, or left temple 912L without functionality. At this time, the user appropriately selects the left temple and detachably locks the second attachment/detachment structure 906L of the left temple to the first attachment/detachment structure 904L on the left end of the front 902 using screws or the like.

アイウエア900の右モダンとして、イヤホン(スピーカー)920Rを含む右モダン918R、又は機能なしの右モダン922Rがある。このとき、ユーザは、右モダンを適宜選択して、右テンプルの端部の第2着脱構造914Rに右モダンの第3着脱構造916Rを、ねじなどを用いて着脱可能に係止する。 The right modern of the eyewear 900 includes a right modern 918R including earphones (speakers) 920R or a right modern 922R without functionality. At this time, the user appropriately selects the right modern end and detachably locks the third removable structure 916R of the right modern end to the second removable structure 914R at the end of the right temple using a screw or the like.

アイウエア900の左モダンとして、イヤホン(スピーカー)920Lを含む左モダン918L、又は機能なしの左モダン922Lがある。このとき、ユーザは、左モダンを適宜選択して、左テンプルの端部の第2着脱構造914Lに左モダンの第3着脱構造916Lを、ねじなどを用いて着脱可能に係止する。 The left modern of the eyewear 900 includes a left modern 918L including an earphone (speaker) 920L or a left modern 922L without functionality. At this time, the user appropriately selects the left modern end and detachably locks the third removable structure 916L of the left modern end to the second removable structure 914L at the end of the left temple using a screw or the like.

上述した機能なしのテンプル、モダンには重りを追加可能にしてもよい。アイウエア900の左右のバランスをとるためである。 A weight may be added to the temples and temples without the functions described above. This is for balancing the right and left sides of the eyewear 900 .

また、アイウエア900のブリッジ部分に、第1実施形態と同様に、機能付きのモジュール930、又は機能なしのモジュール932を取り付けることが可能である。 Also, a module 930 with function or a module 932 without function can be attached to the bridge portion of the eyewear 900 as in the first embodiment.

以上、本発明について各実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As described above, the present invention has been described using each embodiment, but the technical scope of the present invention is not limited to the scope described in the above embodiments. It is obvious to those skilled in the art that various modifications or improvements can be made to the above embodiments. It is clear from the description of the scope of the claims that forms with such modifications or improvements can also be included in the technical scope of the present invention.

100 メガネ
118 フロント
124 ブリッジ
130 テンプル
132 モダン
200 情報処理装置
300、310、400、410 モジュール
502 プロセッサ
504 メモリ
602 文字認識部
604 音声認識部
606 音声合成部
608 覚醒判定部
610 集中判定部
100 Glasses 118 Front 124 Bridge 130 Temple 132 Modern 200 Information processing device 300, 310, 400, 410 Module 502 Processor 504 Memory 602 Character recognition unit 604 Voice recognition unit 606 Voice synthesis unit 608 Arousal determination unit 610 Concentration determination unit

Claims (10)

フロントと、
前記フロントの両端に連結される一対のテンプルと、
前記一対のテンプルそれぞれに延設される一対のモダンと、
異なる機能を有する複数のモジュールを含む第1モジュール群であって、前記テンプルに共通して取り付け可能な第3取付構造を有する前記第1モジュール群のうちの第1モジュールと、
異なる機能を有する複数のモジュールを含む第2モジュール群であって、前記モダンに共通して取り付け可能な第4取付構造を有する前記第2モジュール群のうちの第2モジュールと、
を備え、
各テンプルは、前記第1モジュールの前記第3取付構造に取り付け可能な第1取付構造を有し、
各モダンは、前記第2モジュールの前記第4取付構造に取り付け可能な第2取付構造を有し、
前記第1モジュールの機能と前記第2モジュールの機能との組み合わせが変更されることにより、前記第1モジュールの機能と前記第2モジュールの機能とを含む組み合わせにより構成される機能が異なる、アイウエア。
front and
a pair of temples connected to both ends of the front;
a pair of end pieces extending from each of the pair of temples;
a first module group including a plurality of modules having different functions, the first module of the first module group having a third mounting structure attachable to the temple in common;
a second module group including a plurality of modules having different functions, the second module of the second module group having a fourth mounting structure that can be commonly mounted on the modern end;
with
each temple has a first mounting structure attachable to the third mounting structure of the first module;
each modern having a second mounting structure attachable to the fourth mounting structure of the second module ;
The eyewear, wherein the combination of the functions of the first module and the functions of the second module is changed so that the functions configured by the combination including the functions of the first module and the functions of the second module are different. .
前記第1取付構造と前記第2取付構造とは、同じ構造を有する、請求項1に記載のアイウエア。 2. The eyewear according to claim 1, wherein said first mounting structure and said second mounting structure have the same structure. 前記第1モジュール群は、データを入力する入力モジュールを含み、
前記第2モジュール群は、データを出力する出力モジュールを含む、請求項1又は2に記載のアイウエア。
The first module group includes an input module for inputting data,
3. The eyewear according to claim 1, wherein said second module group includes an output module for outputting data.
前記第1モジュール群は、前記出力モジュールをさらに含む、請求項3に記載のアイウエア。 4. The eyewear of Claim 3, wherein said first group of modules further includes said output module. 前記入力モジュールは、通信可能に接続された前記出力モジュールに、入力されたデータに基づく入力データを送信し、
前記出力モジュールは、前記入力データに基づく出力データを出力する、請求項3又は4に記載のアイウエア。
The input module transmits input data based on the input data to the communicatively connected output module;
5. The eyewear according to claim 3, wherein said output module outputs output data based on said input data.
前記入力モジュールは、通信可能に接続された他の情報処理装置に、入力されたデータに基づく入力データを送信し、
前記出力モジュールは、前記他の情報処理装置から受信したデータに基づく出力データを出力する、請求項3又は4に記載のアイウエア。
The input module transmits input data based on the input data to another information processing device communicatively connected,
5. The eyewear according to claim 3, wherein said output module outputs output data based on data received from said other information processing device.
前記フロントのブリッジ部に第5取付構造を有し前記第5取付構造は、前記入力モジュール及び一対のノーズパッドを含む第1機構、又は一対のノーズパッドを含む第2機構が取付けられる、請求項乃至6のいずれか一項に記載のアイウエア。 The bridge portion of the front has a fifth mounting structure , and the fifth mounting structure is mounted with a first mechanism including the input module and a pair of nose pads or a second mechanism including a pair of nose pads. Item 7. The eyewear according to any one of items 3 to 6. 前記入力モジュールは、カメラ、及びマイクの少なくとも1つを含み、
前記出力モジュールは、スピーカー、発光装置、及び網膜投影装置の少なくとも1つを含む、請求項に記載のアイウエア。
the input module includes at least one of a camera and a microphone;
5. The eyewear of Claim 4 , wherein the output module includes at least one of a speaker, a light emitting device, and a retinal projection device.
着脱可能な第1着脱構造を両端に有するフロントと、
前記第1着脱構造に着脱可能な第2着脱構造を含む第1端部と、第3着脱構造を含む第2端部とを有する一対のテンプルと、
前記第3着脱構造に着脱可能な第4着脱構造を一方の端部に有する一対のモダンと、
異なる機能を有する複数のモジュールを含む第1モジュール群のうちの第1モジュールと、
異なる機能を有する複数のモジュールを含む第2モジュール群のうちの第2モジュールと、
を有し、
前記テンプルは、前記第1モジュールを含み、
前記モダンは、前記第2モジュールを含み、
前記テンプルと前記モダンとを変更することで前記第1モジュールの機能と前記第2モジュールの機能との組み合わせが変更されることにより、前記第1モジュールの機能と前記第2モジュールの機能とを含む組み合わせにより構成される機能が異なる、アイウエア。
a front having detachable first attachment/detachment structures at both ends;
a pair of temples having a first end including a second attachment/detachment structure detachable from the first attachment/detachment structure and a second end including a third attachment/detachment structure;
a pair of end ends having a fourth attachment/detachment structure at one end that can be attached/detached to/from the third attachment/detachment structure;
a first module of a first module group including a plurality of modules having different functions;
a second module of a second module group including a plurality of modules having different functions;
has
the temple includes the first module ;
the modern includes the second module;
The function of the first module and the function of the second module are included by changing the combination of the function of the first module and the function of the second module by changing the temple and the temple. Eyewear with different functions depending on the combination .
前記第1モジュール又は前記第2モジュールは、重りを有するモジュールを含む、請求項1乃至9に記載のいずれか一項に記載のアイウエア。10. Eyewear according to any one of the preceding claims, wherein the first module or the second module comprises a weighted module.
JP2018209615A 2018-11-07 2018-11-07 eyewear Active JP7265856B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018209615A JP7265856B2 (en) 2018-11-07 2018-11-07 eyewear

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018209615A JP7265856B2 (en) 2018-11-07 2018-11-07 eyewear

Publications (2)

Publication Number Publication Date
JP2020076852A JP2020076852A (en) 2020-05-21
JP7265856B2 true JP7265856B2 (en) 2023-04-27

Family

ID=70724029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018209615A Active JP7265856B2 (en) 2018-11-07 2018-11-07 eyewear

Country Status (1)

Country Link
JP (1) JP7265856B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008172367A (en) 2007-01-09 2008-07-24 Scalar Corp Head mounted display
JP2013243514A (en) 2012-05-21 2013-12-05 Olympus Corp Eyeglass-type wearable device and temple section for eyeglass-type wearable device
US20140232980A1 (en) 2013-02-21 2014-08-21 Donn K. Harms Mounting Interface for Eyewear
US20140363227A1 (en) 2013-06-10 2014-12-11 Patrick C. Ho Article, Interchangeable Component, And System
WO2016075781A1 (en) 2014-11-12 2016-05-19 富士通株式会社 Wearable device, display control method, and display control program
CN106019635A (en) 2016-07-29 2016-10-12 刘静 Wearable intelligent electronic communication device
US20180042369A1 (en) 2016-08-09 2018-02-15 PogoTec, Inc. Connectors for attaching one or more wearable devices to eyewear
JP2018136776A (en) 2017-02-22 2018-08-30 株式会社ジンズ Information processing method, information processing device and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008172367A (en) 2007-01-09 2008-07-24 Scalar Corp Head mounted display
JP2013243514A (en) 2012-05-21 2013-12-05 Olympus Corp Eyeglass-type wearable device and temple section for eyeglass-type wearable device
US20140232980A1 (en) 2013-02-21 2014-08-21 Donn K. Harms Mounting Interface for Eyewear
US20140363227A1 (en) 2013-06-10 2014-12-11 Patrick C. Ho Article, Interchangeable Component, And System
WO2016075781A1 (en) 2014-11-12 2016-05-19 富士通株式会社 Wearable device, display control method, and display control program
CN106019635A (en) 2016-07-29 2016-10-12 刘静 Wearable intelligent electronic communication device
US20180042369A1 (en) 2016-08-09 2018-02-15 PogoTec, Inc. Connectors for attaching one or more wearable devices to eyewear
JP2018136776A (en) 2017-02-22 2018-08-30 株式会社ジンズ Information processing method, information processing device and program

Also Published As

Publication number Publication date
JP2020076852A (en) 2020-05-21

Similar Documents

Publication Publication Date Title
CN109407757B (en) Display system
US10146772B2 (en) Language translation with head-worn computing
US10025119B2 (en) Mechanical arrangement for head-worn computer
US9719871B2 (en) Detecting a state of a wearable device
US20170105622A1 (en) Monitoring pulse transmissions using radar
US20180027162A1 (en) Augmented Video Processing
US10191289B2 (en) Modular accessories for head-mountable device
US20180055203A1 (en) Ear-mounted device
US11727223B2 (en) Language translation with head-worn computing
CN107113390B (en) Control device
US11163156B2 (en) Modular display and sensor system for attaching to eyeglass frames and capturing physiological data
CN113260902A (en) Eyewear system, apparatus and method for providing assistance to a user
TW201626951A (en) Wearable physiological monitoring device and system
JP2020089430A (en) Nose pad and eyewear
JP5555366B1 (en) Glasses frame, glasses with wearable computer
WO2019237426A1 (en) Audio conversion device
JP7265856B2 (en) eyewear
JPWO2019225244A1 (en) Electrodes for acquiring biological signals, electrode pairs for acquiring biological signals, and biological signal measurement system
TWI610656B (en) Wearable physiological monitoring device
JP2018518075A (en) Ear-mounted device
TWM574026U (en) Wearable physiological monitoring device and system
JP5919323B2 (en) Blink detector and glasses-type electronic device
KR102511785B1 (en) Smart glasses for preventing drowsiness and enhancing concentration
CN220872781U (en) Intelligent head-mounted device
CN117980805A (en) Modular assembly

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R150 Certificate of patent or registration of utility model

Ref document number: 7265856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150