JP6479628B2 - 眼鏡型情報端末、情報処理装置、コンピュータプログラム - Google Patents

眼鏡型情報端末、情報処理装置、コンピュータプログラム Download PDF

Info

Publication number
JP6479628B2
JP6479628B2 JP2015215886A JP2015215886A JP6479628B2 JP 6479628 B2 JP6479628 B2 JP 6479628B2 JP 2015215886 A JP2015215886 A JP 2015215886A JP 2015215886 A JP2015215886 A JP 2015215886A JP 6479628 B2 JP6479628 B2 JP 6479628B2
Authority
JP
Japan
Prior art keywords
light emission
information terminal
type information
sound
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015215886A
Other languages
English (en)
Other versions
JP2016048566A5 (ja
JP2016048566A (ja
Inventor
啓 白鳥
啓 白鳥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LUNETTES INC.
Original Assignee
LUNETTES INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LUNETTES INC. filed Critical LUNETTES INC.
Priority to JP2015215886A priority Critical patent/JP6479628B2/ja
Publication of JP2016048566A publication Critical patent/JP2016048566A/ja
Publication of JP2016048566A5 publication Critical patent/JP2016048566A5/ja
Application granted granted Critical
Publication of JP6479628B2 publication Critical patent/JP6479628B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eyeglasses (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Description

本発明は、着用者に対して信号光および音によって情報を伝え、着用者の周囲への情報発信も可能な眼鏡型情報端末と、この眼鏡型情報端末と連携動作する情報処理装置およびその構成品に関する。
近年、一般的な眼鏡を着用する感覚で情報を表現する眼鏡型情報端末が提案されている。例えば、特許文献1に開示された眼前装着型映像表示装置では、眼鏡レンズに相当する部分に液晶表示パネルを設け、この液晶表示パネルが、コンピュータ装置に接続されるように構成される。また、特許文献2に開示された映像表示装置では、入力された映像信号に応じて光度を変化させた光をビーム光に変換する。そして、このビーム光を2次元走査するとともに、眼鏡のレンズ相当の部位に配設された集積型ミラーを通じて、走査されたビーム光を装着者の眼球に導いている。
特許文献1,2に開示された装置は、いずれも眼鏡レンズ相当の部位に画像又は映像(以下、「画像等」という。)を表示させるための表示パネルを形成する。あるいは形成されているように着用者に見せる。そのため、画像処理のための処理モジュールと画像等を表示させるための光学機構が不可欠となり、着用者の身体に負担をかけるばかりでなく、着用者を眺める者にも違和感を与える。また、通常、人は一方の目で画像等、他方の目で自分の周囲を直視することができない。そのため、特許文献1,2に開示されたような従来の眼鏡型情報端末の着用者は、画像等が表示されているときは、自分の周囲に対する集中心が欠け、日常生活に支障が生じるおそれがある。
このような問題を解決する技術として、特許文献3に開示された頭部装着型情報通知装置では、使用者の視野内で、眼鏡を装着した際に眼鏡レンズを通して見える視野から外れる位置に表示部を配置し、この表示部で発光した光を通じて使用者に情報の受信を通知している。
特開2003−289484号公報 特開2000−111829号公報 特開2011−229024号公報
特許文献3に開示された頭部装着型情報通知装置は、周囲へ不快感を与える情報の通知方法では、使用できる環境が制限されるため、情報の受信を使用者だけに通知し、周囲には察知されないようにするものである。そのため、発光部は、使用者の中心視軸を基準に耳側に約68度から約100度の領域に配置する必要があるとされる。また、発光部に指向性をもたせ、射出光の照射領域を射出部から見て使用者(着用者)の頭部両端面部で囲まれた領域、すなわち照射光が頭部によって遮られる領域にしなければならないとされる。
しかしながら、着用者の視野や視界は様々であり、発光部の位置を固定的に定めた眼鏡フレームを量産することができない。いわゆる特注品となる。そのため、製造コストを低減させることが困難となる。また、周囲に察知されない弱い光では、着用者自身も察知できないおそれがある。歩行中(走行中)のように意識が前方の視界に集中している場合や眼を瞑っている場合はなおさらである。また、着用者から離れた位置で光を発光する以上、発光の影響は必ず生じる。そのため、発光を周囲に察知されない構造にすることは困難である。むしろ、発光させた光を通じて周囲へも着用者からの情報を発信できるようにすれば、この種の眼鏡型情報端末の需要ないし用途が拡がる期待がある。
本発明は、着用者宛の情報を日常生活に支障を生じさせることなく着用者に伝えるばかりでなく、周囲に対しても着用者からの情報の発信を可能にする眼鏡型情報端末を提供することを主たる課題とする。
本発明の他の課題は、上記の眼鏡型情報端末との連携に適した情報処理装置、それを実現するためのコンピュータプログラムを提供することにある。
本発明によれば、端面が散乱面となる眼鏡レンズを保持可能な眼鏡フレームと、信号光を着用者の視界を遮ることなく前記眼鏡レンズの端面に向けて発光する発光源と、自装置の状態報知以外の情報発信を行うためのアプリケーションを含む複数のアプリケーションのいずれかを選択するとともに、選択されたアプリケーションの実行状況に応じた前記信号光の発光態様を設定する外部装置との間で無線通信を行う通信モジュールと、前記外部装置で設定された発光態様を前記通信モジュールを通じて入力し、これにより前記発光態様を実現する制御モジュールと、を有する眼鏡型情報端末が得られる。
また、本発明によれば、端面が散乱面となる眼鏡レンズを保持可能な眼鏡フレーム、信号光を着用者の視界を遮ることなく前記眼鏡レンズの端面に向けて発光する発光源、所定の音を出力するスピーカ、前記発光源を制御することにより前記信号光の発光色と点滅パターンの少なくとも一方を変化させるとともに前記音の出力態様を表す音制御信号の入力を契機に前記出力態様を実現する制御モジュール、及び、外部装置と前記制御モジュールとの通信を可能にする通信モジュールを有する眼鏡型情報端末の前記通信モジュールとの間で通信を行う通信手段と、報発信を行うためのアプリケーションを含む複数のアプリケーションのいずれかを選択するとともに、選択されたアプリケーションの実行状況に応じた前記信号光の発光態様又は前記音の出力態様を設定する設定手段と、前記アプリケーションの実行状況を監視する監視手段と、監視された実行状況に応じて前記設定手段で設定された発光態様又は出力態様を実現するための制御情報を生成し、生成した制御情報を前記通信手段を通じて前記眼鏡型情報端末へ送信する制御手段と、を有する情報処理装置が得られる。
また、本発明によれば、通信機能を有するコンピュータを、上記の情報処理装置として動作させるためのコンピュータプログラムが得られる。
本発明の眼鏡型情報端末は、信号光が発光源から眼鏡レンズの端面または眼鏡フレームに向けて伝搬する。そのため、着用者の視界を妨げることがなく、信号光を通じて情報を着用者に伝えることができる。また、眼鏡フレームまたは眼鏡レンズの端面に到達した光を通じて着信者からの情報を周囲に発信することができる。
また、本発明の情報処理装置によれば、眼鏡型情報端末における情報の表現の内容を、その眼鏡型情報端末から離れた位置で設定することができる。
(a)は本実施形態に係る眼鏡型情報端末の正面図、(b)は側面図。 (a)はこの眼鏡型情報端末の上面図、(b)は斜視図。 着用者の右目部分のリムの部分拡大図。 制御モジュールの機能構成図。 対応テーブルの内容例の説明図。 対応テーブルの内容例の説明図。 データ保持部に保持されるテーブルの内容例の説明図。 情報処理装置の機能構成図。 監視対象となるAPPの設定手順説明図。 設定メニュー画面の説明図。 設定するAPPの選択画面の説明図。 電子メールについての設定内容画面の説明図。 情報処理装置におけるアクション情報の生成、送信の手順説明図。 眼鏡型情報端末におけるアクション情報に基づく制御手順説明図。 眼鏡型情報端末におけるセンサ結果に基づく制御手順説明図。
図面を参照して、本発明の実施の形態例を説明する。本実施形態では、情報処理装置の一例となる携帯端末を携行するユーザが、眼鏡型情報端末を頭部に着用して使用する場合の例を示す。このようなユーザを「着用者」と称する。携帯端末は、スマートフォン、タブレット端末、ノートパソコンなどのコンピュータであり、眼鏡型情報端末からみれば外部装置となる。携帯端末には、予め複数種類のアプリケーション(アプリケーションプログラムの実行によって実現されるサービス。以下「APP」と略称する。)が導入(インストール)されている。以下の説明では、便宜上、携帯端末がスマートフォンであるものとする。
[眼鏡型情報端末]
まず、眼鏡型情報端末1の構造例について説明する。図1(a)は本実施形態に係る眼鏡型情報端末の正面図、(b)は側面図である。また、図2(a)はこの眼鏡型情報端末の上面図、(b)は斜視図である。
眼鏡型情報端末1は、眼鏡フレーム10を有する。眼鏡フレーム10は、発色性部材で構成され、その内部に各種の電子部品が収容される。発色性部材は、入力光の色に応じて発色する部材であり、白濁色、特定の無彩色または有彩色、あるいはこれらの混合色となるアクリル等の透光性樹脂を用いることができる。なお、眼鏡型情報端末1を着用することは、この眼鏡フレーム10を着用することと同義である。
眼鏡フレーム10は、左右一対の眼鏡レンズ20a,20bのそれぞれの上縁部および側端部の一部を保持するリム11を有する。リム11には、着用されたときに下方となる端面および中央よりの側端面にリム線と呼ばれる一対の溝が掘られている。眼鏡レンズ20a,20bは、これらの溝にその上端面が嵌められ、さらにリム11の弾力性によって保持される。これらの端面に接着剤を塗布してリム11に固定させることもできる。リム11の左右の智元12a,12bには、丁番を介してテンプル部(腕、ツルともいう)13a,13bが取り付けられる。テンプル部13a,13bの先端は、「モダン」と呼ばれる耳当て形状に一体成形されている。リム11には、また、着用者の鼻に載せるためのノーズパット14a,14bも形成されている。ノーズパッド14a,14bとリム11とは、クリングスと呼ばれるパーツで接合される。
眼鏡レンズ20a,20bには、着用者が日常生活で用いる一般的な眼鏡レンズを用いることができる。つまり、着用者が自分用の眼鏡レンズを調達して眼鏡フレーム10に保持させることで、眼鏡型情報端末1が完成する。
眼鏡フレーム10には、図1および図2に破線で示される部位に、様々な電子部品が収容される。電子部品の一つは、それぞれ独立に発光制御が可能なカラーチップLED(Light Emitting Diode)30a,30b,30c,30d,30e,30fである。以下、これらのカラーチップLEDを特に区別する必要がない場合はチップLED30と略称する。チップLED30は、具体的には、それぞれ1色以上のカラー光を発光可能な発光デバイスである。例えば、赤色、青色、黄色の三原色のLEDを1つのチップに搭載し、その中のいずれか1色、あるいは、2色以上を所定の光量で選択的に駆動することで、多彩なカラー光を発光可能にする。このようなチップLED30としては、例えば中国ラッキーライト社(Lucky Light Electronic Co., Ltd.)が販売する「LL-S197BRGBC」などを使用することができる。
本実施形態では、チップLED30を、後述する孔111bとの協働によって所定方向に向かう信号光を発光する発光源として用いている。「信号光」とは、情報を表現した光のことをいう。点滅も連続光も情報を持つ限り、信号光となり得る。チップLED30は、リム11に形成された溝のやや上部に、左右の眼鏡レンズ20a,20bについてそれぞれ3つずつ配設される。これにより、情報に応じた多彩なカラー光を発光することができる。
本実施形態では、チップLED30のほか、圧電スピーカ40、環境センサ50、通信モジュール60、制御モジュール70、スイッチ80およびバッテリー90を電子部品として用いている。これらの電子部品も眼鏡フレーム10の所定部位に収容される。
圧電スピーカ40は、テンプル部13bのうちモダンの内側、すなわち着用者の耳を指向する部位に設けられる。図1および図2では、1つの圧電スピーカ40を用いた場合の例を示してあるが、もう一方のテンプル部13aに設けることもできる。今日、薄さ0.5[mm]で約1[mm]四方程度の超小型の製品が販売されているので、そのような製品を使用することができる。
環境センサ50は、眼鏡フレーム10の周辺環境の変化を検知するセンサであり、リム11の中央部付近に設けられる。環境センサ50は、例えば、加速度センサ、気圧センサ、温度センサ、湿度センサ、距離センサ、照度センサのいずれか、又はこれらの組み合わせを着脱自在に装着することができる。本実施形態では、環境センサ50の例として、照度センサを用いたことを前提に説明を続ける。
通信モジュール60は、「Bluetooth」による近距離無線通信を行う汎用のモジュールを用いている。近距離無線通信は、国際的な基準で定められた微弱電力による通信規格である。このような近距離無線通信によることとしたのは、他の情報端末との混信を回避するためである。また、「Bluetooth」を用いるのは、モジュールの小型化が進んでおり、眼鏡フレーム10への収容に適しているためであるが、「Bluetooth」以外の近距離無線通信、例えば赤外線通信を行うこともできる。また、混信のおそれが無い場合は、近距離無線通信以外の無線通信あるいは有線通信を行う通信モジュールを用いることもできる。
制御モジュール70については、後述する。スイッチ80は、チップLED30および圧電スピーカ40の動作を停止したり、再開したりするための切替スイッチである。バッテリー90は、例えばリチウムイオンバッテリー、あるいはボタン電池である。図示を省略したが、チップLED30の光量又は圧電スピーカ40の音量を調整する調整ボタンも設けられている。
各電子部品は、配線パターンが形成された1又は複数枚のフィルム状の回路基板を通じて眼鏡フレーム10に実装される。リム11と一対のテンプル部13a,13bとの間の回路基板同士は、個別の配線により導通させる。これにより、眼鏡フレーム10全体で、電子回路が形成される。各電子部品の縦横サイズはいずれも0.5[mm]〜5[mm]程度あるいはそれ以下のサイズのものである。そのため、これらの電子部品を収容しても、本実施形態のような電子部品を実装しない通常の眼鏡フレームに対して、着用者も第三者にとっても違和感のない小型軽量の眼鏡フレーム10を実現することができる。
ここで、発光源の構造を、図3を参照して詳しく説明する。図3は、着用者の右目部分のリム11の部分拡大図である。チップLED30a,30b,30cのうち、中央部のチップLED30bの発光面(光を発光する面)は、眼鏡レンズ20aの周縁の端面を向いている。また、その両脇のチップLED30a,30cの発光面は、チップLED30bの反対方向を向いている。また、リム11のうち、中央部のチップLED30bを収容する部分に、発光された光をビーム化するとともに、光の発光方向を定める孔111bが形成されている。この孔111bは、眼鏡レンズ20bの端面のうち、着用者の目線よりもやや下方の端面を指向する形状に成形される。通常、どのような眼鏡レンズを保持しても眼鏡フレームに対する角度はほぼ一定となる。そのため、本実施形態のように、予め孔111bを上記のように成形しても支障はない。つまり、チップLED30bから発光される信号光は、眼鏡フレーム10に着用者が選定した任意の眼鏡レンズを保持しても、上記の端面に向けて伝搬することになる。
なお、中央部以外のチップLED30a,30cは、主として眼鏡フレーム10の発色を変える役割をもつ。そのため、これらの発光面は、眼鏡フレーム10の内部に向けて発光するように配置される。図3の例では着用時に直上となる方向となる例を示してあるが、これは一例であって、リム11の形状によっては、着用時に水平からやや傾きをもつ方向に配置されるようにしてもよいことは勿論である。チップLED30a,30cの発光面で発光した光は、リム11の内部で反射を繰り返しながら伝搬する。その過程でリム11が発色する。この光は、テンプル部13a,13bにも伝搬する。つまり、眼鏡フレーム10全体を元の色から変化させることができる。なお、眼鏡フレーム10に蛍光剤が混入されている場合は、発光量を増加させたり、所望の色を合成することが容易になる利点がある。
眼鏡レンズ20aの端面は、通常は、レンズ加工の際に散乱面となる。そのため、眼鏡レンズ20aの端面に到達した光は、反射ミラーのような特別の機構を設けなくとも、端面ないし眼鏡レンズ20aの表面を伝搬する光を介して着用者の目に届く。人は、目線の上方よりも下方を視認しやすい。そのため、信号光の光量が小さい場合であっても、少なくとも目線の下方の端面を介して着用者に情報を伝えることができる。信号光がフラッシュする表示態様も可能であり、この場合は、例えば着用者が作業に集中していたり、歩行またはランニング中であっても、信号光を確実に伝えることができる。いずれの場合も、信号光が眼鏡レンズ20aの端面に向かうだけなので、着用者の視界を妨げることはない。
なお、図3は、着用者の右目部分のリム11の構造を示しているが、左目部分のリム11についても同様の構造となる。なお、孔111bの形状は、チップLED30b、特にその発光面の形状、構造に応じて適宜変更することができる。以後、眼鏡レンズ20a,20bを区別する必要がない場合は、「眼鏡レンズ20」と表現する。
次に、眼鏡型情報端末1において実現される機能例について説明する。各機能は、制御モジュール70が主体的に動作することにより実現される。本実施形態では、制御モジュール70を、プロセッサ、コンピュータプログラムおよびディジタルデータが実装されたファームウェアで構成した。この種のファームウェアには、規模の小さいCPLD(Complex Programmable Logic Device)やFPGA(field-programmable gate array)などを用いることができる。制御モジュール70の機能構成例を図4に示す。制御モジュール70は、入出力制御部711、タイマ712、複数の対応テーブル713、データ保持部714および、各部の動作を統括的に制御する主制御部715を有する。
入出力制御部711は、チップLED30、圧電スピーカ40、環境センサ50および通信モジュール60と主制御部715との間の情報の入出力を制御する。タイマ712は現在時刻の計時結果を主制御部715に出力する。タイマ712は、時刻ないし時間の始期および終期を判定する用途などに使用される。対応テーブル713は、主制御部715によるチップLED30および圧電スピーカ40の駆動パターンをテーブル化したものである。駆動パターンは、各種制御情報に応じて設定される。本実施形態で説明する制御情報は、以下のものである。
(a)スマートフォンに導入されたAPPの実行状況に応じて定められた発光源の発光態様を表す発光制御情報(スマートフォンから受信)。
(b)環境センサ50の検知結果に応じて定めた発光源の発光態様を表す発光制御情報(第2発光制御情報)。
(c)環境センサ50の検知結果に応じて定められた発光源の発光態様を表す発光制御情報(第3発光制御情報:スマートフォンから受信)。
(d)音源データを用いて圧電スピーカ40が発する音の出力態様を表す音制御情報(スマートフォンから受信)。
以下、各種制御情報を区別する必要がない場合は、「アクション情報」と総称する。アクション情報は、着用者に固有の情報となる。このアクション情報の内容は、例えばスマートフォンを通じて、着用者あるいは関係者が任意に設定し、適宜、変更することができる。設定、変更の仕方については、後で詳しく説明する。
ここで、「発光源の発光態様」とは、チップLED30の駆動タイミングを制御することにより実現する発光色(混合色の場合は組み合わせ)、点滅の有無、点滅パターン(周期、継続時間など)などをいう。フラッシュも点滅パターンの一態様である。また、「音の出力態様」とは、圧電スピーカ40を駆動するために使用する音源データの有無、音源パターン(断続の有無、音源データの組み合わせ)およびメッセージパターン(音源データの組み合わせ)などをいう。メッセージパターンには、合成音声の組み合わせパターンも含まれる。本実施形態における対応テーブル713の内容例を図5〜図7に示す。
図5の例では、使用する光の種類(色)、点滅パターン、音源パターン、メッセージパターンのレコード毎に、パターンIDが関連付けられている。いずれかのパターンIDを特定することにより、発光態様と出力態様の少なくとも一方を特定することができる。主制御部715は、特定したパターンIDに従う内容でチップLED30および圧電スピーカ40を制御する。図5において、「LED#1」はチップLED30a、「LED#2」はチップLED30b、「LED#3」はチップLED30c、「LED#4」はチップLED30d、「LED#5」はチップLED30e、「LED#6」はチップLED30fに対応する。
「×」は当該チップLED30を駆動しないことを表す。「L1」,「L2」,「L3」はそれぞれ異なるチップLED30の発光色を表す。「L1,L3」は、混合色を表す。点滅パターンの「○」は、LED#1〜LED#6の点滅パターンを表す。点滅パターン「0」は点滅しないこと、つまり、チップLED30をある時間だけ駆動してバースト的に発光させることを表す。点滅パターン「1」〜「4」は、それぞれ点滅の間隔や速度が異なるものである。
例えば、図5のパターンID「A−001」では、「LED#1,#3,#4,#6」を「L1」すなわち、チップLED30a,30c,30d,30fをいずれもL1に対応する色(例えば緑色)に連続して発光させることを表している。「音源パターン」および「メッセージパターン」の「○」は、出力するパターンを表す。いずれも「0」は音源データを使用しない(音を出力しない)ことを表す。音源パターン「1」〜「5」、メッセージパターン「1」〜「5」は、それぞれ異なる音源データないしメッセージの組み合わせパターンである。他のパターンID、チップLED30、圧電スピーカ40についても同様の内容となる。このように、使用する光の種類(色)、点滅パターン、音源パターン、メッセージパターンをレコード毎にパターンIDで関連付けておくことにより、チップLED30と圧電スピーカ40とを組み合わせたときの制御が簡略になる(パターンIDを特定するだけで足りるため)。なお、パターンIDは、追加、変更、削除が可能なものである。
図6には、環境センサ50の検知結果に応じて制御する発光態様と出力態様が例示されている。発光態様と出力態様は、変化IDに関連付けられている。変化IDは、照度センサの例では、眼鏡型情報端末1の周囲の照度変化の程度を表すものとなる。変化IDには、それぞれ照度変化の基準範囲が設定されており、照度変化が、ある基準範囲のときは「KA−001」、その基準範囲を超えたときは「KA−002」・・・のように設定される。例えば、照度変化が変化ID「KA−001」に該当する分だけ変化したとする。この場合、チップLED30のうち、LED#1,LED#3,LED#4,LED#6(チップLED30a,30c,30d,30f)を−a(ルクス)だけ光量を変化させることが示されている。音源「×」は、圧電スピーカ40から音ないしメッセージを出力しないことを表す。音やメッセージを出力するときは、「○」が設定される。そして、図5に示したように、「1」〜「5」のいずれかが選択されることになる。
なお、変化IDは、追加、変更、削除が可能なものである。
図7には、APP毎の制御内容が例示されている。「APP−ID」は、スマートフォンに導入され、その実行状況を監視できるように設定されたAPPのIDである。「パターンID」は、図5に例示された内容のものである。「変化ID」は、図6に例示されたKA−001などである。図7の例では、あるAPP(APP−05)については、「B−001」のパターンIDで特定される発光態様および出力態様をベースとし、「KB−001」の変化IDで特定されるパターンで光量調整が行われることになる。なお、APP−ID(図7)には、常にパターンID(図5)と変化ID(図6)とが含まれるわけではなく、パターンIDだけであってもよい。逆に、他のパターン(ID)を追加してもよい。
図4に戻り、データ保持部714には、主制御部715が、チップLED30の発光態様や圧電スピーカ40の出力態様を実現する上で必要となるディジタルデータと、APP毎の設定内容が保持される。ディジタルデータは、例えばチップLED30の仕様に基づく発光制御のための制御パラメータや、圧電スピーカ40から出力させる音の内容を定める複数種類の音源データである。音源データには、メッセージデータを構成するための合成音声も含まれる。このようなディジタルデータは、スマートフォンなどから入手して保持される。
主制御部715の動作の一つは、スマートフォンに導入されたAPPの実行状況あるいは環境センサ50の検知結果に応じて、チップLED30の発光制御や圧電スピーカ40の出力制御を行うことである。これらの制御は、アクション情報に基づいて行う。アクション情報は、スマートフォンに導入されたAPPの実行状況を監視する場合は、それを生成したスマートフォンから通信モジュール60を通じて受信する。第2発光制御情報や警報情報については、スマートフォンからではなく、主制御部715が自ら生成する。図5〜図7に例示した対応テーブル713に相当するものは、後述するようにスマートフォンも備えている。そのため、本実施形態の場合、スマートフォンから受信するアクション情報の実体は、図7に示すAPP−IDとなる。なお、スマートフォンの実行状況と無関係のアクション情報(第2発光制御情報など)については、予めスマートフォンにおいて固定的なAPP−IDが設定される。
主制御部715は、取得したアクション情報(APP−ID:図7)に基づき、パターンID(図5)および変化ID(図6)を特定する。そして、データ保持部714に保持されたディジタルデータのうち制御パラメータデータなどを用い、入出力制御部711を介してチップLED30および圧電スピーカ40を駆動する。
[スマートフォン]
次に、携帯端末(外部装置)の一例となるスマートフォンの構成について説明する。スマートフォンは、公衆通信網を用いたデータ通信および通話などの通信機能、ディスプレイなどの情報表示機能、キーボードなどの情報入力機能、音源データやスピーカなどを備えた公知の携帯型のコンピュータである。情報表示機能および情報入力機能は、タッチパネルによって実現される。通信機能は、公衆通信網を介した一般的な通信のほか、眼鏡型情報端末1との間で、1対1の近距離無線通信を行う機能を備えている。
本実施形態では、APP監視用のコンピュータ・プログラムが記録されたコンピュータ可読の記録媒体から、当該コンピュータ・プログラムをスマートフォンに導入し、実行することにより、特徴的な機能を実現する。図8は、スマートフォンにおいて実現される機能ブロックの構成図である。スマートフォン5は、制御部50,監視部51,設定部52,通信部53およびこれらの機能ブロックが適宜参照するデータ保持部54として機能する。通信部53は、本実施形態では、眼鏡型情報端末1と同様、「Bluetooth」による近距離無線通信を行うものとする。データ保持部54には、近距離無線通信の相手先である眼鏡型情報端末1の情報や、眼鏡型情報端末1が備えている対応テーブル713(図5〜図7)と同じ内容のテーブルなどが保持されている。テーブルの内容は、通信部53によって眼鏡型情報端末1との間の近距離無線通信が可能になった時点で同期される。
監視部51は、スマートフォンに導入されたAPPの実行状況を監視する。監視対象となるAPPは、着用者が任意に定め、データ保持部54へのテーブルにそのID(APP−ID)を設定する。本実施形態では、通話着信、メール着信、メッセージ交換サービスの着信、各種情報案内の着信、リラクゼーションをAPPの実行状況とする場合の例を示す。各着信は、通信部53ではなく、メールAPPや、インターネット通信APPなど、スマートフォンにもともと導入されているAPPの実行状況の一つとして検知されるものである。
設定部52は、監視部51で監視されたAPPの実行状況に応じて定めるチップLED30の発光態様、および/または、圧電スピーカ40の出力態様を設定する。具体的には、設定用画面をタッチパネルに表示させ、そのタッチ操作などにより入力された設定内容を制御部50へ伝える。
制御部50は、設定部52で設定された内容に基づいてデータ保持部54に保持されているテーブルの内容を作成または更新する。また、監視部51によるAPPの実行状況の監視結果に基づいてアクション情報を生成する。そして、生成したアクション情報を、通信部53を通じて眼鏡型情報端末1へ送信する。アクション情報を生成するときは、データ保持部54のテーブルを参照する。本実施形態の場合、監視対象となるAPPを設定した時点で、制御部50は、そのAPPについてのAPP−IDを把握している。そのため、本実施形態の場合、アクション情報は、このAPP−ID(あるいは付随情報を添えて)をアクション情報として生成し、これを眼鏡型情報端末1へ送信すればよい。
次に、スマートフォン5と眼鏡型情報端末1との連携動作例を、具体的に説明する。
図9は、スマートフォン5が、実行状況の監視元となるAPPを設定するときの手順説明図である。眼鏡型情報端末1の着用者などからの設定要求が入力されると(S101:Yes)、設定部52は、図10に示される設定メニュー画面1001をタッチパネルに表示させる(S102)。図示の設定メニュー画面1001では、実行状況の監視元として既に設定されたAPPのアイコンと、新たな設定ないし設定済の内容の変更を可能にするための「設定」アイコン1002とが表示されている。
図10の画面に表示されているAPPのアイコンは、「タイマ」、「テンポ」、「リラックス」に対応するものである。「タイマ」は、着用者に注意を喚起する時刻をアクション情報として出力するAPPである。「テンポ」は、ペース判断などに使用する一定の時間間隔毎のトリガをアクション情報として出力するAPPである。「リラックス」は、いわゆるリラクゼーションAPPである。リラクゼーションAPPは、目に優しい色や、落ち着く発光色が着用者の眼に多く届く表示態様を実現するためのアクション情報を出力する。
図10の画面を通じて「設定」アイコン1002が着用者によって選択されたとする。すると、タッチパネルの画面は、図11のようなAPP設定画面1101に切り替わる。設定済のAPPについては「On」、そうでないときは「Off」となる。「On」のアイコンを選択すると、設定内容の変更が可能になる。「Off」のアイコンを選択すると、そのアイコンに対応するAPPが新たに実行状況の監視の対象となる。図11において表示されているのは、上述した「Timer」(タイマ)、「Tempo」(テンポ)、「Relax」(リラックス)である。他のAPPは、以下のようなものである。
「Call」:通話着信、「Mail」:メール着信、「Social」:メッセージ着信、「Calendere」:設定日時に到達したことの着信、「Finance」:株価変動の着信、「Wether」:天候変化の着信、「SOS」:探索、「Morse Code」:モールス通信、「Disco」:音楽着信。
図11に示されたAPP設定画面1101において、「Mail」アイコン1102を選択された場合、付記部分が「Off」から「On」となり、タッチパネルの画面が、図12に例示されるメール着信についての設定内容画面1201に切り替わる。この設定内容画面1201では、以下のアイコンないしボタンが表示される。
・眼鏡型情報端末1において発光させたい色の指定アイコン1202
・一時的に設定を止めるかどうかを指定する「ON/OFF」ボタンアイコン1203
・徐々に発光強度を変えることを表す「Fade」ボタンアイコン1204
・ビープ音を出力するための「Beep」ボタンアイコン1205
・発光時の光量を指定するための「Brightness」ボタン1206
・点滅速度を指定するための「Speed」ボタン1207
・発光および音の繰り返し回数を指定するための「Repeat」ボタン1208
図9に戻り、設定部52を通じてこれらの表示に従う所要の入力を受け付けると(S103:Yes)、制御部50は、それが眼鏡型情報端末1に既に送信された内容のものかどうかを判定する(S104)。すなわち、既設定の内容の変更ないし未設定状態を解除するための送信(変更送信)かどうかを、眼鏡型情報端末1への送信履歴をもとに判定する。入力を受け付けない場合および変更送信でない場合はS103に戻る(S103:No,S104:No)。変更送信の場合は、入力された設定内容に対応するパターンIDを特定して修正し、あるいは新たに生成し、これにより、監視対象となるAPP−ID)とパターンIDとを関連付けた設定情報を生成する(S105)。そして、生成した設定情報をデータ保持部54のテーブルに保存する(S106)。他の入力がある場合は、S102の処理に戻る(S107:Yes)。他の入力がない場合は(S107:No)、設定処理を終える。保存された設定情報は、眼鏡型情報端末1との近距離通信が可能になった時点で、眼鏡型情報端末1へ送信され、対応テーブル713との同期がとられる。
制御部50は、また、監視部51の監視結果と保存されている設定情報とに基づいて、アクション情報の生成および眼鏡型情報端末1への送信を行う。この場合の手順説明図を図13に示す。ここでは、スマートフォン5において、外部からのメール着信またはインターネット通信による着信を監視する場合の例を示す。図13において、制御部50は、監視部51を通じて、外部からの着信を待つ(S201:No)。着信を検知すると(S201:Yes)、制御部50は、その着信が、設定されたAPP宛のものかどうか、すなわち監視対象として設定されたAPP宛の着信かどうかを判定する(S202)。設定されたAPP宛でない場合はS201の処理に戻る(S202:No)。設定されたAPP宛の着信であった場合は(S202:Yes)、監視対象となるAPPの「APP−ID」を読み出す(S203)。そして、読み出した「APP−ID」等をもとにアクション情報を生成し(S204)、生成したアクション情報を眼鏡型情報端末1へ送信する(S205)。送信後は、送信履歴をデータ保持部54に保持し、処理を終える。
なお、図11のAPP設定画面1101において、「リラックス」、「タイマ」など、着信に代わるAPPの実行状況において、所定の事象(着用者の指示を含む)が検知されたときは、上記の限りでない。すなわち、APPが「タイマ」の場合、制御部50は、内部クロックによる計時を行い、現在時刻が着用者の設定時刻に達したときに「タイマ」に対応する「APP−ID」を特定し、S204以降の処理を行う。APPが「テンポ」の場合は、着用者の指示後、直ちに「テンポ」に対応する「APP−ID」を特定し、S204以降の処理を行う。APPが「リラックス」についても同様である。
眼鏡型情報端末1(制御モジュール70)は、図14に示す手順で、チップLED30の発光制御、および/又は、圧電スピーカ40の出力制御を行う。すなわち、制御モジュール70は、スイッチ80(図2(a))の投入後、アクション情報の入力を待つ(S301:No)。入力があったときは(S301:Yes)、アクション情報の内容を分析する(S302)。分析の結果、アクション情報がチップLED30の発光制御情報であった場合(S303:Yes)、制御モジュール70は、発光制御を行う。すなわち、どのチップLED30のどの色をどのタイミングで発光させるかを決定し、それを駆動するための制御信号を生成する(S304)。そして、この制御信号に基づいて該当するチップLED30を駆動し、信号光を発光させる(S305)。発光制御中はその終了を待ち(S306:No)、終了したときは、処理を終える(S306:Yes)。
一方、S302の分析の結果、チップLED30の発光制御でなかった場合(S303:No)、制御モジュール70は、圧電スピーカ40の出力制御を行う。すなわち、音源データを伴う制御信号を生成する(S307)。そして、この制御信号に基づいて圧電スピーカ40から音を出力させる(S308)。出力制御中はその終了を待ち(S309:No)、終了したときは、処理を終える(S309:Yes)。
眼鏡型情報端末1(制御モジュール70)は、環境センサ50で一定値以上の照度変化があった場合は、自律的にアクション情報(第2発光制御情報)を生成し、チップLED30の発光制御を行う。この場合の制御モジュール70の処理手順を図15に示す。
すなわち、制御モジュール70は、環境センサ50からの入力を待つ(S401:No)。入力があると(S401:Yes)、制御モジュール70は、照度変化が基準範囲以上になったかどうかを判定する(S402)。基準範囲は、対応テーブル713のいずれかの変化ID(図6)に対応する。最低の基準範囲に満たない場合はS401に戻る(S402:No)。予め定められた基準範囲の照度変化であった場合、制御モジュール70は、その基準範囲に対応する変化ID(図6)を特定する。そして、変化IDに関連付けられた制御パターンに基づき、該当するチップLED30の輝度を設定された値に変更する(S403)。これにより、例えば眼鏡フレーム10の周囲がある基準範囲を超えて明るくなったときにチップLED30の輝度を上げることにより、信号光を認識しやすくすることができる。
なお、眼鏡型情報端末1では、環境センサ50の検出結果をスマートフォンに送信し、スマートフォンの側でアクション情報(第3発光制御情報)を生成するようにしてもよい。この場合、S402の処理をスマートフォンで行うことになる。眼鏡型情報端末1の制御モジュール70は、受信したアクション情報に従ってS403の処理を行う。
このように、本実施形態の眼鏡型情報端末1では、スマートフォン5に導入されたAPPの実況状況に応じて定められた発光態様の信号光がチップLED30から発光され、眼鏡レンズ20の端面と眼鏡フレーム10の内部の少なくとも一方に伝搬する。例えば、スマートフォン5への○○○からのメール着信であれば赤色を3回、□□の株価変動の着信であればゆっくり青く光る信号光などが眼鏡レンズ20の端面などに到達する。信号光は、眼鏡レンズ20の端面で散乱されるので、その発行態様によっては、眼鏡レンズ20全体が光るように見える場合がある。そのため、歩行中や集中した作業中であっても、あるいは眼を閉じていても、着用者は、確実に信号光を認識することができる。また、リラクゼーションAPPの場合は、眼鏡レンズ20全体が光る光量で、目に優しい色や、落ち着く発光色となるように発光制御することで、リラックス気分を着用者に与えることができる。
本実施形態の眼鏡型情報端末1は、また、眼鏡フレーム10全体の発色を変えるAPP、眼鏡レンズ20の色を変えるAPP、着用者からの情報を周囲に発信できるAPPなどをスマートフォン5に導入することで、スマートフォン5への着信があったことなどの通知に止まらない用途で実施することができる。例えば、眼鏡フレーム10の発色または眼鏡レンズ20の端面で散乱する光の色を変えることで、着信者の個性・感情や現在の雰囲気に応じた周囲への情報の発信が可能になる。信号光が着用者の顔にも反映される点を利用して着用者の肌の色の見せ方を変えたり、着用者の眉毛を濃く見せたりして、化粧代わりに活用することもできる。さらに、信号光の色やその点滅パターンを通じて、人ごみ・暗闇での人探しまたは認識に活用したり、着用者の眠け覚ましに活用することもできる。
本実施形態の眼鏡型情報端末1では、また、APPの実況状況に応じて定められた出力態様の音が圧電スピーカ40から出力される。そのため、従来装置のように、周囲へ不快感を与える情報の通知となるAPPでは、チップLED30の発光制御を行わず、圧電スピーカ40からの音の出力だけで対応することができる。
このように、本実施形態によれば、チップLED30のような発光源の発光態様と圧電スピーカ40による音の出力態様とを組み合わせて実現することにより、低コスト化が可能になる簡易な構造でありながら、様々な情報の表現が可能となる。
<変形例>
本実施形態では、眼鏡型情報端末1において、チップLED30を一対の眼鏡レンズ20a,20bに対応して3個ずつ配置した場合の例を説明したが、チップLED30の数は任意であってよい。
また、本実施形態では、対応テーブル713に相当する内容のものを眼鏡型情報端末1の制御モジュール70とスマートフォン5の双方で保有する場合の例を説明したが、スマートフォン5だけがそのようなテーブルを保持するようにしてもよい。この場合は、予め眼鏡型情報端末1におけるチップLED30や圧電スピーカ40の規格等をスマートフォン5に入力しておき、スマートフォン5が、チップLED30および圧電スピーカ40を制御するたためのアクション情報を生成することになる。
逆に、眼鏡型情報端末1の制御モジュール70だけが対応テーブル713を保持し、スマートフォン5では、その対応テーブル713の内容を利用して、パターンIDだけを提示対象情報として眼鏡型情報端末1へ送信するように構成してもよい。
本実施形態では、1つの眼鏡レンズに対して1つのチップLED30bの発光面を眼鏡レンズ20aの下方の端面を指向させ、他の2つのチップLED30a,30cの発光面を直上を指向させる例について説明したが、この限りでない。すべてのチップLED30の発光面を下方に向けて配置してもよい。また、孔111bを設けなくとも光が眼鏡レンズに到達する場合は、孔111bの形成は不要である。指向性を高める観点からは、チップLED30の発光面の背面側に反射膜を設けるようにしてもよい。
本実施形態では、また、環境センサ50が照度センサである場合の例を説明したが、加速度センサまたは角速度センサを環境センサ50として用いる場合は、さらなる用途の拡大が可能となる。例えば、着用者の姿勢に応じたチップLED30の表示態様や圧電スピーカ40の出力態様を表現させる制御が可能となる。
本実施形態では、また、眼鏡型情報端末1が、音源データを保持し、この音源データをもとに圧電スピーカ40の出力制御を行う例について説明したが、この限りでない。眼鏡型情報端末1をスマートフォンの無線イヤホンとして利用する実施の形態も可能である。この場合、制御モジュール70は、スマートフォン5の出力音を表す無線信号をそのスマートフォンから通信モジュール60を通じて受信する。そして、受信した無線信号から出力音を抽出し、抽出した出力音を圧電スピーカ40から出力するように動作する。
1・・・眼鏡型情報端末、5・・・スマートフォン、10・・・眼鏡フレーム、20a,20b・・・眼鏡レンズ、30(30a〜30f)・・・チップLED、40・・・圧電スピーカ、50・・・環境センサ、70・・・制御モジュール、80・・・スイッチ、90・・・バッテリー

Claims (7)

  1. 端面が散乱面となる眼鏡レンズを保持可能な眼鏡フレームと、
    信号光を着用者の視界を遮ることなく前記眼鏡レンズの端面に向けて発光する発光源と、
    自装置の状態報知以外の情報発信を行うためのアプリケーションを含む複数のアプリケーションのいずれかを選択するとともに、選択されたアプリケーションの実行状況に応じた前記信号光の発光態様を設定する外部装置との間で無線通信を行う通信モジュールと、
    前記外部装置で設定された発光態様を前記通信モジュールを通じて入力し、これにより前記発光態様を実現する制御モジュールと、
    を有する眼鏡型情報端末。
  2. 前記信号光が少なくとも前記着用者の目線より下方の端面でフラッシュする、
    請求項1に記載の眼鏡型情報端末。
  3. 前記眼鏡フレームの周辺環境の変化を検知する環境センサを備えており、
    前記制御モジュールは、前記環境センサの検知結果の入力を契機に前記発光源の制御を開始する、請求項1または2に記載の眼鏡型情報端末。
  4. 前記眼鏡フレームはテンプル部を含み、前記テンプル部のうち前記着用者の耳を指向する部位には所定の音を出力するスピーカが収容されており、
    前記制御モジュールは、複数の音源データを保持し、これらの音源データを用いて前記スピーカが発する音の出力態様を表す音制御情報の入力を契機に当該音制御情報に従って前記スピーカの出力制御を行うことにより前記出力態様を実現する、
    請求項1、2又は3に記載の眼鏡型情報端末。
  5. 記制御モジュールは、前記外部装置で設定された前記出力態様を前記通信モジュールを通じて入力し、これにより前記出力態様を実現する、
    請求項4に記載の眼鏡型情報端末。
  6. 端面が散乱面となる眼鏡レンズを保持可能な眼鏡フレーム、信号光を着用者の視界を遮ることなく前記眼鏡レンズの端面に向けて発光する発光源、所定の音を出力するスピーカ、前記発光源を制御することにより前記信号光の発光色と点滅パターンの少なくとも一方を変化させるとともに前記音の出力態様を表す音制御信号の入力を契機に前記出力態様を実現する制御モジュール、及び、外部装置と前記制御モジュールとの通信を可能にする通信モジュールを有する眼鏡型情報端末の前記通信モジュールとの間で通信を行う通信手段と、
    情報発信を行うためのアプリケーションを含む複数のアプリケーションのいずれかを選択するとともに、選択されたアプリケーションの実行状況に応じた前記信号光の発光態様又は前記音の出力態様を設定する設定手段と、
    前記アプリケーションの実行状況を監視する監視手段と、
    監視された実行状況に応じて前記設定手段で設定された発光態様又は出力態様を実現するための制御情報を生成し、生成した制御情報を前記通信手段を通じて前記眼鏡型情報端末へ送信する制御手段と、
    を有する情報処理装置。
  7. 通信機能を有するコンピュータを、請求項6に記載された情報処理装置として動作させるためのコンピュータプログラム。
JP2015215886A 2014-02-24 2015-11-02 眼鏡型情報端末、情報処理装置、コンピュータプログラム Active JP6479628B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015215886A JP6479628B2 (ja) 2014-02-24 2015-11-02 眼鏡型情報端末、情報処理装置、コンピュータプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014032971 2014-02-24
JP2014032971 2014-02-24
JP2015215886A JP6479628B2 (ja) 2014-02-24 2015-11-02 眼鏡型情報端末、情報処理装置、コンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015028069A Division JP5836517B2 (ja) 2014-02-24 2015-02-16 眼鏡型情報端末、情報処理装置、コンピュータプログラムおよび記録媒体

Publications (3)

Publication Number Publication Date
JP2016048566A JP2016048566A (ja) 2016-04-07
JP2016048566A5 JP2016048566A5 (ja) 2018-03-29
JP6479628B2 true JP6479628B2 (ja) 2019-03-06

Family

ID=55649383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015215886A Active JP6479628B2 (ja) 2014-02-24 2015-11-02 眼鏡型情報端末、情報処理装置、コンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6479628B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102240087B1 (ko) 2016-09-27 2021-04-15 스냅 인코포레이티드 아이웨어 디바이스 모드 표시
US20190378467A1 (en) * 2017-02-20 2019-12-12 Sharp Kabushiki Kaisha Head mount display
CN110515207A (zh) * 2019-08-21 2019-11-29 深圳增强现实技术有限公司 一种ar智能眼镜及其系统
CN113805339A (zh) * 2021-08-30 2021-12-17 徐州医科大学 一种带有情绪分类及显示功能的vr眼镜

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02181722A (ja) * 1989-01-06 1990-07-16 Susumu Nemoto 発光機能付きのメガネフレーム
US7221331B2 (en) * 2003-05-05 2007-05-22 Microsoft Corporation Method and system for auxiliary display of information for a computing device
US6857739B1 (en) * 2004-06-08 2005-02-22 Peter Watson Illuminated eyewear and a method for illuminating eyewear
JP5675155B2 (ja) * 2010-04-21 2015-02-25 オリンパス株式会社 頭部装着型情報通知装置
US8188880B1 (en) * 2011-03-14 2012-05-29 Google Inc. Methods and devices for augmenting a field of view

Also Published As

Publication number Publication date
JP2016048566A (ja) 2016-04-07

Similar Documents

Publication Publication Date Title
JP5836517B2 (ja) 眼鏡型情報端末、情報処理装置、コンピュータプログラムおよび記録媒体
US11150738B2 (en) Wearable glasses and method of providing content using the same
EP3329671B1 (en) Unique reflective lenses to auto-calibrate eye tracking system
US9100732B1 (en) Hertzian dipole headphone speaker
JP6479628B2 (ja) 眼鏡型情報端末、情報処理装置、コンピュータプログラム
US20160196693A1 (en) Display system, control method for display device, and computer program
US20160110921A1 (en) Head mounted display, method of controlling head mounted display, and computer program
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
KR20160071417A (ko) 머리-장착가능형 디바이스 상에 텍스트 엔트리를 오프로드하기 위한 외부 디바이스들의 활용
US20150289227A1 (en) Notification system including a notification accessory linkable to a communications device
WO2021031722A1 (zh) 交互方法、头戴设备、交互系统和存储介质
TW201617826A (zh) 顯示裝置、顯示裝置之控制方法及程式
JP6337534B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6609920B2 (ja) 表示装置、及び、表示装置の制御方法
JP2013114124A (ja) 画像表示装置、画像表示装置における電源制御方法および画像表示装置における電源制御プログラム
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP6932917B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US20240188889A1 (en) Flash led and heart rate monitor led integration and related devices and methods
JP6638325B2 (ja) 表示装置、及び、表示装置の制御方法
KR20080029394A (ko) 안경형 경고 알림 장치
JP2017129705A (ja) 発光機能付き眼鏡及び眼鏡システム
CN206741094U (zh) 一种虚拟现实眼镜
WO2017122508A1 (ja) 情報表示システムおよび情報表示方法
KR20240115138A (ko) 외부 전자 장치의 센서를 제어하기 위한 hmd 장치 및 그 방법
CN117980806A (zh) 光输出

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190206

R150 Certificate of patent or registration of utility model

Ref document number: 6479628

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250