WO2022185996A1

WO2022185996A1 - メガネ型情報機器、その方法及びプログラム

Info

Publication number: WO2022185996A1
Application number: PCT/JP2022/007169
Authority: WO
Inventors: 康博今井
Original assignee: キヤノン株式会社
Priority date: 2021-03-05
Filing date: 2022-02-22
Publication date: 2022-09-09
Also published as: CN117015734A; US20230412717A1; JP2022135770A

Abstract

メガネ型情報機器は、装着ユーザに対して音を伝える第１のスピーカー機能と、機器周囲に対して音を伝える第２のスピーカー機能と、バイブレーション機能およびランプを点灯させる機能の少なくとも何れかを含む通知機能と、を有し、さらに、前記メガネ型情報機器のテンプルが折り畳まれて、ユーザに装着されていないときには、前記メガネ型情報機器にインストールされたアプリケーションのために、前記第１のスピーカー機能を無効とし、前記第２のスピーカー機能および前記通知機能の少なくとも何れかを利用した出力を行うことを特徴とする。

Description

メガネ型情報機器、その方法及びプログラム

　本発明は、スマートグラスなどのメガネ型情報機器に搭載されたアプリケーションの通知を制御する仕組みに関するものである。

　従来、コンシューマー市場で携帯電話・スマートフォンが普及しており、イヤホン（耳に当てて聞く際の音声を聞く機能）／スピーカー／骨伝導スピーカー／バイブレーション／ＬＥＤランプなどの手段が搭載されている。スマートフォンでは、電話着信時、アラーム時、タイマー時、メール通知においてこれらの手段を用いている。中には、２つ折りタイプの携帯電話における音声通話時に、携帯電話を開いている場合はスピーカーで音を発し、閉じている場合は骨伝導スピーカーで音を伝えるよう切り替える技術も提案されている（特許文献１）。

　近年、このスマートフォンとの連携やスマートフォンを代替する技術として、眼鏡のように装着して使用するウェアラブル端末であるスマートグラスに関する技術が提案されており、今後のコンシューマー市場での浸透も想定されている。既に製品化されているスマートグラスもあり、スマートフォン同様にイヤホン／スピーカー／骨伝導スピーカー／バイブレーション／ＬＥＤランプといった手段を搭載しているスマートグラスもある。

特開２００５－１７５９７２号公報

　スマートグラスなどのメガネ型情報機器は顔に装着するデバイスであるため、スマートフォンと異なるスマートグラス特有の利用状況・ユーザ動作・利用場面が想定される。

　例えば、スマートフォンでは周囲への迷惑に配慮して、スピーカー音をＯＦＦする場合がある。この時、ユーザは画面を常時見ていないため、スマートフォンのバイブレーション機能をＯＮして通知に気がつくことが出来るようにするケースがある。一方、スマートグラスの装着中においては、周囲への迷惑に配慮してスピーカー音をＯＦＦにした場合であっても、スマートグラス自体が振動するバイブレーション機能は不要、もしくは不快となり得えるといった状況が想定される。

　よって、メガネ型情報機器の利用状況や、ユーザ動作・利用場面の少なくとも何れかを想定した通知制御が求められるかもしれない。

　本発明は、ユーザが装着できるメガネ型情報機器であって、前記メガネ型情報機器を装着したユーザに対して音を伝える第１のスピーカー機能と、前記メガネ型情報機器の周囲に対して音を伝える第２のスピーカー機能と、バイブレーション機能およびランプを点灯させる機能の少なくとも何れかを含む通知機能と、を有し、前記メガネ型情報機器のテンプルが折り畳まれて、ユーザに装着されていないときには、前記メガネ型情報機器にインストールされたアプリケーションのために、前記第１のスピーカー機能を無効とし、前記第２のスピーカー機能および前記通知機能の少なくとも何れかを利用した出力を行い、前記メガネ型情報機器が前記ユーザに装着されているときには、前記アプリケーションのために、前記第２のスピーカー機能および前記通知機能を無効とし、前記第１のスピーカー機能を利用した出力を行う、ことを特徴とする。

　本発明によれば、メガネ型情報機器の利用状況や、ユーザ動作・利用場面の少なくとも何れかを想定した通知制御が可能となる。

メガネ型情報機器のシステム構成図例を示す図発明に係るメガネ型情報機器のハードウェア構成の例を示す図本発明に係るメガネ型情報機器ソフトウェアのモジュール構成の例を示す　図実施例１におけるメガネ型情報機器の通知処理を説明するフローチャート本発明に係るメガネ型情報機器の設定画面の表示制御例本発明に係るメガネ型情報機器の設定画面の表示制御例本発明に係るメガネ型情報機器の設定画面の表示制御例本発明に係るメガネ型情報機器の設定画面の表示制御例本発明に係るメガネ型情報機器の通話・通知に関する共通設定の表示制御例本発明に係るメガネ型情報機器の通知に関するアプリケーション毎設定の表示制御例本発明に係るメガネ型情報機器の通知に関するアプリケーション毎設定の表示制御例本発明に係るメガネ型情報機器の通知に関するアプリケーション毎設定の表示制御例実施例２におけるメガネ型情報機器の通知処理を説明するフローチャート実施例３におけるメガネ型情報機器の通知処理を説明するフローチャート実施例４におけるメガネ型情報機器の表示制御の例モード別共通通話設定テーブルの例モードに応じた通知設定テーブルの例モードに応じた通知設定テーブルの例モードに応じた通知設定テーブルの例

　以下、本発明を実施するための形態について図面を用いて説明する。

　＜実施例１＞
　図１は、メガネ型情報機器のシステム構成図例である。メガネ型情報機器は、直接、もしくはモバイルルーター（不図示）を経由してモバイルネットワーク（移動体通信網）１３０、およびインターネット１４０と通信可能な機器であり、本発明ではその一例としてスマートグラス１０１を挙げている。メガネ型情報機器としては、単眼用のスマートメガネや、ヘッドマウントディスプレイなども適用可能である。

　スマートグラス１０１は、ユーザが目付近に装着する装着型情報端末であって、ユーザの視界を遮ることなく視界内に虚像である映像を表示部１０２にて表示する。このような表示方法は、いわゆるＡＲ（拡張現実／Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）やＭＲ（複合現実／Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）と呼ばれ、透過型のディスプレイ（レンズ１０５）やユーザの網膜（不図示）などに情報投影する機能により提供される。図示は、片目に対して映像を提供するものだが、本発明においては、両目の視界に対して映像を投影するスマートグラス１０１を適用することも可能である。

　また、表示部１０２には、ユーザの視線方向の被写体を撮影するためのカメラ部１０３が設けられている。１０４はフレームであると同時にフレームの外側にタッチセンサーを備えており、端末を操作するための操作フレーム部である。フレーム１０４には、音声機能が内蔵され、耳に当てずに聞こえる大きいスピーカー音や、耳にフレームが当たることで聞こえるイヤホン音により、音をユーザに伝えることが可能である。このイヤホン音の代替として、骨伝導機能を搭載することも可能である。本実施例では、イヤホン機能や骨伝導機能などは、スマートグラス１０１の装着者に対して指向性をもって音を伝えるスピーカー機能を第１のスピーカーと定義する。一方で、スマートグラス１０１を閉じている場合などに、周囲の不特定のユーザに対して音出力するスピーカー（後述のスピーカー２２４など）を第２のスピーカーと定義する。

　更にフレーム１０４のテンプル部分は折り畳んで閉じたり開いたりすることが可能であり、その開閉状態を検知するテンプル開閉スイッチを搭載する。フレーム１０４には、他にもマナーモードなどのモード切替えに利用し、その切替えを検知するＯＮ・ＯＦＦスイッチも搭載可能である。またフレーム１０４の内側には、肌が触れているか否かを検知する肌センサーを備え、フレーム１０４上のカメラ部１０３に付近に人を検知する人勧センサーを備えても良い。スマートグラス１０１上のアプリケーションからの通知をユーザに伝えるため、バイブレーション機能、ＬＥＤランプ点滅機能などの通知機能もフレーム１０４に搭載する。

　図２は、スマートグラス１０１のハードウェア構成の例を示す図である。

　ＣＰＵ２０１は、ＲＯＭ２０３に格納されているプログラムにより、内部バス２０６を介してスマートグラス１０１の各種機能を総括的に制御する。ＣＰＵ２０１によるプログラムの実行結果はディスプレイ２０２により、ユーザの視界に映像として投影表示することができる。本実施例では表示方式については、ユーザが透過型のレンズ１０５を介した視界にディスプレイ２０２が投影したものを見る方式を想定している。しかしながら、ディスプレイ２０２が網膜に直接投影する方式などを採用することも可能である。ＲＯＭ２０３は、フラッシュメモリ等であり、各種設定情報や、前述したようにアプリケーションプログラムなどが記憶されている。ＲＡＭ２０４は、ＣＰＵ２０１のメモリやワークエリアとして機能する。なお、図を用いて後述される本実施例の特徴となるフローチャートで示す処理は、ＣＰＵ２０１が対応するプログラムを実行することにより実現される処理である。

　ネットワークＩ／Ｆ（インターフェース）２０５は、モバイルネットワーク１３０やＷｉ－Ｆｉに接続するためのハードウェアモジュールである。なお、モバイルルーターを利用する場合には、スマートグラス１０１のＵＳＢ　Ｉ／Ｆ（不図示）を利用して、接続することも可能である。

　操作部２０７は、フレーム１０４でユーザからの入力を受け付け、該入力に対応する信号を操作部Ｉ／Ｆ２０８によって前述した各処理部へ伝える。検知Ｉ／Ｆ２０９は、２１４～２２０に示す各センサーからの信号や、２２７、２２８の各スイッチ切替えによる信号を受け付け、前述した各処理部へ伝える。２１４～２２０に示す各センサーはそれぞれ、ＧＰＳ、ジャイロセンサー、加速度センサー、近接センサー、血圧・心拍数計測センサー、肌センサー、人感センサーであり、これらの少なくとも何れかが実装される。また、２２７、２２８に示す各センサーはそれぞれＯＮ・ＯＦＦスイッチ、テンプル開閉スイッチであり、ＯＮ・ＯＦＦスイッチは複数実装されても良い。また、スマートグラス１０１には、指紋認証、静脈認証、虹彩認証などを実現するための生体情報も検出するためのセンサーが実装されてもよい。カメラ２１０は、撮影機能を備えており、撮影された画像データはＲＯＭ２０３に格納される。レーザー２１１は、ディスプレイ２０２に各種コンテンツを投影、また、網膜投影方式の場合は網膜に直接コンテンツを投影する。ストレージ装置２１２は、記憶媒体であり、アプリケーションなどの各種データを格納する装置である。また、記憶媒体のデータを読み出す装置や、削除する装置なども含む。端末によっては、ストレージ装置２１２がなく、ＲＯＭ２０３だけの場合もある。近距離通信Ｉ／Ｆ２１３は、他のウェアラブル端末等との通信で利用するインターフェースである。

　音声Ｉ／Ｆ２２２は、音声機能であるイヤホン２２３とスピーカー２２４に対して音声出力を伝える。また、イヤホン２２３とスピーカー２２４は一つの音声出力口を共有し、通知や用途に応じてどちらか一方での音声出力をするものとする。音声通話時はイヤホン２２３またはスピーカー２２４を介してユーザは音声を受け取り、不図示のマイクにより音声を伝える。この時、音声通話に利用する回線はネットワークＩ／Ｆにより接続されるネットワーク、または、不図示の電話回線接続コンポーネントにより接続する有線または無線の電話回線である。また、音声Ｉ／Ｆ２２２は、不図示の骨伝導によりイヤホン２２３に代わり音声出力を伝えることも可能である。バイブレーション２２５やＬＥＤランプ２２６はそれぞれ振動やＬＥＤランプ点滅により、スマートグラス１０１上のアプリケーションからの通知をユーザに伝える。

　図３は、スマートグラス１０１のソフトウェアのモジュール構成の例を示す図である。

　通信部３０１はネットワークＩ／Ｆ２０５を利用してネットワークを介して連携するアプリケーションサーバからの通知を受信する。また通信部３０１は、連携するウェアラブル端末との情報送受信をする。記憶部３０２はＲＯＭ２０３、ＲＡＭ２０４とその他処理部との情報のやり取りを行う。また、カメラ２１０で撮影された画像データなどを記憶する。

　表示部３０３は、ＡＲ／ＭＲ表示など、ＣＰＵ２０１により実行された各種アプリケーションの結果を表示する。例えば、ＡＲ技術を利用して、実空間に対して仮想的なコンテンツが重畳するように、ディスプレイ２０２にコンテンツを表示（情報投影）する。なお、本発明は、網膜に直接投影する方式を採用することも可能である。ここで、情報投影においては、ＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ　ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　ｍａｐｐｉｎｇ）といった技術に基づき、実空間における自身の位置及び姿勢を推定してもよい。推定結果は、仮想的なコンテンツの表示処理に利用される。

　操作部３０４はフレーム１０４でユーザからの入力を受け付け、各種アプリケーションの操作、ディスプレイ２０２への表示に対する操作の指示を受け付け、制御する。カメラ制御部３０５はカメラ２１０の起動、制止、撮影を制御し、撮影された画像データを記憶部３０２と連携してＲＯＭ２０３に格納する。モード制御部３０６はスマートグラス１０１が備えている複数の通話・通知のモードへの切り替えを制御し、スマートグラス１０１をユーザが所望するモードへ切り替える。通話・通知のモードには、通常モード、マナーモード、サイレントモード、ドライブモード、カスタムモードがあり、本実施例の特徴となる未装着モードを含む。

　マナーモードは、主にスマートグラス１０１の装着中に遷移するモードで、スピーカーの音出力を制限しつつ、バイブレーション機能やＬＥＤなどの機能を利用するモードである。サイレントモードは、主にスマートグラス１０１の装着中に遷移するモードで、ディスプレイ２０２への表示制御以外の、音や振動による出力を制限するモードである。ドライブモードは、主にスマートグラス１０１の装着中に車などを運転する際に遷移させるモードである。カスタムモードは、スマートグラス１０１の利用者がカスタムした特別なモードである。通常モードは、スマートグラス１０１の装着中であって、それ等のモード以外のモードであって、イヤホン（または骨伝導）での音出力とディスプレイ２０２への表示制御を利用するモードである。スピーカーの音出力を任意に有効にすることも可能である。

　未装着モードは、ユーザがスマートグラス１０１を装着していない場合に利用するモードである。検知部３０７は検知Ｉ／Ｆ２０９により検知されたステータスの変化や利用状態などの情報を管理し、ＲＯＭ２０３で保持する。ペアリング部３０８は無線通信を介して、外部のネットワーク機器と双方向にデータ通信を可能とするよう近距離通信Ｉ／Ｆ２１３の制御を行う。

　アプリケーション管理部３０９は各種アプリケーションの実行状況、バージョン情報、サーバから受信した各アプリケーションへの通知、前述したモードのうちどのモード状態であるかなどを管理し、記憶部３０２を介してＲＯＭ２０３とＲＡＭ２０４で管理する。

　またアプリケーション管理部３０９は、操作部３０４を介したユーザ入力に基づき各種アプリケーションを制御する。また、アプリケーション制御時にディスプレイ２０２へコンテンツ表示する場合は、アプリケーション管理部３０９は表示部３０３を介して、ディスプレイ２０２にコンテンツを表示する。

　図４に、スマートグラス１０１に搭載のアプリケーションを制御する際の、本特許の特徴となる処理フローを示す。このフローチャートに含まれる処理ステップの主体は、アプリケーション管理部３０９である。

　アプリケーション管理部３０９は、検知部３０７よりモード変更に関連付けられたスイッチやセンサーの状態変化を検知すると（Ｓ４０１）、その検知がスマートグラス１０１のテンプルを閉じたことを示すスイッチの状態変化であるか否か確認する（Ｓ４０２）。本実施例では、スマートグラスのテンプル閉じ（“グラス閉”状態）の検知として、完全にテンプルが折り畳まれて閉じていることを検知してもよい。または、スマートグラス１０１がユーザに装着されていない状態で、テンプルが所定の角度以上折り畳まれている状態についても、テンプル閉じ（“グラス閉”状態）として検知してもよい。

　スマートグラスのテンプル閉じ（“グラス閉”状態）を検知した場合はＳ４０３へ進み、それ以外のスイッチやセンサーの状態変化である場合はＳ４１１へ進んで検知したスイッチまたはセンサーの状態に基づいてモード変更を実行する（Ｓ４１１）。この時、検知部３０７から状態変化の情報はアプリケーション管理部３０９へ伝えられる。アプリケーション管理部３０９は、スマートグラス１０１上のモード選択に関する設定アプリケーション上の設定と、伝えられたスイッチやセンサーの状態変化との情報に基づき、モードを確定し、モード制御部３０６を介してモード変更する。

　Ｓ４０３にてスマートグラス１０１のアプリケーションにてアラーム通知中であるかどうかを判定する。通知中の場合は、アラーム通知を停止する（Ｓ４０４）。アラーム通知中でない場合は、更にスヌーズ中であるか否かを確認し（Ｓ４０５）、スヌーズ中であればスヌーズを停止する（Ｓ４０６）。

　その後、Ｓ４０７へ進み、画面ロック解除状態であるか否かを確認する。画面ロック解除状態である場合は画面をロックし（Ｓ４０８）、更に、画面消灯も行う（Ｓ４０９）。また、Ｓ４０７にて画面ロック中の場合は、画面点灯中であるか否かを確認し（Ｓ４１０）、画面点灯中である場合はＳ４０９にて画面消灯を行う。以上のテンプル閉じ検知に付随した一連のアラーム停止・スヌーズ停止・画面ロック・画面消灯を実行後、テンプル閉じの状態に基づきモード変更を実行する（Ｓ４１１）。

　Ｓ４０１にて、モード変更に関連付けられたスイッチやセンサーの状態変化を検知しない場合は、Ｓ４１２へ進み、モード選択の変更を検知したか否か確認する。このモード選択の変更検知は、スマートグラス１０１の設定に関する設定アプリケーション上で、ユーザが操作部３０４を介してモード選択をしたことを検知したことを示す。操作部３０４にてユーザがモード選択をすると、アプリケーション管理部３０９へアプリケーション上での選択操作が伝わり、アプリケーション管理部３０９から更にモード制御部３０６に選択したモード情報を伝わりモードが切り替わる。

　Ｓ４１２にてモード選択の変更を検知しない場合、Ｓ４１３へ進み、通話開始の検知有無を確認する。通話開始を検知した場合、現在モードを取得し（Ｓ４１４）、取得したモードに基づく通話設定を取得する（Ｓ４１５）。そして、取得した通話設定にて通話実行（Ｓ４１６）する。ここで、前述Ｓ４１３の通話開始は、電話着信中にユーザが電話着信アプリケーション上で、通話開始ボタンを押下するなどを示す。そして、その通話開始ボタン押下を受けて、実際にスマートグラス１０１が内部で通話開始するのがＳ４１６の通話実行である。また、Ｓ４１５での設定取得のための参照される情報は、図１１に示すモード別共通通話設定テーブルの情報である。

　スマートグラス１０１は、図２で前述したディスプレイ２０２、イヤホン２２３、スピーカー２２４、バイブレーション２２５、ＬＥＤランプ２２６を用いて、ユーザへ音声や振動、ＬＥＤの点滅・点灯、メッセージ表示にて各アプリケーションからの情報を通知する。

　図１１のモード別共通通話設定テーブルは、通話時に上記の通知手段を用いてユーザへ音声を届ける手段をモード別に既定している。図１１で示す例では、例えば、Ｓ４１４で取得された現在モードが装着中の通常モードであれば、イヤホン（または骨伝導）による音出力は有効で、スピーカーによる音出力を無効にして、Ｓ４１６でスマートグラス１０１で通話が行われることになる。この際には、スマートグラス１０１のＬＥＤランプ、バイブレーション機能なども無効となっていることがわかる。ほかの例では、例えば、Ｓ４１４で取得された現在モードが未装着モードであれば、イヤホン（または骨伝導）による音出力は無効となり、スピーカーによる音出力が有効で、Ｓ４１６でスマートグラス１０１で通話が行われることになる。この際には、スマートグラス１０１のＬＥＤランプ、バイブレーション機能なども無効となっていることがわかる。

　別途、通話時以外の各アプリケーションからの通知時の通知手段についても同等のテールブルを示すが、図１１では通話時の手段を示すものであり、音声通知のみを想定する。そのため、通話時を想定した場合に、図１１でドット塗りのセルとなっているものは、基本的にＯＦＦであること（基本的に通話設定として利用されないこと）を想定する。ただし、通話中であることユーザの周囲にいる他の人へ示すように、ＬＥＤランプをＯＮにするなど既定しても良い。また、本実施例における通話においては、「電話回線を利用する通話アプリ」と「ネットワーク回線を利用するメッセンジャーアプリ等の通話アプリ」となどのアプリケーションによる通話設定の差異は想定していない。そのため、それら通話アプリは共通で図１１の通話設定に従い通話実行するが、通話アプリケーション毎に、モード別の通話設定を既定しても良い。

　Ｓ４１３にて通話開始を検知しない場合は、Ｓ４１７へ進みスマートグラス１０１上のアプリケーションから通知があったか否かの検知を確認する。アプリケーション通知があった場合はＳ４１４同様に現在モードを取得し（Ｓ４１８）、取得したモードに基づく通知設定（Ｓ４１９）を取得する。そして、取得した通知設定にて通知実行（Ｓ４２０）する。

　Ｓ４１９での設定取得のための参照される情報は、図１２Ａ～図１２Ｃに示すテーブル情報である。

　図１２Ａのモード別共通通知設定はアプリケーション共通のモード別の設定である。図１２Ｂで示す通常モード時アプリ別通知設定や、図１２Ｃで示す未装着モード時アプリ別通知設定は、それぞれ通常モード、未装着モード時におけるアプリケーション毎設定を事例として示している。装着中の通常モードであれば、ＬＥＤランプおよびバイブレーション機能などは無効となっている。これは、通知によって、スマートグラスがずれたり、ＬＥＤランプの点灯が視界不良を起こしたりすることを抑制し得ることを意図した設定といえる。

　スマートグラス１０１上の設定アプリケーションにて、アプリケーション設定を優先するような設定がＯＮとなっている場合は、図１２Ｂや図１２Ｃに示すアプリケーション毎の通知設定テーブルが参照される。アプリケーション設定を優先しない場合は図１２Ａに示す共通通知設定テーブルが参照される。

　ここで図１２Ｂや図１２Ｃのセルにおいて、グレー色で塗りつぶしているセルは、図１２Ａの共通設定とは異なる設定としているものである。また、通知時に基本的に利用を想定しない通知設定については、テーブル上のセルをドット塗りしＯＦＦとしているが、利用する場合はＯＮで既定しても良い。例えば、図１２Ｃでメッセージ表示ＯＦＦとしているが、これはスマートグラス１０１のレンズ１０５へのメッセージ表示はスマートグラス１０１を装着中に見ることを想定しているため、未装着時はＯＦＦとしている。ただし、レンズ１０５へのメッセージ表示として、レンズ１０５への投影メッセージを装着時と反転させて、未装着時に外からユーザがレンズ１０５を見ることを可能とする機能をスマートグラス１０１が有する場合は、メッセージ表示ＯＮとするなどしても良い。

　続いて、図５Ａ～図７Ｃを用いて、スマートグラス１０１のディスプレイ２０２での設定アプリケーションＵＩ（ユーザーインターフェース）による表示例を示す。設定アプリケーションでの設定は、図１１、図１２Ａ～図１２Ｃで示したＯＮ／ＯＦＦ設定をユーザが設定する際の設定画面を含む。この画面は、別の端末のウェブブラウザなどにネットワークを介して提供することで、設定操作を行うことも可能である。

　図５Ａ～図５Ｄは、設定アプリケーションを起動した際のトップ画面例及び、トップ画面表示上の項目を選択した際の画面例である。

　図５Ａで示すトップ画面の例では、設定画面５００上でモード選択５０１、通話・通知５０２、画面５０３の各設定をするための設定項目が一覧表示されている。また設定画面５００には、他にもＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、バッテリーなど、スマートグラス１０１における様々な設定項目を大項目のカテゴリー別に一覧表示する。

　図５Ｂ～図５Ｄはそれぞれ、図５Ａの５０１、５０２、５０３の項目を選択した際に遷移する各項目の設定画面である。

　図５Ｂは、モード選択設定画面（５１０）である。ユーザはモード選択設定画面上の５１１にてモードをプルダウン選択してモード切り替え可能である。また、ハードスイッチに紐づけてモード切替え可能とするためのハードスイッチ有効化のチェックボックス５１２もある。ハードスイッチ有効化した上で、５１３において、スマートグラス１０１に搭載されている各スイッチ（センサー含む）に対しどのモードと紐づけるかをプルダウン選択可能としている。このハードスイッチは、図２で示したＯＮ・ＯＦＦスイッチ２２７やテンプル開閉スイッチ２２８、その他センサー状態のＯＮ・ＯＦＦなどを想定する。複数ハードスイッチの状態によっては、紐づけたモードが競合する可能性があるため、競合した場合にどのスイッチに紐づけたモードを優先するかの優先順位付けも５１３において設定可能である。この時、５１３上の優先順位において優先順位番号が付与されていないものは、該当のハードスイッチが無効状態であることを示し、チェックボックスを押下することで有効化し優先順位設定することが可能である。更に、ハードスイッチ有効化している場合には、５１１でユーザ選択されたモードよりも、５１３において設定されたスイッチの状態に基づくモードの方を優先する。

　図５Ｃは、通話・通知設定画面（５２０）である。通話・通知設定画面５２０は、アプリケーション共通で設定を行う共通設定５２１と、それ以外のアプリケーション毎の設定を一覧表示している。アプリケーション毎の設定には、電話５２２、メール５２３、時計５２４などのアプリケーションの他、システム音、メッセンジャー、カレンダー、ニュースアプリなど、スマートグラス１０１へインストールされた各アプリケーションの設定がある。

　図５Ｄは、画面設定画面（５３０）である。画面設定画面５３０は、スマートグラス１０１のディスプレイ２０２の画面表示に関する設定である。例えば、表示設定５３１にて、画面の明るさをスライドバーで調整したり、ユーザによる画面操作が所定時間無い場合に自動的に画面ロックする際の画面ロックまでの時間をプルダウン選択可能としたりする。また、表示設定５３１では、「フレーム１０４を閉じた際に画面ロックする設定」や「フレーム１０４を開いた際に画面ロック解除する設定」を有効化するためのチェックボックスも搭載する。ここでの画面ロック解除は、画面ロック解除するためにユーザ認証を求める認証画面表示をすることを示す。また、画面設定画面５３０では、セキュリティ設定５３２も可能であり、これは前述の画面ロックを指紋認証またはパスワード利用を用いて有効化するか否かをチェックボックスのＯＮ／ＯＦＦで設定可能としている。

　図６は、図５Ｃにおいて５２１を選択した際に遷移する、通話・通知に関する共通設定の設定画面例である。通話・通知の共通設定画面６００には、通話及び通話以外における音量調整のスライドバー、音を選択する選択プルダウンがある。また、振動強度調整・点滅速度調整のスライドバー、振動パターンや点滅パターン・色を選択する選択プルダウン、メッセージ表示パターンを選択する選択プルダウンもある。更に、共通設定画面６００には、モード別通話手段６０１やモード別通知手段６０２の項目を備える。そしてこれらの６０１、６０２の項目を選択すると、更に下の階層項目を示す通常モード、マナーモード、サイレントモード、ドライブモード、未装着モード、カスタムモードなどの各モード項目が一覧表示される。例えば、モード別通知手段６０２の項目の下の階層項目にある通常モード６０３や未装着モード６０４を選択すると、各モードにおいて「イヤホン／骨伝導」「スピーカー」「バイブレーション」「ＬＥＤランプ」「メッセージ表示」の通知手段が表示される。そしてこれらの通知手段のチェックボックスにチェックすると、該当モードにおいてチェックした通知手段にて通知するよう設定される。また、この共通設定画面６００のモード別通話手段６０１、モード別通知手段６０３で設定した設定は、それぞれ図１１、図１２ＡのＯＮ／ＯＦＦ設定に反映される。

　図７Ａ～図７Ｃは、それぞれ図５Ｃにおいて５２２、５２３、５２４を選択した際に遷移する、通知に関するアプリケーション毎設定の設定画面例である。

　図７Ａは、電話アプリの通知に関する設定画面例である。電話アプリ通知設定画面７００には、アプリ優先のチェックボックスがある（７０１）。このチェックボックスにチェックすることで、本アプリ使用時、前述図６で示した共通設定画面６００の設定よりも図７Ａの電話アプリ通知設定画面７００で設定する設定を優先するようになる。電話アプリ通知設定画面７００上には、電話アプリに関する通知として着信７０２に関する通知設定について、共通設定画面６００上の通知設定と同等の設定が可能である。電話アプリ通知設定画面７００の着信７０２にあるモード別通知手段７０３は、電話アプリ個別の各モード時における通知手段を設定するものである。そしてこの設定は、例えば図１２Ｂや図１２Ｃにおける、アプリケーションＩＤ「ＮＯＴＩＦＹ－ＡＰＰ－００１」の行のＯＮ／ＯＦＦ設定に反映される。

　図７Ｂは、メールアプリの通知に関する設定画面例である。メールアプリ通知設定画面７１０も図７Ａ同様にアプリ優先のチェックボックスがあると共に、共通設定画面６００上の通知設定と同等の設定が可能である。メールアプリ通知設定画面７１０の通知には、新着メール受信通知７１１やメール送信通知７１２といった設定項目がある。これら７１１、７１２の項目での設定は、それぞれ、図１２Ｂや図１２ＣにおけるアプリケーションＩＤ「ＮＯＴＩＦＹ－ＡＰＰ－００２」、「「ＮＯＴＩＦＹ－ＡＰＰ－００３」の行のＯＮ／ＯＦＦ設定に反映される。

　図７Ｃは、時計アプリの通知に関する設定画面例である。時計アプリ通知設定画面７２０も図７Ａ同様にアプリ優先のチェックボックスがあると共に、共通設定画面６００上の通知設定と同等の設定が可能である。時計アプリ通知設定画面７２０の通知には、アラーム通知７２１やタイマー通知７２２といった設定項目がある。これら７２１、７２２の項目での設定は、それぞれ、図１２Ｂや図１２ＣにおけるアプリケーションＩＤ「ＮＯＴＩＦＹ－ＡＰＰ－００７」、「「ＮＯＴＩＦＹ－ＡＰＰ－００８」の行のＯＮ／ＯＦＦ設定に反映される。また時計アプリ通知設定画面７２０は、フレーム１０４閉じ中のアラーム通知継続状態において、フレーム１０４を開いた際にアラーム通知を停止する機能を有効とするためのチェックボックス７２３を有する。更に時計アプリ通知設定画面７２０は、フレーム１０４閉じ中のスヌーズ発動状態において、フレーム１０４を開いた際にスヌーズ発動を停止する機能を有効とするためのチェックボックス７２４を有する。

　以上で説明した実施例１によれば、スマートグラス１０１のフレーム１０４の開閉とモードに基づいた、通知・通話などで利用する機能を選択的に利用することが可能となった。

　＜実施例２＞
　図８を用いて、別の実施例を説明する。図８の処理では、スマートグラス１０１のフレーム１０４の閉じ中のおける人の検知機能に基づく通知処理についての拡張である。

　図８は、実施例２におけるメガネ型情報機器の通知処理を説明するフローチャートを示す。

　Ｓ８０１では、スマートグラス１０１に搭載する人感センサー２２０により、人がスマートグラス１０１の特定範囲内に近づいたか否かを検知する。そして、人がスマートグラス１０１の特定範囲内に近づいたことを検知した場合は、Ｓ８０２にて、スマートグラス１０１のテンプル閉じ状態（“グラス閉じ中”）であるか否かを検知する。

　Ｓ８０２にてスマートグラス１０１が閉じ中であれば、更にＳ８０３へ進み、ユーザが未読の最新アプリ通知があるか否かを確認する。

　そして、Ｓ８０３にてユーザが未読の最新アプリ通知があれば、Ｓ８０４にてスマートグラス１０１のレンズ１０５上に、メッセージを反転表示する。このメッセージの反転表示は、レーザー２１１はディスプレイ２０２に各種コンテンツを投影する際にユーザがスマートグラス１０１を装着時に投影する際と表示を反転させて表示するものである。

　以上の実施例２によれば、スマートグラス１０１のフレーム１０４閉じ中にユーザが近づいた際、フレーム１０４を開くことなく、新規アプリケーション通知のメッセージを確認することが可能となる。

　＜実施例３＞
　図９を用いて、さらに、別の実施例を説明する。図９の処理では、スマートグラス１０１を閉じて不図示のグラスケースに格納して充電中の通知処理についての拡張である。グラスケースに格納して充電中の場合、上述した他の実施例記載のような通知では、ユーザが気付かない懸念がある。

　図９は、実施例３におけるメガネ型情報機器の通知処理を説明するフローチャートを示す。

　Ｓ９０１では、スマートグラス１０１が実施例１のＳ４１７同様にアプリ通知の有無を検知する。以降、Ｓ９０２～Ｓ９０３も実施例１のＳ４１８～Ｓ４２０と同様の処理である。Ｓ９０３において通知設定の取得後に、スマートグラス１０１閉じ中であるか否かを確認する（Ｓ９０４）。Ｓ９０４にてスマートグラス１０１のテンプル閉じ状態（“グラス閉じ中”）の場合、更に、スマートグラス１０１を格納して充電可能なグラスケースに格納中であるか否かを確認する（Ｓ９０５）。

　この時、スマートグラス１０１とグラスケースは、近接通信Ｉ／Ｆ２１３にて通信可能であるものとする。更にグラスケースには、スマートグラス１０１のディスプレイ２０２、スピーカー２２４、バイブレーション２２５、ＬＥＤランプ２２６を代替する代替通知手段（不図示）を備えているものとする。グラスケースが備える代替通知手段は、通知内容などを表示するディスプレイ、または音出力するためのスピーカーなどがある。

　Ｓ９０５にて、スマートグラス１０１がグラスケースへ格納され充電中である場合は、Ｓ９０６へ進み、グラスケースに対して、代替通知手段を用いた通知制御を指示する（Ｓ９０６）。指示には、通知元のアプリケーションの情報に加えて、通知内容の少なくとも一部を含めてよい。この指示によって、グラスケースが備える代替通知手段による代替通知が実現される。また、Ｓ９０５にてスマートグラス１０１がグラスケースへ未格納である場合は、実施例１のＳ４２０同様にスマートグラス１０１自身に搭載の通知手段を用いてユーザへアプリケーションからの通知を伝える。

　以上の実施例３によれば、スマートグラス１０１をグラスケースに格納して充電中においても、グラスケースにより通知を代替することが可能である。

　＜実施例４＞
　その他の実施例として、未装着モードに紐づけることを想定するハードスイッチとして、テンプル開閉スイッチとは別に、肌センサーの検知ＯＮ／ＯＦＦを想定しても良い。

　図１０に、肌センサーの検知ＯＮ／ＯＦＦに未装着モードへ紐づけることを可能とするモード選択設定画面例を示す。

　図１０のモード選択画面１０００は、実施例１に記載したモード選択設定画面５１０と同等である。そして、モード選択画面１０００上の１００１～１００３もそれぞれ、モード選択画面５１０上の５１１～５１２と同等の画面項目である。

　モード選択画面１００４上の肌センサーＯＦＦ１００４が、本実施例４の特徴とするハードスイッチ項目であり、未装着モードとの紐付けを想定したスイッチ項目である。ここで示す肌センサーは、テンプル肌センサー２１９である。スマートグラス１０１上のフレーム１０４のテンプル部分内側に設置されるテンプル肌センサー２１９により、テンプル部分内側に人の肌が触れているか否かを検知する。人の肌が触れていない場合、テンプル肌センサー２１９による肌検知は未検知状態であり、この未検知状態が肌センサーＯＦＦ１００４のスイッチ状態である。

　以上の実施例４によれば、スマートグラス１０１の開閉とは別の検知手段により、スマートグラス１０１のユーザによる装着状態を検知可能であり、それに基づいたアプリケーション毎の通知手段切替えが可能になる。

　また、ユーザには、スマートグラス１０１のフレーム１０４を開いたままスマートグラス１０１を外し更に置いたままにするユーザもいる。例えば、洗願中やレンズを布で拭いている最中、などの場合が想定される。こういったユースケースにおいては、スマートグラス１０１のフレーム１０４におけるテンプル開閉スイッチを未装着モードと紐づけるだけでは不十分である。よってこのユースケースにおいては、本実施例４で示した肌センサーの検知ＯＮ／ＯＦＦに未装着モードへ紐づけることが有効であり、実施例１に比べてユースケースを拡張可能である。

　（他の実施例）
　本発明は、上述した実施形態を適宜組み合わせることにより構成された装置あるいはシステムやその方法も含まれるものとする。

　ここで、本発明は、上述した実施形態の機能を実現する１以上のソフトウェア（プログラム）を実行する主体となる装置あるいはシステムである。また、その装置あるいはシステムで実行される上述した実施形態を実現するための方法も本発明の一つである。また、そのプログラムは、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給され、そのシステム或いは装置の１以上のコンピュータ（ＣＰＵやＭＰＵ等）によりそのプログラムが１以上のメモリーに読み出され、実行される。つまり、本発明の一つとして、さらにそのプログラム自体、あるいは該プログラムを格納したコンピューターにより読み取り可能な各種記憶媒体も含むものとする。また、上述した実施形態の機能を実現する回路（例えば、ＡＳＩＣ）によっても、本発明は実現可能である。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

　本願は、２０２１年３月５日提出の日本国特許出願特願２０２１－０３５７９２を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims

　ユーザが装着できるメガネ型情報機器であって、
　前記メガネ型情報機器を装着したユーザに対して音を伝える第１のスピーカー機能と、
　前記メガネ型情報機器の周囲に対して音を伝える第２のスピーカー機能と、
　バイブレーション機能およびランプを点灯させる機能の少なくとも何れかを含む通知機能と、を有し、
　さらに、前記メガネ型情報機器のテンプルが折り畳まれて、ユーザに装着されていないときには、前記メガネ型情報機器にインストールされたアプリケーションのために、前記第１のスピーカー機能を無効とし、前記第２のスピーカー機能および前記通知機能の少なくとも何れかを利用した出力を行い、
　前記メガネ型情報機器が前記ユーザに装着されているときには、前記アプリケーションのために、前記第２のスピーカー機能および前記通知機能を無効とし、前記第１のスピーカー機能を利用した出力を行う、制御手段を有することを特徴とするメガネ型情報機器。
　前記メガネ型情報機器のテンプルが折り畳まれて、ユーザに装着されていないときに、
　前記アプリケーションのために利用する機能を、前記第２のスピーカー機能および前記通知機能から設定する設定手段をさらに有することを特徴とする請求項１に記載のメガネ型情報機器。
　ユーザが装着できるメガネ型情報機器であって、
　前記メガネ型情報機器を装着したユーザに対して音を伝える第１のスピーカー機能と、
　前記メガネ型情報機器の周囲に対して音を伝える第２のスピーカー機能と、
　バイブレーション機能およびランプを点灯させる機能の少なくとも何れかを含む通知機能と、
　前記メガネ型情報機器にインストールされた複数のアプリケーションのそれぞれのために利用する機能を、前記第１のスピーカー機能、前記第２のスピーカー機能および前記通知機能から設定する設定手段と、を有することを特徴とするメガネ型情報機器。
　メガネ型情報機器を装着したユーザに対して音を伝える第１のスピーカー機能と、
　前記メガネ型情報機器の周囲に対して音を伝える第２のスピーカー機能と、
　バイブレーション機能およびランプを点灯させる機能の少なくとも何れかを含む通知機能と、を有する前記メガネ型情報機器における方法であって、
　前記メガネ型情報機器のテンプルが折り畳まれて、ユーザに装着されていないときには、前記メガネ型情報機器にインストールされたアプリケーションのために、前記第１のスピーカー機能を無効とし、前記第２のスピーカー機能および前記通知機能の少なくとも何れかを利用した出力を行い、
　前記メガネ型情報機器が前記ユーザに装着されているときには、前記アプリケーションのために、前記第２のスピーカー機能および前記通知機能を無効とし、前記第１のスピーカー機能を利用した出力を行う、制御工程を有することを特徴とする方法。
　メガネ型情報機器を装着したユーザに対して音を伝える第１のスピーカー機能と、
　前記メガネ型情報機器の周囲に対して音を伝える第２のスピーカー機能と、
　バイブレーション機能およびランプを点灯させる機能の少なくとも何れかを含む通知機能と、を有する前記メガネ型情報機器における方法であって、
　前記メガネ型情報機器にインストールされた複数のアプリケーションのそれぞれのために利用する機能を、前記第１のスピーカー機能、前記第２のスピーカー機能および前記通知機能から設定する設定工程を有することを特徴とする方法。
　メガネ型情報機器を装着したユーザに対して音を伝える第１のスピーカー機能と、
　前記メガネ型情報機器の周囲に対して音を伝える第２のスピーカー機能と、
　バイブレーション機能およびランプを点灯させる機能の少なくとも何れかを含む通知機能と、を有する前記メガネ型情報機器としてのコンピューターを、
　前記メガネ型情報機器のテンプルが折り畳まれて、ユーザに装着されていないときには、前記メガネ型情報機器にインストールされたアプリケーションのために、前記第１のスピーカー機能を無効とし、前記第２のスピーカー機能および前記通知機能の少なくとも何れかを利用した出力を行い、
　前記メガネ型情報機器が前記ユーザに装着されているときには、前記アプリケーションのために、前記第２のスピーカー機能および前記通知機能を無効とし、前記第１のスピーカー機能を利用した出力を行う、制御手段として機能させることを特徴とするプログラム。
　メガネ型情報機器を装着したユーザに対して音を伝える第１のスピーカー機能と、
　前記メガネ型情報機器の周囲に対して音を伝える第２のスピーカー機能と、
　バイブレーション機能およびランプを点灯させる機能の少なくとも何れかを含む通知機能と、を有する前記メガネ型情報機器としてのコンピューターを、
　前記メガネ型情報機器にインストールされた複数のアプリケーションのそれぞれのために利用する機能を、前記第１のスピーカー機能、前記第２のスピーカー機能および前記通知機能から設定する設定手段として機能させることを特徴とするプログラム。