JP7174785B2 - 制御装置、プログラム、及び制御方法 - Google Patents

制御装置、プログラム、及び制御方法 Download PDF

Info

Publication number
JP7174785B2
JP7174785B2 JP2021017815A JP2021017815A JP7174785B2 JP 7174785 B2 JP7174785 B2 JP 7174785B2 JP 2021017815 A JP2021017815 A JP 2021017815A JP 2021017815 A JP2021017815 A JP 2021017815A JP 7174785 B2 JP7174785 B2 JP 7174785B2
Authority
JP
Japan
Prior art keywords
type device
captured image
glasses
unit
sharing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021017815A
Other languages
English (en)
Other versions
JP2022120723A (ja
Inventor
健太 石垣
優也 佐藤
裕貴 可児
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2021017815A priority Critical patent/JP7174785B2/ja
Publication of JP2022120723A publication Critical patent/JP2022120723A/ja
Application granted granted Critical
Publication of JP7174785B2 publication Critical patent/JP7174785B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、制御装置、プログラム、及び制御方法に関する。
特許文献1には、視界を共有することと、共有レベル(視界共有のみ、聴覚共有もOK等)を設定することが記載されている。特許文献2には、仮想空間上において、銀行のATMやドア等の前に仮想モデルが立ち、暗証番号等を入力するシチュエーションの場合、他のユーザに対しては、テンキー等がぼかされた仮想空間Vを提供することが記載されている。特許文献3には、エリアによって撮影を禁止する技術が記載されている。
[先行技術文献]
[特許文献]
[特許文献1]国際公開2017/056631号
[特許文献2]国際公開2018/139208号
[特許文献3]公開2005-033799
本発明の一実施態様によれば、制御装置が提供される。制御装置は、眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得部を備えてよい。制御装置は、眼鏡型デバイスが、画像取得部が取得する撮像画像を他のデバイスと共有する共有モードに設定されている場合に、撮像画像を他のデバイスに送信するよう制御する送信制御部を備えてよい。制御装置は、眼鏡型デバイスが共有モードに設定されている場合に、外部への通知処理を実行する外部通知実行部を備えてよい。
上記外部通知実行部は、上記眼鏡型デバイスが上記共有モードに設定されている場合に、上記眼鏡型デバイスの外側に向けて発光する発光部を発光させてよい。上記制御装置は、上記眼鏡型デバイスがユーザによって装着されている装着状態であるか否かを判定する装着状態判定部を備えてよく、上記外部通知実行部は、上記眼鏡型デバイスが上記共有モードに設定されており、かつ、上記眼鏡型デバイスが上記装着状態でない場合に、外部への通知処理を実行してよい。上記外部通知実行部は、上記眼鏡型デバイスが上記共有モードに設定されており、かつ、上記眼鏡型デバイスが上記装着状態でない場合に、上記眼鏡型デバイスのレンズ部の外向きに通知情報を表示させてよい。上記外部通知実行部は、上記眼鏡型デバイスが上記共有モードに設定されており、かつ、上記眼鏡型デバイスが上記装着状態でない場合に、上記眼鏡型デバイスが備える情報を外部に向けて投影する照射部に、通知情報を投影させてよい。
上記制御装置は、上記眼鏡型デバイスが上記共有モードに設定されている間に、上記眼鏡型デバイスの状況が変化したと判定したことに応じて、上記眼鏡型デバイスのユーザに対して警告を実行する警告実行部を備えてよい。上記警告実行部は、上記眼鏡型デバイスが上記共有モードに設定されている間に、上記眼鏡型デバイスが、上記共有モードが設定されたときに位置していた空間とは異なる空間に移動したと判定したことに応じて、上記眼鏡型デバイスのユーザに対して警告を実行してよい。上記警告実行部は、上記眼鏡型デバイスが上記共有モードに設定されている間に、上記眼鏡型デバイスが、上記共有モードが設定されたときの位置を基準とする予め定められた範囲から出たと判定したことに応じて、上記眼鏡型デバイスのユーザに対して警告を実行してよい。上記警告実行部は、上記眼鏡型デバイスが上記共有モードに設定されている間に、上記眼鏡型デバイスの向きが、上記共有モードが設定されたときの向きから予め定められた閾値以上変化したことに応じて、上記眼鏡型デバイスのユーザに対して警告を実行してよい。
上記制御装置は、上記眼鏡型デバイスが上記共有モードに設定されている場合に、共有中であること示すオブジェクトを上記眼鏡型デバイスのユーザに向けて表示するよう制御する共有通知部を備えてよい。上記共有通知部は、上記眼鏡型デバイスのユーザの指示に従って選択された上記撮像画像の一部を上記他のデバイスと共有している場合に、上記撮像画像のうち、上記他のデバイスと共有している一部を識別可能に表示する上記オブジェクトを、上記眼鏡型デバイスのユーザに向けて表示するよう制御してよい。
上記制御装置は、上記眼鏡型デバイスが上記共有モードに設定されている間に、上記眼鏡型デバイスがユーザによって装着されている装着状態から、非装着状態に変化したことに応じて、上記送信制御部による、上記撮像画像の上記他のデバイスへの送信を停止させる、停止制御部を備えてよい。上記送信制御部は、上記眼鏡型デバイスが上記共有モードに設定されており、かつ、上記眼鏡型デバイスが、上記撮像画像を他のデバイスと共有することが可能な実世界の共有可能エリア内に位置する場合に、上記撮像画像を上記他のデバイスに送信するよう制御してよく、上記制御装置は、上記眼鏡型デバイスが上記共有モードに設定されたまま、上記眼鏡型デバイスが上記共有可能エリアから出たことに応じて、上記送信制御部による上記撮像画像の上記他のデバイスへの送信を停止させる停止制御部を備えてよい。
本発明の一実施態様によれば、制御装置が提供される。制御装置は、眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得部を備えてよい。制御装置は、眼鏡型デバイスが、画像取得部が取得する撮像画像を他のデバイスと共有する共有モードに設定されている場合に、撮像画像を他のデバイスに送信するよう制御する送信制御部を備えてよい。制御装置は、眼鏡型デバイスが共有モードに設定された後、眼鏡型デバイスの状況が変化したと判定したことに応じて、眼鏡型デバイスのユーザに対して警告を実行する警告実行部を備えてよい。
本発明の一実施態様によれば、制御装置が提供される。制御装置は、眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得部を備えてよい。制御装置は、眼鏡型デバイスが、画像取得部が取得する撮像画像を他のデバイスと共有する共有モードに設定されている場合に、撮像画像を他のデバイスに送信するよう制御する送信制御部を備えてよい。制御装置は、眼鏡型デバイスが共有モードに設定されている場合に、共有中であること示すオブジェクトを眼鏡型デバイスのユーザに向けて表示するよう制御する共有通知部を備えてよい。
本発明の一実施態様によれば、制御装置が提供される。制御装置は、眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得部を備えてよい。制御装置は、眼鏡型デバイスが、画像取得部が取得する撮像画像を他のデバイスと共有する共有モードに設定されている場合に、撮像画像を他のデバイスに送信するよう制御する送信制御部を備えてよい。制御装置は、眼鏡型デバイスが共有モードに設定されている間に、眼鏡型デバイスがユーザによって装着されている装着状態から、非装着状態に変化したことに応じて、送信制御部による、撮像画像の他のデバイスへの送信を停止させる、停止制御部を備えてよい。
本発明の一実施態様によれば、制御装置が提供される。制御装置は、眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得部を備えてよい。制御装置は、眼鏡型デバイスが、画像取得部が取得する撮像画像を他のデバイスと共有する共有モードに設定されており、かつ、眼鏡型デバイスが、撮像画像を他のデバイスと共有することが可能な実世界の共有可能エリア内に位置する場合に、撮像画像を他のデバイスに送信するよう制御する送信制御部を備えてよい。制御装置は、眼鏡型デバイスが共有モードに設定されたまま眼鏡型デバイスが共有可能エリアから出たことに応じて、送信制御部による撮像画像の他のデバイスへの送信を停止させる停止制御部を備えてよい。
本発明の一実施態様によれば、コンピュータを、上記制御装置として機能させるためのプログラムが提供される。
本発明の一実施態様によれば、システムが提供される。システムは、上記制御装置と、上記眼鏡型デバイスとを備えてよい。
本発明の一実施態様によれば、コンピュータによって実行される制御方法が提供される。制御方法は、眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得段階を備えてよい。制御方法は、眼鏡型デバイスが、撮像画像を他のデバイスと共有する共有モードに設定されている場合に、撮像画像を他のデバイスに送信するよう制御する送信制御段階を備えてよい。制御方法は、眼鏡型デバイスが共有モードに設定されている場合に、外部への通知処理を実行する外部通知実行段階を備えてよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
システム10の一例を概略的に示す。 眼鏡型デバイス100の構成の一例を概略的に示す。 眼鏡型デバイス100による通知画面500の表示例を概略的に示す。 眼鏡型デバイス100による通知画面500の表示例を概略的に示す。 眼鏡型デバイス100が位置する空間510の一例を概略的に示す。 共有可能エリア530の一例を概略的に示す。 制御装置200の機能構成の一例を概略的に示す。 管理サーバ300の機能構成の一例を概略的に示す。 制御装置200又は管理サーバ300として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。
AR(Augmented Reality)グラス等の眼鏡型デバイスは、今後普及が進み、他者と視界を共有するシーンが増加することが想定される。他者と視界を共有していることを忘れて、サービスのログインパスワードや、クレジットカード番号等の重要な物を見たとき、その情報が誤って相手の視界にも共有されてしまう。また、情報共有していることを忘れて眼鏡型デバイスを外した場合、意図しない映像や音声等を相手と共有してしまう可能性がある。本実施形態に係る眼鏡型デバイス100は、視界共有を安全に行うための仕組みを提供する。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、システム10の一例を概略的に示す。システム10は、複数の眼鏡型デバイス100及び管理サーバ300を備える。
眼鏡型デバイス100は、無線通信機能と、各種情報を表示部に表示する表示機能とを有している眼鏡型のデバイスであれば、どのようなものであってもよい。眼鏡型デバイス100は、例えば、ARグラスであってよい。
眼鏡型デバイス100が表示する情報の例として、時刻や日時等の情報、メールやSNS等の情報、アプリの情報、及びAR用のコンテンツ等が挙げられる。なお、これらに限らず、眼鏡型デバイス100は、任意の情報を表示可能であってよい。
眼鏡型デバイス100は、AR用のコンテンツを、管理サーバ300から受信して、表示してよい。管理サーバ300が管理するコンテンツは、任意のデータ形式であってよい。例えば、コンテンツは、3DのCG(Computer Graphics)データである。例えば、コンテンツは、静止画である。また、例えば、コンテンツは、動画である。例えば、コンテンツは、テキストである。コンテンツは、これらを複合的に含んでもよい。
眼鏡型デバイス100は、コンテンツを透明又は半透明のグラス上に表示することによって、実空間にコンテンツが配置されている感覚をユーザ102に与えることが可能なデバイスであってよい。すなわち、眼鏡型デバイス100は、いわゆる透過型(シースルー型)のデバイスであってよい。なお、眼鏡型デバイス100は、ビデオパススルー型のデバイスであってもよい。この場合、眼鏡型デバイス100は、ユーザ102の視界に対応する範囲を撮影している撮影画像を非透過型のディスプレイに表示し、コンテンツを重畳表示してよい。
管理サーバ300は、眼鏡型デバイス100に配信するコンテンツを管理してよい。管理サーバ300は、例えば、実世界の対象に対応付けてコンテンツを登録する。実世界の対象は、実世界の位置、エリア、及び物体等であってよい。コンテンツの登録は、管理サーバ300の管理者等によって許可された任意の者によって行われてよい。管理サーバ300は、スマートフォン、タブレット端末、PC(Personal Computer)、及びARグラス等によるコンテンツの登録を受け付けてよい。
管理サーバ300は、例えば、眼鏡型デバイス100から、眼鏡型デバイス100の撮像範囲を示す撮像範囲情報を受信して、撮像範囲に含まれる対象に対応するコンテンツを眼鏡型デバイス100に送信してよい。眼鏡型デバイス100の撮像範囲は、眼鏡型デバイス100のカメラの撮像範囲であってよい。眼鏡型デバイス100のカメラによる撮像範囲は、ユーザ102の視界に対応する範囲であってよい。眼鏡型デバイス100のカメラの撮像範囲は、ユーザ102の視界よりも広い範囲であってよく、ユーザ102の視界と実質的に同じ範囲であってもよい。
眼鏡型デバイス100と管理サーバ300は、ネットワーク20を介して通信してよい。ネットワーク20は、クラウドを含む。ネットワーク20は、インターネットを含んでよい。ネットワーク20は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、LTE(Long Term Evolution)通信方式、3G(3rd Generation)通信方式、5G(5th Generation)通信方式、6G(6th Generation)通信方式以降の通信方式のいずれに準拠していてもよい。ネットワーク20は、Wi-Fi(登録商標)通信方式に対応していてよい。ネットワーク20には、Wi-Fiアクセスポイントを介してアクセス可能であってよい。ネットワーク20には、その他無線通信全般を利用してアクセス可能であってよい。管理サーバ300は、ネットワーク20に有線接続されてよく、無線接続されてもよい。眼鏡型デバイス100は、移動体通信、Wi-Fi通信、その他無線通信全般によって、ネットワーク20に接続されてよい。
管理サーバ300は、眼鏡型デバイス100による撮像画像の他者への共有をサポートしてよい。例えば、管理サーバ300は、眼鏡型デバイス100による撮像画像の他の眼鏡型デバイス100への共有をサポートする。例えば、管理サーバ300は、共有元の眼鏡型デバイス100と、共有先の眼鏡型デバイス100とのマッチングを行う。管理サーバ300は、共有先の眼鏡型デバイス100からの要求に応じて、共有元の眼鏡型デバイス100とのマッチングを行ってよい。また、管理サーバ300は、共有元の眼鏡型デバイス100からの要求に応じて、共有先の眼鏡型デバイス100とのマッチングを行ってよい。
マッチングの後、管理サーバ300は、共有元の眼鏡型デバイス100から、共有対象の撮像画像を受信して、共有先の眼鏡型デバイス100に送信してよい。また、共有元の眼鏡型デバイス100と、共有先の眼鏡型デバイス100とが、Wi-Fi(登録商標)及びBluetooth(登録商標)等の近距離無線通信によって直接無線通信可能な状況においては、管理サーバ300は、共有元の眼鏡型デバイス100と、共有先の眼鏡型デバイス100とに無線通信接続を確立させて、共有対象の撮像画像を直接通信させてもよい。
眼鏡型デバイス100は、管理サーバ300を介さずに、他の眼鏡型デバイス100に対して撮像画像を共有してもよい。眼鏡型デバイス100は、例えば、他の眼鏡型デバイス100と直接無線通信可能な状況において、当該他の眼鏡型デバイス100に撮像画像の共有を提示する。当該他の眼鏡型デバイス100は、共有を受けるか否かを装着者であるユーザ102の指示に従って応答する。共有を受けると応答した場合、眼鏡型デバイス100と当該他の眼鏡型デバイス100とが共有関係を確立し、眼鏡型デバイス100が、撮像画像を当該他の眼鏡型デバイス100に送信する。
管理サーバ300は、眼鏡型デバイス100による撮像画像の、任意の通信端末400への共有をサポートしてもよい。通信端末400は、スマートフォン、タブレット端末、及びPC(Personal Computer)等であってよい。例えば、管理サーバ300は、眼鏡型デバイス100と、通信端末400とのマッチングを行う。管理サーバ300は、眼鏡型デバイス100からの要求に応じて、通信端末400とのマッチングを行ってよい。また、管理サーバ300は、通信端末400からの要求に応じて、眼鏡型デバイス100とのマッチングを行ってよい。マッチングの後、管理サーバ300は、眼鏡型デバイス100から、共有対象の撮像画像を受信して、通信端末400に送信してよい。また、眼鏡型デバイス100と、通信端末400とが、Wi-Fi及びBluetooth等の近距離無線通信によって直接無線通信可能な状況においては、管理サーバ300は、眼鏡型デバイス100と、通信端末400とに無線通信接続を確立させて、共有対象の撮像画像を直接通信させてもよい。
眼鏡型デバイス100は、管理サーバ300を介さずに、任意の通信端末400に対して撮像画像を共有してもよい。眼鏡型デバイス100は、例えば、通信端末400と直接無線通信可能な状況において、通信端末400に撮像画像の共有を提示する。通信端末400は、共有を受けるか否かをユーザの指示に従って応答する。共有を受けると応答した場合、眼鏡型デバイス100と通信端末400とが共有関係を確立し、眼鏡型デバイス100が、撮像画像を通信端末400に送信する。
図2は、眼鏡型デバイス100の構成の一例を概略的に示す。眼鏡型デバイス100は、リム112及びテンプル118を有するフレーム110を備える。眼鏡型デバイス100は、眼鏡型デバイス100における各種制御を実行する制御装置200を備える。
図2における制御装置200の配置は一例であり、制御装置200は、フレーム110の他の位置に配置されてもよい。例えば、制御装置200は、フレーム110の外部に配置されてもよい。また、例えば、制御装置200は、テンプル118内に配置されてもよい。具体例として、制御装置200は、テンプル118の先端部、すなわち、モダンに配置されてもよい。制御装置200は、バッテリを備えてよい。制御装置200とバッテリは、別体として、フレーム110の別の位置に配置されてもよい。
眼鏡型デバイス100は、カメラ120を備えてよい。カメラ120の撮像範囲は、眼鏡型デバイス100を装着しているユーザ102の視界に対応する範囲であってよい。図2におけるカメラ120の配置は一例であり、カメラ120は、他の位置に配置されてもよい。
眼鏡型デバイス100は、センサ122を備えてよい。センサ122は、眼鏡型デバイス100の周囲の環境を特定するためのセンサであってよい。センサ122は、LiDAR(Light Detection and Ranging)を含んでよい。センサ122は、測距センサを含んでもよい。図2では、センサ122がブリッジ114に配置されている場合を例示しているが、図2におけるセンサ122の配置は一例であり、センサ122は、他の位置に配置されてもよい。
眼鏡型デバイス100は、センサ124を備えてよい。センサ124は、例えば、眼鏡型デバイス100の装着者であるユーザ102の視線を検出する。センサ124は、例えば、ユーザ102の目を撮像して監視することによって、ユーザ102の視線を検出する。図2におけるセンサ124の配置は一例であり、センサ124は、他の位置に配置されてもよい。
眼鏡型デバイス100は、マイク126を備えてよい。マイク126は、眼鏡型デバイス100の装着者であるユーザ102の発話を取得可能な位置に配置される。図2におけるマイク126の配置は一例であり、マイク126は、他の位置に配置されてもよい。
眼鏡型デバイス100は、スピーカ128を備えてよい。スピーカ128は、眼鏡型デバイス100の外部に向けて音声を出力する。図2におけるスピーカ128の配置は一例であり、スピーカ128は、他の位置に配置されてもよい。
眼鏡型デバイス100は、発光部130を備えてよい。発光部130は、例えば、LED(Light Emitting Diode)であってよい。図2における発光部130の配置は一例であり、発光部130は、他の位置に配置されてもよい。
眼鏡型デバイス100は、センサ132を備えてよい。センサ132は、センサ132が設置された場所に対する接触を検知するセンサであってよい。センサ132の出力は、眼鏡型デバイス100がユーザ102に216は、されているか否かを判定するために用いられてよい。
眼鏡型デバイス100は、センサ134を備えてよい。センサ134は、センサ134が設置された場所に対する接触を検知するセンサであってよい。センサ134の出力は、眼鏡型デバイス100が、どこかに置かれているか否かを判定するために用いられてよい。
眼鏡型デバイス100は、センサ136を備えてよい。センサ136は、センサ136が設置された場所に対する接触を検知するセンサであってよい。センサ136の出力は、眼鏡型デバイス100が、上下逆向きにして置かれているか否かを判定するために用いられてよい。
眼鏡型デバイス100は、センサ138を備えてよい。センサ138は、センサ138が設置された場所に対する接触を検知するセンサであってよい。
眼鏡型デバイス100は、照射部140を備えてよい。照射部140は、映像を投影する。照射部140は、いわゆるプロジェクタであってよい。
制御装置200は、各種入力を受け付けてよい。制御装置200は、眼鏡型デバイス100の任意の位置に配置された操作部を介して、ユーザ102からの各種入力を受け付けてよい。制御装置200は、例えば、フレーム110の任意の位置に配置されたボタン等の入力部を介して、ユーザ102からの各種入力を受け付ける。制御装置200は、例えば、スマートフォン及びウェアラブル端末等の携帯端末、タブレット端末、及びPC等を介して、ユーザ102からの各種入力を受け付けてもよい。眼鏡型デバイス100は、例えば、Wi-Fi、Bluetooth(登録商標)及びZigbee(登録商標)等の短距離無線通信方式を用いて、これらと無線接続を確立してよい。
制御装置200は、ユーザ102による音声入力を受け付けてもよい。制御装置200は、マイク126が取得したユーザ102の発話を音声認識することによって、ユーザ102による音声入力を受け付けてよい。
制御装置200は、ユーザ102の手の動きによる入力を受け付けてよい。制御装置200は、カメラ120によって撮像されたユーザ102の手の動きを認識することによって、コンテンツの選択等の、ユーザ102による入力を受け付けてよい。制御装置200は、ユーザ102によるジェスチャ入力を受け付けてもよい。
制御装置200は、各種センサを備えてよい。制御装置200は、例えば、測位センサを備える。例えば、制御装置200は、GPS(Global Positioning System)センサ等のGNSS(Global Naviagtion Satellite System)センサを備える。制御装置200は、加速度センサを備えてよい。制御装置200は、ジャイロセンサを備えてよい。ジャイロセンサの出力は、眼鏡型デバイス100が、上下逆向きにして置かれているか否かを判定するために用いられてよい。制御装置200は、その他のセンサを備えてもよい。
制御装置200は、カメラ120の撮像範囲を示す撮像範囲情報を生成してよい。制御装置200は、眼鏡型デバイス100の位置、向き、及び姿勢に基づいて、撮像範囲情報を生成してよい。制御装置200は、各種センサの出力によって、眼鏡型デバイス100の位置、向き、及び姿勢を特定してよい。
制御装置200は、レンズ部116への表示機能を備えてよい。レンズ部116は、眼鏡型デバイス100の表示部の一例であってよい。レンズ部116は、透明又は半透明のディスプレイであってよく、制御装置200は、レンズ部116に各種表示を実行させてよい。すなわち、眼鏡型デバイス100は、透明又は半透明のディスプレイ型のデバイスであってよい。また、制御装置200が、レンズ部116に対して表示を投影する機能を有してもよい。すなわち、眼鏡型デバイス100は、投影型のデバイスであってよい。
制御装置200は、ネットワーク20を介した通信を実行する機能を有してよい。制御装置200は、移動体通信、Wi-Fi通信、及びその他の無線通信全般の少なくともいずれかによって、ネットワーク20にアクセスしてよい。制御装置200は、ネットワーク20を介して、管理サーバ300と通信してよい。
制御装置200は、眼鏡型デバイス100がユーザ102によって装着されている装着状態であるか否かを判定してよい。制御装置200は、例えば、センサ132が接触を検知しているときは、眼鏡型デバイス100が装着状態であると判定し、センサ132が接触を検知していないときは、眼鏡型デバイス100が装着状態でない(非装着状態である)と判定する。
制御装置200は、眼鏡型デバイス100が非装着状態である場合に、眼鏡型デバイス100がどこかに置かれているか否かを判定してもよい。制御装置200は、センサ134が接触を検知しているときは、眼鏡型デバイス100が置かれていると判定してよい。制御装置200は、センサ136が接触を検知しているときは、眼鏡型デバイス100が上下逆に置かれていると判定してよい。制御装置200は、ジャイロセンサの出力によって、眼鏡型デバイス100が上下正方向に置かれているか、上下逆方向に置かれているかを判定してもよい。
眼鏡型デバイス100は、カメラ120による撮像画像を他のデバイスと共有する共有モードに設定可能であってよい。眼鏡型デバイス100は、例えば、ユーザ102の操作によって、共有モードに設定されたり、共有モードが解除されたりする。眼鏡型デバイス100が共有モードに設定されている場合、制御装置200は、カメラ120によって撮像された撮像画像を、共有先のデバイスに送信する。眼鏡型デバイス100が共有モードに設定されている場合、制御装置200はさらに、マイク126によって取得した音声を共有先のデバイスに送信してもよい。
制御装置200は、例えば、共有先が他の眼鏡型デバイス100である場合、撮像画像を当該他の眼鏡型デバイス100に対して送信する。制御装置200は、管理サーバ300を介して、撮像画像を当該他の眼鏡型デバイス100に送信してよい。制御装置200は、当該他の眼鏡型デバイス100と直接無線通信接続を確立している場合、撮像画像を直接当該他の眼鏡型デバイス100に送信してもよい。
制御装置200は、例えば、共有先が通信端末400である場合、撮像画像を当該通信端末400に対して送信する。制御装置200は、管理サーバ300を介して、撮像画像を当該通信端末400に送信してよい。制御装置200は、当該通信端末400と直接無線通信接続を確立している場合、撮像画像を直接当該通信端末400に送信してもよい。
制御装置200は、眼鏡型デバイス100が共有モードに設定されている場合に、外部への通知処理を実行してよい。制御装置200は、例えば、眼鏡型デバイス100が共有モードに設定されている場合に、発光部130を発光させる。これにより、撮像画像を共有していることを忘れて眼鏡型デバイス100を外したユーザ102に、共有中であることに気づかせることができ、意図しない映像や音声等を相手と共有してしまう事態の発生を抑制することができる。
制御装置200は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、外部への通知処理を実行するようにしてもよい。例えば、制御装置200は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、発光部130を発光させる。これにより、眼鏡型デバイス100が共有モードに設定されている場合に発光部130を発光させる場合と比較して、消費電力を低減しつつ、意図しない映像や音声等を相手と共有してしまう事態の発生を抑制するための通知を効果的に行うことができる。
また、例えば、制御装置200は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、レンズ部116の外向きに通知情報を表示させる。例えば、制御装置200は、「視界共有中」というテキストを含む通知画面を、レンズ部116の外向きに表示させる。これにより、撮像画像を共有していることを忘れて眼鏡型デバイス100を外したユーザ102に、共有中であることに気づかせることができ、意図しない映像や音声等を相手と共有してしまう事態の発生を抑制することができる。
制御装置200は、眼鏡型デバイス100が共有モードに設定されている場合に、共有中であることを示すオブジェクトを眼鏡型デバイス100のユーザ102に向けて表示するよう制御してもよい。例えば、制御装置200は、「視界共有中」というテキストを含む通知画面を、レンズ部116の内向きに表示させる。これにより、撮像画像を他者と共有していることをユーザ102に意識させることができ、不用意に、当該他者に見せたくない場所に視線を向けたり、眼鏡型デバイス100を取り外して置いたままにしてしまったりする事態の発生を抑制することができる。
図3は、眼鏡型デバイス100による通知画面500の表示例を概略的に示す。制御装置200は、図3に例示するように、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、照射部140に、通知情報を投影させてもよい。例えば、制御装置200は、「視界共有中」というテキストを含む通知画面を、照射部140に投影させる。これにより、撮像画像を共有していることを忘れて眼鏡型デバイス100を外したユーザ102に、共有中であることに気づかせることができ、意図しない映像や音声等を相手と共有してしまう事態の発生を抑制することができる。
照射部140による投影方向は、変更可能であってよい。例えば、眼鏡型デバイス100は、眼鏡型デバイス100が上下正方向に配置されているときと、上下逆方向に配置されているときとで、通知画面500の投影方向を変更してよい。
図4は、眼鏡型デバイス100による通知画面500の表示例を概略的に示す。ここでは、図3と異なる点を主に説明する。
眼鏡型デバイス100は、眼鏡型デバイス100の装着方向に映像を投影する照射部142を備えてよく、制御装置200は、照射部142によって、眼鏡型デバイス100の装着方向に通知画面500を投影してもよい。
なお、眼鏡型デバイス100は、照射部140と照射部142の両方を備えてもよい。制御装置200は、通知画面500を、照射部140及び照射部142によって選択的に投影してもよい。
例えば、制御装置200は、各種センサの出力によって、眼鏡型デバイス100を外したユーザ102が、眼鏡型デバイス100の正面側に位置しているか、装着側に位置しているかを判定する。
そして、制御装置200は、ユーザ102が眼鏡型デバイス100の正面側に位置していると判定した場合、照射部140によって通知画面500を投影し、眼鏡型デバイス100の装着側に位置していると判定した場合、照射部142によって通知画面500を投影する。これによって、通知画面500をより見やすくユーザ102に対して提示することができる。
図5は、眼鏡型デバイス100が位置する空間510の一例を概略的に示す。空間510は、事前に眼鏡型デバイス100がLiDARを含んだセンサ122によって認識した3次元的な空間であってよい。制御装置200は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100の状況が変化したと判定したことに応じて、眼鏡型デバイス100のユーザ102に対して警告を実行してもよい。制御装置200は、例えば、スピーカ128による音声出力によって、ユーザ102に対する警告を実行する。また、制御装置200は、例えば、レンズ部116による表示出力によって、ユーザ102に対する警告を実行する。
例えば、制御装置200は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100が、共有モードが設定されていた時に位置していた空間510とは異なる空間520に移動したと判定したことに応じて、ユーザ102に対して警告を実行する。空間510及び空間520は、任意の単位であってよい。空間510及び空間520は、例えば、異なる部屋であってよい。制御装置200は、例えば、眼鏡型デバイス100が共有モードに設定されたまま、ユーザ102が別の部屋に移動した場合に、ユーザ102に対して警告を実行する。これにより、本来は、1つの部屋の中だけを共有しようと思っていたにも関わらず、意図せずに隣の部屋の中の状況を共有してしまう事態の発生を抑制することができる。
図6は、共有可能エリア530の一例を概略的に示す。制御装置200は、例えば、事前に、ユーザ102による、撮像画像を他のデバイスと共有することが可能な実世界の共有可能エリア530の設定を受け付けてよい。制御装置200は、例えば、地図データに対する、共有可能エリア530の設定を受け付ける。そして、制御装置200は、眼鏡型デバイス100が共有可能エリア530内に位置し、かつ、眼鏡型デバイス100が共有モードに設定されている場合に、撮像画像を他のデバイスと共有してよい。
制御装置200は、眼鏡型デバイス100が共有モードに設定されたまま共有可能エリア530から出たことに応じて、撮像画像の共有を強制的に停止してよい。これにより共有可能エリア530以外のエリアの映像等を、意図せずに他のデバイスと共有してしまうことを防止できる。
なお、制御装置200は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100がユーザ102によって装着されている装着状態から、非装着状態に変化したことに応じて、撮像画像の共有を強制的に停止してもよい。これにより、撮像画像を共有していることを忘れて眼鏡型デバイス100を外した場合に、意図しない映像や音声を相手と共有してしまうことを防止できる。
図7は、制御装置200の機能構成の一例を概略的に示す。制御装置200は、格納部202、情報取得部204、画像取得部206、モード管理部208、送信制御部210、共有通知部212、外部通知部214、装着状態判定部216、警告実行部218、及び停止制御部220を備える。なお、制御装置200がこれらの全てを備えることは必須とは限らない。
情報取得部204は、各種情報を取得する。情報取得部204は、各種センサによって出力された情報を取得してよい。情報取得部204は、例えば、測位センサによって出力された情報を取得する。情報取得部204は、例えば、ジャイロセンサによって出力された情報を取得する。情報取得部204は、例えば、加速度センサによって出力された情報を取得する。情報取得部204は、例えば、センサ122によって出力された情報を取得する。情報取得部204は、例えば、センサ124によって出力された情報を取得する。情報取得部204は、例えば、マイク126が取得した音声を取得する。情報取得部204は、例えば、センサ132によって出力された情報を取得する。情報取得部204は、例えば、センサ134によって出力された情報を取得する。情報取得部204は、例えば、センサ136によって出力された情報を取得する。情報取得部204は、例えば、センサ138によって出力された情報を取得する。情報取得部204は、取得した情報を格納部202に格納する。
画像取得部206は、カメラ120によって撮像された、眼鏡型デバイス100の撮像範囲の撮像画像をカメラ120から取得する。画像取得部206は、取得した撮像画像を格納部202に格納する。
モード管理部208は、眼鏡型デバイス100のモードを管理する。モード管理部208は、例えば、ユーザ102からの指示に従って、眼鏡型デバイス100を共有モードに設定する。また、モード管理部208は、例えば、ユーザ102からの指示に従って、眼鏡型デバイス100の共有モードを解除する。
送信制御部210は、眼鏡型デバイス100が共有モードに設定されている場合に、管理サーバ300によってマッチングされた共有相手の他のデバイスに対して、画像取得部206が取得する撮像画像を送信する。送信制御部210は、例えば、共有相手の他のデバイスとの接続を確立した上で、共有モードの設定状況に応じて、撮像画像の送信を制御する。送信制御部210は、眼鏡型デバイス100が共有モードに設定されていない間は、撮像画像を送信せず、眼鏡型デバイス100が共有モードに設定されている間は、撮像画像を送信する。
送信制御部210は、画像取得部206によって取得される撮像画像の全体を、共有相手の他のデバイスに送信してよい。送信制御部210は、画像取得部206によって取得される撮像画像のうち、ユーザ102によって指定された一部分を、共有相手の他のデバイスに送信してもよい。
共有通知部212は、眼鏡型デバイス100が共有モードに設定されている場合に、共有中であることを示すオブジェクトを眼鏡型デバイス100のユーザ102に向けて表示するよう制御する。共有中であることを示すオブジェクトは、どのような形式であってもよい。例えば、共有中であることを示すオブジェクトは、「視界共有中」というテキストであってよい。
共有通知部212は、画像取得部206によって取得される撮像画像の全体を共有している場合、レンズ部116の表示範囲の全体を囲うような、共有中であることを示すオブジェクトを眼鏡型デバイス100のユーザ102に向けて表示するよう制御する。共有通知部212は、例えば、当該オブジェクトをレンズ部116に表示させる。
共有通知部212は、眼鏡型デバイス100のユーザ102の指示に従って選択された撮像画像の一部を他のデバイスと共有している場合に、撮像画像のうち、他のデバイスと共有している一部を識別可能に表示するオブジェクトを、眼鏡型デバイス100のユーザ102に向けて表示するよう制御する。例えば、共有通知部212は、画像取得部206によって取得される撮像画像の一部を共有している場合、レンズ部116の表示範囲のうち、共有している部分のみを囲うような、共有中であることを示すオブジェクトをレンズ部116に表示させてよい。
外部通知部214は、眼鏡型デバイス100が共有モードに設定されている場合に、外部への通知処理を実行する。外部通知部214は、例えば、眼鏡型デバイス100が共有モードに設定されている場合に、発光部130を発光させる。
装着状態判定部216は、眼鏡型デバイス100がユーザ102によって装着されている装着状態であるか否かを判定する。装着状態判定部216は、例えば、センサ132の出力によって、眼鏡型デバイス100が装着状態であるか、非装着状態であるかを判定してよい。
外部通知部214は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、外部への通知処理を実行するようにしてもよい。例えば、外部通知部214は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、レンズ部116の外向きに通知情報を表示させる。
また、例えば、外部通知部214は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、照射部140に、通知情報を投影させる。外部通知部214は、通知情報を照射部142に投影させてもよい。外部通知部214は、通知情報を、照射部140及び照射部142に選択的に投影させてもよい。
警告実行部218は、眼鏡型デバイス100が共有モードに設定されている場合に、眼鏡型デバイス100の状況が変化したことに応じて、眼鏡型デバイス100のユーザ102に対して警告を実行する。警告実行部218は、例えば、警告情報をレンズ部116に表示させる。また、警告実行部218は、例えば、警告音をスピーカ128に音声出力させる。
警告実行部218は、例えば、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100が、共有モードが設定されたときに位置していた空間とは異なる空間に移動したと判定したことに応じて、ユーザ102に対して警告を実行する。警告実行部218は、センサ132による出力によって、眼鏡型デバイス100が、共有モードが設定されたときに位置していた空間とは異なる空間に移動したことを検知してよい。警告実行部218は、眼鏡型デバイス100の位置情報の変化によって、眼鏡型デバイス100が、共有モードが設定されたときに位置していた空間とは異なる空間に移動したことを検知してもよい。
警告実行部218は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100が、共有モードが設定されたときの位置を基準とする予め定められた範囲から出たと判定したことに応じて、ユーザ102に対して警告を実行してもよい。すなわち、警告実行部218は、共有モードが設定されたときの位置から、予め定められた距離以上離された場合に、ユーザ102に対して警告を実行してよい。警告実行部218は、警告を実行した後に、共有継続可否をユーザ102に問い合わせる表示を行ってもよい。制御装置200は、ユーザ102が共有継続可を選択した場合、そのままの状態で共有を継続してよく、ユーザ102が共有継続否を選択した場合、共有を停止してよい。
警告実行部218は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100の向きが、共有モードが設定されたときの向きから予め定められた閾値以上変化したことに応じて、ユーザ102に対して警告を実行する。警告実行部218は、例えば、眼鏡型デバイス100の向きが、共有モードが設定されたときの向きから180度以上変化したことに応じて、ユーザ102に対して警告を実行する。警告実行部218は、警告を実行した後に、共有継続可否をユーザ102に問い合わせる表示を行ってもよい。制御装置200は、ユーザ102が共有継続可を選択した場合、そのままの状態で共有を継続してよく、ユーザ102が共有継続否を選択した場合、共有を停止してよい。
これらにより、ユーザ102が撮像画像を共有してもよいと判断した状況から、眼鏡型デバイス100の状況が変化したことに応じて、ユーザ102に対して警告を実行することができる。また、警告後にユーザ102への問い合わせを行うことによって、共有継続可とユーザ102が判断した場合には共有を継続でき、共有継続否とユーザ102が判断した場合には、即座に共有を停止することができる。
停止制御部220は、眼鏡型デバイス100が共有モードに設定されている場合に、眼鏡型デバイス100がユーザ102に装着されている装着状態から、非装着状態に変化したことに応じて、送信制御部210による、撮像画像の、共有相手の他のデバイスへの送信を停止させる。
情報取得部204は、ユーザ102からの指示に従って、撮像画像を他のデバイスと共有することが可能な実世界の共有可能エリアを設定してもよい。情報取得部204は、設定した共有可能エリアの情報を格納部202に格納してよい。送信制御部210は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が、共有可能エリア内に位置する場合に、撮像画像を、共有相手の他のデバイスに送信するようにしてもよい。停止制御部220は、眼鏡型デバイス100が共有モードに設定されたまま、眼鏡型デバイス100が共有可能エリアから出たことに応じて、送信制御部210による撮像画像の他のデバイスへの送信を停止させてよい。
図1から図6を用いて説明した実施形態では、制御装置200が、眼鏡型デバイス100が共有モードである場合に各種通知を行ったり、条件に応じて共有を停止したりする処理を実行する場合を例に挙げて説明したが、これに限らず、管理サーバ300が主体となって実行されてもよい。管理サーバ300は、制御装置の一例であってよい。
図8は、管理サーバ300の機能構成の一例を概略的に示す。管理サーバ300は、格納部302、情報取得部304、画像取得部306、モード管理部308、送信制御部310、共有通知部312、外部通知部314、装着状態判定部316、警告実行部318、及び停止制御部320を備える。なお、管理サーバ300がこれらの全てを備えることは必須とは限らない。ここでは、各構成による処理内容について、図7に示す制御装置200と異なる点を主に説明する。
情報取得部304は、眼鏡型デバイス100の各種センサの出力を取得する。情報取得部304は、眼鏡型デバイス100から、各種センサの出力を受信してよい。情報取得部304は、取得した情報を格納部302に格納する。
画像取得部306は、眼鏡型デバイス100のカメラ120によって撮像された、眼鏡型デバイス100の撮像範囲の撮像画像を取得する。画像取得部306は、眼鏡型デバイス100から、撮像画像を受信してよい。画像取得部306は、取得した撮像画像を格納部302に格納する。
モード管理部308は、眼鏡型デバイス100のモードを管理する。モード管理部308は、眼鏡型デバイス100から、眼鏡型デバイス100が共有モードであるか否かを示す情報を受信することによって、眼鏡型デバイス100のモードを管理してよい。
送信制御部310は、眼鏡型デバイス100と、共有相手とのマッチングを行ってよい。送信制御部310は、眼鏡型デバイス100が共有モードに設定されている場合に、画像取得部306が眼鏡型デバイス100から取得する撮像画像を、共有相手のデバイスに送信してよい。
送信制御部310は、画像取得部306によって取得される撮像画像の全体を、共有相手の他のデバイスに送信してよい。送信制御部310は、画像取得部306によって取得される撮像画像のうち、ユーザ102によって指定された一部分を、共有相手の他のデバイスに送信してもよい。
共有通知部312は、眼鏡型デバイス100が共有モードに設定されている場合に、共有中であることを示すオブジェクトを眼鏡型デバイス100のユーザ102に向けて表示するよう制御する。共有通知部212は、画像取得部206によって取得される撮像画像の全体を共有している場合、レンズ部116の表示範囲の全体を囲うような、共有中であることを示すオブジェクトを眼鏡型デバイス100のユーザ102に向けて表示するよう制御する。
共有通知部312は、眼鏡型デバイス100のユーザ102の指示に従って選択された撮像画像の一部を他のデバイスと共有している場合に、撮像画像のうち、他のデバイスと共有している一部を識別可能に表示するオブジェクトを、眼鏡型デバイス100のユーザ102に向けて表示するよう制御する。例えば、共有通知部312は、画像取得部306によって取得される撮像画像の一部を共有している場合、レンズ部116の表示範囲のうち、共有している部分のみを囲うような、共有中であることを示すオブジェクトをレンズ部116に表示させてよい。
外部通知部314は、眼鏡型デバイス100が共有モードに設定されている場合に、外部への通知処理を実行する。外部通知部314は、例えば、眼鏡型デバイス100が共有モードに設定されている場合に、発光部130を発光させる。
装着状態判定部316は、眼鏡型デバイス100がユーザ102によって装着されている装着状態であるか否かを判定する。装着状態判定部316は、例えば、センサ132の出力によって、眼鏡型デバイス100が装着状態であるか、非装着状態であるかを判定してよい。
外部通知部314は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、外部への通知処理を実行させるようにしてもよい。例えば、外部通知部314は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、レンズ部116の外向きに通知情報を表示させる。
また、例えば、外部通知部314は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、照射部140に、通知情報を投影させる。外部通知部314は、通知情報を照射部142に投影させてもよい。外部通知部314は、通知情報を、照射部140及び照射部142に選択的に投影させてもよい。
警告実行部318は、眼鏡型デバイス100が共有モードに設定されている場合に、眼鏡型デバイス100の状況が変化したことに応じて、眼鏡型デバイス100のユーザ102に対して警告を実行する。警告実行部318は、例えば、警告情報をレンズ部116に表示させる。また、警告実行部318は、例えば、警告音をスピーカ128に音声出力させる。
警告実行部318は、例えば、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100が、共有モードが設定されたときに位置していた空間とは異なる空間に移動したと判定したことに応じて、ユーザ102に対して警告を実行させる。警告実行部318は、センサ132による出力によって、眼鏡型デバイス100が、共有モードが設定されたときに位置していた空間とは異なる空間に移動したことを検知してよい。警告実行部318は、眼鏡型デバイス100の位置情報の変化によって、眼鏡型デバイス100が、共有モードが設定されたときに位置していた空間とは異なる空間に移動したことを検知してもよい。
警告実行部318は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100が、共有モードが設定されたときの位置を基準とする予め定められた範囲から出たと判定したことに応じて、ユーザ102に対して警告を実行させてもよい。すなわち、警告実行部318は、共有モードが設定されたときの位置から、予め定められた距離以上話された場合に、ユーザ102に対して警告を実行してよい。
警告実行部318は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100の向きが、共有モードが設定されたときの向きから予め定められた閾値以上変化したことに応じて、ユーザ102に対して警告を実行させる。警告実行部318は、例えば、眼鏡型デバイス100の向きが、共有モードが設定されたときの向きから180度以上変化したことに応じて、ユーザ102に対して警告を実行させる。
停止制御部320は、眼鏡型デバイス100が共有モードに設定されている場合に、眼鏡型デバイス100がユーザ102に装着されている装着状態から、非装着状態に変化したことに応じて、送信制御部310による、撮像画像の、共有相手の他のデバイスへの送信を停止させる。
情報取得部304は、ユーザ102からの指示に従って、撮像画像を他のデバイスと共有することが可能な実世界の共有可能エリアを設定してもよい。情報取得部304は、設定した共有可能エリアの情報を格納部302に格納してよい。送信制御部310は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が、共有可能エリア内に位置する場合に、撮像画像を、共有相手の他のデバイスに送信するようにしてもよい。停止制御部320は、眼鏡型デバイス100が共有モードに設定されたまま、眼鏡型デバイス100が共有可能エリアから出たことに応じて、送信制御部310による撮像画像の他のデバイスへの送信を停止させてよい。
図9は、制御装置200又は管理サーバ300として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、本実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、本実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボード又はタッチパネルのような入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムは、ICカードのようなコンピュータ可読記憶媒体によって提供されてよい。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、記憶装置1224、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 システム、20 ネットワーク、100 眼鏡型デバイス、102 ユーザ、110 フレーム、112 リム、114 ブリッジ、116 レンズ部、118 テンプル、120 カメラ、122 センサ、124 センサ、126 マイク、128 スピーカ、130 発光部、132 センサ、134 センサ、136 センサ、138 センサ、140 照射部、142 照射部、200 制御装置、202 格納部、204 情報取得部、206 画像取得部、208 モード管理部、210 送信制御部、212 共有通知部、214 外部通知部、216 装着状態判定部、218 警告実行部、220 停止制御部、300 管理サーバ、302 格納部、304 情報取得部、306 画像取得部、308モード管理部、310 送信制御部、312 共有通知部、314 外部通知部、316 装着状態判定部、318 警告実行部、320 停止制御部、400 通信端末、500 通知画面、510 空間、520 空間、530 共有可能エリア、1200 コンピュータ、1210 ホストコントローラ、1212 CPU、1214 RAM、1216 グラフィックコントローラ、1218 ディスプレイデバイス、1220 入出力コントローラ、1222 通信インタフェース、1224 記憶装置、1230 ROM、1240 入出力チップ

Claims (23)

  1. 眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得部と、
    前記眼鏡型デバイスが、前記画像取得部が取得する前記撮像画像を他のデバイスと共有する共有モードに設定されている場合に、前記撮像画像を前記他のデバイスに送信するよう制御する送信制御部と、
    前記眼鏡型デバイスがユーザによって装着されている装着状態であるか否かを判定する装着状態判定部と、
    前記眼鏡型デバイスが前記共有モードに設定されており、かつ、前記眼鏡型デバイスが前記装着状態でない場合に、外部への通知処理を実行する外部通知実行部と
    を備える制御装置。
  2. 前記外部通知実行部は、前記眼鏡型デバイスが前記共有モードに設定されている場合に、前記眼鏡型デバイスの外側に向けて発光する発光部を発光させる、請求項1に記載の制御装置。
  3. 前記外部通知実行部は、前記眼鏡型デバイスが前記共有モードに設定されており、かつ、前記眼鏡型デバイスが前記装着状態でない場合に、前記眼鏡型デバイスのレンズ部の外向きに通知情報を表示させる、請求項1又は2に記載の制御装置。
  4. 前記外部通知実行部は、前記眼鏡型デバイスが前記共有モードに設定されており、かつ、前記眼鏡型デバイスが前記装着状態でない場合に、前記眼鏡型デバイスが備える情報を外部に向けて投影する照射部に、通知情報を投影させる、請求項1又は2に記載の制御装置。
  5. 前記眼鏡型デバイスが前記共有モードに設定されている間に、前記眼鏡型デバイスの状況が変化したと判定したことに応じて、前記眼鏡型デバイスのユーザに対して警告を実行する警告実行部
    を備える、請求項1からのいずれか一項に記載の制御装置。
  6. 前記警告実行部は、前記眼鏡型デバイスが前記共有モードに設定されている間に、前記眼鏡型デバイスが、前記共有モードが設定されたときに位置していた空間とは異なる空間に移動したと判定したことに応じて、前記眼鏡型デバイスのユーザに対して警告を実行する、請求項に記載の制御装置。
  7. 前記警告実行部は、前記眼鏡型デバイスが前記共有モードに設定されている間に、前記眼鏡型デバイスが、前記共有モードが設定されたときの位置を基準とする予め定められた範囲から出たと判定したことに応じて、前記眼鏡型デバイスのユーザに対して警告を実行する、請求項に記載の制御装置。
  8. 前記警告実行部は、前記眼鏡型デバイスが前記共有モードに設定されている間に、前記眼鏡型デバイスの向きが、前記共有モードが設定されたときの向きから予め定められた閾値以上変化したことに応じて、前記眼鏡型デバイスのユーザに対して警告を実行する、請求項に記載の制御装置。
  9. 前記眼鏡型デバイスが前記共有モードに設定されている場合に、共有中であること示すオブジェクトを前記眼鏡型デバイスのユーザに向けて表示するよう制御する共有通知部
    を備える、請求項1からのいずれか一項に記載の制御装置。
  10. 前記共有通知部は、前記眼鏡型デバイスのユーザの指示に従って選択された前記撮像画像の一部を前記他のデバイスと共有している場合に、前記撮像画像のうち、前記他のデバイスと共有している一部を識別可能に表示する前記オブジェクトを、前記眼鏡型デバイスのユーザに向けて表示するよう制御する、請求項に記載の制御装置。
  11. 前記眼鏡型デバイスが前記共有モードに設定されている間に、前記眼鏡型デバイスがユーザによって装着されている装着状態から、非装着状態に変化したことに応じて、前記送信制御部による、前記撮像画像の前記他のデバイスへの送信を停止させる、停止制御部
    を備える、請求項1から10のいずれか一項に記載の制御装置。
  12. 前記送信制御部は、前記眼鏡型デバイスが前記共有モードに設定されており、かつ、前記眼鏡型デバイスが、前記撮像画像を他のデバイスと共有することが可能な実世界の共有可能エリア内に位置する場合に、前記撮像画像を前記他のデバイスに送信するよう制御し、
    前記制御装置は、
    前記眼鏡型デバイスが前記共有モードに設定されたまま、前記眼鏡型デバイスが前記共有可能エリアから出たことに応じて、前記送信制御部による前記撮像画像の前記他のデバイスへの送信を停止させる停止制御部
    を備える、請求項1から10のいずれか一項に記載の制御装置。
  13. 眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得部と、
    前記眼鏡型デバイスが、前記画像取得部が取得する前記撮像画像を他のデバイスと共有する共有モードに設定されている場合に、前記撮像画像を前記他のデバイスに送信するよう制御する送信制御部と、
    前記眼鏡型デバイスが前記共有モードに設定された後、前記眼鏡型デバイスの状況が変化したと判定したことに応じて、前記眼鏡型デバイスのユーザに対して警告を実行する警告実行部と
    を備える制御装置。
  14. 眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得部と、
    前記眼鏡型デバイスが、前記画像取得部が取得する前記撮像画像を他のデバイスと共有する共有モードに設定されている場合に、前記撮像画像を前記他のデバイスに送信するよう制御する送信制御部と、
    前記眼鏡型デバイスが前記共有モードに設定されている場合に、共有中であること示すオブジェクトを前記眼鏡型デバイスのユーザに向けて表示するよう制御する共有通知部
    を備え
    前記共有通知部は、前記眼鏡型デバイスのユーザの指示に従って選択された前記撮像画像の一部を前記他のデバイスと共有している場合に、前記撮像画像のうち、前記他のデバイスと共有している一部を識別可能に表示する前記オブジェクトを、前記眼鏡型デバイスのユーザに向けて表示するよう制御する、制御装置。
  15. 眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得部と、
    前記眼鏡型デバイスが、前記画像取得部が取得する前記撮像画像を他のデバイスと共有する共有モードに設定されており、かつ、前記眼鏡型デバイスが、前記撮像画像を他のデバイスと共有することが可能な実世界の共有可能エリア内に位置する場合に、前記撮像画像を前記他のデバイスに送信するよう制御する送信制御部と、
    前記眼鏡型デバイスが前記共有モードに設定されたまま前記眼鏡型デバイスが前記共有可能エリアから出たことに応じて、前記送信制御部による前記撮像画像の前記他のデバイスへの送信を停止させる停止制御部と
    を備える制御装置。
  16. 眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得部と、
    前記眼鏡型デバイスが、前記画像取得部が取得する前記撮像画像を他のデバイスと共有する共有モードに設定されている場合に、前記撮像画像を前記他のデバイスに送信するよう制御する送信制御部と、
    前記眼鏡型デバイスが前記共有モードに設定されている間に、前記眼鏡型デバイスがユーザによって装着されている装着状態から、非装着状態に変化したことに応じて、前記送信制御部による、前記撮像画像の前記他のデバイスへの送信を停止させる、停止制御部と
    を備える制御装置。
  17. コンピュータを、請求項1から16のいずれか一項に記載の制御装置として機能させるためのプログラム。
  18. 請求項1から16のいずれか一項に記載の制御装置と、
    前記眼鏡型デバイスと
    を備えるシステム。
  19. コンピュータによって実行される制御方法であって、
    眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得段階と、
    前記眼鏡型デバイスが、前記撮像画像を他のデバイスと共有する共有モードに設定されている場合に、前記撮像画像を前記他のデバイスに送信するよう制御する送信制御段階と、
    前記眼鏡型デバイスがユーザによって装着されている装着状態であるか否かを判定する装着状態判定段階と、
    前記眼鏡型デバイスが前記共有モードに設定されており、かつ、前記眼鏡型デバイスが前記装着状態でない場合に、外部への通知処理を実行する外部通知実行段階と
    を備える制御方法。
  20. コンピュータによって実行される制御方法であって、
    眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得段階と、
    前記眼鏡型デバイスが、前記撮像画像を他のデバイスと共有する共有モードに設定されている場合に、前記撮像画像を前記他のデバイスに送信するよう制御する送信制御段階と、
    前記眼鏡型デバイスが前記共有モードに設定された後、前記眼鏡型デバイスの状況が変化したと判定したことに応じて、前記眼鏡型デバイスのユーザに対して警告を実行する警告実行段階と
    を備える制御方法。
  21. コンピュータによって実行される制御方法であって、
    眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得段階と、
    前記眼鏡型デバイスが、前記撮像画像を他のデバイスと共有する共有モードに設定されている場合に、前記撮像画像を前記他のデバイスに送信するよう制御する送信制御段階と、
    前記眼鏡型デバイスが前記共有モードに設定されている場合に、共有中であること示すオブジェクトを前記眼鏡型デバイスのユーザに向けて表示するよう制御する共有通知段階と
    を備え、
    前記共有通知段階は、前記眼鏡型デバイスのユーザの指示に従って選択された前記撮像画像の一部を前記他のデバイスと共有している場合に、前記撮像画像のうち、前記他のデバイスと共有している一部を識別可能に表示する前記オブジェクトを、前記眼鏡型デバイスのユーザに向けて表示するよう制御する、制御方法。
  22. コンピュータによって実行される制御方法であって、
    画像取得部が、眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得段階と、
    送信制御部が、前記眼鏡型デバイスが前記撮像画像を他のデバイスと共有する共有モードに設定されており、かつ、前記眼鏡型デバイスが前記撮像画像を他のデバイスと共有することが可能な実世界の共有可能エリア内に位置する場合に、前記撮像画像を前記他のデバイスに送信するよう制御する送信制御段階と、
    停止制御部が、前記眼鏡型デバイスが前記共有モードに設定されたまま前記眼鏡型デバイスが前記共有可能エリアから出たことに応じて、前記送信制御部による前記撮像画像の前記他のデバイスへの送信を停止させる停止制御段階と
    を備える制御方法。
  23. コンピュータによって実行される制御方法であって、
    画像取得部が、眼鏡型デバイスの撮像範囲の撮像画像を取得する画像取得段階と、
    送信制御部が、前記眼鏡型デバイスが前記撮像画像を他のデバイスと共有する共有モードに設定されている場合に、前記撮像画像を前記他のデバイスに送信するよう制御する送信制御段階と、
    停止制御部が、前記眼鏡型デバイスが前記共有モードに設定されている間に、前記眼鏡型デバイスがユーザによって装着されている装着状態から、非装着状態に変化したことに応じて、前記送信制御部による、前記撮像画像の前記他のデバイスへの送信を停止させる、停止制御段階と
    を備える制御方法。
JP2021017815A 2021-02-05 2021-02-05 制御装置、プログラム、及び制御方法 Active JP7174785B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021017815A JP7174785B2 (ja) 2021-02-05 2021-02-05 制御装置、プログラム、及び制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021017815A JP7174785B2 (ja) 2021-02-05 2021-02-05 制御装置、プログラム、及び制御方法

Publications (2)

Publication Number Publication Date
JP2022120723A JP2022120723A (ja) 2022-08-18
JP7174785B2 true JP7174785B2 (ja) 2022-11-17

Family

ID=82848994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021017815A Active JP7174785B2 (ja) 2021-02-05 2021-02-05 制御装置、プログラム、及び制御方法

Country Status (1)

Country Link
JP (1) JP7174785B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017115598A1 (ja) 2015-12-28 2017-07-06 日本電気株式会社 映像送信装置、映像送信方法、及びプログラム
JP2018142857A (ja) 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017115598A1 (ja) 2015-12-28 2017-07-06 日本電気株式会社 映像送信装置、映像送信方法、及びプログラム
JP2018142857A (ja) 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法

Also Published As

Publication number Publication date
JP2022120723A (ja) 2022-08-18

Similar Documents

Publication Publication Date Title
US10132633B2 (en) User controlled real object disappearance in a mixed reality display
US10139623B2 (en) Virtual object orientation and visualization
US20170150139A1 (en) Electronic device and method for displaying content according to display mode
US9633477B2 (en) Wearable device and method of controlling therefor using location information
KR102632270B1 (ko) 전자 장치 및 파노라마 영상 표시와 생성 방법
US20220291808A1 (en) Integrating Artificial Reality and Other Computing Devices
US20230298267A1 (en) Event routing in 3d graphical environments
JP7174785B2 (ja) 制御装置、プログラム、及び制御方法
US20220365741A1 (en) Information terminal system, method, and storage medium
US20200090704A1 (en) Electronic device and screen image display method for electronic device
JP7187520B2 (ja) 眼鏡型デバイス、管理サーバ及びプログラム
JP7194158B2 (ja) 情報処理装置及びプログラム
JP7133005B2 (ja) 眼鏡型デバイス、プログラム、及び制御方法
JP7139395B2 (ja) 制御装置、プログラム、及びシステム
JP7274451B2 (ja) システム、管理装置、プログラム、及び管理方法
JP2022102681A (ja) 眼鏡型デバイス、プログラム、及び制御方法
JP2022113031A (ja) 制御装置、プログラム、システム及び制御方法
JP7039672B1 (ja) 制御装置、プログラム、及び制御方法
JP7135052B2 (ja) 制御装置、プログラム、及び制御方法
JP2022102902A (ja) 管理装置、プログラム、システム、及び管理方法
JP7187523B2 (ja) マッチングシステム、眼鏡型デバイス、マッチングサーバ及びプログラム
US20230333645A1 (en) Method and device for processing user input for multiple devices
JP7285815B2 (ja) 眼鏡型デバイス及びプログラム
US20230393657A1 (en) Attention redirection of a user of a wearable device
US20230305788A1 (en) Multi-device awareness for casting and content delivery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221107

R150 Certificate of patent or registration of utility model

Ref document number: 7174785

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150