AR(Augmented Reality)グラス等の眼鏡型デバイスは、今後普及が進み、他者と視界を共有するシーンが増加することが想定される。また、眼鏡型デバイスが、他者やその他のデバイスのカメラ映像を受信するケースも多くなると想定される。一方、撮像範囲の全てが共有されると不都合な場面も増えてくると想定される。本実施形態に係る眼鏡型デバイス100は、撮像画像の一部を切り取って他者に共有する機能を有してよい。これにより、撮像範囲のうちの共有したくない部分を除く、共有を希望する部分のみを共有することができるようになり、眼鏡型デバイス100の装着者の利便性を向上することができる。また、眼鏡型デバイス100は、他者や他のデバイスの撮像画像を受信しやすくする機能を有してよい。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、システム10の一例を概略的に示す。システム10は、眼鏡型デバイス100を備える。眼鏡型デバイス100は、眼鏡型デバイス100の撮像する機能と、撮像画像を外部に送信する機能を有している眼鏡型のデバイスであれば、どのようなものであってもよい。眼鏡型デバイス100の撮像する機能は、眼鏡型デバイス100が備えるカメラによって、眼鏡型デバイス100の装着者であるユーザ102の視界に対応する範囲を撮像する機能であってよい。ユーザ102の視界に対応する範囲とは、例えば、ユーザ102の視界と実質的に同じ範囲であってよい。
眼鏡型デバイス100は、例えば、ARグラスであってよい。眼鏡型デバイス100は、撮像範囲に合わせたコンテンツを透明又は半透明のグラス上に表示することによって、実空間にコンテンツが配置されている感覚をユーザ102に与えることが可能なデバイスであってよい。すなわち、眼鏡型デバイス100は、いわゆる透過型(シースルー型)のデバイスであってよい。また、眼鏡型デバイス100は、いわゆるパススルー型のデバイスであってもよい。この場合、眼鏡型デバイス100は、ユーザ102の視界に対応する範囲を撮像している撮像画像を、常に非透過型のディスプレイに表示する。
システム10は、制御サーバ300を備える。制御サーバ300は、眼鏡型デバイス100による撮像画像の他者への共有をサポートしてよい。
制御サーバ300は、眼鏡型デバイス100による撮像画像の他の眼鏡型デバイス100への共有をサポートしてよい。例えば、制御サーバ300は、共有元の眼鏡型デバイス100と、共有先の眼鏡型デバイス100とのマッチングを行う。制御サーバ300は、共有先の眼鏡型デバイス100からの要求に応じて、共有元の眼鏡型デバイス100とのマッチングを行ってよい。また、制御サーバ300は、共有元の眼鏡型デバイス100からの要求に応じて、共有先の眼鏡型デバイス100とのマッチングを行ってよい。
マッチングの後、制御サーバ300は、共有元の眼鏡型デバイス100から、共有対象の画像を受信して、共有先の眼鏡型デバイス100に送信してよい。また、共有元の眼鏡型デバイス100と、共有先の眼鏡型デバイス100とが、Wi-Fi(登録商標)及びBluetooth(登録商標)等の近距離無線通信によって直接無線通信可能な状況においては、制御サーバ300は、共有元の眼鏡型デバイス100と、共有先の眼鏡型デバイス100とに無線通信接続を確立させて、共有対象の画像を直接通信させてもよい。
なお、眼鏡型デバイス100は、制御サーバ300を介さずに他の眼鏡型デバイス100に対して画像を共有してもよい。眼鏡型デバイス100は、例えば、他の眼鏡型デバイス100と直接無線通信可能な状況において、当該他の眼鏡型デバイス100に画像の共有を提示する。当該他の眼鏡型デバイス100は、共有を受けるか否かを装着者であるユーザ102の指示に従って応答する。共有を受けると応答した場合、眼鏡型デバイス100と当該他の眼鏡型デバイス100とが共有関係を確立し、眼鏡型デバイス100が、画像を当該他の眼鏡型デバイス100に送信する。
眼鏡型デバイス100と制御サーバ300とは、ネットワーク20を介して通信してよい。ネットワーク20は、クラウドを含む。ネットワーク20は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、LTE(Long Term Evolution)通信方式、3G(3rd Generation)通信方式、5G(5th Generation)通信方式、6G(6th Generation)通信方式以降の通信方式のいずれに準拠していてもよい。ネットワーク20は、Wi-Fi(登録商標)通信方式に対応していてよい。ネットワーク20には、Wi-Fiアクセスポイントを介してアクセス可能であってよい。ネットワーク20には、その他無線通信全般を利用してアクセス可能であってよい。眼鏡型デバイス100は、移動体通信、Wi-Fi通信、その他無線通信全般によって、ネットワーク20に接続されてよい。配信サーバ300は、ネットワーク20に有線接続されてよく、無線接続されてもよい。
制御サーバ300は、眼鏡型デバイス100による撮像画像の、任意の通信端末500への共有をサポートしてよい。通信端末500は、スマートフォン、タブレット端末、及びPC(Personal Computer)等であってよい。例えば、制御サーバ300は、眼鏡型デバイス100と、通信端末500とのマッチングを行う。制御サーバ300は、眼鏡型デバイス100からの要求に応じて、通信端末500とのマッチングを行ってよい。また、制御サーバ300は、通信端末500からの要求に応じて、眼鏡型デバイス100とのマッチングを行ってよい。マッチングの後、制御サーバ300は、眼鏡型デバイス100から、共有対象の撮像画像を受信して、通信端末500に送信してよい。また、眼鏡型デバイス100と、通信端末500とが、Wi-Fi及びBluetooth等の近距離無線通信によって直接無線通信可能な状況においては、制御サーバ300は、眼鏡型デバイス100と、通信端末500とに無線通信接続を確立させて、共有対象の撮像画像を直接通信させてもよい。
なお、眼鏡型デバイス100は、制御サーバ300を介さずに、任意の通信端末500に対して画像を共有してもよい。眼鏡型デバイス100は、例えば、通信端末500と直接無線通信可能な状況において、通信端末500に画像の共有を提示する。通信端末500は、共有を受けるか否かをユーザの指示に従って応答する。共有を受けると応答した場合、眼鏡型デバイス100と通信端末500とが共有関係を確立し、眼鏡型デバイス100が、画像を通信端末500に送信する。
制御サーバ300は、各地に設置されている撮像装置400による撮像画像の眼鏡型デバイス100への共有をサポートしてもよい。撮像装置400の例として、防犯カメラ、お天気カメラ、及び定点観測用のカメラ等が挙げられる。眼鏡型デバイス100は、例えば、眼鏡型デバイス100の撮像範囲内に含まれる撮像装置400を認識して、当該撮像装置400による撮像画像の共有を制御サーバ300に要求する。制御サーバ300は、要求に応じて、撮像装置400から撮像画像を受信して、眼鏡型デバイス100に送信する。
なお、眼鏡型デバイス100は、制御サーバ300を介さずに、撮像装置400から撮像画像の共有を受けてもよい。眼鏡型デバイス100は、例えば、撮像装置400と直接無線通信可能な状況において、撮像画像の共有を要求する。撮像装置400は、撮像画像を共有するか否かを予め定められた条件に基づいて判定したり、ユーザの指示を受けたりすることによって決定し、応答する。共有すると応答した場合、撮像装置400と眼鏡型デバイス100とが共有関係を確立し、撮像装置400が、撮像画像を眼鏡型デバイス100に送信する。
図2は、眼鏡型デバイス100の構成の一例を概略的に示す。眼鏡型デバイス100は、リム112及びテンプル118を有するフレーム110を備える。眼鏡型デバイス100は、眼鏡型デバイス100における各種制御を実行する制御装置200を備える。眼鏡型デバイス100は、外部の情報通信機器いわゆる、スマートフォンと接続して情報や電力を受け取るための有線、および無線の接続部を備えてもよい。
図2における制御装置200の配置は一例であり、制御装置200は、フレーム110の他の位置に配置されてもよい。例えば、制御装置200は、フレーム110の外部に配置されてもよい。また、例えば、制御装置200は、テンプル118内に配置されてもよい。具体例として、制御装置200は、テンプル118の先端部、すなわち、モダンに配置されてもよい。制御装置200は、バッテリを備えてよい。制御装置200とバッテリは、別体として、フレーム110の別の位置に配置されてもよい。
眼鏡型デバイス100は、カメラ120を備えてよい。図2におけるカメラ120の配置は一例であり、カメラ120は、他の位置に配置されてもよい。
眼鏡型デバイス100は、センサ122を備えてよい。センサ122は、眼鏡型デバイス100の周囲の環境を特定するためのセンサであってよい。センサ122は、LiDARを含んでよい。センサ122は、測距センサを含んでもよい。図2では、センサ122がブリッジ114に配置されている場合を例示しているが、図2におけるセンサ122の配置は一例であり、センサ122は、他の位置に配置されてもよい。
眼鏡型デバイス100は、視線検出部124を備えてよい。視線検出部124は、眼鏡型デバイス100の装着者であるユーザ102の視線を検出する。視線検出部124は、例えば、ユーザ102の目を撮像して監視することによって、ユーザ102の視線を検出する。図2における視線検出部124の配置は一例であり、視線検出部124は、他の位置に配置されてもよい。
制御装置200は、レンズ116への表示機能を備えてよい。レンズ116は、眼鏡型デバイス100の表示部の一例であってよい。レンズ116は、透明又は半透明のディスプレイであってよく、制御装置200は、レンズ116に各種表示を実行させてよい。すなわち、眼鏡型デバイス100は、透明又は半透明のディスプレイ型のデバイスであってよい。また、制御装置200が、レンズ116に対して表示を投影する機能を有してもよい。すなわち、眼鏡型デバイス100は、投影型のデバイスであってよい。
制御装置200は、ネットワーク20を介した通信を実行してよい。制御装置200は、ネットワーク20を介して制御サーバ300と通信してよい。制御装置200は、ネットワーク20を介して他の眼鏡型デバイス100の制御装置200と通信してよい。制御装置200は、他の眼鏡型デバイス100の制御装置200と、Wi-Fi及びBluetooth等の短距離無線通信方式を用いて、直接無線通信してもよい。
図3は、眼鏡型デバイス100による撮像画像の共有について説明するための説明図である。図3は、眼鏡型デバイス100の撮像画像130と、撮像範囲のうち、ユーザ102が共有を望まない領域132と、ユーザ102が共有を望む領域134とを例示している。
ユーザ102は、例えば、ジェスチャ入力によって、撮像画像130のうちの領域134を選択する。ユーザ102は、例えば、手によるジェスチャによって領域134を囲う。制御装置200は、カメラ120による撮像画像及びセンサ122による測定結果の少なくともいずれかによって、ユーザ102のジェスチャを認識してよい。
ユーザ102は、例えば、視線入力によって、撮像画像130のうちの領域134を選択する。ユーザ102は、例えば、領域134の左上隅と、領域134の右下隅とを視線によって選択することによって、領域134を選択する。制御装置200は、視線検出部124によって、ユーザ102の視線入力を受け付けてよい。制御装置200は、例えば、視線入力モードに切り替えた後に、視線検出部124によってユーザ102の視線を認識することによって、ユーザ102の視線入力を受け付ける。
制御装置200は、ユーザ102の指示に従って選択した撮像画像130の領域134の部分を、共有先の他の眼鏡型デバイス100及び通信端末500等に送信してよい。制御装置200は、共有先と直接無線通信可能な状況の場合、撮像画像130の領域134の部分を直接共有先に送信してよい。制御装置200は、共有先と直接無線通信することができない場合、撮像画像130の領域134の部分を、制御サーバ300を介して送信してよい。
このように、撮像画像の一部のみを、ユーザ102の指示に従って選択して共有するように制御することによって、撮像範囲のうち、ユーザ102が共有を望む領域のみを共有可能とすることができる。
領域134は、絶対的な位置であってよい。制御装置200は、領域134が選択された後、ユーザ102が移動したり、ユーザ102の向きが変わったりした場合でも、領域134の絶対的な位置が変化しないように管理してよい。
制御装置200は、領域134の部分の共有を開始してから、ユーザ102が移動したり、ユーザ102の向き、姿勢が変わったりした場合に、共有を継続するかをユーザ102に問い合わせてよい。そして、共有を継続しない旨の回答を取得した場合に、制御装置200は、共有を停止してよい。これにより、ユーザ102が意図せずに移動したり向きが変わったりしてしまったときに、ユーザ102が望まない領域を共有してしまうことを防止できる。
制御装置200は、領域134の部分の共有を開始してから、ユーザ102が移動したり向き姿勢が変わったりした場合であっても、眼鏡型デバイス100の撮像範囲内に領域134が含まれている間は、領域134の部分の共有を継続してよい。制御装置200は、ユーザ102が移動したり向きが変わったりすることによって、領域134の一部が眼鏡型デバイス100の撮像範囲から外れた場合、領域134のうちの眼鏡型デバイス100の撮像範囲内に残っている部分の共有を継続してもよいし、共有を停止してもよい。
なお、領域134は、相対的な位置であってもよい。制御装置200は、領域134が選択された後、ユーザ102が移動したり、ユーザ102の向き、姿勢が変わったりした場合に、領域134を相対的に移動させてよい。これにより、ユーザ102は、移動したり向きを変えたりすることによって、共有対象の領域を適宜切り替えたり、調整したりすることができる。
図4は、眼鏡型デバイス100による撮像画像の共有について説明するための説明図である。制御装置200は、レンズ116上の、実空間の机140の上に対応する位置にコンテンツ142を表示することによって、机140の上にコンテンツ142が配置されている感覚をユーザ102に与える。制御装置200は、公知のARの技術を用いて、実空間のそれぞれの場所に対応付けて登録されたコンテンツを、レンズ116に表示してよい。
制御装置200は、ユーザ102の指示に従って、コンテンツ142を共有する領域136を設定してよい。図4では、コンテンツ142を共有する領域136として机140が設定された場合を例示している。
制御装置200は、領域136として設定された机140に対応する位置にコンテンツ142を表示する場合に、当該コンテンツ142を共有先に送信してよい。これにより、共有する実空間の情報を少なくすることによって、ユーザ102のプライバシー等を保護しつつ、コンテンツ142を閲覧する楽しみ等を共有先にも提供したり、コンテンツを見ながらの共同作業を可能にしたりすることができる。
上述したように、制御装置200は、ジェスチャ入力及び視線入力等によって選択された撮像画像の部分や、設定した領域に表示されるコンテンツを、他者と共有してよい。なお、事前に何を共有するかを設定した値を元に、他者へ共有する物が決まる場合があってもよい。制御装置200は、例えば、撮像画像全体を共有するか、撮像画像の一部を共有するか、コンテンツのみを共有するか等の設定値を予め保持する。そして、制御装置200は、当該設定値に従って、共有対象を選択して、他者と共有してよい。
図5は、眼鏡型デバイス100によるアイコン150の表示例を概略的に示す。制御装置200は、例えば、各地に設置されている撮像装置400の位置情報を予め制御サーバ300から受信しておく。そして、制御装置200は、撮像装置400の位置情報によって、眼鏡型デバイス100の撮像範囲内に撮像装置400が含まれると判定した場合に、撮像装置400の位置に対応するレンズ116上の位置にアイコン150を表示するよう制御する。
また、制御装置200は、制御サーバ300からの指示に従って、アイコン150を表示するよう制御してもよい。例えば、制御サーバ300は、眼鏡型デバイス100の撮像範囲情報を継続的に眼鏡型デバイス100から受信して、眼鏡型デバイス100の撮像範囲に撮像装置400が含まれるか否かを判定する。撮像範囲情報は、眼鏡型デバイス100の位置、姿勢、向きを含んでよい。そして、含まれると判定した場合に、制御サーバ300は、撮像装置400の位置に対応するレンズ116上の位置にアイコン150を表示させるように制御装置200に指示をする。
これらによって、図5に例示するような表示をユーザ102に提供することができる。制御装置200は、ユーザ102によってアイコン150が選択された場合に、制御サーバ300から、又は、アイコン150に対応する撮像装置400から、撮像装置400による撮像画像を受信する。そして、制御装置200は、受信した撮像画像を、レンズ116上に表示させる。
これにより、例えば、ユーザ102が見ている対象を、より近くから見たり、別の角度から見たりする感覚をユーザ102に提供することができる。具体例として、ユーザ102が、優勝パレードのようなイベントを見に行ったが、パレードに近づくことができないような場合に、画角にパレードが含まれる撮像装置400に対応するアイコン150を選択することによって、より近くからパレードを見たり、上からパレードを見たりすることを実現できる。
なお、制御装置200は、同様の手法を用いて、各地に配置された撮像装置400ではなく、他の眼鏡型デバイス100を選択して、他の眼鏡型デバイス100から撮像画像を取得してもよい。これにより、選択対象の数を増やすことができ、かつ、視点のバリエーションを増やすことができる。なお、この場合、各眼鏡型デバイス100が、事前に他の眼鏡型デバイス100への撮像画像の共有を許可していることが望ましい。また、他の眼鏡型デバイス100を選択した時点で、他の眼鏡型デバイス100に対して共有を要求し、共有が承認されたことに応じて、画像の共有が開始するような仕組みとしてもよい。
図6は、対象物160に対応する共有画像162の表示例を概略的に示す。制御装置200は、眼鏡型デバイス100の撮像範囲に含まれる対象物160を認識し、対象物160を被写体として含む共有画像162をクラウド、撮像装置400、及び他の眼鏡型デバイス100等から取得して、レンズ116上に表示するよう制御してよい。
制御装置200は、例えば、対象物160を被写体として含む複数の画像のうち、対象物160が最も見やすく投影されている共有画像162を取得して、レンズ116上に表示するよう制御する。これにより、撮像範囲内の対象物をよりよく観察できる画像を、容易に取得可能にできる。
図7は、制御装置200の機能構成の一例を概略的に示す。制御装置200は、画像取得部202、部分選択部204、送信制御部206、撮像装置選択部208、表示制御部210、画像受信部212、対象物認識部214、及び画像選択部216を備える。なお、制御装置200がこれらの全てを備えることは必須とは限らない。
画像取得部202は、眼鏡型デバイス100によって撮像された撮像画像を取得する。画像取得部202は、カメラ120によって撮像された撮像画像を取得してよい。
部分選択部204は、眼鏡型デバイス100の装着者であるユーザ102の指示に従って、画像取得部202が取得した撮像画像の一部を選択する。部分選択部204は、ユーザ102の指示に従って眼鏡型デバイス100の撮像範囲の一部を選択することによって、撮像画像の一部を選択してよい。
部分選択部204は、ユーザ102のジェスチャ入力及びユーザ102の視線入力の少なくともいずれかに基づいて、撮像画像の一部を選択してよい。部分選択部204は、例えば、ユーザ102の手によるジェスチャ入力によって、撮像画像の一部を選択する。部分選択部204は、カメラ120による撮像画像及びセンサ122による測定結果の少なくともいずれかによって、ユーザ102のジェスチャを認識してよい。
部分選択部204は、例えば、ユーザ102の視線入力によって、撮像画像の一部を選択する。部分選択部204は、視線検出部124が検出したユーザ102の視線に基づいて、撮像画像の一部を選択してよい。部分選択部204は、例えば、視線入力モードに切り替えた後に、視線検出部124が検出したユーザ102の視線に基づいて、撮像画像の一部を選択する。
送信制御部206は、部分選択部204によって選択された撮像画像の一部を眼鏡型デバイス100の共有先に送信するよう制御する。送信制御部206は、画像取得部202が取得した撮像画像のうち、部分選択部204によって選択された撮像画像の一部のみを眼鏡型デバイス100の共有先に送信するよう制御してよい。すなわち、送信制御部206は、画像取得部202が取得した撮像画像のうち、部分選択部204によって選択されていない部分については、共有先に送信しないように制御してよい。
送信制御部206は、部分選択部204によって選択された撮像画像の一部を、共有先の他の眼鏡型デバイス100に送信するよう制御してよい。送信制御部206は、例えば、マッチング済みの共有先の眼鏡型デバイス100に対して、部分選択部204によって選択された撮像画像の一部を送信してよい。また、送信制御部206は、例えば、マッチング済みの共有先の通信端末500に対して、部分選択部204によって選択された撮像画像の一部を送信してよい。
送信制御部206は、ユーザ102の指示に従って、部分選択部204によって選択された撮像画像の一部を共有先に送信してよい。例えば、送信制御部206は、ユーザ102の共有指示に従って、画像取得部202が継続的に取得する撮像画像の一部を共有先に送信し、ユーザ102の共有停止指示に従って送信を停止する。
また、送信制御部206は、画像取得部202が継続的に取得する撮像画像の一部を、送信を開始してから予め定められた時間が経過するまでの間、共有先に送信してもよい。当該時間は、任意に設定可能であってよく、変更可能であってよい。
部分選択部204によって選択された撮像画像の一部は、絶対的な位置であってよい。送信制御部206は、撮像画像の一部の共有を開始してから、ユーザ102が移動したり、ユーザ102の向きが変わったりした場合に、共有を継続するかをユーザ102に問い合わせてよい。そして、共有を継続しない旨の回答を取得した場合に、共有を停止してよい。
送信制御部206は、撮像画像の一部の共有を開始してから、ユーザ102が移動したり向きが変わったりした場合であっても、眼鏡型デバイス100の撮像範囲内に当該部分が含まれている間は、共有を継続してよい。送信制御部206は、ユーザ102が移動したり向きが変わったりすることによって、当該部分の一部が眼鏡型デバイス100の撮像範囲から外れた場合、眼鏡型デバイス100の撮像範囲内に残っている部分の共有を継続してもよいし、共有を停止してもよい。なお、部分選択部204によって選択された撮像画像の一部は、相対的な位置であってもよい。
部分選択部204は、ユーザ102による、眼鏡型デバイス100の撮像範囲のうちのレンズ116上に表示しているコンテンツを共有する部分の設定を受け付けてよい。部分選択部204は、例えば、図4に例示した机140のように、撮像範囲内の特定の部分を、コンテンツを共有する部分として設定する。送信制御部206は、レンズ116上の、部分選択部204によって選択された眼鏡型デバイス100の撮像範囲の一部に対応する位置に表示されているコンテンツを、眼鏡型デバイス100の共有先に送信するよう制御してよい。送信制御部206は、コンテンツを、共有先に送信するよう制御してよい。
撮像装置選択部208は、眼鏡型デバイス100の撮像範囲に含まれる撮像装置400を選択する。撮像装置選択部208は、例えば、眼鏡型デバイス100の撮像範囲内に含まれる撮像装置400の位置に対応するレンズ116上の位置に、アイコン150を表示するよう制御する。
撮像装置選択部208は、例えば、各地に設置されている撮像装置400の位置情報を予め制御サーバ300から受信しておく。そして、撮像装置選択部208は、撮像装置400の位置情報によって、眼鏡型デバイス100の撮像範囲内に撮像装置400が含まれると判定した場合に、表示制御部210に、撮像装置400の位置に対応するレンズ116上の位置にアイコン150を表示させる。撮像装置選択部208は、制御サーバ300からの指示に従って、表示制御部210に、レンズ116上にアイコン150を表示させてもよい。
撮像装置選択部208は、ユーザ102によるアイコン150の選択を受け付けてよい。撮像装置選択部208は、例えば、ジェスチャによるアイコン150の選択を受け付ける。また、撮像装置選択部208は、例えば、視線入力によるアイコン150の選択を受け付ける。
画像受信部212は、ユーザ102によってアイコン150が選択された場合に、制御サーバ300から、アイコン150に対応する撮像装置400による撮像画像を受信する。画像受信部212は、ユーザ102によってアイコン150が選択された場合に、当該撮像装置400から直接、撮像画像を受信してもよい。表示制御部210は、画像受信部212が受信した撮像画像をレンズ116上に表示する。
対象物認識部214は、眼鏡型デバイス100の撮像範囲に含まれる対象物を認識する。対象物認識部214は、対象物認識用のデータを予め格納しておき、当該データを用いて、画像取得部202が取得した撮像画像に含まれる対象物を認識してよい。また、対象物認識部214は、画像取得部202が取得した撮像画像を制御サーバ300に送信して、制御サーバ300から、撮像画像に含まれる対象物の情報を受信することによって、対象物を認識してもよい。また、対象物認識部214は、画像取得部202が取得した撮像画像をネットワーク20上の画像解析装置に送信して、当該画像解析装置から、撮像画像に含まれる対象物の情報を受信することによって、対象物を認識してもよい。
画像選択部216は、対象物認識部214によって認識された対象物を被写体として含む複数の画像から一の画像を選択する。例えば、画像選択部216は、複数の撮像装置400及び眼鏡型デバイス100のそれぞれがアップロードしている、当該対象物を撮像した撮像画像のうち、評価がより高い撮像画像を選択する。画像選択部216は、例えば、複数の撮像装置400及び眼鏡型デバイス100のそれぞれが、撮像画像をアップロードして公開しているネットワーク20上のWebサイト等にアクセスして、当該対象物を被写体として含む撮像画像を特定する。そして、特定した複数の撮像画像のうち、当該Webサイト等における、いいね等の評価がより高い撮像画像を選択する。これにより、当該対象物を被写体として含む撮像画像のうち、多くの人から評価されている、対象物が見やすく投影されている可能性が高い撮像画像を選択することができる。
また、画像選択部216は、AI(Artificial Intelligence)を用いて、複数の撮像装置400及び眼鏡型デバイス100のそれぞれがアップロードしている当該対象物を撮像した複数の画像から一の画像を選択してもよい。画像選択部216は、例えば、任意の対象物を被写体として含む複数の画像から、対象物がより見やすい撮像画像を特定可能な機械学習モデルを用いて、複数の画像から一の画像を選択する。このような機械学習モデルは、例えば、大量の画像と、それぞれの画像に対する対象物が見やすいか否かを示すデータとを含む学習データを用いることによって生成される。画像選択部216は、対象物毎の機械学習モデルを用いてもよい。例えば、画像選択部216は、対象物が富士山である場合、大量の富士山の画像と、それぞれの画像に対する富士山が見やすいか否かを示すデータとを含む学習データを用いることによって生成された機械学習モデルを用いる。
画像受信部212は、画像選択部216によって選択された画像を撮像した撮像装置400又は眼鏡型デバイス100から、対象物の撮像画像を受信してよい。表示制御部210は、画像受信部212が受信した撮像画像をレンズ116に表示させてよい。表示制御部210は、画像受信部212が継続的に受信する撮像画像を、レンズ116に継続的に表示させてよい。
図1から図7を用いて説明した実施形態では、制御装置200が、ユーザ102の指示に従って眼鏡型デバイス100によって撮像された撮像画像の一部を選択する場合を例に挙げて説明したが、これに限らず、制御サーバ300が選択してもよい。制御サーバ300は、制御装置の一例であってよい。
図8は、制御サーバ300の機能構成の一例を概略的に示す。制御サーバ300は、画像取得部302、部分選択部304、送信制御部306。撮像装置選択部308、表示制御部310、画像受信部312、対象物認識部314、及び画像選択部316を備える。なお、制御サーバ300がこれらの全てを備えることは必須とは限らない。
画像取得部302は、眼鏡型デバイス100によって撮像された撮像画像を取得する。画像取得部302は、カメラ120によって撮像された撮像画像を、眼鏡型デバイス100から受信してよい。
部分選択部304は、眼鏡型デバイス100のユーザ102の指示に従って、画像取得部302が取得した撮像画像の一部を選択する。部分選択部304は、ユーザ102の指示に従って眼鏡型デバイス100の撮像範囲の一部を選択することによって、撮像画像の一部を選択してよい。
部分選択部304は、ユーザ102のジェスチャ入力及びユーザ102の視線入力の少なくともいずれかに基づいて、撮像画像の一部を選択してよい。部分選択部304は、例えば、ユーザ102の手によるジェスチャ入力によって、撮像画像の一部を選択する。部分選択部304は、カメラ120による撮像画像及びセンサ122による測定結果の少なくともいずれかを眼鏡型デバイス100から受信して、ユーザ102のジェスチャを認識してよい。
部分選択部304は、例えば、ユーザ102の視線入力によって、撮像画像の一部を選択する。部分選択部304は、視線検出部124が検出したユーザ102の視線を示す視線情報を眼鏡型デバイス100から受信して、視線情報に基づいて、撮像画像の一部を選択してよい。部分選択部304は、例えば、眼鏡型デバイス100を視線入力モードに切り替えさせた後に、視線検出部124が検出したユーザ102の視線の視線情報に基づいて、撮像画像の一部を選択する。
送信制御部306は、部分選択部304によって選択された撮像画像の一部を眼鏡型デバイス100から受信して、共有先に送信する。送信制御部306は、画像取得部202が取得した撮像画像のうち、部分選択部304によって選択された撮像画像の一部のみを共有先に送信するよう制御してよい。送信制御部306は、送信制御部206と同様に、眼鏡型デバイス100とマッチング済みの共有先に対して、部分選択部204によって選択された撮像画像の一部を送信してよい。
部分選択部304によって選択された撮像画像の一部は、絶対的な位置であってよい。送信制御部306は、撮像画像の一部の共有を開始してから、ユーザ102が移動したり、ユーザ102の向きが変わったりした場合に、共有を継続するかをユーザ102に問い合わせてよい。そして、共有を継続しない旨の回答を取得した場合に、共有を停止してよい。送信制御部306は、撮像画像の一部の共有を開始してから、ユーザ102が移動したり向きが変わったりした場合であっても、眼鏡型デバイス100の撮像範囲内に当該部分が含まれている間は、共有を継続してよい。送信制御部306は、ユーザ102が移動したり向きが変わったりすることによって、当該部分の一部が眼鏡型デバイス100の撮像範囲から外れた場合、眼鏡型デバイス100の撮像範囲内に残っている部分の共有を継続してもよいし、共有を停止してもよい。なお、部分選択部304によって選択された撮像画像の一部は、相対的な位置であってもよい。
部分選択部304は、ユーザ102による、眼鏡型デバイス100の撮像範囲のうちのレンズ116上に表示しているコンテンツを共有する部分の設定を受け付けてよい。部分選択部304は、例えば、図4に例示した机140のように、撮像範囲内の特定の部分を、コンテンツを共有する部分として設定する。送信制御部306は、レンズ116上の、部分選択部304によって選択された眼鏡型デバイス100の撮像範囲の一部に対応する位置に表示されているコンテンツを、共有先に送信するよう制御してよい。
撮像装置選択部308は、眼鏡型デバイス100の撮像範囲に含まれる撮像装置400を選択する。撮像装置選択部308は、例えば、眼鏡型デバイス100の撮像範囲内に含まれる撮像装置400の位置に対応するレンズ116上の位置に、アイコン150を表示させるよう制御する。
撮像装置選択部308は、例えば、各地に設置されている撮像装置400の位置情報を予め格納しておく。そして、撮像装置選択部308は、撮像装置400の位置情報によって、眼鏡型デバイス100の撮像範囲内に撮像装置400が含まれると判定した場合に、表示制御部210に、撮像装置400の位置に対応するレンズ116上の位置にアイコン150を表示させる。
撮像装置選択部308は、ユーザ102によるアイコン150の選択を受け付けてよい。撮像装置選択部308は、例えば、ジェスチャによるアイコン150の選択を受け付ける。また、撮像装置選択部308は、例えば、視線入力によるアイコン150の選択を受け付ける。
画像受信部312は、ユーザ102によってアイコン150が選択された場合に、アイコン150に対応する撮像装置400による撮像画像を、当該撮像装置400から受信する。表示制御部310は、画像受信部312が受信した撮像画像を、眼鏡型デバイス100に表示させる。
対象物認識部314は、眼鏡型デバイス100の撮像範囲に含まれる対象物を認識する。対象物認識部314は、対象物認識用のデータを予め格納しておき、当該データを用いて、画像取得部302が取得した撮像画像に含まれる対象物を認識してよい。また、対象物認識部314は、画像取得部302が取得した撮像画像をネットワーク20上の画像解析装置に送信して、当該画像解析装置から、撮像画像に含まれる対象物の情報を受信することによって、対象物を認識してもよい。
画像選択部316は、対象物認識部314によって認識された対象物を被写体として含む複数の画像から一の画像を選択する。画像選択部316は、画像選択部216と同様の方法で、複数の画像から一の画像を選択してよい。画像受信部312は、画像選択部316によって選択された画像を撮像した撮像装置400又は眼鏡型デバイス100から、対象物の撮像画像を受信してよい。表示制御部310は、画像受信部312が受信した撮像画像を眼鏡型デバイス100に表示させてよい。表示制御部310は、画像受信部312が継続的に受信する撮像画像を、眼鏡型デバイス100に継続的に表示させてよい。
図9は、制御装置200又は制御サーバ300として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、本実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、本実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボード又はタッチパネルのような入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムは、ICカードのようなコンピュータ可読記憶媒体によって提供されてよい。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、記憶装置1224、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。