JP6214828B1 - ドッキング・システム - Google Patents

ドッキング・システム Download PDF

Info

Publication number
JP6214828B1
JP6214828B1 JP2017518066A JP2017518066A JP6214828B1 JP 6214828 B1 JP6214828 B1 JP 6214828B1 JP 2017518066 A JP2017518066 A JP 2017518066A JP 2017518066 A JP2017518066 A JP 2017518066A JP 6214828 B1 JP6214828 B1 JP 6214828B1
Authority
JP
Japan
Prior art keywords
peripheral device
docking
host
head
peripheral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017518066A
Other languages
English (en)
Other versions
JP2017534974A (ja
Inventor
デーズ,ヴァルター
ティベリ,ルカ
アンソニー シュラブソール,ポール
アンソニー シュラブソール,ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Application granted granted Critical
Publication of JP6214828B1 publication Critical patent/JP6214828B1/ja
Publication of JP2017534974A publication Critical patent/JP2017534974A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/24Radio transmission systems, i.e. using radiation field for communication between two or more posts
    • H04B7/26Radio transmission systems, i.e. using radiation field for communication between two or more posts at least one of which is mobile
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

ドッキング・システムが少なくとも一つのホスト(100)と、複数の周辺機器(110、111、112)と、頭部装着可能装置(120)とを有する。ホストは、ドッキング対象としての頭部装着可能装置との無線ドッキングのために構成される。頭部装着可能装置は、動作環境中の周辺機器の画像を捕捉するためのカメラ(123)と、ドッキング対象プロセッサとを有する。ドッキング対象プロセッサは、頭部装着可能装置を介して、装着者の観察方向に基づいて動作環境内の焦点位置を検出し、周辺機器を識別するために前記画像を処理し、前記焦点位置を使って、前記画像中の周辺機器のうちから周辺機器を選択し、選択された周辺機器へのアクセスを提供するホストを決定することによって、選択されたホストを決定し、前記選択されたホストにドッキングして前記選択された周辺機器にアクセスするよう構成されている。ホストは、前記選択された周辺機器を示す選択メッセージを受信し、前記ドッキング対象として前記頭部装着可能装置をドッキングさせ、前記選択された周辺機器へのアクセスを提供するよう構成されたホスト・プロセッサ(101)を有する。

Description

本発明は、ドッキング対象(dockee)と無線ドッキングするよう構成された少なくとも一つのホストと、前記少なくとも一つのホストに結合された複数の周辺機器とを有するドッキング・システムに関する。前記ホストは一つまたは複数の組み込み周辺機器を有していてもよく、および/または少なくとも一つの外部周辺機器に結合するよう構成されていてもよい。ドッキングに際して、ホストは、ドッキング対象のために、それぞれの周辺機器へのアクセスを提供しうる。
本発明はさらに、ドッキング対象、ホスト、ホスト方法、ドッキング対象方法およびホストとドッキング対象との間のドッキングのためのコンピュータ・プログラム・プロダクトに関する。
本発明は、たとえばWi-Fiを介した無線通信の分野に、より詳細には一つまたは複数の周辺機器にアクセスするための頭部装着可能装置のホストへのドッキングに関する。このコンテキストにおいて、周辺機器(peripheral)とは、ディスプレイ、キーボードもしくはマウスのような外部装置またはスピーカーもしくは記憶ユニットのようなホストに組み込まれた周辺機器でありうる。たとえば、TVがホストであってもよい。すなわちホストがTVに組み込まれており、複数の周辺機器へのアクセスを提供しうるホストをなす。そのような周辺機器および/またはホストの他の任意の内部もしくは外部資源にアクセスすることおよび/またはそれを使用することは、ホストによって提供されるサービスと呼ばれてもよい。
無線ドッキングは、モバイル装置(ドッキング対象とも呼ばれる)が、(たとえばIEEE802.11に記述されるWi-Fiを使うことに基づく)無線リンク上の一組の一般的なメッセージ交換プロトコルを通じて、ホスト装置(無線ドッキング・ステーションとも呼ばれる)にワイヤを通じてローカルに取り付けられているまたは無線で接続されている一組の周辺機器(マウス、ディスプレイ、機械ツールなど)にアクセスできるようにする。一つまたは複数の有線または無線の周辺機器と一緒に結合されたホストは、無線ドッキング環境と呼ばれることがある。
無線ドッキングはたとえば特許文献1から知られている。無線ドッキング・ステーションは、少なくとも一つのドッキング対象とホストとの間の無線の保護された通信を可能にしうる。無線ドッキング・ホストはその存在についての情報を、Wi-Fiビーコンを通じて提供してもよく、それを、ドッキング対象が、選ばれたホストを選択し、該ホストとの接続を開始するために使用できる。
国際公開第2012/117306A!号
Bluetooth Specification, Core Package version 2.1+EDR、2007年7月26日発行
さまざまな複雑な動作環境(たとえば、手術室、無線トラフィック・コントロール、金融、ソフトウェア開発など)において、ユーザーはさまざまな周辺機器へのアクセスをもちうる。本稿では、周辺機器(peripheral)という単語は、ホストに結合され、情報の入力もしくは出力、対話または制御といったユーザーのための機能を提供する任意の物理的な装置、たとえばディスプレイまたは対話式ツールを含む。そのような機能の例は次のようなことを含む:
・どの情報源が所与の時間において表示されるかを選択する;
・ディスプレイのある領域にズームインする;
・追加的情報を示す;
・いくつかの周辺機器のオン/オフを切り換える;
・注釈を生成する;
・メッセージを送受信する;
・他の人と通信する(たとえばビデオ・チャット)。
ユーザーは、それらの周辺機器の選択された部分集合と対話することを望むことがありうる。たとえば、ユーザーは複数の異なる装置(たとえば複数のモニター、コントロール・パネルなど)によって有意な情報を提供されることがある。あるタスクを実行するために、ユーザーは、一つまたは複数の選択された周辺機器の何らかの形の制御およびかかる周辺機器との何らかの形の対話をもつ必要があることがある。
ユーザーは無線装置を有していてもよく、利用可能な周辺機器のリストから周辺機器またはサービスを選択してもよく、該周辺機器と対話するためにそれと接続しようとしてもよい。そのような選択および接続をすることは、時間および努力を必要とし、ユーザー・アクションを要求する。また、ユーザー(たとえば手術室における外科医)は、手をふさぐ他のタスクに従事していることがある。これらの装置の制御または対話のためにユーザーがマウスまたはキーボードを使う必要があるとしたら面倒であろう。
さらに、Wi-Fi信号のレンジは数十メートルに達することがあるので、Wi-Fiサービスを提供するきわめて多くの装置がWi-Fiレンジ内で発見されることがありうる。ユーザーは、接続すべき正しい装置/サービスを選択することに関わってもよい。しかしながら、ユーザーに呈示される装置/サービスのリストからは、どの項目がどの装置に対応するかがあまり明瞭でないことがありうる。
必要とされるユーザー対話の量および時間を低減しつつ、使用のために周辺機器を選択することを可能にする無線ドッキングのためのシステムを提供することが本発明の目的である。
この目的のために、本発明の第一の側面によれば、冒頭段落で述べたドッキング・システムにおいて、前記ホストはホスト・プロセッサを有しており、前記ホスト・プロセッサは、
・周辺機器メッセージを送信する段階であって、各周辺機器メッセージは少なくとも一つの周辺機器のサービスの利用可能性を示す周辺機器データを含む、段階と、
・前記ドッキング対象とドッキングする段階と、
・選択された周辺機器を示す選択メッセージを受信する段階と、
・前記ドッキング対象のために、選択された周辺機器へのアクセスを提供する段階とを実行するよう構成されており、
前記ドッキング対象は、無線ドッキングのために構成された頭部装着可能装置であり、
前記頭部装着可能装置は
・前記周辺機器を含む動作環境の画像を捕捉するためのカメラと、
・ドッキング対象プロセッサとを有し、前記ドッキング対象プロセッサは、
・前記周辺機器メッセージを受領する段階と、
・前記周辺機器を識別するために前記画像を処理する段階と、
・前記頭部装着可能装置を介して、装着者の観察方向に基づいて前記動作環境内の焦点位置を検出する段階と、
・前記焦点位置を使って、前記識別された周辺機器のうちから周辺機器を選択する段階と、
・受領された周辺機器メッセージに依存して前記選択された周辺機器へのアクセスを提供するホストを決定することによって、選択されたホストを決定する段階と、
・前記選択されたホストにドッキングする段階と、
・前記選択された周辺機器を示す選択メッセージを送る段階と、
・前記選択された周辺機器にアクセスして、前記選択された周辺機器のサービスを使う段階とを実行するよう構成されている。
この目的のために、上記のシステムにおいて使うための頭部装着可能装置は、
・前記周辺機器を含む動作環境の画像を捕捉するためのカメラと、
・ドッキング対象プロセッサとを有し、前記ドッキング対象プロセッサは、
・前記周辺機器メッセージを受領する段階と、
・前記周辺機器を識別するために前記画像を処理する段階と、
・前記頭部装着可能装置を介して、装着者の観察方向に基づいて前記動作環境内の焦点位置を検出する段階と、
・前記焦点位置に基づいて、前記識別された周辺機器のうちから周辺機器を選択する段階と、
・受領された周辺機器メッセージに依存して前記選択された周辺機器へのアクセスを提供するホストを決定することによって、選択されたホストを決定する段階と、
・前記選択されたホストにドッキングする段階と、
・前記選択された周辺機器を示す選択メッセージを送る段階と、
・前記選択された周辺機器にアクセスして、前記選択された周辺機器のサービスを使う段階とを実行するよう構成されている。
この目的のために、上記のシステムにおいて使うためのホスト装置が、ドッキング対象として作用する前記頭部装着可能装置と無線ドッキングし、前記頭部装着可能装置のために前記周辺機器のうちの少なくとも一つへのアクセスを提供するよう構成されており、前記ホストはホスト・プロセッサを有しており、前記ホスト・プロセッサは、
・周辺機器メッセージを送信する段階であって、各周辺機器メッセージは少なくとも一つの周辺機器のサービスの利用可能性を示す周辺機器データを含む、段階と、
・前記ドッキング対象としての前記頭部装着可能装置をドッキングさせる段階と、
・選択された周辺機器を示す選択メッセージを受信する段階と、
・前記ドッキング対象のために、選択された周辺機器へのアクセスを提供する段階とを実行するよう構成されている。
この目的のために、上記のシステムにおいてドッキング対象としての頭部装着可能装置において使うためのドッキング対象のドッキング方法が提供される。本方法は、
・前記周辺機器メッセージを受領する段階と、
・前記周辺機器を識別するために前記画像を処理する段階と、
・前記頭部装着可能装置を介して、装着者の観察方向に基づいて前記動作環境内の焦点位置を検出する段階と、
・前記焦点位置に基づいて、前記識別された周辺機器のうちから周辺機器を選択する段階と、
・受領された周辺機器メッセージに依存して前記選択された周辺機器へのアクセスを提供するホストを決定することによって、選択されたホストを決定する段階と、
・前記選択されたホストにドッキングする段階と、
・前記選択された周辺機器を示す選択メッセージを送る段階と、
・前記選択された周辺機器にアクセスして、前記選択された周辺機器のサービスを使う段階とを含む。
この目的のために、上記のシステムにおいてホストにおいて使うためのホストのドッキング方法が提供される。前記ホストは、ドッキング対象としての前記頭部装着可能装置と無線ドッキングし、前記頭部装着可能装置のために前記周辺機器のうちの少なくとも一つへのアクセスを提供するよう構成されており、本方法は、
・周辺機器メッセージを送信する段階であって、各周辺機器メッセージは少なくとも一つの周辺機器のサービスの利用可能性を示す周辺機器データを含む、段階と、
・前記周辺機器のディスプレイ上に表示されるアクティブ視覚マーカーを提供する段階と、
・前記ドッキング対象としての前記頭部装着可能装置をドッキングさせる段階と、
・選択された周辺機器を示す選択メッセージを受信する段階と、
・前記ドッキング対象のために、選択された周辺機器へのアクセスを提供する段階とを含む。
上記の施策は、ドッキングが次のように達成されるという効果をもつ。使用されるべきそれぞれの周辺機器を選択するために前記システムにおいて使うための頭部装着可能装置が提案される。複数の周辺機器が動作環境において存在する。ドッキングは、ドッキング対象、この場合には頭部装着可能装置または頭部装着可能装置に結合された電話を操作するための追加的なI/O周辺機器として、選択された周辺機器を実際に提供することを意味する。たとえば、マウスまたはキーボードといった入力周辺機器は、実際に、前記装着可能装置のための入力装置として動作する。動作環境において多くの周辺機器がある場合には、選択は、その装置を見ることによってなされ、ドッキング対象が知的にかつ自動的に、複数の利用可能な周辺機器のうちの選択された周辺機器に接続できる。
ホストでは、ホスト・プロセッサが、周辺機器メッセージを送信するよう構成されており、周辺機器メッセージはホストを識別するとともに、前記少なくとも一つの周辺機器の利用可能性を示す周辺機器データを含み、これは、前記頭部装着可能装置が、前記周辺機器メッセージを受信したときに、選択された周辺機器へのアクセスを提供する選択されたホストを決定できるようにするためである。周辺機器メッセージは、周辺機器データを、無線送信レンジ内の任意のドッキング対象に転送するとともに、前記頭部装着可能装置に、利用可能な周辺機器を通知する。
前記頭部装着可能装置は前記動作環境における周辺機器の画像を捕捉するためのカメラと、ドッキング対象プロセッサと呼ばれるプロセッサとを有する。カメラは、通例、前記頭部装着可能装置、たとえばスマートゴーグルの装着者の観察方向に向けられている。動作では、ドッキング対象プロセッサは、前記頭部装着可能装置を介して、動作環境に対する、装着者の焦点位置を検出する。焦点位置は、装着者の目が中心配向にあるため、真正面を見る装着者の視野における中心位置に対応していてもよい。
ドッキング対象プロセッサは、周辺機器を識別するために前記画像を処理するよう構成されている。次に、焦点位置を使って、画像中の周辺機器のうちから周辺機器が選択される。これは、観察方向におけるカメラからの直線を動作環境の画像と交わらせることによる。選択されたところの周辺機器は下記では、選択された周辺機器と呼ばれる。単一のカメラについては、これは捕捉された画像の真ん中のピクセルではなくてもよいが、カメラの物理的な位置により、頭および目に関して補正されてもよい。たとえば、立体視カメラのために交わる直線が使われてもよい。交差点に最も近い周辺機器が選択される。
次に、選択された周辺機器へのアクセスを提供するホストを決定することによって、選択されたホストが見出される。ドッキング対象プロセッサは、選択されたホストにドッキングし、選択された周辺機器にアクセスするよう構成される。選択メッセージは、たとえば装着者がある最小量の時間にわたって特定の周辺機器に焦点を合わせていたときに、生成されてもよい。これは、装着者が単に見回しているのではなくある装置に焦点を合わせていることを保証する。ホストは、ホスト・プロセッサを有し、該ホスト・プロセッサは、動作では、選択された周辺機器を示す選択メッセージを受領し、その後、ドッキング対象として頭部装着可能装置をドッキングさせ、選択された周辺機器へのアクセスを提供する。有利なことに、動作環境における複数の利用可能な周辺機器のうちで使用または制御されるべき周辺機器が、装着者がその周辺機器を見ることによって、選択される。
本発明に基づく方法は、コンピュータ上でコンピュータ実装された方法として、あるいは専用ハードウェアにおいて、あるいは両者の組み合わせにおいて実装されてもよい。本発明に基づく方法のための実行可能コードがコンピュータ・プログラム・プロダクト上に記憶されてもよい。コンピュータ・プログラム・プロダクトの例はメモリ・デバイス、光記憶デバイス、集積回路、サーバー、オンライン・ソフトウェアなどを含む。好ましくは、コンピュータ・プログラム・プロダクトは、前記プログラム・プロダクトがコンピュータ上で実行されたときに本発明に基づく方法を実行するための、コンピュータ可読媒体上に記憶された非一時的なプログラム・コード手段を有する。ある実施形態では、コンピュータ・プログラムは、該コンピュータ・プログラムがコンピュータ上で実行されたときに本発明に基づく方法のすべての段階を実行するよう適応されたコンピュータ・プログラム・コード手段を有する。コンピュータ・プログラムは、コンピュータ可読媒体上に具現されてもよい。
任意的に、上記のドッキング・システムにおいて、少なくとも一つの周辺機器および/または前記ホスト・プロセッサが、前記周辺機器のディスプレイ上に表示されるアクティブ視覚マーカーを提供するよう構成され、前記ドッキング対象プロセッサは、画像中の該視覚マーカーを検出することによって前記周辺機器を識別するよう構成されている。有利なことに、前記周辺機器は、該アクティブ・マーカーを動的に示し、前記周辺機器を前記画像中のその環境および/または他の同様の装置から区別するために前記視覚マーカーを使って識別される。
任意的に、前記頭部装着可能装置は、前記頭部装着可能装置を介して装着者によって知覚される動作環境の上にオーバーレイを表示する表示ユニットを有しており、前記ドッキング対象プロセッサは、前記オーバーレイを生成し、その中で前記周辺機器のうちの少なくとも一つに視覚的にマーク付けするよう構成される。有利なことに、装着者は、ドッキングのために利用可能な周辺機器に焦点を合わせることにおいて支援される。また、前記ドッキング対象プロセッサは、周辺機器から装着者への距離に基づいて周辺機器に視覚的に優先順位を付けることによって前記マーク付けを行なうよう構成されていてもよい。優先順位付けとは、より好適な周辺機器が、たとえばハイライトによりまたは色もしくはグラフィック記号を使って、視覚的により目立つようにされることを意味する。有利には、装着者への近接性に基づいて、好適な周辺機器が視覚的に区別され、ランク付けされる。また、ドッキング対象プロセッサは、ドッキング対象が周辺機器を使った以前のセッションのセッション情報に基づいて周辺機器を視覚的に優先順位付けすることによって前記マーク付けを行なうよう構成されていてもよい。有利には、装着者は、該以前のセッションにおける以前の使用を考慮に入れて、前記選択された周辺機器で作業することを選択し、それを続けてもよい。たとえば、以前に使われたのと同じプリンタを使ってもよい。また、ドッキング対象プロセッサは、装着者の現在状態に基づいて周辺機器に視覚的に優先順位付けすることによって前記マーク付けを行なうよう構成されていてもよい。有利には、本システムは、現在状態、たとえば座っているか立っているかを判別し、それに基づいて好適な周辺機器を優先順位付けする。また、ドッキング対象プロセッサは、利用可能だが装着者によって知覚されるところの動作環境においては見えない周辺機器を視覚的に示すことによって前記マーク付けを行なうよう構成されていてもよい。たとえば、好適な周辺機器が他のオブジェクトの背後に隠されていることがあり、あるいは単に視野外であることがあり、本システムはその位置を、矢印またはその周辺機器を表わす記号によって、グラフィックにマーク付けしてもよい。
任意的に、頭部装着可能装置において、ドッキング対象プロセッサは、動作環境に対する観察方向を示すものとして画像における中心位置を取ることによって、カメラを介して焦点位置を検出する段階であって、焦点位置は、装着者の目が中心配向(centered orientation)にあるために真正面を見ている装着者の視野における中心位置に対応する、段階と、焦点位置に最も近い周辺機器を選択する段階とを実行するよう構成されている。有利には、画像中で検出される焦点位置に基づいて、焦点位置にあるまたは焦点位置に近い周辺機器が選択される。
任意的に、頭部装着可能装置において、ドッキング対象プロセッサは、装着者の目の実際の配向を検出し、前記中心配向からの前記実際の配向のオフセットを決定することによって視線方向を検出し、前記オフセットに依存して前記焦点位置をシフトさせるよう構成されている。前記焦点位置は、装着者の目が中心配向にあるために真正面を見ている装着者の視野における中心位置に対応してもよく、あるいは頭部装着可能装置が向いているのとは異なる方向を装着者の目が見ているために中心外れ位置に対応してもよい。これは、装着者の目に向けられた追加的な内向きカメラによって検出されうる。有利なことに、焦点位置は、装着者の実際の視線方向によって強化され、周辺機器は、画像における強化された焦点位置に基づいて選択される。
任意的に、頭部装着可能装置において、ドッキング対象プロセッサは、装着者の目から周辺機器までの観察距離を検出し、前記観察距離に依存して前記焦点位置をシフトさせるよう構成されている。有利なことに、焦点位置は周辺機器への実際の観察距離によって強化され、周辺機器は画像における強化された焦点位置に基づいて選択される。
任意的に、頭部装着可能装置において、ドッキング対象プロセッサは、事前構成されたセットアップを参照することによって動作環境における周辺機器を識別するよう構成されており、前記事前構成されたセットアップは動作環境における前記複数の周辺機器の位置を定義する。たとえば、ドッキング・ホストは、注釈付けされた画像を提供してもよく、ドッキング対象はその現在の画像を注釈付けされた画像と比較することができる。有利なことに、周辺機器は、画像において捕捉されたところの動作環境の既知の事前構成されたセットアップに対する位置に基づいて選択される。
任意的に、頭部装着可能装置において、ドッキング対象プロセッサは、周辺機器の視覚的属性に基づいて周辺機器を認識することによって、動作環境における周辺機器を識別するよう構成されている。たとえば、属性は、ドッキング・ホスト、周辺機器自身によって提供されてもよく、あるいは装置発見情報に基づいてインターネットから取得されてもよい。有利なことに、周辺機器は、形、特定の色、ブランドまたは型のような視覚的属性を使って検出される。
任意的に、頭部装着可能装置において、ドッキング対象プロセッサは、画像における視覚マーカーを検出することによって周辺機器を識別するよう構成されている。視覚マーカーは、たとえば、QRコード(登録商標)またはバーコードであってもよい。そのような視覚マーカーは、画像プロセッサによる読み取りのために設計されており、周辺機器についてのさらなる情報を含むことがある。視覚マーカーはたとえば、グラフィック記号および/またはテキストを有するラベルであってもよい。有利には、そのような記号またはテキストは、画像プロセッサによって検出されてもよく、明確にそれぞれの周辺機器を特定しうる。
任意的に、少なくとも一つの周辺機器および/または前記ホスト・プロセッサは、前記周辺機器のディスプレイ上に表示されるアクティブ視覚マーカーを提供するよう構成される。視覚マーカーはたとえば、周辺機器自身によって制御される周辺機器のディスプレイに表示されるアクティブ視覚マーカーであってもよい。有利には、マーカーは、その周辺機器において利用可能な実際のサービスまたは機能を表わすようホストによって動的に生成/適応されてもよい。
本発明に基づく装置および方法のさらなる好ましい実施形態は付属の請求項において与えられ、その開示はここに参照によって組み込まれる。
本発明のこれらおよび他の側面は、付属の図面を参照して以下の記述において例として記述される実施形態を参照することから明白となり、さらに明快にされるであろう。
頭部装着可能装置を含むドッキング・システムを示す図である。 複数の周辺機器および頭部装着可能装置を有する動作環境の例を示す図である。 ドッキング対象において周辺機器を選択するためのドッキング方法を示す図である。 ホストにおけるドッキング方法を示す図である。 図面は純粋に図的なものであり、縮尺どおりに描かれていない。図面において、すでに記述された要素に対応する要素は同じ参照符号をもつことがある。
本稿では、無線ドッキングとは、ドッキング対象と呼ばれるモバイル装置が、提供するホストに無線で接続できるようにすることに関わる。無線ドッキングにより、ホストは該ホストに組み込まれているおよび/または結合されている利用可能な周辺機器のサービスをドッキング対象に提供し、それにより、モバイル装置上のアプリケーションがそれらの周辺機器のサービスを利用でき、これらのアプリケーションで作業すること/これらのアプリケーションとの対話の経験および生産性を向上させることができる。サービスの発見/広告および周辺機器への接続の管理は、ホストによって実行されてもよい。該ホストは、前記サービスの機能を無線ドッキング・プロトコルを通じて利用可能にする。可能なホストは、(これに限られないが)専用の無線ドッキング・ステーション装置、表示装置、オーディオ装置、プリンタ、PCを含む。無線ドッキング・ホストは、ディスプレイ、USBおよびオーディオ・インターフェースをもつ小さな(PC様の)ドングルであってもよい。可能な周辺機器は(これに限られないが)マウス、キーボード、表示装置、オーディオ装置、ウェブカメラ、プリンタ、記憶装置、USBハブ、ネットワーク・インターフェース、機械ツール、医療設備、産業コントロール・パネルなどを含む。これらの周辺機器は無線であってもよく、Wi-FiシリアルバスおよびWi-Fi Miracastのような規格をサポートして、その機能を無線ネットワークを通じてホストに利用可能にしてもよい。有線の周辺機器も無線ホストに接続されてもよい(たとえば、USB、HDMI(登録商標)、DVI、VGA、アナログ・オーディオ、アナログ・ビデオなど)。周辺機器へのアクセスを提供するサービスの次に、他のサービスは、たとえば、リモート・デスクトップ・アクセスもしくはある種のアプリケーションへのアクセス、データベース・アクセス(たとえば文書アーカイブ)、ネットワーク・ファイル・システム・アクセス、インターネットおよび特定のインターネット・サービス、DLNA(登録商標)もしくはUPnPサービスのような家庭ネットワーク・サービスへのアクセスなどを提供することを含んでいてもよい。
革新的な装着可能モバイル装置、たとえばスマート装着可能眼鏡が市場でリリースされつつある。これらの装置は、装着者によって、担持されるのではなく、身につけられるという利点をもち、装着者によってハンズフリーで操作されうる。典型的には、頭部装着可能装置はさまざまなセンサー(たとえばマイクロフォン、加速度計など)およびアクチュエーター(たとえばスピーカー、ディスプレイなど)をオンボードで有し、通例はカメラをも有する。これらのセンサーから、特に動作環境の画像を捕捉するカメラから抽出される情報が、装着者の位置および焦点、たとえば視線方向についての情報を導出するために使われてもよい。動作環境において、たとえば手術室または産業コントロール・センターのようなよく定義され、構造化された環境において、さまざまな周辺機器が存在していてもよい。使用されるべきそれぞれの周辺機器が今、頭部装着可能装置を介して選択されうる。スマートゴーグルにおける外向きのカメラは装着者が焦点を向けているのと同じ方向を向くので、カメラはさらに、画像を処理することによって可視マーカー(たとえばQRコード(登録商標))またはオブジェクト属性を同定するために使われてもよい。
典型的には、頭部装着可能装置およびホスト装置はそれぞれ、装置に記憶された適切なソフトウェアを実行するマイクロプロセッサを有する。たとえば、そのソフトウェアは、対応するメモリ、たとえばRAMのような揮発性メモリまたはフラッシュのような不揮発性メモリ(図示せず)にダウンロードされたおよび/または記憶されたものであってもよい。これらの装置は、マイクロプロセッサおよびメモリ(図示せず)を備えていてもよい。あるいはまた、これらの装置は、全体的または部分的に、プログラム可能な論理において、たとえばフィールドプログラマブルゲートアレイ(FPGA)として実装されてもよい。ドッキング対象およびホスト装置は、全体的または部分的に、いわゆる特定用途向け集積回路(ASIC)、すなわちその具体的な用途のためにカスタマイズされた集積回路(IC)として実装されてもよい。
また、以下に記述される機能およびユニットは、少なくとも部分的には、プロセッサ回路および記憶回路を含んでいてもよいハードウェア回路において実装されてもよい。プロセッサ回路が記憶回路において電子的に表現されている命令を実行するのである。
図1は、頭部装着可能装置を含むドッキング・システムを示している。本システムは、一つまたは複数のドッキング対象120、たとえば頭部装着可能装置との無線通信のためのホスト装置100を含む。ホスト装置はサービス、たとえばオーディオもしくはビデオ(AV)データのレンダリングを提供するためにいくつかの周辺機器110、111、112に結合されている。本稿ではAVデータは、任意の型のビデオ・データ、オーディオ・データまたはビデオとオーディオ・データの組み合わせのために使われることを注意しておく。周辺機器は、ビーマーもしくはディスプレイ111のようなビデオ出力装置、スマートボード110もしくはタッチスクリーンのようなグラフィカル入出力装置、スピーカー・システム112もしくはヘッドフォンのようなオーディオ出力装置、部屋制御ユニットもしくはマウスのようなユーザー入力装置;プリンタもしくはデータ記憶ユニットのようなデータ処理装置を含む。実際的な環境では、さらなる周辺機器に結合されている複数のホストがあってもよい。
ホスト装置100は、無線通信152を受け入れるためのホスト通信ユニット102、たとえばそれ自身としてはよく知られているWi-Fiユニットを有する。ホスト装置はさらに、少なくとも一つのドッキング対象をドッキングさせるために構成されたホスト・プロセッサ101を有する。無線装置を無線ドッキング・ホスト(WDH: wireless docking host)にドッキングさせるプロセスは、Wi-Fiまたはブルートゥース(登録商標)のような利用可能な電波チャネルを介してデータ・リンクを確立するプロセスであり、それ自身としては特許文献1で論じたように既知である。ブルートゥース(登録商標)の記述はたとえば非特許文献1において見出すことができる。ドッキング・プロセスはドッキング対象のために一つまたは複数の周辺機器へのアクセスを提供することに関わる。ホストは、周辺機器を介して利用可能な構成およびサービスを制御するために周辺機器制御ユニット103を有していてもよい。
ドッキング対象120は、ホストとの前記無線通信を受け入れるためのドッキング対象通信ユニット121を有する。実際上、その目的のための複数の通信ユニット、たとえばブルートゥース(登録商標)、Wi-Fiおよび60GHz(たとえばWiGig)があってもよい。ドッキング対象はさらに、前記少なくとも一つのサービスへのアクセスを得るためにドッキング対象としてホスト装置とドッキングするよう構成されたドッキング対象プロセッサ122を有する。
無線接続性をユーザーにとってより簡単にするための方法の一つは、無線ドッキングである。無線ドッキングでは、いわゆる無線ドッキング・ホストがいくつかのサービスをモバイル装置に対して利用可能にし、それを用いてモバイル装置は一度で通信をセットアップできる。無線ドッキング・ホストによって利用可能にされる周辺機器および/またはサービスの任意のグループは無線ドッキング環境と呼ばれる。無線ドッキング環境は単一のホストおよび複数の周辺機器を含んでいてもよく、あるいは一つの無線ドッキング・ホストがいくつかの(異なる)無線ドッキング環境を受け入れてもよい。無線ドッキング・ホストは、そのサービスを、一つ一つの個々の選択によって利用可能にしてもよい。モバイル装置のリーチ範囲内に、ドッキングするためのいくつかのドッキング・ホストがあってもよい。
ユーザーにとってモバイル装置を使うのをより便利にするもう一つの方法は、周辺機器装置、たとえばモニターもしくはTVがその機能、その画面をモバイル装置に無線で利用可能にすることである。もちろん、モバイル装置の無線リーチの範囲内にこれらの無線周辺機器装置のいくつかがあることもしばしばある。Wi-Fiアライアンスによって認証されるMiracastは、これが可能である技術である。本稿では、周辺機器と組み合わさって、周辺機器入力および/または出力機能へのアクセスを提供するための機能を提供する任意の装置がホストと呼ばれる。
伝統的には、上述した装置は、たとえばWi-Fi Directを使ってその無線ドッキング環境またはその機能を無線で利用可能にするために、Wi-Fi通信を用いてもよい。Wi-Fi接続をセットアップすることは、二つの装置がWi-Fiを通じて「関連付け」されるまでに、かなりの数のステップを行ない、いくつかのメッセージを交換することを要求する。これは、正しい装置が接続されることを確実にするために、かなりのユーザー関与を要求することがあるとともに、時間がかかり、その間、ユーザーは接続がセットアップされ、開始されるのを待たねばならない。二つの装置がWi-Fiを通じて関連付けられたとき、そのWi-Fi接続は暗号学的に保護され、IP接続が確立される。Wi-Fi装置は自らを無線で発見可能にすることができる。これは、二つの装置が関連付けられる前に行なわれることができるので、これは関連付け前の発見と呼ばれる。関連付け前の発見にはいくつかの型がある。一つは、関連付け前の装置発見であり、それにより装置およびその名前、機能などのような装置のいくつかの属性が発見されることができる。これは、IEEE802.11からよく知られているビーコン・フレームおよびプローブ要求フレームおよびプローブ応答フレームを通じてなされてもよい。もう一つの型は、関連付け前のサービス発見であり、これによりWi-Fi装置によって提供されるサービス、たとえば印刷、表示などがIEEE802.11u一般広告サービス(GAS: Generic Advertisement Service)フレームを通じて他者により発見されることができる。そのような発見は、無線ドッキングのために提供されている無線ドッキング環境についての情報を含んでいてもよい。
Wi-Fi信号のレンジは数十メートルに達することがあるので、Wi-Fiサービスを提供するかなりの数の装置がWi-Fiレンジ内で発見されることがある。ユーザーは、接続するための正しい装置/サービスを選択することに関わる必要がある。しかしながら、ユーザーに対して呈示される装置/サービスのリストからは、どの名前がどの装置に対応するかがあまりはっきりしないことがある。たとえば、ユーザーは、自分のモバイルMP4プレーヤーに存在するコンテンツを大きなディスプレイ上で示すことに関心がある。Miracastは、Wi-Fiを通じて受領されたビデオを表示するサービスについてのWi-Fiアライアンスの商標名である。ユーザーの近傍において、Wi-Fiを通じて受領されたビデオをレンダリングするサービスを提供するいくつかのディスプレイがあることがある。これは、Miracast対応ディスプレイを備えた多くの会議室および柔軟な仕事場をもつ現代のオフィスビルにおいて成り立つことがあるが、このWi-Fiサービスを提供するいくつかのTVを備えた家庭の家庭状況でも成り立つことがある。複数の周辺機器をもつそのような環境はさらに、本稿では動作環境(operating environment)と呼ばれる。
図1では、ドッキング・システムは少なくとも一つのホストと、複数の周辺機器と、ドッキング対象としての頭部装着可能な装置とを有する。頭部装着可能装置はカメラ123を有する。たとえば前方を見るカメラをもつヘッドマウントディスプレイである。頭部装着可能装置が装着者によって身につけられているとき、装着者は周辺機器の一つと対話することを望むことがあり、それらの周辺機器が存在する動作環境の方向を見ているであろう。
ホスト100は、ドッキング対象としての頭部装着可能装置と無線ドッキングするよう構成されている。ドッキングすると、ホストは頭部装着可能装置のために周辺機器のうちの少なくとも一つへのアクセスを提供する。頭部装着可能装置120は、周辺機器のうちの少なくとも一つにアクセスするために、ホストのドッキング対象として無線ドッキングするために構成されている。頭部装着可能装置のカメラ123は、装着者がそれらの周辺機器の方向を見ているときに動作環境の画像を捕捉するよう構成されている。
頭部装着可能装置120は、動作環境に対する装着者の観察方向を検出するためにドッキング対象プロセッサ122を有する。画像を捕捉するためのカメラが頭部装着可能装置に既知の仕方で結合されているので、ドッキング対象プロセッサは頭部装着可能装置を介して前記検出を実行することができる。頭部装着可能装置およびそのカメラの配向は頭部装着可能装置を実際に身につけている間、既知なので、ドッキング対象プロセッサは装着者が捕捉された画像の中心近くの焦点に集中していると想定してもよい。観察方向および焦点を判別するさらなる実施形態はのちに論じる。
ドッキング対象プロセッサはさらに、それらの周辺機器を識別するために画像を処理するよう構成される。周辺機器は装着者が見ている動作環境において存在しているので、一つまたは複数の周辺機器が認識され、識別されうる。ドッキング対象プロセッサはさらに、観察方向に基づいて、画像中の周辺機器から周辺機器を選択するよう構成される。周辺機器を識別し、そのうちの一つを選択するためのさまざまなオプションはのちに論じる。
ドッキング対象プロセッサはさらに、選択された周辺機器へのアクセスを提供するホストを決定することによって、選択されたホストを決定するよう構成される。無線通信のレンジ内にいくつかのホスト装置があることがある。たとえば、事前構成された動作環境についてのプロトコル・メッセージまたは情報の交換が、選択された周辺機器に結合された選択されたホストを決定するために使われてもよい。最後に、ドッキング対象プロセッサはさらに、選択されたホストにドッキングし、選択された周辺機器にアクセスするよう構成される。
ホスト・プロセッサ101は、選択された周辺機器を示す選択メッセージを受領し、頭部装着可能装置をドッキング対象としてドッキングさせ、選択された周辺機器へのアクセスを提供するよう構成される。
任意的に、少なくとも一つの周辺機器が視覚マーカー、たとえばラベルもしくはQRコード(登録商標)を提供するよう構成される。ドッキング対象プロセッサはさらに、画像中の視覚マーカーを検出することによって周辺機器を識別するよう構成されてもよい。
図2は、複数の周辺機器および頭部装着可能装置を有する動作環境の例を示している。この図における動作環境250は、複数の周辺機器、たとえばディスプレイ251、252、253に接続されたいくつかのホスト装置261、262、263を示している。投影スクリーン、機械ツール、コントロール・パネル、医療設備などのようなさらなる周辺機器があってもよい。頭部装着可能装置130は、上記の図1と同様にカメラ133と、ドッキング対象プロセッサおよび無線通信ユニットのような電子回路のための区画132とを備えたスマート眼鏡として示されている。使用時には頭部装着可能装置は、使いたい周辺機器を見ている装着者(図示せず)によって装着されていると想定される。
頭部装着可能装置は、頭部装着可能装置を介して装着者によって知覚される動作環境の上にオーバーレイを表示するための表示ユニットを有していてもよい。表示ユニットはそれ自身としては図示されていないが、区画132に統合されていてもよく、表示されるオーバーレイが眼鏡を介して現実世界のビューとの組み合わせで知覚されるように位置される。装着者の現実世界のビューの上にそのようなオーバーレイを提供することは、強化現実感(augmented reality)と呼ばれてもよい。ドッキング対象プロセッサは、オーバーレイを生成するよう構成されていてもよい。たとえば、実際の焦点位置および/または選択された周辺機器がオーバーレイにおいて、矢印、ハイライトされたウィンドーまたはグラフィック記号によって視覚的に示されてもよい。ドッキング対象プロセッサは、オーバーレイにおいて、周辺機器のうちの少なくとも一つの視覚的にマーク付けするよう構成されていてもよい。さまざまな例についてこれから述べる。
任意的に、ドッキング対象プロセッサは、周辺機器から装着者への距離に基づいて周辺機器に視覚的に優先順位を付けることによって前記マーク付けを行なうよう構成される。ユーザーの視野内のドッキング可能な装置の、いわゆる近接性に基づく優先順位付けである。強化スマート眼鏡を装着しているユーザーがドッキング可能な装置をみつけたいときは、利用可能な装置が、装着者までのその現在の距離に基づいて、強化されたオーバーレイにおいて視覚的に優先順位を付けられる。たとえば、手が届く範囲内の装置は、最大の視覚的注意をもって呈示されてもよい。オープンなオフィス環境では、ドッキング対象のための周辺機器として作用できる多くの装置があることがあるが、若干数のみが装着者との相互作用のために直接利用可能または好適でありうる。周辺機器への距離または近接性検出はたとえば、オブジェクト認識および視点補正を使ってスマート眼鏡内のカメラを介して、あるいはカメラ画像およびドッキング可能な周辺機器から発されるRSSI値のような信号強度指標を使って、実行されることができる。
任意的に、ドッキング対象プロセッサは、ドッキング対象がそれらの周辺機器を使った以前のセッションのセッション情報に基づいてそれらの周辺機器を視覚的に優先順位付けすることによって前記マーク付けを行なうよう構成されていてもよい。これは、ユーザーの視野内のドッキング可能な装置のセッション指向の優先順位付けと呼ばれてもよい。ユーザーがあるドッキング可能な装置と以前に対話したことがあるとき、その装置に以前に関係していたセッション情報(たとえばコール・リスト)および/または最後のドッキングされたセッションからの装置/ユーザーのパフォーマンス(たとえばタイプ・スピード)の両方が、その周辺機器との潜在的なドッキングのための優先度を決定するために入力パラメータとして使用されてもよい。この情報は、強化されたオーバーレイにおいてドッキング可能な装置を優先順位付けするために使われる。たとえば、優先度を表わすためにサイズ、透明度、色、テキストを使う。セッション情報は、安全な取り出しのために(たとえばユーザーがやめたところから続けるために)ドッキング可能な装置内に記憶されてもよく、あるいは別の装置上に、たとえばホストに記憶されてもよい。以前のセッションからのパフォーマンスに関係した履歴情報は頭部装着可能装置、周辺機器またはクラウドに記憶されることもできる。
優先順位付けする間、マルチセッション対話をサポートするドッキング可能な周辺機器装置が利用可能であるとき、視覚的な優先度レベルは、その装置上に残っている利用可能な資源、たとえば残りメモリ、CPUサイクル、印刷待ち行列などに基づいていてもよい。
任意的に、ドッキング対象プロセッサは、装着者の現在状態に基づいて周辺機器に視覚的に優先順位付けすることによって前記マーク付けを行なうよう構成されていてもよい。これは、ユーザーの現在状態との関係でのドッキング可能装置の優先順位付けと呼ばれてもよい。今や装置は、ユーザーの現在状態に対するそのサポートのレベルに基づいて、強化されたオーバーレイにおいて視覚的に優先順位付けされる。たとえば、スマート眼鏡装着者が着席している間に会合においてプレゼンテーションをしたいとき、システムは、利用可能であり装着者の状態にとって適切である、このセッションのための周辺機器装置を、たとえば装着者が着席しているテーブルにおけるローカルなディスプレイおよび入力装置とドッキングさせるために、探す。しかしながら、装着者が立っているときは、強化されたスマート眼鏡オーバーレイ内での入力装置選択は異なる優先度レベルをもって示され、別の装置、たとえばジェスチャー認識のためのカメラがより高い優先度をもつ。実際上、装着者状態検出はスマート眼鏡装置によって、さまざまなセンサー、たとえば加速度計、圧力センサー(高度のため)、ジャイロスコープ(頭の配向のため)、カメラ(座っていることを推定するための眼鏡からデスクまでの距離のため)を使って実行できる。潜在的なドッキング対象が感知機能をもち、現在使用されていなければ、検出は、該潜在的なドッキング対象を介してリモートに実行されることもできる。たとえば、ドッキング対象がカメラを有していれば、ドッキング対象がユーザーの状態を、ユーザーの現在状態/活動に基づいてドッキングのためのその適切さを判定するために、リモートに推定することができる。当該スマート眼鏡が発見モードにある場合は、諸潜在的なドッキング対象が、コンテキストを決定するためにその機能のいくつかを一時的に提供することによって、優先度レベル決定プロセスを支援できる。
任意的に、ドッキング対象プロセッサは、利用可能だが装着者によって知覚されるところの動作環境においては見えない周辺機器を視覚的に示すことによって前記マーク付けを行なうよう構成されていてもよい。これでユーザーの注意が、その視野外のドッキング可能な周辺機器装置に向けて喚起される。たとえば、高い優先度のドッキング可能な周辺機器がユーザーの視野の外で利用可能であり、ユーザーがそのような装置を探しているとき、その装置の実際の位置に近いが装着者の視野内に記号が示されてもよい。また、スマート眼鏡の左または右側のモーターがアクチュエーションされて、ユーザーがさらに左または右を見回すべきであることを示してもよい。代替的または追加的に、強化されたオーバーレイは矢印を示してもよく、矢印のサイズ/色がドッキング可能な装置の優先度のレベルを示してもよい。
それぞれのホストと個々の周辺機器との間の接続は、頭部装着可能装置130やその装着者には知られていない。この問題を解決するために、頭部装着可能装置内のドッキング対象プロセッサは、動作環境に対する装着者の観察方向を検出し、周辺機器を識別するために前記画像を処理し、観察方向に基づいて前記画像中の周辺機器から周辺機器を選択し、選択された周辺機器へのアクセスを提供するホストを決定することによって、選択されたホストを決定するよう構成されている。その後、選択されたホストへのドッキングおよび選択された周辺機器へのアクセスが実行されてもよい。
任意的に、ドッキング対象プロセッサは、動作環境に対する観察方向を示すものとして画像における中心位置を取ることによって、カメラを介して焦点位置を検出するよう構成されている。焦点位置は、装着者の目が中心配向(centered orientation)にあるために真正面を見ている装着者の視野における中心位置に対応する。ドッキング対象プロセッサは、焦点位置に最も近い周辺機器を選択するよう構成されている。
任意的に、ドッキング対象プロセッサは、装着者の目の実際の配向を検出し、前記中心配向からの前記実際の配向のオフセットを決定することによって視線方向を検出するよう構成されている。それ自身としては、観察方向を決定するための目の実際の配向を追跡することは知られている。その後、前記オフセットに依存して前記焦点位置がシフトさせられる。ドッキング対象プロセッサは、装着者の目から周辺機器までの観察距離を検出し、前記観察距離に依存して前記焦点位置をシフトさせるよう構成されていてもよい。たとえば、距離は、装着者が頭部装着可能装置と対話することによってオートフォーカス点を適応させられるオートフォーカス・カメラを使って決定されてもよい。さらに、装着者の目からある距離を超えない周辺機器のみを選択するよう、距離範囲が使用されてもよい。あるいはまた、距離は、たとえばWi-Fiベースの距離測定を使って、たとえばIEEE微細時間測定(FTM: Fine Time Measurement)を使って検出されてもよい。
任意的に、ドッキング対象プロセッサは、事前構成されたセットアップを参照することによって動作環境における周辺機器を識別するよう構成されている。事前構成されたセットアップは動作環境における前記複数の周辺機器の位置を、たとえば複数のディスプレイまたはコントロール・パネルの相互距離および位置を定義してもよい。事前構成されたセットアップは頭部装着可能装置に既知であってもよく、たとえば構成(configuration)セッションの間に記憶されてもよい。あるいはまた、事前構成されたセットアップは少なくとも一つのホストによって、たとえば図1に示した周辺機器制御ユニット103において記憶され、維持されてもよい。これらのホストは互いと通信し、互いの周辺機器についての情報を関連付け前の発見メッセージにおいて提供できるようにされていてもよい。
任意的に、ドッキング対象プロセッサは、周辺機器の視覚的属性に基づいて周辺機器を認識することによって、動作環境における周辺機器を識別するよう構成されている。たとえば、周辺機器の既知の画像またはモデルを使うことによって周辺機器を識別し、該モデルを該画像にマッチさせるために、それ自身としては既知の画像認識が使われてもよい。
任意的に、ドッキング対象プロセッサは、画像における視覚マーカーを検出することによって周辺機器を識別するよう構成されている。たとえば、視覚マーカーはQRコード(登録商標)またはバーコードであってもよい。そのような視覚マーカーは、ドッキング対象プロセッサによるそのようなコードに格納されているある量のデータを読み取ることを可能にする。視覚マーカーは、グラフィック記号および/またはテキストを有するラベル、あるいは周辺機器のディスプレイに表示されるアクティブな視覚マーカーであってもよい。
上記のシステムは、スマート装着可能装置(たとえばスマートゴーグル)の使用を介してリッチな情報コンテキストにおいて複数の周辺機器から特定の装置を選択し、頭部装着可能装置を選択された周辺機器に、その周辺機器に結合されたホストを介して、自動的にドッキングさせることを可能にする。ドッキングはさらに、頭部装着可能装置に関連するスマートフォンまたはタブレットのような関連装置を含むよう拡張されてもよい。前記選択は、カメラを有する頭部装着可能装置(たとえばスマートゴーグル)の装着者が選択される装置を見ることによって実行されてもよい。頭部装着可能装置は、捕捉された画像を処理して装着者が見ている焦点位置を識別し、次いでその位置に最も近い装置を同定してもよい。たとえば、焦点位置を見出すことは、頭部装着可能装置上の3Dジャイロスコープおよび加速度計を介した視線方向検出に関わってもよい。たとえば、識別は、視覚マーカー検出、形状認識、ブランドもしくはラベル検出のうちの一つまたは複数に関わってもよい。
ある好ましい実施形態では、本システムは、装着者、たとえば手術室における外科医が身につける外向きのカメラを備えたスマートゴーグルまたはヘッドマウントディスプレイを含んでいてもよい。頭部装着可能装置はスタンドアローンの装置であってもよく、あるいは関連付けられたスマートフォンまたはタブレットと連携して機能してもよい。スタンドアローンの頭部装着可能装置またはスマートフォン/タブレットとの組み合わせをドッキング対象と称する。ホストは、複数の周辺機器装置、たとえば生命徴候モニター、腹腔鏡カメラ・ディスプレイなどといった視覚情報が表示される複数の表示装置が接続された、スタンドアローンの無線ドッキング・ステーションであってもよい。
たとえば、周辺機器が表示装置であり、ドッキングが成功であった場合、ドッキング対象によってたとえばMiracast出力データの形で提供される情報がこれらの周辺機器上に表示されてもよい。ここではドッキング対象がMiracast源であり、周辺機器がMiracastシンクである。視覚情報は、ネットワーク/インターネット上のサーバーによって、ドッキング対象の制御のもとで提供されてもよい。たとえば、HTMLページまたは他の情報源が表示される。
ドッキング対象は、ホストに接続されたすべての周辺機器に、それらの部分集合に、あるいは個々の周辺機器にドッキングされてもよい。ドッキングのプロセスは:
1)無線ドッキング・ホストおよびそれぞれのホストについての接続された周辺機器についての情報の発見、
2)ドッキング対象と無線ドッキング・ホストとの間の無線リンクをセットアップ、
3)一組のメッセージを使って無線ドッキング・ホストに接続された複数の周辺機器からどの周辺機器を使用すべきかを選択する。
4)周辺機器固有のメッセージング・プロトコル(Miracast、Wi-Fiシリアルバス、WiGigディスプレイ拡張)を使って、制御/対話目的のためにドッキング対象と選択された周辺機器との間のセッションをセットアップする。
ある可能な実施形態では、周辺機器は一義的な識別のための視覚マーカー(たとえばQRコード(登録商標)・ステッカー、バーコード、符号化された光をもつLEDなど)を有し、それが頭部装着可能装置のカメラまたは異なるセンサーによってデコードされることができる。視覚マーカーは静的(たとえば、一意的な識別子を表示し、装着可能装置のカメラによって認識されることができるステッカー)または動的(表示装置のコーナーに表示される動的に生成されたQRコード(登録商標)であって、該QRコード(登録商標)の一部として一意的な装置識別子がエンコードされている)でありうる。
ホストおよび接続された周辺機器は、それらの周辺機器と視覚マーカーとの間の関係が既知であるような仕方で構成されてもよい。該構成は、たとえばホストに、たとえば無線ドッキング環境データ構造の一部として、あるいはドッキング対象が接続されているネットワーク内のサーバー装置上に記憶されていてもよい。ホストまたはネットワーク・サーバー装置は、記憶されている構成情報を取り出すために問い合わせインターフェースを提供してもよい。ホストは、ビーコン・フレーム、プローブ応答またはGASフレームを使う無線ドッキング対象との関連付け前の発見の情報交換の間にも、記憶されている構成情報を提供してもよい。あるいはまた、構成データは、接続されている周辺機器のそれぞれの間で分配されてもよい。そのような周辺機器がWi-Fiをサポートする場合には、該周辺機器は、記憶されている構成データを取り出すための問い合わせインターフェースを提供してもよく、あるいはP2P関連付け前の装置発見に加えられた既存のまたは新たな情報要素を使って関連付け前の発見の間にこのデータを提供してもよく、あるいはGAS問い合わせ応答メッセージにおいてこのデータを提供してもよい。
頭部装着可能装置のある実施形態では、ひとたび装着可能装置の外向きカメラからくる画像内で視覚マーカーが検出されたら、マーカーについてのまたはマーカーから抽出される情報が、以前に記憶された構成情報からその周辺機器についての情報を取り出すために使われる。該構成は、ホストに接続することによって、ネットワーク内のサーバーに問い合わせを送ることによって、ビーコン・フレーム、プローブ応答もしくはGASフレームを使って無線ドッキング・ホストによって送られる関連付け前の発見情報をパースすることによって取り出されてもよい。次いで、該構成情報は、ドッキングさせるための周辺機器を決定し、ドッキング対象と選択された周辺機器との間のセッションをセットアップするために使われる。
ある実施形態では、装着者が現在焦点を当てている周辺機器装置に対してセッションがセットアップされる。あるいはまた、現在、装着者の視野内にある周辺機器装置に対してセッションがセットアップされる。さらにもう一つの実施形態では、ドッキング・セッションの開始以来装着者が見たことのある周辺機器装置に対してのみセッションがセットアップされる。あるさらなる実施形態では、その周辺機器装置についての取り出された情報(たとえばフレンドリーな装置名、装置型、ブランド、提供されるサービス)が装着可能装置のディスプレイに示され、表示されている取り出された情報が周辺機器装置から人の目にはいる光線の反射と重なるような仕方で位置決めされてもよい(すなわち、強化現実感)。
ある実施形態では、装着可能な装置の前記装置へのドッキングは、前記装置の形状が頭部装着可能装置のカメラに結合されたドッキング対象プロセッサによって認識されるときに、生起する。たとえば、捕捉された画像は別個のプロセッサ(たとえばコンピュータ)にストリーミングされてもよい。ホストおよび接続された周辺機器は、各周辺機器の形状についての情報がホストに、あるいは無線ドッキング対象が接続されているネットワーク内のサーバー上に記憶されるよう構成されてもよい。ひとたび頭部装着可能装置の外向きカメラからくる画像内で、ある装置の既知の形状が検出されたら、該形状情報は構成データ内の記憶されている形状情報との相関を調べられる。肯定的なマッチの後、以前の記憶された構成情報からのその周辺機器についての詳細な情報が取り出されることができる。この情報は、次いで、ドッキングのための周辺機器を選択し、無線ドッキング対象と選択された周辺機器との間でセッションをセットアップするために使われる。
ある実施形態では、同じまたは類似の形状をもつ多数の周辺機器の間での周辺機器の検出を支援できるために、周辺機器の相対位置も構成され(configured)、記憶される。たとえば、ディスプレイ第1がディスプレイ第2の上方かつディスプレイ第3の右に置かれる。選択されたディスプレイは装着者の焦点を決定するために頭部装着可能装置の加速度計およびジャイロスコープを通じて検出される観察方向との関連で決定される。その位置は、特定の既知の参照点に対して、たとえば周辺機器が接続されているホストに対して、構成され、記憶されてもよい。
ある実施形態では、周辺機器の選択は、装着者の固定した位置を与えられての、頭部装着可能装置の加速度計およびジャイロスコープによる装着者の視線方向の検出に関わる。装着者はたとえば、手術室における手術台の近くのある特定の位置に、または床上におけるあるマークされた位置に立っている。これは、装着可能装置による、あるいは装着可能装置が加速度計およびジャイロスコープのデータをリアルタイムで送る別個のプロセッサ(たとえばコンピュータ)による環境の認識を要求する。視線方向がある周辺機器の位置と交差するとき、以前に記憶された構成情報からの該周辺機器についての詳細な情報が取り出されることができる。次いで、この情報は、ドッキングのために周辺機器を選択し、ドッキング対象と選択された周辺機器との間のセッションをセットアップするために使われる。
ある実施形態では、頭部装着可能装置を選択し、周辺機器にドッキングさせることは、周辺機器のブランド/ラベルがスマートゴーグルのカメラによって、たてば光学式文字認識を通じて認識されるときに生起する。可能性としては、捕捉された諸画像が別個のプロセッサ(たとえばカメラ)にストリーミングされる。この目的に向け、無線ドッキング・ホストおよびその接続された周辺機器は、各周辺機器のブランド/型についての情報がたとえばホストに記憶されるように構成される。装置のブランド/ラベルは構成データ内の記憶されているブランド/ラベル情報と相関を調べられる。肯定的なマッチの後、その周辺機器についての詳細な情報が取り出されることができる。この情報は、次いで、ドッキングのための周辺機器を選択し、無線ドッキング対象と選択された周辺機器との間でセッションをセットアップするために使われる。
ある実施形態では、上述したプロセスの一つに従ってドッキングのためにある特定の周辺機器が選択されたとき、ユーザー入力制御イベントが自動的に、選択された周辺機器に向けられることができる。ドッキング・セッションは、装着者がある時間期間にわたってよそを見ている場合あるいは別の周辺機器が選択された場合に打ち切られてもよい。これは、たとえば選択された周辺機器にどの情報が示されるべきかを選択するための、この自動選択機構に基づく該特定の周辺機器に対する装着者の制御を可能にする。ユーザー入力制御イベントは音声制御コマンドまたはジェスチャー制御コマンドの形であってもよく、該コマンドは、装着可能装置によってまたは別のシステム、たとえば装着可能センサー、汎用ユーザー・インターフェース、キーボード/マウス・インターフェース、タッチパッドまたはタッチスクリーンを介して検出される。装着者の選好/構成に依存して、現在使われていない周辺機器がスイッチオフされてもよいことを注意しておく。
ある実施形態では、本システムは、ドッキング・セッションを保持してもよく、あるいはユーザー・コマンドにおいてドッキング・セッションを終わらせてもよい。たとえば、装着者が十分長い時間にわたってよそを見るときに、特定の目の動きを通じて、ジェスチャーまたは音声制御を介して、セッションを終わらせてもよい。
ある実施形態では、頭部装着可能装置は、諸周辺機器装置のホストとの構成の間に使われる。たとえばある視覚マーカーをある周辺機器と相関させること、これらの装置がどの形状をもつか、これらの装置が互いの間でどの相対位置をもつか、どの装置が装置の一つまたは複数の部分集合の一部になるか。たとえば、動作環境およびホストの構成は、ホストが構成モードにされている間に、逐次的な仕方で、装着者が使用しうる周辺機器装置を選択的に見ることによってセットアップされてもよい。
ある実施形態では、装着可能装置は無線通信、たとえば60GHz IEEE802.11adを使ったWi-Fi P2P通信のためにビーム整形アンテナをもつ。アンテナはカメラと同じ方向に向けられてもよい。頭部装着可能装置は、向き付けられたWi-Fiビーム内で発見される利用可能な装置を追跡する。頭部装着可能装置は、上述したプロセスの一つを使ってのマッチする装置の探索を制限するために前記利用可能性情報を使ってもよい。頭部装着可能装置は、向き付けられたビーム内で発見される利用可能な装置のための接続をセットアップするためにも前記利用可能性情報を使ってもよい。
図3は、ドッキング対象において周辺機器を選択するためのドッキング方法を示している。ドッキング対象方法は、ドッキング対象と一つまたは複数のホストとの間の無線通信を可能にする。ホストおよびドッキング対象は、図1および図2を参照して解説した。ドッキング対象は、頭部装着可能装置のカメラを介して選択される周辺機器にアクセスするためにホストと無線ドッキングするよう構成されている。ドッキング対象方法は最初にStart 501において始まり、ユーザーが頭部装着可能装置を自分の頭に置く、すなわち装着者になって、画像を捕捉するためにカメラを作動させることによってトリガーされる。次に、DT_FOC 502において、頭部装着可能装置を介して焦点位置が検出される。動作環境における焦点位置は装着者の観察方向に基づき、装着者が自分の注意の焦点を合わせた動作環境内の位置に対応する。たとえば、焦点位置は、頭部装着可能装置の前向きのカメラの画像の中心であってもよい。ID_PRF 503において、捕捉された画像が諸周辺機器を識別するために処理される。次に、段階SEL 504において、焦点位置に基づいて画像中の周辺機器からある周辺機器が選択される。頭部装着可能装置がすでに、どのホストが識別され選択された周辺機器に結合されているかについての構成データを有している場合には、そのホストが直接選択され、プロセスは段階INIT_DCK 505におけるドッキングによって続けられる。たとえば複数のホストがレンジ内にあるときに構成がまだ未知であれば、選択された周辺機器へのアクセスを提供するホストを決定するために、周辺機器情報が段階SEL_Hで取り出される。選択されたホストがこうして決定されたら、選択されたホストにドッキングして選択された周辺機器にアクセスするために、プロセスは段階INIT_DCK 505におけるドッキングによって続けられる。周辺機器の使用が終了されたとき、本方法はノードEND 507において終了する。
任意的に、ドッキング方法において、装着可能装置は、周辺機器の実際の検出および選択が行なわれる前に、いくつかのドッキング・ホストとドッキングする。これはより高速であることがある。そうすれば装着可能装置は前記ホストとの(再びの)関連付けを回避できるからである。また、ドッキング・ホストはすでにすべての周辺機器を、その特定のドッキング対象とのドッキングのために準備し、リザーブしていてもよいが、無線ドッキング・プロトコルを使って「周辺機器選択」アクションが行なわれた後になってはじめて、前記周辺機器が選択され、周辺機器固有メッセージング・プロトコルを使って操作されることができる。
図4は、ホストにおけるドッキング方法を示している。ホスト方法は、ホストとドッキング対象としての頭部装着可能装置との間の無線通信を可能にする。ホストとドッキング対象は図1および図2を参照して解説した。ホストは、周辺機器へのアクセスを提供するための無線ドッキングのために構成されている。ホスト方法は最初にStart 601において始まり、ホストおよび周辺機器に電源投入することによってトリガーされる。次の段階TR_ID 602では、ホスト方法は、QRコード(登録商標)、テキストまたはバーコードのようなアクティブな識別子を生成し、それらの識別子を対応する周辺機器上で表示することに関わってもよい。また、ホストは、周辺機器の利用可能性およびまたは他の属性をアナウンスするよう周辺機器構成データを送信してもよい。次に、段階R_SEL 603において、ホストは選択された周辺機器を示す選択メッセージを受領してもよい。段階PRF 604では、ホストは、選択された周辺機器が接続されているかどうかを判定する。接続されていなければ、本方法は段階TR_ID 602に続く。周辺機器が利用可能であり、ホストに結合されている場合には、本方法は、ドッキング対象として頭部装着可能装置をドッキングさせることによって、段階DOCK 605に続く。最後に、段階AC_PR 606において、ホストは選択された周辺機器へのアクセスを提供する。セッションが中断される場合には、本方法はノードEND 607で終了する。
実際上は、これらの方法はホスト・ソフトウェア(ホスト方法)およびドッキング対象ソフトウェア(ドッキング対象方法)、たとえばいわゆるアプリにおいて実装されてもよい。そのようなコンピュータ・プログラム・プロダクトは、ホストとドッキング対象との間の無線ドッキングのためであり、プロセッサにホスト方法またはドッキング対象方法を実行させるよう機能するプログラムを含む。よって、本発明は、プログラム可能コンポーネントを使ってハードウェアおよび/またはソフトウェアにおいて実装されうる。
本発明は主として無線ドッキングおよび別個の周辺機器を使った実施形態によって説明されてきたが、本発明は(ドッキング対象の役割をもつ)頭部装着可能装置が一つまたは複数の周辺機器もしくはサービスへのアクセスを得るまたは一つまたは複数の周辺機器もしくはサービスを共有するために(ホストの役割をもつ)さらなる無線装置に接続することを望む任意の無線システムのためにも好適である。よって、ホストは、ホストの役割を実行する任意の制御ユニットであってよく、他の何らかの装置に統合されていてもよく、装着者にとって可視である必要はない。周辺機器は、制御または対話のために装着者によって物理的に使用されることが意図されているすべての装置を含む。
周辺機器は、物理的なドッキング・システムまたはドッキング・ステーション(の一部)であってもよい。周辺機器はさらなる周辺機器をも含んでいてもよい。たとえば、周辺機器は、一つまたは複数のLEDまたはLEDストリップを備えた装置であってもよく、一つまたは複数のさらなる周辺機器を取り付けるためのさらなるコネクタを有していてもよい。ドッキング・ステーションは、一つまたは複数のディスプレイが位置されうるフレームであってもよい。それぞれのディスプレイがさらなるそれぞれの周辺機器である。フレームはたとえば、2×2の諸ディスプレイを受け入れてもよく、一方、どの位置がドッキングのために利用可能であるまたは意図されているかを示すために異なるLED信号が使われてもよい。ドッキング・ステーションはそれぞれのLED信号をアクティブ化してもよく、ホストはそれぞれの位置および対応するLED信号をドッキング対象に知らせてもよい。画像において、まずドッキング・ステーションが識別され、その後、ホストによって提供される追加的データに基づいて、ホストによって提供される周辺機器のうちの一つまたは複数、たとえばフレーム内の前記ディスプレイのうちの一つに対して接続がされる。
上記の記述は明確のために、種々の機能ユニットおよびプロセッサに言及しつつ本発明の実施形態を記述していることは理解されるであろう。しかしながら、本発明から外れることなく、異なる機能ユニットまたはプロセッサの間での機能のいかなる好適な配分が使われてもよいことは明白であろう。たとえば、別個のユニット、プロセッサまたはコントローラによって実行されるように示されている機能が同じプロセッサまたはコントローラによって実行されてもよい。よって、特定の機能ユニットへの言及は、厳密な論理的または物理的構造または編成を示すのではなく、単に記載される機能を提供するための好適な手段への言及とみなされるものである。本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含むいかなる好適な形で実装されてもよい。
本稿において、「有する/含む」の語は、挙げられている以外の要素や段階の存在を排除しないこと、要素の単数表現はそのような要素の複数の存在を排除しないこと、参照符号があったとしても特許請求の範囲を限定するものではないこと、本発明がハードウェアおよびソフトウェアの両方によって実装されてもよいこと、いくつかの「手段」または「ユニット」がハードウェアまたはソフトウェアの同じ項目によって表現されうること、プロセッサが、可能性としてはハードウェア要素と協働して一つまたは複数のユニットの機能を充足してもよいことを注意しておく。さらに、本発明は前記実施形態に限定されるのではなく、本発明は上記のまたは互いに異なる従属請求項に記載された一つ一つの事項または該事項の組み合わせにある。

Claims (15)

  1. 少なくとも一つのホストと、前記少なくとも一つのホストに結合された複数の周辺機器と、ドッキング対象とを有するドッキング・システムであって、
    前記ホストは前記ドッキング対象との無線ドッキングのために構成されており、ホスト・プロセッサを有しており、前記ホスト・プロセッサは、
    ・周辺機器メッセージを送信する段階であって、各周辺機器メッセージは少なくとも一つの周辺機器のサービスの利用可能性を示す周辺機器データを含む、段階と、
    ・前記ドッキング対象とドッキングする段階と、
    ・選択された周辺機器を示す選択メッセージを受信する段階と、
    ・前記ドッキング対象のために、前記選択された周辺機器へのアクセスを提供する段階とを実行するよう構成されており、
    前記ドッキング対象は、無線ドッキングのために構成された頭部装着可能装置であり、
    前記頭部装着可能装置は
    ・前記周辺機器を含む動作環境の画像を捕捉するためのカメラと、
    ・ドッキング対象プロセッサとを有し、前記ドッキング対象プロセッサは、
    ・前記周辺機器メッセージを受領する段階と、
    ・前記周辺機器を識別するために前記画像を処理する段階と、
    ・前記頭部装着可能装置を介して、装着者の観察方向に基づいて前記動作環境内の焦点位置を検出する段階と、
    ・前記焦点位置を使って、前記識別された周辺機器のうちから周辺機器を選択する段階と、
    ・受領された周辺機器メッセージに依存して前記選択された周辺機器へのアクセスを提供するホストを決定することによって、選択されたホストを決定する段階と、
    ・前記選択されたホストにドッキングする段階と、
    ・前記選択された周辺機器を示す選択メッセージを送る段階と、
    ・前記選択された周辺機器にアクセスして、前記選択された周辺機器のサービスを使う段階とを実行するよう構成されている、
    ドッキング・システム。
  2. ・少なくとも一つの周辺機器および/または前記ホスト・プロセッサが、前記周辺機器のディスプレイ上に表示されるアクティブ視覚マーカーを提供するよう構成されており、
    ・前記ドッキング対象プロセッサが、前記画像において前記視覚マーカーを検出することによって前記周辺機器を識別するよう構成されている、
    請求項1記載のドッキング・システム。
  3. 請求項1記載のシステムにおいて使うための頭部装着可能装置であって、
    ・前記周辺機器を含む動作環境の画像を捕捉するためのカメラと、
    ・ドッキング対象プロセッサとを有し、前記ドッキング対象プロセッサは、
    ・前記周辺機器メッセージを受領する段階と、
    ・前記周辺機器を識別するために前記画像を処理する段階と、
    ・当該頭部装着可能装置を介して、装着者の観察方向に基づいて前記動作環境内の焦点位置を検出する段階と、
    ・前記焦点位置に基づいて、前記識別された周辺機器のうちから周辺機器を選択する段階と、
    ・受領された周辺機器メッセージに依存して前記選択された周辺機器へのアクセスを提供するホストを決定することによって、選択されたホストを決定する段階と、
    ・前記選択されたホストにドッキングする段階と、
    ・前記選択された周辺機器を示す選択メッセージを送る段階と、
    ・前記選択された周辺機器にアクセスして、前記選択された周辺機器のサービスを使う段階とを実行するよう構成されている、
    頭部装着可能装置。
  4. 当該頭部装着可能装置は、当該頭部装着可能装置を介して装着者によって知覚される前記動作環境の上にオーバーレイを表示する表示ユニットを有しており、前記ドッキング対象プロセッサは、前記オーバーレイを生成し、その中で前記周辺機器のうちの少なくとも一つに視覚的にマーク付けするよう構成される、請求項3記載の頭部装着可能装置。
  5. 前記ドッキング対象プロセッサが、前記マーク付けを、
    ・前記周辺機器の装着者への距離に基づいて前記周辺機器に視覚的に優先順位を付けること;
    ・前記周辺機器を使った前記ドッキング対象の以前のセッションのセッション情報に基づいて前記周辺機器を視覚的に優先順位付けすること;
    ・装着者の現在状態に基づいて前記周辺機器に視覚的に優先順位付けすること;または
    ・利用可能だが装着者によって知覚される前記動作環境においては見えない周辺機器を視覚的に示すこと
    のうちの少なくとも一つによって行なうよう構成されている、
    請求項4記載の頭部装着可能装置。
  6. 前記ドッキング対象プロセッサが、
    ・前記動作環境に対する観察方向を示すものとして前記画像における中心位置を取ることによって、前記カメラを介して前記焦点位置を検出する段階であって、前記焦点位置は真正面を見ている装着者の視野における中心位置に対応する、段階と、
    ・前記焦点位置に最も近い周辺機器を選択する段階とを実行するよう構成されている、
    請求項3ないし5のうちいずれか一項記載の頭部装着可能装置。
  7. 前記ドッキング対象プロセッサが、
    ・装着者の目の実際の配向を検出し、前記実際の配向の中心配向からのオフセットを決定することによって視線方向を検出し、前記オフセットに依存して前記焦点位置をシフトさせるよう構成されている、
    請求項6記載の頭部装着可能装置。
  8. 前記ドッキング対象プロセッサは、装着者の目から周辺機器までの観察距離を検出し、前記観察距離に依存して前記焦点位置をシフトさせるよう構成されている、請求項7記載の頭部装着可能装置。
  9. 前記ドッキング対象プロセッサは、事前構成されたセットアップを参照することによって前記動作環境における周辺機器を識別するよう構成されており、前記事前構成されたセットアップは前記動作環境における前記複数の周辺機器の位置を定義する、請求項3ないし8のうちいずれか一項記載の頭部装着可能装置。
  10. 前記ドッキング対象プロセッサは、周辺機器の視覚的属性に基づいて周辺機器を認識することによって、前記動作環境における周辺機器を識別するよう構成されている、請求項3ないし9のうちいずれか一項記載の頭部装着可能装置。
  11. 前記ドッキング対象プロセッサは、前記画像における視覚マーカーを検出することによって前記周辺機器を識別するよう構成されている、請求項3ないし10のうちいずれか一項記載の頭部装着可能装置。
  12. 前記視覚マーカーが、
    ・QRコード(登録商標)またはバーコード;
    ・グラフィック記号および/またはテキストを有するラベル;
    ・前記周辺機器のディスプレイ上に表示されるアクティブ視覚マーカー
    である、請求項11記載の頭部装着可能装置。
  13. 請求項1記載のシステムにおいてドッキング対象としての頭部装着可能装置において使うためのドッキング対象のドッキング方法であって、
    ・前記周辺機器メッセージを受領する段階と、
    ・前記周辺機器を識別するために前記画像を処理する段階と、
    ・前記頭部装着可能装置を介して、装着者の観察方向に基づいて前記動作環境内の焦点位置を検出する段階と、
    ・前記焦点位置に基づいて、前記識別された周辺機器のうちから周辺機器を選択する段階と、
    ・受領された周辺機器メッセージに依存して前記選択された周辺機器へのアクセスを提供するホストを決定することによって、選択されたホストを決定する段階と、
    ・前記選択されたホストにドッキングする段階と、
    ・前記選択された周辺機器を示す選択メッセージを送る段階と、
    ・前記選択された周辺機器にアクセスして、前記選択された周辺機器のサービスを使う段階とを含む、
    方法。
  14. 請求項2記載のシステムにおいてホストにおいて使うためのホストのドッキング方法であって、前記ホストは、ドッキング対象と無線ドッキングし、前記ドッキング対象のために前記周辺機器のうちの少なくとも一つへのアクセスを提供するよう構成されており、当該方法は、
    ・周辺機器メッセージを送信する段階であって、各周辺機器メッセージは少なくとも一つの周辺機器のサービスの利用可能性を示す周辺機器データを含む、段階と、
    ・前記周辺機器のディスプレイ上に表示されるアクティブ視覚マーカーを提供する段階と、
    ・前記ドッキング対象としての頭部装着可能装置をドッキングさせる段階と、
    ・前記選択された周辺機器を示す選択メッセージを受信する段階と、
    ・前記ドッキング対象のために、前記選択された周辺機器へのアクセスを提供する段階とを含む、
    方法。
  15. プロセッサに請求項13または14記載の方法を実行させるよう機能する、ホストとドッキング対象との間のドッキングのためのコンピュータ・プログラム。
JP2017518066A 2014-10-06 2015-09-30 ドッキング・システム Active JP6214828B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14187768 2014-10-06
EP14187768.8 2014-10-06
PCT/EP2015/072496 WO2016055317A1 (en) 2014-10-06 2015-09-30 Docking system

Publications (2)

Publication Number Publication Date
JP6214828B1 true JP6214828B1 (ja) 2017-10-18
JP2017534974A JP2017534974A (ja) 2017-11-24

Family

ID=51730341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017518066A Active JP6214828B1 (ja) 2014-10-06 2015-09-30 ドッキング・システム

Country Status (9)

Country Link
US (1) US20170242480A1 (ja)
EP (1) EP3204837B1 (ja)
JP (1) JP6214828B1 (ja)
CN (1) CN107003739B (ja)
BR (1) BR112017006797A2 (ja)
RU (1) RU2017115844A (ja)
TR (1) TR201901086T4 (ja)
TW (1) TWI728956B (ja)
WO (1) WO2016055317A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812197B (zh) 2014-12-30 2020-07-14 华为技术有限公司 位转发入口路由器、位转发路由器及操作管理维护检测方法
US10559279B2 (en) 2016-10-21 2020-02-11 Hewlett-Packard Development Company, L.P. Wireless head-mounted device
CN111010865B (zh) 2017-02-24 2023-07-25 梅西莫股份有限公司 用于显示医疗监测数据的系统
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
US10510161B2 (en) 2017-03-24 2019-12-17 Varian Medical Systems, Inc. Patient-mounted or patient support-mounted camera for position monitoring during medical procedures
KR102559598B1 (ko) 2017-05-08 2023-07-25 마시모 코오퍼레이션 동글을 이용하여 의료 시스템을 네트워크 제어기에 페어링하기 위한 시스템
TWI643167B (zh) * 2017-08-25 2018-12-01 湛雲國際股份有限公司 雙螢幕顯示器之管理系統
KR102441407B1 (ko) * 2017-12-14 2022-09-07 한국전자통신연구원 스마트 글라스를 이용한 발화자 선택 장치 및 방법
EP3791377A4 (en) * 2018-05-08 2021-04-07 Square Panda Inc. IDENTIFICATION SYSTEM AND METHOD FOR PERIPHERAL DEVICES
US10896144B2 (en) 2018-05-08 2021-01-19 International Business Machines Corporation Automated configuring of computer system settings for peripheral device(s)
CN108810151B (zh) * 2018-06-15 2021-05-25 恒生电子股份有限公司 多系统间的对接适配方法、装置及存储介质和电子设备
US20210311893A1 (en) * 2018-12-24 2021-10-07 Intel Corporation Systems and methods for pairing devices using visual recognition
US10757561B2 (en) * 2019-03-29 2020-08-25 Intel Corporation Wi-Fi docking in dense environment
CN112019756B (zh) * 2020-10-06 2021-05-18 盛夏 一种基于5g的智能可穿戴设备的控制方法及系统
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
JP2024509722A (ja) 2021-02-08 2024-03-05 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるユーザ相互作用
WO2022170222A1 (en) * 2021-02-08 2022-08-11 Multinarity Ltd Content sharing in extended reality
CN117043709A (zh) * 2021-02-08 2023-11-10 视域电脑有限公司 用于生产力的扩展现实
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
BE1030488B1 (nl) * 2022-04-29 2023-12-04 Rods&Cones Holding Bv Werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie
US20240112428A1 (en) 2022-09-30 2024-04-04 Sightful Computers Ltd Displaying virtual content on moving vehicles

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4241724B2 (ja) * 2005-12-16 2009-03-18 ブラザー工業株式会社 通信システム、周辺機器、及び、プログラム
JP2008225991A (ja) * 2007-03-14 2008-09-25 Nec Computertechno Ltd 次動作予測準備マルチメディア装置
US7779193B2 (en) * 2007-08-03 2010-08-17 Intel Corporation Method and apparatus for external data transfer in a personal storage device
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP5685935B2 (ja) * 2010-12-28 2015-03-18 ブラザー工業株式会社 制御装置及びプログラム
CN103385013B (zh) * 2011-03-01 2017-09-15 皇家飞利浦有限公司 用于使能设备间的无线安全通信的方法
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US9517776B2 (en) * 2011-12-29 2016-12-13 Intel Corporation Systems, methods, and apparatus for controlling devices based on a detected gaze
US20150084864A1 (en) * 2012-01-09 2015-03-26 Google Inc. Input Method
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
DE202013012744U1 (de) * 2012-04-13 2019-02-06 Sony Corporation Drahtlose Kommunikationsvorrichtung, Informationsverarbeitungsvorrichtung
KR101861380B1 (ko) * 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
US20150193977A1 (en) * 2012-08-31 2015-07-09 Google Inc. Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
US9426184B2 (en) * 2012-11-27 2016-08-23 Qualcomm Incorporated Dockee-centric wireless docking
US20140152538A1 (en) * 2012-11-30 2014-06-05 Plantronics, Inc. View Detection Based Device Operation
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
US20160033770A1 (en) * 2013-03-26 2016-02-04 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
JP6108926B2 (ja) * 2013-04-15 2017-04-05 オリンパス株式会社 ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法
CN105340328B (zh) * 2013-05-01 2019-04-02 Lg电子株式会社 用于执行无线对接服务的方法和设备
US20140351480A1 (en) * 2013-05-23 2014-11-27 Samsung Electronics Co., Ltd. Method and apparatus for managing wireless docking network
CN103532982A (zh) * 2013-11-04 2014-01-22 祝贺 基于可穿戴设备授权的方法、装置和系统
CN103677631A (zh) * 2013-11-15 2014-03-26 北京智谷睿拓技术服务有限公司 信息交互方法及信息交互装置
CN103809751A (zh) * 2014-02-12 2014-05-21 北京智谷睿拓技术服务有限公司 信息共享方法及信息共享装置

Also Published As

Publication number Publication date
CN107003739A (zh) 2017-08-01
CN107003739B (zh) 2020-10-27
RU2017115844A (ru) 2018-11-12
EP3204837B1 (en) 2018-11-28
TR201901086T4 (tr) 2019-02-21
TW201624304A (zh) 2016-07-01
WO2016055317A1 (en) 2016-04-14
TWI728956B (zh) 2021-06-01
BR112017006797A2 (pt) 2018-01-09
US20170242480A1 (en) 2017-08-24
EP3204837A1 (en) 2017-08-16
JP2017534974A (ja) 2017-11-24
RU2017115844A3 (ja) 2019-05-08

Similar Documents

Publication Publication Date Title
JP6214828B1 (ja) ドッキング・システム
US11445026B2 (en) Methods, systems, and media for indicating a security status of an internet of things device
US20170359456A1 (en) Communication system comprising head wearable devices
WO2016002445A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20130179303A1 (en) Method and apparatus for enabling real-time product and vendor identification
EP2940975A1 (en) Wireless communication system
JP7064040B2 (ja) 表示システム、及び表示システムの表示制御方法
US20170083276A1 (en) User terminal device, electronic device, and method of controlling user terminal device and electronic device
US20240256052A1 (en) User interactions with remote devices
KR101715828B1 (ko) 단말 및 그의 제어 방법
JP2016177097A5 (ja)
US20160117553A1 (en) Method, device and system for realizing visual identification
JP2016503993A (ja) モバイルデバイスおよびワイヤレスリンクを確立するための方法
CN106325378B (zh) 用于虚拟现实中的基于上下文的应用分组的方法和装置
KR101809673B1 (ko) 단말 및 그의 제어 방법
CN105468171A (zh) 显示系统及显示系统的显示方法
KR20150105131A (ko) 증강현실 제어 시스템 및 제어 방법
KR20180022528A (ko) 단말 및 그의 제어 방법
EP3477434B1 (en) Information processing device, information processing method, and program
JP7210884B2 (ja) 情報処理装置、表示システム及びプログラム
US20150169568A1 (en) Method and apparatus for enabling digital memory walls
KR102516278B1 (ko) 미디어 패널에 대한 직관적인 컨트롤 환경을 제공하는 사용자 단말, 서버, 및 디스플레이 장치
US20140227977A1 (en) Method, node, device, and computer program for interaction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170403

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170403

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170403

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170919

R150 Certificate of patent or registration of utility model

Ref document number: 6214828

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250