JP6383724B2 - ハンズフリー緊急対応を伴うヘッドセットコンピュータ - Google Patents

ハンズフリー緊急対応を伴うヘッドセットコンピュータ Download PDF

Info

Publication number
JP6383724B2
JP6383724B2 JP2015524331A JP2015524331A JP6383724B2 JP 6383724 B2 JP6383724 B2 JP 6383724B2 JP 2015524331 A JP2015524331 A JP 2015524331A JP 2015524331 A JP2015524331 A JP 2015524331A JP 6383724 B2 JP6383724 B2 JP 6383724B2
Authority
JP
Japan
Prior art keywords
user
functions
headset computer
headset
original user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015524331A
Other languages
English (en)
Other versions
JP2015532028A5 (ja
JP2015532028A (ja
Inventor
ジェイコブセン・ジェフリー・ジェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kopin Corp
Original Assignee
Kopin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kopin Corp filed Critical Kopin Corp
Publication of JP2015532028A publication Critical patent/JP2015532028A/ja
Publication of JP2015532028A5 publication Critical patent/JP2015532028A5/ja
Application granted granted Critical
Publication of JP6383724B2 publication Critical patent/JP6383724B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/04Supports for telephone transmitters or receivers
    • H04M1/05Supports for telephone transmitters or receivers specially adapted for use on head, throat or breast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6058Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6058Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72418User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72418User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services
    • H04M1/72421User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services with automatic activation of emergency service functions, e.g. upon sensing an alarm
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication

Description

関連出願
本願は、2012年7月25日に出願された米国仮特許出願第61/675,546号の優先権を主張する。上記の出願の全内容は参照により本明細書に組み込まれる。
ノートPC、スマートフォン、およびタブレットコンピューティングデバイス等のモバイルコンピューティングデバイスは、現在、ビジネスと私生活の両方において、データを生成、分析、伝達および消費するために用いられる一般的なツールとなっている。高速ワイヤレス通信技術のユビキタス化とともに、デジタル情報へのアクセスの容易さが増すため、消費者は、モバイルデジタルライフスタイルを享受し続けている。モバイルコンピューティングデバイスの一般的な用途は、多くの場合、デバイスにワイヤレスでストリーム配信される大量の高解像度のコンピュータグラフィックス情報およびビデオコンテンツの表示を含む。これらのデバイスは、典型的には、表示スクリーンを含むが、そのようなデバイスの物理的な大きさが可動性の向上のために制限されるため、高解像度の大型ディスプレイの好ましい視覚体験は、そのようなモバイルデバイスでは容易に再現され得ない。上述のデバイスのタイプの別の欠点は、ユーザインターフェースが、手に依存するものであり、典型的には、ユーザが、物理的または仮想的なキーボードまたはタッチスクリーンディスプレイを用いてデータ入力や選択を行う必要があることである。結果として、消費者は、現在、手に依存するモバイルデバイスを拡張するまたはこれに取って代わる、ハンズフリーの高品質で携帯可能なカラー表示のソリューションを求めている。
本願は、潜在的に安全でないまたは個人的に悪条件の環境にいる際に、個人がヘッドセットコンピュータを装着している可能性のある時を判定するヘッドセットコンピュータに関し、この状況が検出されると、1つ以上のセキュリティ機能がイネーブルとなる。
ヘッドセットコンピュータ(HSC)は、個人攻撃等の身を脅かす状況を検出する1つ以上のセンサと、カメラと、マイクロフォンと、加速度センサおよび位置センサ等のセンサと、さらには音声認識、音声分析、およびジェスチャ認識等のユーザインターフェース機能とを含む。
一実施例において、特定の口頭表現および/またはハンドジェスチャが、緊急対応モードを作動させる。この緊急対応モードにおいて、HSCは、例えば、マイクロフォンおよび/またはカメラをオンにしてオーディオおよび/またはビデオを記録する、無音のワイヤレス通話を作動させてサービスプロバイダおよび/または緊急機関に警報を出す等の、ある特定の機能を作動させる、または、例えば、記録したオーディオおよび/またはビデオをブロードキャストする、検出されたバイオメトリクスおよび/またはHSCの近傍において検出された緊急事態に関する位置情報をブロードキャストする等の、さらに高性能な機能を作動させる。ブロードキャスティングの代わりにオーディオ/ビデオのストリーム配信を代替手段として用いてもよい。
このモードにおいて、HSCを用いて、敵対する人物が所有するワイヤレスデバイスを遠隔操作して、その人物の個人ID、連絡先、通話、およびe−mail等の更なる情報を得ることもできる。
これらの特定の緊急機能によって、サービスプロバイダまたは緊急事態対応者は、HSCの位置を追跡および判定すること、法的執行機関の当局者によるさらなる追跡のために事象を記録および文書化すること、および/または個人攻撃に対する他の適切な対応をサポートすることができる。
これらの機能は、一般的に、特定の機能が作動されたことにHSCの所有者を攻撃する敵対者が気付かないような方法で操作されることが好ましい。
さらに詳細には、誰かがヘッドセットコンピュータをその所有者から取り外そうとする状況を考える。これは、一般的に、この所有者が悪条件の環境にあるまたは誰かと対面下にある、おそらくは人の携帯電話を盗む暴漢や盗人によく共通するように強奪されている最中であることを意味する。明確にするために、以下では、本来の/正当なユーザを、「ユーザ」と呼び、盗人/正当でないユーザを「盗人」と呼ぶ。
盗人は、そのデバイスを使用するという即座の満足を求めているが、そのデバイスはそれ自体どのようにしても停止状態にあるまたは操作不可能とされている場合、盗人は、動揺すると思われ、起こり得る結果は、盗人がそのデバイスを壊す、またはもしかするとその所有者に危害を加えることであろう。ここで述べる手法は、特定のユーザが分かっている発言(パスワード)または一組のジェスチャを用いて緊急対応モードを作動させることを可能とすることである。このモードにおいて、多数の機能が無音で作動される。
無音の通話は、北米の911番の緊急事態対応者になされ得る。
カメラはオンにされて、カメラが捉える全ての顔についてのバイオメトリクスを得ることができる、またはライブ(リアルタイム)のストリーミングビデオを無線サービスプロバイダコールセンタおよび/または警察にブロードキャストでき、または保存できる。
マイクロフォンはオンにされて、マイクロフォンが認識する全てのボイスについてのバイオメトリクスを得ることができる、またはライブのストリーミングオーディオを無線サービスプロバイダコールセンタおよび/または警察にブロードキャストでき、または保存できる。
GPSおよび/または他の位置センサは、直接、サービスプロバイダコールセンタおよび/または警察に位置情報を送信できる。
この手法は、HSCの所有者が自分のデバイスを制御することと、出来る限り少ないストレスでおよび出来る限り少ない身体への危害でその状況から逃げることとを可能にし、当該技術、無線サービスプロバイダ、および警察がこの状況に対処することを可能にする。
緊急対応モードはまた、盗人が気づくことなくHSCの機能のすべてにわたる遠隔制御を可能にする。例えば、令状を取得して、法的執行機関職員は、盗まれたHSCを操作して、近傍に他のワイヤレスデバイスがないか走査し、その他のワイヤレスデバイスとペアリングして、それらのデバイスを通じて遠隔制御を行使してもよい。次いでペアリングした盗人のワイヤレスデバイスから、例えば、電話の通話履歴、テキストメッセージ、e−mail、連絡先リスト等のデータをコピーして、さらに犯罪者を逮捕することを援助することができる。
さらなる遠隔操作機能を、HSCにリモートで送信可能なパスワードを介して作動させて、デバイスが盗まれて緊急事態が収まった後に、盗人が作動させたパスワードまたは音声認識の設定等をオーバーライドすなわち無効としてもよい。このようにして、すべてのHSC機能が、サービスプロバイダ、警察、またはユーザの遠隔制御のもと、もたらされる。HSCは、現場で動作を続け、ヘッドセットを盗んだ盗人は基本的に、デバイスの電源が入っている限り、HSCが遠隔監視および制御されることを止めることはできない。
HSCは、また、ワイヤレス接続性の走査、例えば、WiFiおよびブルートゥース(登録商標)のリソースの走査を行って、盗まれたHSCのすぐ近くにおけるブルートゥース(登録商標)およびWiFiデバイスおよびリソースを特定してもよい。この追加の情報を用いて、紛失したヘッドセットや盗まれたヘッドセットをさらに追跡し、捜索し、そのヘッドセットを取り戻す能力を高めることができる。
さらに、「ワイヤレスコンピューティングヘッドセット」デバイスは、画像を拡大する1つ以上の小型高解像度マイクロディスプレイおよび光学系を含む。WVGAマイクロディスプレイは、スーパービデオグラフィックスアレイ(SVGA)(800×600)解像度またはエクステンデッドグラフィックスアレイ(XGA)(1024×768)解像度またはさらに高い解像度を提供できる。ワイヤレスコンピューティングヘッドセットは、データ転送およびストリーミングビデオ能力を可能にする1つ以上のワイヤレスコンピューティングインターフェースおよび通信インターフェースを含み、手に依存するデバイスより高い利便性および可動性を提供する。このようなデバイスに関するさらなる情報については、2009年1月5日に出願されたJacobsenらによる「Mobile Wireless Display Software Platform for Controlling Other Systems and Devices」と題された米国同時係属特許出願第12/348,646号、2009年3月27日に出願された、「Handheld Wireless Display Devices Having High Resolution Display Suitable For Use as a Mobile Internet Device」と題されたPCT国際出願第PCT/US09/38601号、および2012年4月25日に出願された「Improved Headset Computer」と題された米国特許出願第61/638,419号を参照されたい。各出願は、その全体が参照により本明細書に組み込まれる。
本発明により提案される手法は、ヘッドセットコンピュータの動作を制御する方法を含み、前記方法は、差し迫った緊急事態を示す入力であって、本来のユーザからの一定の入力(certain input)を受信することと、前記本来のユーザからの前記受信した一定の入力に応じて、緊急対応モードを作動させて、それによって、標準的なヘッドセットコンピュータの機能は、前記本来のユーザまたは他のユーザのどちらかが用いるために作動させた(active)ままであるが、以下の1つ以上の機能を行わせることとを含む。すなわち、
オーディオまたはビデオストリーム(ライブのデータ)のうちの少なくとも1つを取り込むこと。
取り込んだ画像と1つ以上のテンプレート画像とを比較して、近傍にいる1人以上の人物の画像バイオメトリック同定データを決定すること。
現在などの位置情報を決定すること。ならびに、
前記取り込んだオーディオまたはビデオストリームデータ、前記決定したバイオメトリック同定データ、および前記決定した位置情報のうちの少なくとも1つを、サービスプロバイダ、法的執行機関、およびセキュリティ組織のうちの少なくとも1つに転送すること。
前記1つ以上の機能が、さらに、取り込んだボイスオーディオデータと1つ以上のテンプレートボイスとを比較して、前記近傍にいる1人以上の人物のボイスバイオメトリック同定データを決定することを含む方法を、提案される手法がさらに含む。前記1つ以上の機能が、前記ヘッドセットコンピュータの所定(例えば予め定められた閾値)の近傍内で1つ以上のワイヤレスデバイスを特定することをさらに含む方法を、提案される手法がさらに含む。提案される手法は、さらに、前記ヘッドセットコンピュータを前記特定した1つ以上のワイヤレスデバイスのうちの少なくとも1つと自動的にペアリングする。前記1つ以上の機能が、前記特定した1つ以上のワイヤレスデバイスのうちのペアリングされたものから、個人情報をコピーすることをさらに含む方法を、提案される手法がさらに含む。前記1つ以上の機能が、前記他のユーザによってなされたパスワードの変更をオーバーライドすることをさらに含む方法を、提案される手法がさらに含む。
前記本来のユーザからの前記受信した一定の入力が、口頭によるフレーズ、頭部の動き、またはハンドジェスチャを含む方法を、提案される手法がさらに含む。前記本来のユーザからの前記受信した一定の入力が、画像、音、地理的位置、周りを含めた全体的位置、方位、大気状態、圧力、健康状態、環境、エネルギー、加速度、高度、運動、速度、速さ、または可視光、赤外線および紫外線を含む光、を含む方法を、提案される手法がさらに含む。前記1つ以上の機能が、前記他のユーザが、前記1つ以上の機能が行われることに気付かないように、内密の様式で行われる方法を、提案される手法がさらに含む。
提案される手法は、ヘッドセットコンピュータの動作を制御する装置を含み、前記装置は、差し迫った緊急事態を示す入力であって、本来のユーザからの一定の入力を受信する受信ユニットと、前記本来のユーザからの前記受信した一定の入力に応じて、緊急対応モードを作動させて、それによって、標準的なヘッドセットコンピュータの機能は、前記本来のユーザまたは他のユーザのどちらかが用いるために作動させたままであり、以下の1つ以上の機能を行わせる対応作動ユニットとを備える。すなわち、
オーディオまたはビデオのストリームおよび/またはデータのうちの少なくとも1つを取り込むこと。
取り込んだ画像と1つ以上のテンプレート画像とを比較して、近傍にいる1人以上の人物の画像バイオメトリック同定データを決定すること。
位置情報を決定すること。ならびに、
前記取り込んだオーディオまたはビデオストリーム、前記決定したバイオメトリック同定データ、および前記位置情報のうちの少なくとも1つを、サービスプロバイダ、法的執行機関、およびセキュリティ組織のうちの少なくとも1つに転送すること。
提案される手法は、前記対応作動ユニットが、取り込んだボイス(オーディオ)データと1つ以上のテンプレートボイスとを比較して、前記近傍にいる1人以上の人物のボイスバイオメトリック同定データを決定する装置を、さらに含む。提案される手法は、前記対応作動ユニットが、前記ヘッドセットコンピュータの所定の(例えば予め定められた)近傍内で1つ以上のワイヤレスデバイスを特定する装置を、さらに含む。
提案される手法は、前記対応作動ユニットが、前記ヘッドセットコンピュータを前記特定した1つ以上のワイヤレスデバイスのうちの少なくとも1つと自動的にペアリングする装置を、さらに含む。提案される手法は、前記対応作動ユニットが、前記特定した1つ以上のワイヤレスデバイスのうちのペアリングされたものから、個人情報をコピーする装置を、さらに含む。提案される手法は、前記対応作動ユニットが、前記他のユーザによってなされたパスワードの変更をオーバーライドする装置を、さらに含む。
提案される手法は、前記本来のユーザからの前記受信した一定の入力が、口頭によるフレーズ、頭部の動き、またはハンドジェスチャを含む装置を、さらに含む。提案される手法は、前記本来のユーザからの前記受信した一定の入力が、画像、音、地理的位置、周りを含めた全体的位置、方位、大気状態、圧力、健康状態、環境、エネルギー、加速度、高度、運動、速度、速さ、または可視光、赤外線および紫外線を含む光、を含む装置を、さらに含む。提案される手法は、前記他のユーザが前記1つ以上の機能が行われることに気付かないように、前記対応作動ユニットによって内密の様式で前記1つ以上の機能が行われる装置を、さらに含む。
上記は、以下の本発明の例示的な実施形態のさらに具体的な説明から明らかになるであろう。添付図面において、異なる図全体にわたり、同様の部分は同様の参照符号で示す。図面は必ずしも原寸に比例しておらず、本発明の実施形態の説明に重点が置かれている。
本発明の原理によるヘッドセットコンピュータおよびホストコンピュータ(例えば、スマートフォン、ラップトップコンピュータ等)と協働するヘッドセットコンピュータの例示的な実施形態を示す。 本明細書で述べる手法が実装され得るヘッドセットコンピュータの一の種類の斜視図である。 図1A〜1Bの実施形態におけるデータの流れと制御を示すブロック図である。 ヘッドセットコンピュータのコンポーネントに関する電子システムのハイレベルブロック図である。 緊急対応状況が検出される場合に操作を制御するようにヘッドセット内のプロセッサによって実行される処理のフロー図である。
図1Aおよび1Bは、高解像度(VGAまたはそれ以上)マイクロディスプレイ要素1010と以下に記載の他の機能とを組み込んだワイヤレスコンピューティングヘッドセットまたはヘッドマウントデバイス100(本明細書においてヘッドセットコンピュータ(HSC)ともいう)の例示的な実施形態を示す。HSC100は、以下を有する音声入力デバイスおよび/または音声出力デバイスを含んでよい:ヘッドセットに組み込まれおよび/または統合された、および/または1つ以上の周辺機器ポートを介してデバイスに取り付けられた、1つ以上のマイクロフォン、スピーカ、地理測位センサ(GPS)、3軸〜9軸自由度方位センサ、大気センサ、健康状態センサ、デジタルコンパス、圧力センサ、環境センサ、エネルギーセンサ、加速度センサ、位置用、姿勢または高度用、運動用、速度用および/もしくは光用センサ、カメラ(可視光、赤外線等)、多数のワイヤレス無線、補助照明、距離計、等、ならびに/またはセンサのアレイ(図1Bでは詳細は不図示)。ヘッドセットコンピューティングデバイス100の筐体内に典型的に配置されるのは、マイクロコンピュータ(シングルまたはマルチコアプロセッサ)、1つ以上の有線および/または無線通信インターフェース、メモリまたは記憶装置、さまざまなセンサ、および符号1020での「ホットシュー」等の周辺マウントを含むさまざまな電子回路である。
HSC100の例示的な実施形態は、ボイスコマンド、頭部の動き110、111、112、およびハンドジェスチャ113の感知、またはこれらの任意の組み合わせにより、ユーザ入力を受け入れ可能である。HSC100に操作可能に接続され、または好ましくはHSC100に統合されたマイクロフォン(複数可)は、音声コマンドを捉えるのに用いることができ、そしてそれらの音声コマンドは、自動音声認識技術を用いてデジタル化されて処理される。ジャイロスコープ、加速度計、および他のマイクロ−電子機械的システムセンサは、HSC100に統合され、ユーザの頭部の動きを追跡するのに用いられて、ユーザ入力コマンドを提供することができる。カメラ1020または他の運動追跡センサは、ユーザ入力コマンドのためのユーザのハンドジェスチャをモニタするのに用いられ得る。このようなユーザインターフェースは、他のモバイルデバイスの手に依存する形態を克服する。
ヘッドセットコンピューティングデバイス100は、様々な方法で用いられ得る。ヘッドセットコンピューティングデバイス100は、リモートホストコンピューティングデバイス200から受信するストリーミングビデオ信号のためのリモートディスプレイとして用いられ得る(図1Aに示す)。ホスト200は、例えば、ラップトップコンピュータ、ノートPC、携帯電話、スマートフォン、タブレットデバイス、他のHSC100、または、ワイヤレスコンピューティングヘッドセットデバイス100よりも計算量が少ないもしくは多いその他のコンピューティングデバイス(クラウドベースネットワークリソース等)であってもよい。さらに、ホストは、インターネット等の他のネットワーク210に接続されてもよい。ヘッドセットコンピューティングデバイス100およびホスト200は、ブルートゥース(登録商標)、Wi−Fi(登録商標)、セルラー、LTE、WiMAX、または他のワイヤレス無線リンク150等の1つ以上の無線プロトコルを介して、ワイヤレスで通信してもよい。(ブルートゥースは、ワシントン州カークランド、レイク・ワシントン・ブールバード5209のBluetooth Sig, Inc.の登録商標である。Wi−Fiは、テキサス州オースチンのWi-Fi Alliance Corporationの登録商標である。)例示的な実施形態において、ホスト200は、例えば、インターネットまたは他のクラウドベースネットワークリソースへのワイヤレス接続を介する等により、他のネットワークにさらに接続されてもよく、それによって、ホスト200がワイヤレス中継器として機能できる。代替的に、HSC100のいくつかの例示的な実施形態は、ホストワイヤレス中継器を使用することなくインターネットおよびクラウドベースネットワークリソースにワイヤレス接続してもよい。
図1Bは、ヘッドセットコンピュータ100の例示的な実施形態のいくつかの詳細を示す斜視図である。例示的なHSC100は、一般的に、フレーム1000と、ストラップ1002と、筐体部1004と、スピーカ(複数可)1006と、カンチレバーまたはアーム1008と、マイクロディスプレイサブアセンブリ1010と、カメラ1020と、を含む。また、筐体1004内には、すぐに理解されるように、マイクロコンピュータ(シングルまたはマルチコア)と、1つ以上の有線もしくは無線インターフェースおよび/または光学インターフェースと、付随するメモリおよび/または記憶装置と、さまざまなセンサとを含む種々の電子回路が配置される。
電子回路は、マイクロディスプレイ要素1010のためのディスプレイドライバと、以下を含む入力および/または出力デバイスとを含む:ヘッドセットフレームに組み込まれ、および/または1つ以上の周辺機器ポートを介して取り付けられた、1つ以上のマイクロフォン(複数可)、スピーカ(複数可)、地理測位センサ、3軸〜9軸自由度方位検知センサ、大気センサ、健康状態センサ、GPS、デジタルコンパス、圧力センサ、環境センサ、エネルギーセンサ、加速度用、位置用、高度用、運動用、速度用もしくは光用センサ、カメラ(可視光、赤外線(IR)、紫外線(UV)等)、付加のワイヤレス無線(ブルートゥース(登録商標)、Wi−Fi(登録商標)、LTE、3Gセルラー、4Gセルラー、NFC、FM等)、補助照明、距離計、等、および/またはセンサのアレイ。(ブルートゥースは、ワシントン州カークランドのBluetooth Sig, Inc.の登録商標であり、Wi−Fiは、テキサス州オースチンのWi-Fi Alliance Corporationの登録商標である。)
HSCは、図示するようなヘッドマウントコンピュータだけでなく、ウェアラブルコンピュータ、デジタルアイウェア、電子めがね等のさまざまな物理的形態、および他の形態で具現化されてもよい。
また、HSC100内には、すぐに理解されるように、マイクロコンピュータ(シングルまたはマルチコア)、1つ以上のワイヤレスインターフェース、付随するメモリもしくは他の記憶装置、1つ以上のカメラ(光センサ)、および/または先に述べたさまざまなセンサを含む回路が配置される。カメラ(複数可)1020、運動センサ(複数可)、および/または位置センサ(複数可)は、ユーザの頭部、手、および/または体における、動きおよび/または位置を、少なくとも第1軸110(水平)において、好ましくは第2軸(垂直)112、第3軸(奥行き)113、第4軸(ピッチ)、第5軸(ロール)、および第6軸(ヨウ)においても、追跡するために用いられる。3軸磁気計(デジタルコンパス)を、ワイヤレスコンピューティングヘッドセットまたは周辺機器に完全な9軸自由度位置精度を提供するために付加してもよい。
HSC100は、また、少なくとも1つのマイクロフォンと、音声認識のための対応する電子機器および/またはプログラマブルプロセッサとを含む。音声は、HSC100に対する一次入力インターフェースであってよい。HSC100は、ユーザのボイスを検知し、ユーザのボイスとは異なるボイスを検知し、音声認識を用いて、コマンドを導き出すことができる。そして、HSC100は、音声認識から導き出されたコマンドを用いてさまざまな機能を実行する。
さまざまな種類のアクセサリを、符号1020においてポートとともに用いて、手の動き、頭部の動き、および/または音声入力を、次のものに限定はされないが、マイクロフォン、位置センサ、方位センサ、および先に述べた他のセンサ、カメラ、スピーカ等のシステムに提供してもよい。符号1020におけるような周辺機器ポート(複数可)の位置は、使用するアクセサリのさまざまな種類に応じておよびHSC100の他の実施形態に従って変更してもよいことを理解されたい。
頭部装着フレーム1000およびストラップ1002は、概して、ユーザがヘッドセットコンピュータデバイス100をユーザの頭部に装着できるように構成されている。筐体1004は、概して、マイクロプロセッサ、メモリまたは他の記憶装置、低電力ワイヤレス通信装置(複数可)等の電子機器を、他の付随する回路とともに収容する。スピーカ1006は、例えばマルチメディア・プレゼンテーションに含まれるオーディオ部分、またはユーザコマンドの認識を伝達する音声警報もしくはフィードバック等の情報がユーザに聞こえるように、ユーザに対してオーディオ出力を提供する。マイクロディスプレイサブアセンブリ1010は、視覚情報をユーザに表示するために用いられる。マイクロディスプレイサブアセンブリ1010は、アーム1008に接続される。アーム1008は、概して、マイクロディスプレイサブアセンブリがユーザの視野300内(図1A)、好ましくはユーザの目の前、または好ましくは目より少し下もしくは上の周辺視野内に、配置され得るように、物理的な支持を提供する。また、アーム1008は、マイクロディスプレイサブアセンブリ1010と、筐体ユニット1004内に収容された制御回路との間の電気的または光学的接続を提供する。
以下にさらに詳細に説明する局面によれば、HSCディスプレイデバイス100によって、ユーザは、仮想ディスプレイ400で区画されたかなり大きいエリア内の視野300を選択できる。ユーザは、典型的に、視野300の位置、大きさ(例えば、X−Yまたは3D範囲)および/または倍率を制御できる。
図1Aおよび1Bに示されるのは、ユーザの顔の前の視野内に片持ちブームで支持される単一の固定ディスプレイ要素を表す単眼マイクロディスプレイを有するHSC100である。しかし、遠隔制御ディスプレイデバイスHSC100の他の機械的構成も可能であることを理解されたい。
図2Aは、HSCデバイス100、ホスト200、およびHSCデバイス100とホスト200との間で移動するデータの更なる詳細を示すブロック図である。HSCデバイス100は、マイクロフォンを介したユーザからの音声入力と、位置および方位センサ、カメラ1020、または光センサ(複数可)を介した手の動きまたは体のジェスチャと、3軸〜9軸自由度方位検知等の頭部追跡回路を介した頭部の動きの入力とを受信する。これらのユーザ入力は、HSCデバイス100内のソフトウエアによって、コマンド(例えば、キーボードおよび/またはマウスコマンド)に変換され、そのコマンドは、次いでブルートゥース(登録商標)または他のワイヤレスインターフェース150を介してホスト200に送信される。ホスト200は、次いで、ホスト200自身のオペレーティングシステム/アプリケーションソフトウェアに従ってこれらの変換されたコマンドを解釈して、さまざまな機能を行う。コマンドの中には、仮想ディスプレイ400内で視野300を選択し、この選択された画面データをHSCデバイス100に返すものがある。このため、非常に大きなフォーマットの仮想ディスプレイエリアは、ホスト200上で実行されているアプリケーションソフトウェアまたはオペレーティングシステムに関連付けられてもよいことを理解されたい。しかし、視野300内のこの大きな仮想ディスプレイエリア400の一部のみが、HSCデバイス100のマイクロディスプレイ1010に返されて、このマイクロディスプレイ1010によって実際に表示される。
一実施形態では、HSC100は、その全体が参照により本明細書に組み込まれる、2011年2月1日に出願されたS.Pomboらによる「Wireless Hands-Free Computing Headset With Detachable Accessories Controllable By Motion, Body Gesture And/Or Vocal Commands」と題された本出願人の米国同時係属出願(米国特許出願第13/018,999号である)の公開公報第2011/0187640号に記載のHSCの形態をとってもよい。
他の例示的な実施形態において、本発明は、情報およびハンズフリーユーザ制御を提供するために、(スマートフォンまたはタブレット等の)外部の「スマート」デバイス200と協働するマイクロディスプレイ1010を有するHSC(または頭部装着ディスプレイ(HMD))100を用いる概念に関する。本実施形態は、少ない量のデータを送信することを必要とし、リアルタイムに実行される信頼性を向上したデータ転送方法を提供する。
したがって、この意味において、ワイヤレス接続150で送信されるデータの量は少なく、単に、スクリーンをどのようにレイアウトするか、どのテキストを表示するかについての指示、および例えば図面の矢印または背景の色、含める画像等の、他の様式上の情報についての指示である。
図2Bは、ヘッドセットコンピュータ100のコンポーネントのハイレベル(上位)の電子システムのブロック図である。図示するように、コンポーネントは、任意のプログラマブルデジタルコンピュータシステムと同様に、プロセッサ2100、メモリ2102、および大容量記憶装置2104を含む。さらに含まれるのは、マイクロディスプレイ2110、1つ以上のマイクロフォン2112、2114、スピーカ2106、2108、およびワイヤレス通信インターフェース(複数可)2105である。
本開示にとって重要であるのは、HSC100は、カメラ2120および加速度計2150、または他のセンサ2200(現在の位置情報、動作方向情報、および/または速さ情報を配信できる全地球測位システム(GPS)センサ等)も含むことである。
緊急対応モードがHSC100によって作動されるべき時を検出するために、プロセッサは、メモリ2102および/または他の記憶装置2104によって記憶されている命令2500およびアクセスデータ2510を実行する。プロセッサ2100は、例えば、ソフトウェアコードとして具現化された命令を実行してもよい。プロセッサ2100は、また、オペレーティングシステム2400およびオペレーティングシステム2400のコンテキスト内で実行されるアプリケーション2410を用いて、さまざまな機能を提供してもよい。
本明細書において興味深いのは、プロセッサは、また、記憶されている命令2500を実行して、音声処理2310、画像の取込み(キャプチャ)2350、および/または画像分析2360を行うことである。音声処理2310、画像キャプチャ2350、および画像分析2360は、好ましくはリアルタイムに発生し、そのため、好ましくは、オペレーティングシステム2400における低レベル(下位)のシステムコール、またはカーネルレベルの機能としてさえ実装される。しかし、いくつかの例において、これらはまた、オペレーティングシステム2400の上部(上層)で実行されるアプリケーション2410として実装されてもよい。
さらに詳細には、プロセッサは、自動的に音声認識機能、画像キャプチャ機能2350、および/または画像分析機能2360を用いて、優勢な力または威嚇的な力がHSC100の装着者を攻撃しているおよび/またはHSC100を盗もうとしている可能性のある時を判定し、緊急対応モードを作動させるようにプログラムされる。このモードにおいて、一般的な認識では、HSC100は、継続して通常に動作しているようにみえるが、実は一定のバックグラウンド機能を行っているということである。これにより、HSC100の装着者は、自らのデバイスを用いて近位で制御することをやめ、可能な限り装着者の個人の安全に対する危険を少なくしてその状況から逃げることを可能にし、同時にデバイスに組み込まれた技術がその事象に対応することを支援できる。
図3は、プロセッサ2100によって実行され得る緊急対応処理のフロー図である。最初のステップ3010において、緊急状況を示す一定の(予め定められた)口頭によるフレーズおよび/または頭部もしくは手のジェスチャ(複数可)が検出される。口頭によるフレーズは、HSC100を盗もうとしている盗人に直面している等の自分の個人的な安全を脅かす状況にユーザが遭遇したことを示すようユーザが予め設定した特定のパスフレーズまたはキーワードであってよい。また、フレーズの代わりに、予め定められた頭部および/またはハンドジェスチャも、緊急対応モードを作動させるために用いられてもよい。
こうしたフレーズのようなボイスコマンドは、マイクロフォン(複数可)2112、2114によって検出され、音声プロセッサ2310によって解釈される。一定の入力が、頭部および/またはハンドジェスチャ(複数可)である場合には、この入力はまず画像キャプチャ2350で検出され、次いで画像分析2360によってさらに検出/判定される。さらに、頭部のジェスチャ(複数可)は、まず、方位センサ2200によって予め定められた方位の変化によって検出され得る。この一定の入力の他の例は、地理的位置と、周りを含めた全体的位置と、方位と、大気状態、圧力、または健康状態の指示と、環境の指示と、センサ2200によるエネルギー、加速度、高度、運動、光、または速さ/速度の読み取りとを含む。
緊急対応モードに入ることによって、数々の事が起こる。ステップ3020において、追加のセンサおよび/または記録機能がイネーブルとされる。この間、ステップ3025において、通常のユーザインターフェース機能は継続する。これによって、緊急モードに入っても、特定のモードが作動されたことをとりたてて知らされることはない潜在的に敵対する人物、すなわち盗人、に知られないでその盗人に使用させるためにHSC100のすべての通常の動作機能は作動されたままとできる。
センサおよび/または記録装置をイネーブルにすると、更なるさまざまな機能が実行され得る。ステップ3020の機能に加えて、ステップ3025、3030、3040、3050、3060、3062のうちの1つ以上が同時にまたは同時ではない他の方法で行われ得る。
例えば、ステップ3030において、位置情報が、搭載されたGPSおよび/またはデジタルコンパス経由でブロードキャストされ、利用可能となる。
ステップ3040において、オーディオおよび/またはビデオは、カメラおよびマイクロフォン(複数可)を通じて記録される。
ステップ3050において、記録されたオーディオおよび/またはビデオストリーム(またはデータ)は、ブロードキャストされる。
ステップ3030または3050におけるブロードキャストは、無線サービスプロバイダまたは法的執行機関へなされてもよく、または無線サービスプロバイダを通して間接的に法的執行機関へなされてもよい。
これにより、緊急の状況において、HSC100の所有者は、HSC100を使用した物理的制御を速やかにやめて、この状況から逃げて、自分自身への身体的な危害を最小限に抑えることができる。この間、HSC100は、その位置およびコンパスの向きのブロードキャストも行いながら、記録および報告機能と、周囲のボイスのサンプリングおよび記録と、危険な状態や盗人に直面している間または盗みをしようとしている間に顔の写真を撮ることと、キャプチャした人物の顔および/またはボイスのそれぞれに関するバイオメトリクスを検出しブロードキャストすることとを、緊急対応モードにおいて内密に始める。
無線サービスプロバイダは、次いでこの(中継)情報を法的執行機関の当局者に渡してもよく、それによって、当局者は、ライブのおよび/または記録されたオーディオおよび/またはビデオストリームを聴取して盗まれたヘッドセットを取り戻すことを試み、次に起こりうるあらゆる攻撃または人身への傷害の訴追のために容疑者(たち)を捕えることができる。
この情報によって、法的執行機関が、捜索令状を得ることもできるであろう。この令状を取得して、HSC100のさらなる機能が利用できる。ステップ3060の例において、HSC100は、盗人の近くにある他のワイヤレスデバイスに対するリモコン装置として利用することもできる。HSC100は、他のワイヤレスデバイス、携帯電話、パソコン等とペアリングしてもよく、それぞれ法的執行機関をさらに支援するであろう、盗人の連絡先リスト、過去の電話の通話、e−mail、テキストメッセージ等の盗人についての情報を記録/コピー3062してもよい。
さらなる遠隔操作機能を、HSCにリモートで送信可能なパスワードを介して作動させて、デバイスが盗まれて緊急事態が収まった後に、盗人が作動させたパスワードまたは音声認識の設定等をオーバーライドしてもよい。このように、すべてのHSCの機能が、サービスプロバイダ、警察、またはユーザの遠隔制御のもとでもたらされる。ヘッドセットを盗んだ盗人は、これにより、電力がHSCに供給されている限り、HSCが遠隔監視および制御されることを容易に止めることは出来ない。
HSCは、また、ワイヤレス接続性の走査、例えば、WiFiおよびブルートゥース(登録商標)リソース走査を行って、盗まれたHSCのすぐ近くにおけるブルートゥース(登録商標)やWiFiのデバイスやリソースを特定してもよい。この追加の情報を用いて、紛失したヘッドセットや盗まれたヘッドセットをさらに追跡し、捜索し、そのヘッドセットを取り戻す能力を高めることができる。
上述の例示的な実施形態は多くの異なる様式で実施できることを理解されたい。いくつかの例では、本明細書で記述したさまざまな「データプロセッサ」は、それぞれ、中央処理装置と、メモリと、ディスクまたは他の大容量記憶装置と、通信インターフェース(複数可)と、入力/出力(I/O)デバイス(複数可)と、他の周辺機器とを有する、物理的または仮想汎用コンピュータによって実現できる。汎用コンピュータは、プロセッサに変形されて、例えば、ソフトウエア命令を該プロセッサにロードして、次いでこの命令を実行させて、記述された機能を実行することにより、上述の処理を実行する。
この分野で知られているように、そのようなコンピュータは、システムバスを含み得る。バスは、コンピュータまたは処理システムのコンポーネント間のデータ転送に用いられるハードウエアの線の集合である。バス(複数可)は、コンピュータシステムの異なる要素(例えば、プロセッサ、ディスク記憶装置、メモリ、入力/出力ポート、ネットワークポート等)間で情報の転送を可能にし、当該要素を接続する、本質的に共有されるコンジット(複数可)である。1つ以上の中央処理装置ユニットがシステムバスに取り付けられ、コンピュータ命令の実行に供される。また、システムバスには、典型的には、コンピュータにさまざまな入力および出力デバイス(例えば、キーボード、マウス、ディスプレイ、プリンタ、スピーカ、等)を接続するためのI/Oデバイスインターフェースも取り付けられる。ネットワークインターフェース(複数可)により、コンピュータは、ネットワークに取り付けられたさまざまな他のデバイスに接続できる。メモリは、実施形態を実施するために用いられるコンピュータソフトウエア命令およびデータのための揮発性記憶を提供する。ディスクまたは他の大容量記憶装置は、例えば本明細書で記述したさまざまな手順を実施するために用いられるコンピュータソフトウエア命令およびデータのための不揮発性記憶を提供する。
したがって、実施形態は、典型的には、ハードウエア、ファームウエア、ソフトウエア、またはこれらの任意の組み合わせによって、実施してもよい。
一定の実施形態では、本明細書で記載した手順、デバイス、および処理は、コンピュータプログラム(製品)であり、プログラム製品には、システムのためのソフトウエア命令の少なくとも一部を提供するコンピュータ読取り可能な媒体(例えば、1つ以上のDVD−ROM、CD−ROM、ディスケット、テープ等の取り外し可能な記憶媒体等)が含まれる。そのようなコンピュータプログラム(製品)は、この分野で周知のように、任意の適切なソフトウエアインストレーション手順によってインストールできる。他の実施形態では、少なくともソフトウエア命令の一部が、ケーブル、通信および/またはワイヤレス接続を介してダウンロードされてもよい。
実施形態は、1つ以上の手順によって読み取られ実行され得る、非一時的マシン読取り可能な媒体に記憶された命令として実施されてもよい。非一時的マシン読取り可能な媒体は、マシン(例えば、コンピューティングデバイス)によって読取り可能な形態で、情報を記憶または送信するための任意の機構を含み得る。例えば、非一時的マシン読取り可能な媒体には、リードオンリーメモリ(ROM);ランダムアクセスメモリ(RAM);磁気ディスク記憶媒体を含む記憶装置;光学記憶媒体;フラッシュメモリデバイス;その他が含まれ得る。
さらに、ファームウエア、ソフトウエア、ルーチン、または命令は、一定のアクションおよび/または機能を行うように、本明細書で記載されうる。しかし、本明細書に含まれるそのような記載は、便宜上のためだけのものであって、そのようなアクションは実際には、ファームウエア、ソフトウエア、ルーチン、命令等を実行するコンピューティングデバイス、プロセッサ、コントローラ、または他のデバイスから生じることを理解されたい。
また、ブロック図およびネットワーク図に含まれる要素はこれよりも多くても少なくてもよく、異なるように配置されてもよく、また異なるように表現されてもよいことも、理解されたい。しかし、実施内容により、ブロック図およびネットワーク図に影響を与え、実施形態の実行を示すブロック図およびネットワーク図の数が、特定の方法で実現されて決定され得ることをさらに理解されたい。
したがって、さらなる実施形態は、さまざまなコンピュータアーキテクチャ、物理的コンピュータ、仮想的コンピュータ、クラウドコンピュータ、および/またはこれらの組み合わせで実施されてもよく、したがって、本明細書で記載したコンピュータシステムは、例示のみを意図しており、実施形態の限定を意図するものではない。
本発明をその例示的な実施形態を参照しつつ具体的に示して説明してきたが、添付の特許請求の範囲に包含される本発明の範囲を逸脱することなく、さまざまな形の変更および詳細化がなされ得ることが、当業者によって理解されるであろう。
本明細書に引用されるすべての特許、公開された出願および参考文献の内容の全てが、引用によりここに組み込まれる。
なお、本発明は、実施の態様として以下の内容を含む。
[態様1]
ヘッドセットコンピュータの動作を制御する方法であって、
差し迫った緊急事態を示す入力であって、本来のユーザからの一定の入力を受信することと、
前記本来のユーザからの前記受信した一定の入力に応じて、緊急対応モードを作動させて、それによって、標準的なヘッドセットコンピュータの機能は、前記本来のユーザまたは他のユーザのどちらかが用いるために作動させたままであるが、以下の1つ以上の機能を行わせることとを含み、
前記1つ以上の機能は、
オーディオまたはビデオストリームのうちの少なくとも1つを取り込むことと、
取り込んだ画像と1つ以上のテンプレート画像とを比較して、近傍にいる1人以上の人物の画像バイオメトリック同定データを決定することと、
位置情報を決定することと、
前記取り込んだオーディオまたはビデオストリーム、前記決定したバイオメトリック同定データ、および前記位置情報のうちの少なくとも1つを、サービスプロバイダ、法的執行機関、およびセキュリティ組織のうちの少なくとも1つに転送することである、
方法。
[態様2]
態様1に記載の方法において、前記1つ以上の機能は、取り込んだボイスオーディオデータと1つ以上のテンプレートボイスとを比較して、前記近傍にいる1人以上の人物のボイスバイオメトリック同定データを決定することをさらに含む、
方法。
[態様3]
態様1または2に記載の方法において、前記1つ以上の機能は、前記ヘッドセットコンピュータの所定の近傍内で1つ以上のワイヤレスデバイスを特定することをさらに含む、
方法。
[態様4]
態様3に記載の方法において、前記ヘッドセットコンピュータを前記特定した1つ以上のワイヤレスデバイスのうちの少なくとも1つと自動的にペアリングすることをさらに含む、
方法。
[態様5]
態様4に記載の方法において、前記1つ以上の機能は、前記特定した1つ以上のワイヤレスデバイスのうちのペアリングされたものから、個人情報をコピーすることをさらに含む、
方法。
[態様6]
態様1から5のいずれか一態様に記載の方法において、前記1つ以上の機能は、前記他のユーザによってなされたパスワードの変更をオーバーライドすることをさらに含む、
方法。
[態様7]
態様1から6のいずれか一態様に記載の方法において、前記本来のユーザからの前記受信した一定の入力は、口頭によるフレーズ、頭部の動き、またはハンドジェスチャを含む、
方法。
[態様8]
態様1から7のいずれか一態様に記載の方法において、前記本来のユーザからの前記受信した一定の入力は、画像、音、地理的位置、周りを含めた全体的位置、方位、大気状態、圧力、健康状態、環境、エネルギー、加速度、高度、運動、速度、速さ、または、可視光、赤外線および紫外線を含む光、を含む、
方法。
[態様9]
態様1から8のいずれか一態様に記載の方法において、前記1つ以上の機能は、前記他のユーザが、前記1つ以上の機能が行われることに気付かないように、内密の様式で行われる、
方法。
[態様10]
ヘッドセットコンピュータの動作を制御する装置であって、
差し迫った緊急事態を示す入力であって、本来のユーザからの一定の入力を受信する受信ユニットと、
前記本来のユーザからの前記受信した一定の入力に応じて、緊急対応モードを作動させて、それによって、標準的なヘッドセットコンピュータの機能は、前記本来のユーザまたは他のユーザのどちらかが用いるために作動させたままであり、以下の1つ以上の機能を行わせる対応作動ユニットとを備え、
前記1つ以上の機能は、
オーディオまたはビデオストリームのうちの少なくとも1つを取り込むことと、
取り込んだ画像と1つ以上のテンプレート画像とを比較して、近傍にいる1人以上の人物の画像バイオメトリック同定データを決定することと、
位置情報を決定することと、
前記取り込んだオーディオまたはビデオストリーム、前記決定したバイオメトリック同定データ、および前記位置情報のうちの少なくとも1つを、サービスプロバイダ、法的執行機関、およびセキュリティ組織のうちの少なくとも1つに転送することである、
装置。
[態様11]
態様10に記載の装置において、前記対応作動ユニットは、取り込んだボイスオーディオデータと1つ以上のテンプレートボイスとを比較して、前記近傍にいる1人以上の人物のボイスバイオメトリック同定データを決定する、
装置。
[態様12]
態様10または11に記載の装置において、前記対応作動ユニットは、前記ヘッドセットコンピュータの所定の近傍内で1つ以上のワイヤレスデバイスを特定する、
装置。
[態様13]
態様12に記載の装置において、前記対応作動ユニットは、前記ヘッドセットコンピュータを前記特定した1つ以上のワイヤレスデバイスのうちの少なくとも1つと自動的にペアリングする、
装置。
[態様14]
態様13に記載の装置において、前記対応作動ユニットは、前記特定した1つ以上のワイヤレスデバイスのうちのペアリングされたものから、個人情報をコピーする、
装置。
[態様15]
態様10〜14のいずれか一態様に記載の装置において、前記対応作動ユニットは、前記他のユーザによってなされたパスワードの変更をオーバーライドする、
装置。
[態様16]
態様10〜15のいずれか一態様に記載の装置において、前記本来のユーザからの前記受信した一定の入力は、口頭によるフレーズ、頭部の動き、またはハンドジェスチャを含む、
装置。
[態様17]
態様10〜16のいずれか一態様に記載の装置において、前記本来のユーザからの前記受信した一定の入力は、画像、音、地理的位置、周りを含めた全体的位置、方位、大気状態、圧力、健康状態、環境、エネルギー、加速度、高度、運動、速度、速さ、または、可視光、赤外線および紫外線を含む光、を含む、
装置。
[態様18]
態様10〜17のいずれか一態様に記載の装置において、前記対応作動ユニットは、前記他のユーザが、前記1つ以上の機能が行われることに気付かないように、内密の様式で前記1つ以上の機能を行う、
装置。

Claims (12)

  1. ヘッドセットコンピュータの動作を制御する方法であって、
    差し迫った緊急事態を示す入力であって、本来のユーザからの一定の入力を前記ヘッドセットコンピュータの内部または外部の受信ユニットが受信することと、
    前記本来のユーザからの前記受信した一定の入力に応じて、緊急対応モードを前記ヘッドセットコンピュータの内部または外部の対応作動ユニットが作動させて、それによって、標準的なヘッドセットコンピュータの機能は、前記本来のユーザまたは他のユーザのどちらかが用いるために作動させたままであるが、以下の機能を行わせることとを含み、
    記機能は、
    オーディオまたはビデオストリームのうちの少なくとも1つを取り込むことと
    置情報を決定することと、
    前記ヘッドセットコンピュータの所定の近傍内の1つ以上のワイヤレスデバイスを特定し、前記ヘッドセットコンピュータを前記特定した1つ以上のワイヤレスデバイスのうちの少なくとも1つと自動的にペアリングし、前記特定した1つ以上のワイヤレスデバイスのうちのペアリングされたものから、個人情報をコピーすることと、
    前記取り込んだオーディオもしくはビデオストリーム、および前記位置情報のうちの少なくとも1つを、サービスプロバイダ、法的執行機関、およびセキュリティ組織のうちの少なくとも1つに転送することである、
    方法。
  2. 請求項1に記載の方法において、前記機能は、取り込んだオーディオボイスデータに関するバイオメトリクスを検出してブロードキャストすることをさらに含む、
    方法。
  3. 請求項1または2に記載の方法において、前記機能は、前記他のユーザによってなされたパスワードの変更をオーバーライドすることをさらに含む、
    方法。
  4. 請求項1からのいずれか一項に記載の方法において、前記本来のユーザからの前記受信した一定の入力は、口頭によるフレーズ、頭部の動き、またはハンドジェスチャを含む、
    方法。
  5. 請求項1からのいずれか一項に記載の方法において、前記本来のユーザからの前記受信した一定の入力は、画像、音、地理的位置、周りを含めた全体的位置、方位、大気状態、圧力、健康状態、環境、エネルギー、加速度、高度、運動、速度、速さ、または、可視光、赤外線および紫外線を含む光、を含む、
    方法。
  6. 請求項1からのいずれか一項に記載の方法において、前記機の1つ以上は、前記他のユーザが、前記1つ以上の機能が行われることに気付かないように、内密の様式で行われる、
    方法。
  7. ヘッドセットコンピュータの内部または外部において、当該ヘッドセットの動作を制御する装置であって、
    差し迫った緊急事態を示す入力であって、本来のユーザからの一定の入力を受信する受信ユニットと、
    前記本来のユーザからの前記受信した一定の入力に応じて、緊急対応モードを作動させて、それによって、標準的なヘッドセットコンピュータの機能は、前記本来のユーザまたは他のユーザのどちらかが用いるために作動させたままであり、以下の機能を行わせる対応作動ユニットとを備え、
    記機能は、
    オーディオまたはビデオストリームのうちの少なくとも1つを取り込むことと
    置情報を決定することと、
    前記ヘッドセットコンピュータの所定の近傍内で1つ以上のワイヤレスデバイスを特定し、前記ヘッドセットコンピュータを前記特定した1つ以上のワイヤレスデバイスのうちの少なくとも1つと自動的にペアリングし、前記特定した1つ以上のワイヤレスデバイスのうちのペアリングされたものから、個人情報をコピーすることと、
    前記取り込んだオーディオもしくはビデオストリーム、および前記位置情報のうちの少なくとも1つを、サービスプロバイダ、法的執行機関、およびセキュリティ組織のうちの少なくとも1つに転送することである、
    装置。
  8. 請求項に記載の装置において、前記対応作動ユニットは、取り込んだオーディオボイスデータに関するバイオメトリクスを検出してブロードキャストする
    装置。
  9. 請求項7または8に記載の装置において、前記対応作動ユニットは、前記他のユーザによってなされたパスワードの変更をオーバーライドする、
    装置。
  10. 請求項7から9のいずれか一項に記載の装置において、前記本来のユーザからの前記受信した一定の入力は、口頭によるフレーズ、頭部の動き、またはハンドジェスチャを含む、
    装置。
  11. 請求項7から10のいずれか一項に記載の装置において、前記本来のユーザからの前記受信した一定の入力は、画像、音、地理的位置、周りを含めた全体的位置、方位、大気状態、圧力、健康状態、環境、エネルギー、加速度、高度、運動、速度、速さ、または、可視光、赤外線および紫外線を含む光、を含む、
    装置。
  12. 請求項7から11のいずれか一項に記載の装置において、前記対応作動ユニットは、前記他のユーザが、前記1つ以上の機能が行われることに気付かないように、内密の様式で前記1つ以上の機能を行う、
    装置。
JP2015524331A 2012-07-25 2013-07-18 ハンズフリー緊急対応を伴うヘッドセットコンピュータ Active JP6383724B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261675546P 2012-07-25 2012-07-25
US61/675,546 2012-07-25
PCT/US2013/051045 WO2014018363A1 (en) 2012-07-25 2013-07-18 Headset computer with handsfree emergency response

Publications (3)

Publication Number Publication Date
JP2015532028A JP2015532028A (ja) 2015-11-05
JP2015532028A5 JP2015532028A5 (ja) 2016-09-01
JP6383724B2 true JP6383724B2 (ja) 2018-08-29

Family

ID=48948490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015524331A Active JP6383724B2 (ja) 2012-07-25 2013-07-18 ハンズフリー緊急対応を伴うヘッドセットコンピュータ

Country Status (5)

Country Link
US (1) US9351141B2 (ja)
EP (1) EP2870742A1 (ja)
JP (1) JP6383724B2 (ja)
CN (1) CN104521223B (ja)
WO (1) WO2014018363A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417660B2 (en) 2012-04-25 2016-08-16 Kopin Corporation Collapsible head set computer
US10265057B2 (en) * 2013-08-14 2019-04-23 Intuitive Surgical Operations, Inc. Endoscope control system
US9958948B2 (en) * 2015-02-06 2018-05-01 Google Llc Systems and methods for altering a state of a system using a remote device that processes gestures
US10204505B2 (en) 2015-02-06 2019-02-12 Google Llc Systems and methods for processing coexisting signals for rapid response to user input
US9962118B2 (en) * 2015-03-23 2018-05-08 International Business Machines Corporation Monitoring a person for indications of a brain injury
US10667737B2 (en) 2015-03-23 2020-06-02 International Business Machines Corporation Monitoring a person for indications of a brain injury
US10565455B2 (en) * 2015-04-30 2020-02-18 Ants Technology (Hk) Limited Methods and systems for audiovisual communication
US20180268669A1 (en) * 2016-04-14 2018-09-20 Rocco Lucciola Emergency Responder Alert System
US9819784B1 (en) * 2016-05-02 2017-11-14 Microsoft Technology Licensing, Llc Silent invocation of emergency broadcasting mobile device
CN106580263A (zh) * 2017-01-13 2017-04-26 杭州师范大学 一种头戴式老年痴呆症诊疗仪及其控制方法
JP2019105885A (ja) 2017-12-08 2019-06-27 セイコーエプソン株式会社 頭部装着型表示装置、情報処理装置、情報処理システム、及び頭部装着型表示装置の制御方法
US11373513B2 (en) * 2017-12-28 2022-06-28 Gregory Musumano System and method of managing personal security
JP2019129398A (ja) * 2018-01-24 2019-08-01 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
TWI658404B (zh) * 2018-02-09 2019-05-01 宏碁股份有限公司 語音辨識系統及其方法
US11687317B2 (en) * 2020-09-25 2023-06-27 International Business Machines Corporation Wearable computing device audio interface
US20220329763A1 (en) * 2021-04-08 2022-10-13 Incognito Security, Llc Systems and Methods for Obtaining and Disseminating a Live Feed in an Emergency Situation
WO2022245831A1 (en) * 2021-05-19 2022-11-24 Snap Inc. Automatic media capture using biometric sensor data

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0530103A (ja) * 1991-07-23 1993-02-05 Fujitsu Ltd リモートによるパスワード設定方式
JP2000138764A (ja) * 1998-10-29 2000-05-16 Mitsubishi Electric Building Techno Service Co Ltd 遠隔監視センターと端末との接続システム
US7424267B2 (en) * 2005-03-07 2008-09-09 Broadcom Corporation Automatic resource availability using Bluetooth
JP4850497B2 (ja) * 2005-11-29 2012-01-11 ソニー エリクソン モバイル コミュニケーションズ, エービー 携帯通信端末、緊急通知システム及び緊急通知プログラム
EP1887770A1 (en) * 2006-08-10 2008-02-13 Skyline Information Co., Ltd. Automatic pairing method for building up a connection between a Bluetooth-enabled headset and a master unit
JP2008193250A (ja) * 2007-02-01 2008-08-21 Toshiba Corp 携帯電話機
US8909296B2 (en) 2007-05-14 2014-12-09 Kopin Corporation Mobile wireless display software platform for controlling other systems and devices
US8855719B2 (en) 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
US8013734B2 (en) 2007-05-14 2011-09-06 Autocart Llc Personal safety mobile notification system
CN102016975A (zh) 2008-03-28 2011-04-13 寇平公司 适合用作移动式互联网装置的具有高分辨率显示器的手持式无线显示装置
US20090251311A1 (en) 2008-04-06 2009-10-08 Smith Patrick W Systems And Methods For Cooperative Stimulus Control
CN101627842A (zh) * 2008-07-18 2010-01-20 上海凌锐信息技术有限公司 具有摄录功能的头盔
US20100039493A1 (en) * 2008-08-15 2010-02-18 Chao Mark Kuang Y Mobile video headset
US20100099461A1 (en) * 2008-10-22 2010-04-22 X-Tel Communications, Inc. Cellular Phone Data Streaming for Surveillance and Personal Security
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP5413273B2 (ja) * 2010-03-30 2014-02-12 富士通株式会社 通信装置、通信方法および通信プログラム
US8606334B2 (en) * 2010-08-23 2013-12-10 Gn Netcom A/S Mass deployment of communication headset systems
US8886157B2 (en) * 2010-11-08 2014-11-11 Qualcomm Incorporated Mobile device having an emergency mode
US20120224040A1 (en) * 2011-03-03 2012-09-06 Hand Held Products, Inc. Imager reader with hand gesture interface
US8223024B1 (en) * 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display

Also Published As

Publication number Publication date
US20140031001A1 (en) 2014-01-30
EP2870742A1 (en) 2015-05-13
JP2015532028A (ja) 2015-11-05
CN104521223A (zh) 2015-04-15
WO2014018363A1 (en) 2014-01-30
US9351141B2 (en) 2016-05-24
CN104521223B (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
JP6383724B2 (ja) ハンズフリー緊急対応を伴うヘッドセットコンピュータ
EP2845075B1 (en) Headset computer (hsc) as auxiliary display with asr and ht input
US11223718B2 (en) Communication control device, method of controlling communication, and program
KR101688168B1 (ko) 이동 단말기 및 그 제어방법
EP3411780B1 (en) Intelligent electronic device and method of operating the same
US10013976B2 (en) Context sensitive overlays in voice controlled headset computer displays
US9588910B2 (en) Electronic apparatus and linked operation method
EP3220602B1 (en) Method and device for accessing smart camera
US20180060333A1 (en) System and method for placement of virtual characters in an augmented/virtual reality environment
CN105009202A (zh) 分为两部分的语音识别
EP3331817B1 (en) Cross-platform motion sensor control
CN111477225B (zh) 语音控制方法、装置、电子设备及存储介质
WO2017167109A1 (zh) 飞行器的控制方法和装置
EP3819810A1 (en) Face recognition method and apparatus
US20170330555A1 (en) Information processing system and information processing method
JP2018032440A (ja) 制御可能なヘッドセットコンピュータディスプレイ
CN111415421B (zh) 虚拟物体控制方法、装置、存储介质及增强现实设备
US20210243360A1 (en) Information processing device and information processing method
CN113879925B (zh) 电梯控制方法、装置、设备及存储介质
KR20180123285A (ko) 원거리 디바이스의 상태 확인 및 제어 가능한 스마트 헬멧 및 그 동작 방법
CN111427420B (zh) 一种电子设备控制方法及电子设备
CN113903145A (zh) 求救方法、电子设备及计算机可读存储介质
KR20210013866A (ko) 긴급 상황 알림 시스템 및 그 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160712

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180806

R150 Certificate of patent or registration of utility model

Ref document number: 6383724

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250