JPWO2015125362A1 - ウェアラブル装置、および通信制御方法 - Google Patents

ウェアラブル装置、および通信制御方法 Download PDF

Info

Publication number
JPWO2015125362A1
JPWO2015125362A1 JP2016503939A JP2016503939A JPWO2015125362A1 JP WO2015125362 A1 JPWO2015125362 A1 JP WO2015125362A1 JP 2016503939 A JP2016503939 A JP 2016503939A JP 2016503939 A JP2016503939 A JP 2016503939A JP WO2015125362 A1 JPWO2015125362 A1 JP WO2015125362A1
Authority
JP
Japan
Prior art keywords
unit
communication
wearable device
external device
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016503939A
Other languages
English (en)
Other versions
JP6504154B2 (ja
Inventor
博隆 石川
博隆 石川
岩津 健
健 岩津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015125362A1 publication Critical patent/JPWO2015125362A1/ja
Application granted granted Critical
Publication of JP6504154B2 publication Critical patent/JP6504154B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6058Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827Portable transceivers
    • H04B1/385Transceivers carried on the body, e.g. in helmets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/08Telephonic communication systems specially adapted for combination with other electrical systems specially adapted for optional reception of entertainment or informative matter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827Portable transceivers
    • H04B1/385Transceivers carried on the body, e.g. in helmets
    • H04B2001/3866Transceivers carried on the body, e.g. in helmets carried on the head
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/02Details of telephonic subscriber devices including a Bluetooth interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

ウェアラブル装置の使用目的に応じて適切に音声データ通信を実行する。マイクロフォン(172)と、スピーカ(174)と、マイロフォン(172)から入力音声データを取得する入力音声データ取得部(510)と、スピーカ(174)に出力音声データを提供する出力音声データ提供部(520)と、スマートフォン(200)との間でBluetoothのハンズフリープロファイルに従って上記入力音声データおよび上記出力音声データを送受信する通信セッションを実行する通信部(530)と、上記通信セッションのうちスマートフォン(200)への通話着信によってトリガされたセッションを無効化する制御部(540)とを備えるウェアラブル装置が提供される。

Description

本開示は、ウェアラブル装置、および通信制御方法に関する。
近距離無線通信規格の1つであるBluetooth(登録商標)には、HFP(Hands-Free Profile)というプロファイル(通信プロトコル)が用意されている。HFPは、通話機能を有する携帯電話など(オーディオゲートウェイ)と、ヘッドセットや車載ハンズフリー装置など(ハンズフリーユニット)との間の音声通信のためのプロトコルである。HFPに従った通信によって、例えば、携帯電話への通話着信に対してヘッドセットや車載ハンズフリー装置を用いて応答したり、ヘッドセットや車載ハンズフリー装置から携帯電話を介して通話発信を実行したりすることが可能になる。
上記のHFPを利用した技術は、例えば特許文献1,2に記載されている。特許文献1には、ハンドセット通話からハンズフリー通話に的確なタイミングで切り替えることを可能とする携帯電話機およびハンズフリー装置を利用した通話システムが記載されている。また、特許文献2には、ハンズフリー通信プロトコルで同時に接続している携帯電話機の各々が同時に着信中になった場合に、それら複数の携帯電話機の着信をユーザに適切に認識させることができる車載ハンズフリー装置が記載されている。
特開2002−171337号公報 特開2009−284139号公報
上述の通り、HFPは特許文献1,2に記載された車載ハンズフリー装置には限らず、ヘッドセットにも適用される。ヘッドセットは、主に音声通話を目的とするウェアラブル装置の一種であるが、近年の技術の発展により、ヘッドセットに限らず様々な種類のウェアラブル装置が提案されている。そうしたウェアラブル装置の中には、例えばヘッドマウントディスプレイ(HMD:Head Mounted Display)のように、画像の提供を目的とするウェアラブル光学装置も含まれる。例えば画像の提供を目的とするウェアラブル装置でも、例えば音声コマンド送信などのためにHFPが利用される。しかしながら、ウェアラブル装置が必ずしも音声通話を目的としていない場合、HFPに従った通信をそのまま実行したのでは、必ずしもユーザビリティの向上につながらない場合がある。
そこで、本開示では、使用目的に応じて適切に音声データ通信を実行することが可能な、新規かつ改良されたウェアラブル装置、および通信制御方法を提案する。
本開示によれば、音声入力部と、音声出力部と、上記音声入力部から入力音声データを取得する入力音声データ取得部と、上記音声出力部に出力音声データを提供する出力音声データ提供部と、外部装置との間でハンズフリープロファイルに従って上記入力音声データおよび上記出力音声データを送受信する通信セッションを実行する通信部と、上記通信セッションのうち上記外部装置によってトリガされたセッションを無効化する制御部とを備えるウェアラブル装置が提供される。
また、本開示によれば、ウェアラブル装置と外部装置との間の通信制御方法であって、
上記ウェアラブル装置の音声入力部から取得した入力音声データの上記外部装置への送信、および上記ウェアラブル装置の音声出力部に提供する出力音声データの上記外部装置からの受信を含む通信セッションをハンズフリープロファイルに従って実行することと、上記通信セッションのうち上記外部装置によってトリガされたセッションを無効化することとを含む通信制御方法が提供される。
上記の構成では、ウェアラブル装置と外部装置との間で音声データを送受信する通信セッションのうち、外部装置によってトリガされたセッションを無効化する一方で、ウェアラブル装置によってトリガされるセッションについては利用する。これによって、例えば、音声データ着信を受け付けない一方で、音声データ送信は利用可能になる。音声データ送信に対するレスポンスは、音声データ以外の形式で受け取ることが可能である。
以上説明したように本開示によれば、ウェアラブル装置の使用目的に応じて適切に音声データ通信を実行することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの概略的な構成を示す図である。 図1に示すシステムの概略的な機能構成を示すブロック図である。 本開示の一実施形態におけるHMDの通信制御に関する機能構成を示すブロック図である。 本開示の一実施形態における通信の概要について説明するための図である。 本開示の一実施形態で、HMDにおいて音声入力が取得された場合の通信セッションの例を示すシーケンス図である。 本開示の一実施形態で、スマートフォンにおいて通話着信があった場合の通信セッションの例を示すシーケンス図である。 本開示の一実施形態に係るシステムにおける通信セッションの例を示すシーケンス図である。 本開示の実施形態に係る電子機器のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.システム構成
2.HMDにおける通信制御
2−1.機能構成
2−2.概要
2−3.通信セッションの例
3.ハードウェア構成
4.補足
(1.システム構成)
図1は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図2は、図1に示すシステムの概略的な機能構成を示すブロック図である。図1および図2を参照すると、システム10は、ヘッドマウントディスプレイ(HMD)100と、スマートフォン200と、サーバ300とを含む。以下、それぞれの機器の構成について説明する。
(ヘッドマウントディスプレイ)
HMD100は、ディスプレイユニット110と、コントロールユニット160とを含む。ディスプレイユニット110は、例えば眼鏡型の筐体を有し、ユーザ(観察者)の頭部に装着される。コントロールユニット160は、ディスプレイユニット110にケーブルで接続される。
ディスプレイユニット110は、図1に示されるように、光源112と、導光板114とを備える。光源112は、コントロールユニット160の制御に従って画像表示光を射出する。導光板114は、光源112から入射した画像表示光を導光し、ユーザの眼に対応する位置で画像表示光を出射する。ユーザの眼には、実空間から入射して導光板114を透過する光と、導光板114によって光源112から導光された画像表示光とが入射する。これによって、ディスプレイユニット110を装着したユーザは、実空間に重畳される画像を知覚することができる。なお、光源112から導光板114を介して画像表示光を出射させるための構成には、例えば特許4776285号公報に記載されたような技術が用いられてもよい。ディスプレイユニット110は、このような構成のための図示しない光学系をさらに備えてもよい。
さらに、ディスプレイユニット110は、図2に示されるように、照度センサ116、モーションセンサ118、および/またはカメラ120を備えてもよい。照度センサ116は、ディスプレイユニット110に入射する光の照度を検出する。モーションセンサ118は、例えば、3軸加速度センサ、3軸ジャイロセンサ、および3軸地磁気センサを含む。カメラ120は、実空間の画像を撮影する。カメラ120によって撮影される画像は、例えば、実空間におけるユーザの視界に対応する画像として扱われる。
コントロールユニット160は、プロセッサ162と、メモリ164と、通信装置166と、入力キー168と、タッチセンサ170と、マイクロフォン172と、スピーカ174と、バッテリー176とを備える。プロセッサ162は、メモリ164に格納されたプログラムに従って動作することによって各種の機能を実現する。後述する入力音声データ取得部、出力音声データ取得部、および制御部などの機能は、例えばプロセッサ162によって実現される。プロセッサ162は、ケーブルを介した有線通信によってディスプレイユニット110に制御信号を送信し、また光源112やモーションセンサ118のための電源を提供する。
メモリ164は、プロセッサ162の動作のためのさまざまなデータを格納する。例えば、メモリ164は、プロセッサ162が各種機能を実現するためのプログラムを格納する。また、メモリ164は、ディスプレイユニット110の照度センサ116、モーションセンサ118、および/またはカメラ120から出力されたデータを一時的に格納する。通信装置166は、スマートフォン200との間で無線通信を実行する。無線通信には、例えばBluetooth(登録商標)またはWi−Fiなどが用いられる。後述するように、本実施形態において、通信装置166はBluetooth(登録商標)のHFP(Hands-Free Profile)に従ってスマートフォン200と通信することが可能である。入力キー168は、例えば戻るキーやPTT(Push to Talk)キーなどを含み、HMD100に対するユーザ操作を取得する。タッチセンサ170も、同様にHMD100に対するユーザ操作を取得する。より具体的には、例えば、タッチセンサ170は、ユーザによるタップやスワイプなどの操作を取得する。
マイクロフォン172は、音声を電気信号(入力音声データ)に変換し、プロセッサ162に提供する。スピーカ174は、プロセッサ162から提供された電気信号(出力音声データ)を音声に変換する。なお、本実施形態では、マイクロフォン172がHMD100の音声入力部として、スピーカ174がHMD100の音声出力部としてそれぞれ機能する。バッテリー176は、コントロールユニット160およびディスプレイユニット110の全体に電源を供給する。
なお、HMD100では、プロセッサ162やマイクロフォン172、スピーカ174、バッテリー176などをコントロールユニット160に搭載し、ディスプレイユニット110とコントロールユニット160とを分離してケーブルで接続することによって、ディスプレイユニット110の小型化および軽量化を図っている。コントロールユニット160もまたユーザによって携帯されるため、可能な限り小型化および軽量化することが望ましい。そこで、例えば、プロセッサ162が実現する機能をディスプレイユニット110の制御のための最低限の機能とし、それ以外の機能についてはスマートフォン200で実現することによって、プロセッサ162の消費電力の低減によるバッテリー176およびコントロールユニット160全体の小型化を図ってもよい。
(スマートフォン)
スマートフォン200は、プロセッサ202と、メモリ204と、通信装置206,208と、センサ210と、ディスプレイ212と、タッチパネル214と、GPS(Global Positioning System)受信機216と、マイクロフォン218と、スピーカ220と、バッテリー222とを備える。プロセッサ202は、メモリ204に格納されたプログラムに従って動作することによって各種の機能を実現する。上述の通り、プロセッサ202がHMD100のコントロールユニット160が備えるプロセッサ162と協働して各種の機能を実現することによって、コントロールユニット160の小型化および軽量化が可能になる。メモリ204は、スマートフォン200の動作のためのさまざまなデータを格納する。例えば、メモリ204は、プロセッサ202が各種機能を実現するためのプログラムを格納する。また、メモリ204は、センサ210やGPS受信機216によって取得されたデータ、およびHMD100との間で送受信されるデータを、一時的または継続的に格納する。
通信装置206は、HMD100のコントロールユニット160が備える通信装置166との間で、Bluetooth(登録商標)またはWi−Fiなどを用いた無線通信を実行する。本実施形態において、通信装置206はBluetooth(登録商標)のHFPに従ってHMD100の通信装置166と通信することが可能である。一方、通信装置208は、携帯電話網250などを介したネットワーク通信を実行する。より具体的には、通信装置208は、携帯電話網250を経由した他の電話との音声通話や、サーバ300との間のデータ通信などを実行する。これによって、スマートフォン200では通話機能が提供される。ディスプレイ212は、プロセッサ202の制御に従って各種の画像を表示する。タッチパネル214は、ディスプレイ212上に配置され、ディスプレイ212に対するユーザのタッチ操作を取得する。GPS受信機216は、スマートフォン200の緯度、経度、および高度を測定するためのGPS信号を受信する。マイクロフォン218は、音声を音声信号に変換し、プロセッサ202に提供する。スピーカ220は、プロセッサ202の制御に従って音声を出力する。バッテリー222は、スマートフォン200の全体に電源を供給する。
(サーバ)
サーバ300は、プロセッサ302と、メモリ304と、通信装置306とを備える。なお、サーバ300は、例えばネットワーク上で複数のサーバ装置が協働することによって実現されるが、ここでは説明を簡単にするために仮想的な単一の装置として説明する。プロセッサ302は、メモリ304に格納されたプログラムに従って動作することによって各種の機能を実現する。サーバ300のプロセッサ302は、例えば、スマートフォン200から受信したリクエストに応じて各種の情報処理を実行し、結果をスマートフォン200に送信する。メモリ304は、サーバ300の動作のためのさまざまなデータを格納する。例えば、メモリ304は、プロセッサ302が各種機能を実現するためのプログラムを格納する。メモリ304は、さらに、スマートフォン200からアップロードされたデータを一時的または継続的に格納してもよい。通信装置306は、スマートフォン200との間で、例えば携帯電話網250を経由したネットワーク通信を実行する。
以上、本開示の一実施形態におけるシステム構成について説明した。なお、本実施形態において、HMD100は、ウェアラブル装置の一例である。上述の通り、HMD100は、導光板114を用いて画像表示光を観察者の眼に導光することによって画像を知覚させる。従って、ディスプレイという用語が用いられているが、HMD100は必ずしも表示面に画像を結像させるものではない。もちろん、他の方式のHMDとして知られているように、HMD100に代えて表示面に画像を結像させるタイプのHMDが用いられてもよい。なお、上記の説明ではウェアラブル装置としてHMD100を提示しているが、本開示の実施形態に係るウェアラブル装置はこのような例には限られず、例えばユーザの頭部以外の部位、例えば手首(腕時計型)、腕(アームバンド型)、腰(ベルト型)などに装着されてもよい。
また、上記のシステム構成は一例であり、他にもさまざまなシステム構成が可能である。例えば、HMD100は、必ずしもディスプレイユニット110とコントロールユニット160とに分離していなくてもよく、例えば上記で説明したHMD100の構成の全体が、ディスプレイユニット110のような眼鏡型の筐体に集約されていてもよい。また、既に述べた通り、HMD100を制御するための機能の少なくとも一部が、スマートフォン200で実現されてもよい。あるいは、ディスプレイユニット110もプロセッサを備え、HMD100における情報処理がコントロールユニット160のプロセッサ162とディスプレイユニット110のプロセッサとの協働によって実現されてもよい。
さらなる変形例として、システム10がスマートフォン200を含まず、HMD100とサーバ300との間で直接的に通信が実行されてもよい。また、システム10において、スマートフォン200は、HMD100と通信し、かつ音声通話およびサーバ300との通信を実行することが可能な他の装置、例えばタブレット端末、パーソナルコンピュータ、または携帯型ゲーム機などによって代替されてもよい。
(2.HMDにおける通信制御)
(2−1.機能構成)
図3は、本開示の一実施形態におけるHMDの通信制御に関する機能構成を示すブロック図である。図3を参照すると、本実施形態において、HMDの通信制御に関する機能構成は、入力音声データ取得部510と、出力音声データ提供部520と、通信部530と、制御部540とを含む。さらに、機能構成は、操作部550、画像提供部560、行動情報取得部570、および/または状況情報取得部580を含んでもよい。
システム10において、これらの機能構成は、例えばHMD100のコントロールユニット160において実現される。この場合、通信部530は通信装置166によって、操作部550は入力キー168およびタッチセンサ170によってそれぞれ実現される。また、それ以外の機能構成は、プロセッサ162がメモリ164に格納されたプログラムに従って動作することによって実現される。以下、それぞれの機能構成についてさらに説明する。
入力音声データ取得部510は、マイクロフォン172から入力音声データを取得する。上述の通り、本実施形態では、コントロールユニット160に設けられるマイクロフォン172がHMD100の音声入力部として機能する。他の実施形態では、例えば、ディスプレイユニット110に設けられるマイクロフォンが音声入力部として機能してもよい。あるいは、ディスプレイユニット110またはコントロールユニット160に設けられたコネクタに接続される外付けのマイクロフォンが音声入力部として機能してもよい。
ここで、本実施形態において、入力音声データ取得部510によって取得される入力音声データは、例えばコマンドや検索キーワードなどとして解釈される。従って、入力音声データ取得部510は、例えば操作部550が取得する所定のユーザ操作(例えば、入力キー168に含まれるPTTキーの押下)が開始された場合に入力音声データの取得を開始する。さらに、入力音声データ取得部510は、上記のユーザの操作が終了した場合に入力音声データの取得を終了し、取得された入力音声データを制御部540に提供してもよい。入力音声データには、ユーザの発話音声が含まれうる。
出力音声データ提供部520は、スピーカ174に出力音声データを提供する。上述の通り、本実施形態では、コントロールユニット160に設けられるスピーカ174がHMD100の音声出力部として機能する。他の実施形態では、例えば、ディスプレイユニット110に設けられるスピーカまたはイヤフォンが音声出力部として機能してもよい。あるいは、ディスプレイユニット110またはコントロールユニット160に設けられたコネクタに接続される外付けのスピーカまたはイヤフォンが音声出力部として機能してもよい。なお、上記の説明では音声出力部としてスピーカおよびイヤフォンを例示しているが、本開示の実施形態に係る音声出力部はこのような例には限られず、例えば1または複数のイヤフォンをヘッドバンドで結合したヘッドフォンや、骨伝導振動子などであってもよい。
通信部530は、外部装置との間でハンズフリープロファイル(HFP)に従って入力音声データおよび出力音声データを送受信する通信セッションを実行する。通信部530によって送信される入力音声データは、上記の入力音声データ取得部510によってマイクロフォン172から取得される。また、通信部530によって受信された出力音声データは、上記の出力音声データ提供部520によってスピーカ174に提供される。上述の通り、本実施形態では、通信部530を実現する通信装置166は、Bluetooth(登録商標)のHFPに従ってスマートフォン200と通信する。
また、通信部530は、スマートフォン200との間で、Bluetooth(登録商標)の他のプロトコル、またはWi−Fiなどの他の通信規格を用いた通信セッションを実行する。この通信セッションでは、例えば、画像提供部560によって提供される画像データを生成するためのデータが受信される。また、この通信セッションでは、HMD100の設定情報が受信されてもよい。
制御部540は、通信部530をはじめとする各機能構成を制御する。例えば、制御部540は、入力音声データ取得部510によって入力音声データが取得された場合に、HFPに従ってスマートフォン200との通信セッションを開始するよう通信部530を制御する。その一方で、制御部540は、HFPに従ったスマートフォン200との通信セッション(以下、HFPセッションともいう)がスマートフォン200によってトリガされた場合、当該HFPセッションを無効化する。より具体的には、例えば、HFPセッションがスマートフォン200への通話着信によってトリガされたものである場合、制御部540は、受信されたデータを無視し(出力音声データ提供部520が音声データをスピーカ174に提供しないように制御し)、通話着信をスマートフォン200に移管するコマンドを送信するよう通信部530を制御する。HFPセッションが通話着信以外の要因によってトリガされた場合、制御部540は、単に受信された音声データを無視し、通信セッションを終了させることによって通信セッションを無効化してもよい。なお、このような制御部540による通信部530の制御の詳細については後述する。
ここで、制御部540は、スマートフォン200によってトリガされたHFPセッションを無効化するか否かを、操作部550、行動情報取得部570、および/または状況情報取得部580から提供される情報に基づいて決定してもよい。この点については、これらの機能構成の説明で詳述する。また、制御部540は、通信部530がスマートフォン200から受信した設定情報に基づいて、スマートフォン200によってトリガされたHFPセッションを無効化するか否かを決定してもよい。
なお、制御部540は、Bluetooth(登録商標)の他のプロトコル、またはWi−Fiなどの他の通信規格を用いた通信セッションは無効化しない。例えば、通信部530がスマートフォン200から画像データを生成するためのデータを受信した場合、制御部540は、受信されたデータに基づいて画像データを生成し、生成された画像データをディスプレイユニット110の光源112に提供するように画像提供部560を制御する。
操作部550は、HMD100に対する各種のユーザ操作を取得する。操作部550は、例えば、入力キー168やタッチセンサの操作に割り当てられたコマンドをユーザ操作として取得してもよい。また、操作部550は、画像提供部560と連動して、ディスプレイユニット110において提供される画像を利用したGUI(Graphical User Interface)上で入力されたコマンドをユーザ操作として取得してもよい。また、操作部550(例えば入力キー168)によって取得されたユーザ操作は、入力音声データ取得部510が入力音声データの取得を開始するためのトリガとして利用されてもよい。
付加的な構成として、操作部550が取得したユーザ操作に基づいて、制御部540がスマートフォン200によってトリガされたHFPセッションを無効化するか否かを決定してもよい。この場合、例えば、スマートフォン200への通話着信によってHFPセッションがトリガされ、通信部530がデータを受信した場合に、画像提供部560を介して、HMD100で着信に応答するか否かを問い合わせるダイアログが、光源112を介して画像として出力される。操作部550は、このダイアログに対するユーザ操作(応答する、または応答しない)を取得し、制御部540は取得されたユーザ操作に基づいてHFPセッションを無効化するか否かを決定する。あるいは、ユーザは、HFPセッションを無効化するか否かを、設定情報として、操作部550を用いて予め登録してもよい。
画像提供部560は、ディスプレイユニット110の光源112に画像データを提供する。画像データは、例えば通信部530がスマートフォン200から受信したデータに基づいて生成される。また、画像データは、HMD100のメモリ164に予め格納されたデータに基づいて生成されてもよい。生成される画像は、スマートフォン200によって提供される各種のアプリケーション機能の画面や、HMD100の操作または設定のためのGUIなどを含む。
行動情報取得部570は、HMD100のユーザの行動状態を示す情報を取得する。システム10では、例えばHMD100のディスプレイユニット110が備えるモーションセンサ118、スマートフォン200が備えるセンサ210やGPS受信機216などをセンサとして用いて、ユーザの行動状態を示す情報を取得することが可能である。こうした行動認識の技術については、特開2010−198595号公報や、特開2011−81431号公報、特開2012−8771号公報などに記載された公知の技術であるため詳細な説明は省略する。行動情報取得部570は、例えばHMD100が備えるセンサから得られる情報に基づいて自ら解析を実行してユーザの行動状態を示す情報を取得してもよいし、スマートフォン200またはサーバ300で実行される解析によって得られた情報を、通信部530を介して受信してもよい。
上述の通り、付加的な構成として、行動情報取得部570が取得した情報によって示されるユーザの行動状態に基づいて、制御部540がスマートフォン200によってトリガされたHFPセッションを無効化するか否かを決定してもよい。この場合、例えば、ユーザが静止している場合には無効化しないが移動している場合には無効化する、徒歩移動の場合には無効化しないが乗り物(電車、自動車、自転車など)に乗っている場合には無効化する、といったような設定が可能である。
状況情報取得部580は、HMD100の周辺状況を示す情報を取得する。HMD100では、例えばHMD100のディスプレイユニット110が備える照度センサ116やモーションセンサ118、カメラ120、およびコントロールユニット160が備えるマイクロフォン172などをセンサとして用いて、HMD100の周辺状況を示す情報を取得することが可能である。上述の通り、付加的な構成として、状況情報取得部580が取得した情報によって示されるHMD100の周辺状況に基づいて、制御部540がスマートフォン200によってトリガされたHFPセッションを無効化するか否かを決定してもよい。この場合、例えば、周囲が明るい場合には無効化しないが周囲が暗い場合には無効化する、HMD100が正しく装着されている場合(例えばモーションセンサ118の検出結果に基づいて判定される)には無効化しないがそうでない場合には無効化する、周囲が静かな場合には無効化しないが周囲が騒がしい場合には無効化する、などといったような設定が可能である。
なお、上記のような、行動情報取得部570や状況情報取得部580が取得する情報に基づいたHFPセッションの無効化を実施するか否か、またどのような条件で実施するかは、操作部550を介して取得されるユーザに操作によって切り替えまたは設定することが可能であってもよい。
(2−2.概要)
次に、図4を参照して、本実施形態における通信の概要について説明する。図4には、システム10において実行される通信C101〜C109が示されている。
通信C101は、HMD100が音声入力を取得した場合にスマートフォン200との間で実行される。通信C101では、HMD100において取得された入力音声データが、スマートフォン200に送信される。この通信C101は、例えば上述したBluetooth(登録商標)のHFPに従って実行される。HMD100での音声入力は、例えばコマンド、検索キーワード、または通常のテキストなどの入力に利用される。
通信C103は、スマートフォン200が、HMD100から取得した入力音声データに基づいて実行するサーバ300との間のデータ通信である。例えば、スマートフォン200は、入力音声データをサーバ300に送信し、サーバ300のプロセッサ320が入力音声データについて音声認識の処理を実行する。サーバ300は、音声認識によって得られたテキストをスマートフォン200に返送する。スマートフォン200は、例えばHMD100で起動されている機能に応じて、受信したテキストを、コマンド、検索キーワード、または通常のテキストなどとして解釈し、所定の処理を実行する。処理の実行時にも、スマートフォン200はサーバ300と通信してもよい。スマートフォン200は、処理の結果をHMD100に送信する。
通信C105は、スマートフォン200への通話着信である。上述のように、スマートフォン200は通話機能を有する。従って、スマートフォン200には、携帯電話網250などを経由して、他の電話や情報処理端末からのコールが着信する(通話着信)。
通信C107は、スマートフォン200が通話着信を受けた場合に、HMD100との間でセットアップされる。スマートフォン200とHMD100とはHFPに従った通信を実行するように設定されている。HFPの仕様では、スマートフォン200(オーディオゲートウェイ)が通話着信を受けた場合、HMD100(ハンズフリーユニット)で当該通話着信を受けられるよう、通信セッションがセットアップされる。通信C107は、このような仕様のために、スマートフォン200によってトリガされる。
通信C109では、HMD100が、通信C107におけるスマートフォン200による通信セッションのセットアップに対して、通話着信を受けることなくスマートフォン200に移管する。移管のためのコマンドもHFPに定義されているため、通信C109もHFPに従って実行することが可能である。これによって、以降、通話着信はスマートフォン200側で処理されることになる。
以上のような通信制御、特に通信C109のような通信制御が実行される理由について、さらに説明する。
HMD100は、主に、ディスプレイユニット110の光源112および導光板114を用いて提供される画像によって情報を出力することを目的としている。その意味において、コントロールユニット160に設けられるスピーカ174は、補助的な出力手段である。その一方で、HMD100では、ウェアラブル装置であるという特性上、入力キー168やタッチセンサ170といったハードウェア的な入力手段を拡張することが難しい。それゆえ、コントロールユニット160に設けられるマイクロフォン172を介した音声入力を、入力キー168やタッチセンサ170による入力と並列して利用する。
上記のような場合、Bluetooth(登録商標)で無線通信を実行するHMD100とスマートフォン200との間では、HMD100において取得された入力音声データをスマートフォン200に送信するのに適した通信プロトコルとして、HFPが利用される。HFPでは、仕様上、HMD100が入力音声データを取得した場合だけではなく、スマートフォン200に通話着信があった場合にも通信セッションがセットアップされ、HMD100が通話着信を受けることが可能な状態になるのは上述の通りである。
しかしながら、HMD100においてスピーカ174は補助的な出力手段として位置付けられており、またマイクロフォン172も通話のように継続して音声入力を取得するようには設計されていない。また、本実施形態に係るHMD100はヘッドセットのようにイヤフォンやマイクロフォンがユーザの耳や口に接して設けられるものではないため、ユーザはHMD100を装着したままスマートフォン200を用いて通話着信に応答することができる。
このような状況において、HMD100で通話着信に応答することは、ユーザビリティを必ずしも向上させない。従って、HMD100が取得した入力音声データをスマートフォン200に送信するだけの通信プロトコルが利用可能であれば最善であるが、現状のBluetooth(登録商標)ではそのようなプロファイルは用意されていない。また、通信プロトコルの作成には多大な労力が必要とされるため、HMD100のような限られた用途のために新たに通信プロトコルを作成することは現実的ではない。従って、HMD100が取得した入力音声データをスマートフォン200に送信する際には、HFPを利用するのが現実的な解決策である。
本実施形態では、上記のような事情に鑑み、制御部540の制御によって、通信部530が実行するHFPに従う通信セッションのうち、スマートフォン200によってトリガされたセッションを無効化する。また、制御部540は、通信セッションがスマートフォン200への通話着信によってトリガされた場合には、通話着信をスマートフォン200に移管する。これによって、HMD100が取得した入力音声データを円滑にスマートフォン200に送信できるとともに、HMD100における電話着信への応答のような、必ずしも望まれていない状況を回避することができる。
(2−3.通信セッションの例)
次に、図5および図6を参照して、本実施形態における通信セッションの例について説明する。なお、以下の例では、上述したHMD100の通信制御に関する機能構成が、HMD100のコントロールユニット160において実現されるものとする。
図5は、HMD100において音声入力が取得された場合の通信セッションの例を示すシーケンス図である。図5を参照すると、まず、HMD100のコントロールユニット160で、入力音声データ取得部510(プロセッサ162。以下、制御部540などについて同様)が、マイクロフォン172から入力音声データを取得する(S101)。上述のように、このとき、入力音声データ取得部510は、例えば操作部550が取得する所定のユーザ操作(入力キー168に含まれるPTTキーの押下など)の継続中に入力音声データを取得する。
このとき、制御部540は、通信部530(通信装置166)を制御して、HFPに従ってスマートフォン200との間の通信セッションをセットアップする。より具体的には、通信部530は、通信セッション開始のためのコマンドをスマートフォン200に送信する(S103)。このコマンドは、HFPにおいてハンズフリーユニットが音声ダイヤルを開始(Voice Dial ON)するために用意された1または複数のコマンドを含む。スマートフォン200の通信装置206は、このコマンドに応じて、SCO(Synchronous Connection Oriented)リンクを生成する(S105,SCO ON)。
SCOリンクが生成されると、HMD100において取得された入力音声データがスマートフォン200に送信され、HMD100において提供される出力音声データがスマートフォン200から受信される(S107)。つまり、この状態において、HMD100はスマートフォン200の音声入出力手段として機能する。なお、S107では、スマートフォン200から送信される音声データはないため、実際にはHMD100が一方的に音声データをスマートフォン200に送信する。
なお、制御部540は、例えば入力音声データ取得部510が入力音声データを取得するのと並行して通信部530を制御してSCOリンクを生成させ、取得された入力音声データを順次スマートフォン200に送信してもよい。あるいは、制御部540は、入力音声データ取得部510が入力音声データを取得し終えてから通信部530を制御してSCOリンクを生成させ、バッファされた入力音声データをスマートフォン200に送信してもよい。
入力音声データの送信(S107)が終了すると、制御部540は、通信部530を制御して、スマートフォン200との間の通信セッションを終了する。より具体的には、通信部530は、通信セッション終了のためのコマンドをスマートフォン200に送信する(S109)。このコマンドは、HFPにおいてハンズフリーユニットが音声ダイヤルを終了(Voice Dial OFF)するために用意された1または複数のコマンドを含む。スマートフォン200の通信装置206は、このコマンドに応じて、SCOリンクを解消する(S111,SCO OFF)。
図6は、スマートフォン200において通話着信があった場合の通信セッションの例を示すシーケンス図である。図6を参照すると、まず、スマートフォン200の通信装置208に、他の電話や情報処理端末からのコールが着信する(S201)。このとき、プロセッサ202は、通信装置206を制御して、HFPに従ってHMD100との間の通信セッションをセットアップする。より具体的には、通信装置206は、SCOリンクを生成し(S203,SCO ON)、通話着信を通知するコマンドをHMD100に送信する(S205)。このコマンドは、HFPにおいてハンズフリーユニットに通話着信を通知するために用意された1または複数のコマンドを含む。
一方、HMD100のコントロールユニット160では、通信部530(通信装置166)が、S205で送信された着信通知のコマンドを受信する。ここで、制御部540は、通信セッションがスマートフォン200によってトリガされたことを検出し、通信セッションを無効化するか否かを判断する(S207)。ここで、制御部540は、例えばメモリ164に格納された設定情報に基づいて判断してもよいし、操作部550によって取得されるユーザ操作に従って判断してもよいし、行動情報取得部570や状況情報取得部580が取得する情報に基づいて判断してもよい。なお、図示された例では、制御部540によって、通信セッションを無効化するという判断がされたものとする。
次に、制御部540は、通信部530を制御して、通話着信の移管のためのコマンドをスマートフォン200に送信させる(S209)。このコマンドは、HFPにおいてハンズフリーユニットが通話をオーディオゲートウェイに移管するために用意された1または複数のコマンドを含む。スマートフォン200の通信装置206は、このコマンドに応じて、SCOリンクを解消する(S211,SCO OFF)。
次に、図7を参照して、上記のような通信セッションを含む、システム全体の通信について説明する。
図7は、本開示の一実施形態に係るシステムにおける通信セッションの例を示すシーケンス図である。図7を参照すると、まず、HMD100のコントロールユニット160において、マイクロフォン172などを用いて音声入力が取得される(S301)。図示された例において、取得される入力音声データは、ユーザの発話音声を含む。プロセッサ162は、入力音声データを、通信装置166を介してスマートフォン200に送信する(S303)。ここでは、上記で図5を参照して説明したような通信セッションが実行される。
スマートフォン200では、プロセッサ202が、通信装置206を介してHMD100から受信した入力音声データを解析し、発話音声によって示されるリクエストを特定する(S305)。リクエストは、例えば機能の呼び出しなどのコマンドや、検索キーワードの指定、テキストの入力などを含む。さらに、プロセッサ202は、リクエストに基づいて、HMD100において次に提供される画像のためのデータを生成する(S307)。ここで、図示していないが、プロセッサ202は、入力音声データの解析(音声認識)やデータの生成のために、通信装置208を介してサーバ300と通信してもよい。
続いて、プロセッサ202は、通信装置206を介して、HMD100で次に提供される画像データを生成するためのデータ、例えばアイコンやテキストなどのデータをHMD100に送信する(S309)。HMD100では、プロセッサ162が、通信装置166を介してスマートフォン200から受信した情報に基づいて、次に表示する画像(フレーム画像)を生成する(S311)。さらに、プロセッサ162は、生成されたフレーム画像のデータに基づいてディスプレイユニット110の光源112を制御し、光源112から射出される画像表示光によって提供される画像のフレームを更新する(S313)。
(3.ハードウェア構成)
次に、図8を参照して、本開示の実施形態に係る電子機器のハードウェア構成について説明する。図8は、本開示の実施形態に係る電子機器のハードウェア構成例を示すブロック図である。図示された電子機器900は、例えば、上記の実施形態におけるHMD100、スマートフォン200、および/またはサーバ300を構成するサーバ装置を実現しうる。
電子機器900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、電子機器900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、電子機器900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。電子機器900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、電子機器900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、電子機器900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、電子機器900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドフォンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置917は、電子機器900の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
ストレージ装置919は、電子機器900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、電子機器900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を電子機器900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、電子機器900と外部接続機器929との間で各種のデータが交換されうる。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば電子機器900の筐体の姿勢など、電子機器900自体の状態に関する情報や、電子機器900の周辺の明るさや騒音など、電子機器900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
以上、電子機器900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
(4.補足)
本開示の実施形態は、例えば、上記で説明したような電子機器、システム、電子機器またはシステムで実行される方法、電子機器を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)音声入力部と、
音声出力部と、
前記音声入力部から入力音声データを取得する入力音声データ取得部と、
前記音声出力部に出力音声データを提供する出力音声データ提供部と、
外部装置との間でハンズフリープロファイルに従って前記入力音声データおよび前記出力音声データを送受信する通信セッションを実行する通信部と、
前記通信セッションのうち前記外部装置によってトリガされたセッションを無効化する制御部と
を備えるウェアラブル装置。
(2)前記外部装置は、通話機能を有し、
前記制御部は、前記通信セッションのうち前記外部装置への通話着信によってトリガされたセッションを無効化するとともに、前記通話着信を前記外部装置に移管する、前記(1)に記載のウェアラブル装置。
(3)前記ウェアラブル装置のユーザの行動状態を示す情報を取得する行動情報取得部をさらに備え、
前記制御部は、前記外部装置によってトリガされたセッションを無効化するか否かを前記行動状態に基づいて決定する、前記(1)または(2)に記載のウェアラブル装置。
(4)前記ウェアラブル装置の周辺状況を示す情報を取得する状況情報取得部をさらに備え、
前記制御部は、前記外部装置によってトリガされたセッションを無効化するか否かを前記周辺状況に基づいて決定する、前記(1)〜(3)のいずれか1項に記載のウェアラブル装置。
(5)ユーザ操作を取得する操作部をさらに備え、
前記制御部は、前記外部装置によってトリガされたセッションを無効化するか否かを前記ユーザ操作に基づいて決定する、前記(1)〜(4)のいずれか1項に記載のウェアラブル装置。
(6)前記通信部は、前記ウェアラブル装置の設定情報を前記外部装置から受信し、
前記制御部は、前記外部装置によってトリガされたセッションを無効化するか否かを前記設定情報に基づいて決定する、前記(1)〜(5)のいずれか1項に記載のウェアラブル装置。
(7)ユーザに画像を知覚させるための光を射出する前記ウェアラブル装置の光源に画像データを提供する画像提供部をさらに備え、
前記通信部は、さらに、前記画像データを生成するためのデータを前記外部装置から受信する通信セッションを実行する、前記(1)〜(6)のいずれか1項に記載のウェアラブル装置。
(8)前記入力音声データは、前記ユーザの発話音声を含み、
前記通信部は、前記ハンズフリープロファイルに従って前記入力音声データを前記外部装置に送信するとともに、前記発話音声によって示されるリクエストに応じて生成された前記画像データを生成するためのデータを前記外部装置から受信する、前記(7)に記載のウェアラブル装置。
(9)前記光源を含み前記ユーザの頭部に装着される第1のユニットと、前記音声入力部および前記音声出力部を含み前記第1のユニットから分離した第2のユニットとを含む、前記(7)または(8)に記載のウェアラブル装置。
(10)前記通信部または前記制御部のうちの少なくともいずれかが前記第2のユニットに含まれる、前記(9)に記載のウェアラブル装置。
(11)ユーザの頭部に装着される、前記(1)〜(8)のいずれか1項に記載のウェアラブル装置。
(12)ユーザの頭部以外の部位に装着される、前記(1)〜(8)のいずれか1項に記載のウェアラブル装置。
(13)ウェアラブル装置と外部装置との間の通信制御方法であって、
前記ウェアラブル装置の音声入力部から取得した入力音声データの前記外部装置への送信、および前記ウェアラブル装置の音声出力部に提供する出力音声データの前記外部装置からの受信を含む通信セッションをハンズフリープロファイルに従って実行することと、
前記通信セッションのうち前記外部装置によってトリガされたセッションを無効化することと
を含む通信制御方法。
10 システム
100 HMD
110 ディスプレイユニット
112 光源
114 導光板
160 コントロールユニット
162 プロセッサ
164 メモリ
166 通信部
168 入力キー
170 タッチセンサ
172 マイクロフォン
174 スピーカ
200 スマートフォン
202 プロセッサ
204 メモリ
300 サーバ
302 プロセッサ
304 メモリ
510 入力音声データ取得部
520 出力音声データ提供部
530 通信部
540 制御部
550 操作部
560 画像提供部
570 行動情報取得部
580 状況情報取得部
コントロールユニット160は、プロセッサ162と、メモリ164と、通信装置166と、入力キー168と、タッチセンサ170と、マイクロフォン172と、スピーカ174と、バッテリー176とを備える。プロセッサ162は、メモリ164に格納されたプログラムに従って動作することによって各種の機能を実現する。後述する入力音声データ取得部、出力音声データ提供部、および制御部などの機能は、例えばプロセッサ162によって実現される。プロセッサ162は、ケーブルを介した有線通信によってディスプレイユニット110に制御信号を送信し、また光源112やモーションセンサ118のための電源を提供する。

Claims (13)

  1. 音声入力部と、
    音声出力部と、
    前記音声入力部から入力音声データを取得する入力音声データ取得部と、
    前記音声出力部に出力音声データを提供する出力音声データ提供部と、
    外部装置との間でハンズフリープロファイルに従って前記入力音声データおよび前記出力音声データを送受信する通信セッションを実行する通信部と、
    前記通信セッションのうち前記外部装置によってトリガされたセッションを無効化する制御部と
    を備えるウェアラブル装置。
  2. 前記外部装置は、通話機能を有し、
    前記制御部は、前記通信セッションのうち前記外部装置への通話着信によってトリガされたセッションを無効化するとともに、前記通話着信を前記外部装置に移管する、請求項1に記載のウェアラブル装置。
  3. 前記ウェアラブル装置のユーザの行動状態を示す情報を取得する行動情報取得部をさらに備え、
    前記制御部は、前記外部装置によってトリガされたセッションを無効化するか否かを前記行動状態に基づいて決定する、請求項1に記載のウェアラブル装置。
  4. 前記ウェアラブル装置の周辺状況を示す情報を取得する状況情報取得部をさらに備え、
    前記制御部は、前記外部装置によってトリガされたセッションを無効化するか否かを前記周辺状況に基づいて決定する、請求項1に記載のウェアラブル装置。
  5. ユーザ操作を取得する操作部をさらに備え、
    前記制御部は、前記外部装置によってトリガされたセッションを無効化するか否かを前記ユーザ操作に基づいて決定する、請求項1に記載のウェアラブル装置。
  6. 前記通信部は、前記ウェアラブル装置の設定情報を前記外部装置から受信し、
    前記制御部は、前記外部装置によってトリガされたセッションを無効化するか否かを前記設定情報に基づいて決定する、請求項1に記載のウェアラブル装置。
  7. ユーザに画像を知覚させるための光を射出する前記ウェアラブル装置の光源に画像データを提供する画像提供部をさらに備え、
    前記通信部は、さらに、前記画像データを生成するためのデータを前記外部装置から受信する通信セッションを実行する、請求項1に記載のウェアラブル装置。
  8. 前記入力音声データは、前記ユーザの発話音声を含み、
    前記通信部は、前記ハンズフリープロファイルに従って前記入力音声データを前記外部装置に送信するとともに、前記発話音声によって示されるリクエストに応じて生成された前記画像データを生成するためのデータを前記外部装置から受信する、請求項7に記載のウェアラブル装置。
  9. 前記光源を含み前記ユーザの頭部に装着される第1のユニットと、前記音声入力部および前記音声出力部を含み前記第1のユニットから分離した第2のユニットとを含む、請求項7に記載のウェアラブル装置。
  10. 前記通信部または前記制御部のうちの少なくともいずれかが前記第2のユニットに含まれる、請求項9に記載のウェアラブル装置。
  11. ユーザの頭部に装着される、請求項1に記載のウェアラブル装置。
  12. ユーザの頭部以外の部位に装着される、請求項1に記載のウェアラブル装置。
  13. ウェアラブル装置と外部装置との間の通信制御方法であって、
    前記ウェアラブル装置の音声入力部から取得した入力音声データの前記外部装置への送信、および前記ウェアラブル装置の音声出力部に提供する出力音声データの前記外部装置からの受信を含む通信セッションをハンズフリープロファイルに従って実行することと、
    前記通信セッションのうち前記外部装置によってトリガされたセッションを無効化することと
    を含む通信制御方法。
JP2016503939A 2014-02-21 2014-11-18 ウェアラブル装置、および通信制御方法 Active JP6504154B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014031603 2014-02-21
JP2014031603 2014-02-21
PCT/JP2014/080543 WO2015125362A1 (ja) 2014-02-21 2014-11-18 ウェアラブル装置、および通信制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019045623A Division JP6690749B2 (ja) 2014-02-21 2019-03-13 情報処理装置、通信制御方法およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
JPWO2015125362A1 true JPWO2015125362A1 (ja) 2017-03-30
JP6504154B2 JP6504154B2 (ja) 2019-04-24

Family

ID=53877891

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016503939A Active JP6504154B2 (ja) 2014-02-21 2014-11-18 ウェアラブル装置、および通信制御方法
JP2019045623A Active JP6690749B2 (ja) 2014-02-21 2019-03-13 情報処理装置、通信制御方法およびコンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019045623A Active JP6690749B2 (ja) 2014-02-21 2019-03-13 情報処理装置、通信制御方法およびコンピュータプログラム

Country Status (4)

Country Link
US (1) US20170230492A1 (ja)
JP (2) JP6504154B2 (ja)
CN (3) CN111432063A (ja)
WO (1) WO2015125362A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6508251B2 (ja) * 2017-04-27 2019-05-08 トヨタ自動車株式会社 音声対話システムおよび情報処理装置
CN110134197A (zh) * 2019-06-26 2019-08-16 北京小米移动软件有限公司 可穿戴式控制设备、虚拟/增强现实系统及控制方法
CN114079892A (zh) * 2020-08-12 2022-02-22 华为技术有限公司 蓝牙通信方法、可穿戴设备及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116254A (ja) * 2005-10-18 2007-05-10 Denso Corp Bluetooth通信機能付き車載装置
WO2008084556A1 (ja) * 2007-01-12 2008-07-17 Panasonic Corporation 携帯端末の音声認識機能制御方法及び無線通信システム
JP2009124243A (ja) * 2007-11-12 2009-06-04 Toshiba Corp 情報処理装置
WO2011122340A1 (ja) * 2010-03-29 2011-10-06 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2011145314A1 (ja) * 2010-05-17 2011-11-24 株式会社デンソー 近距離無線通信装置
JP2012147146A (ja) * 2011-01-11 2012-08-02 Jvc Kenwood Corp 無線通信装置、無線通信における接続制御方法およびコンピュータプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3572397B2 (ja) * 2000-08-08 2004-09-29 日産自動車株式会社 車両用電話情報提示装置
JP2002125039A (ja) * 2000-10-16 2002-04-26 Casio Comput Co Ltd 通信システム、および、身体装着型無線通信端末。
CN101053243A (zh) * 2005-01-27 2007-10-10 富士通株式会社 电子装置、来信通知控制方法和来信通知控制程序
US7688817B2 (en) * 2005-04-15 2010-03-30 International Business Machines Corporation Real time transport protocol (RTP) processing component
CN101179300B (zh) * 2006-11-09 2012-12-05 中兴通讯股份有限公司 蓝牙电话终端设备实现外线和内部电话综合处理的方法
US8006002B2 (en) * 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
JP5263920B2 (ja) * 2007-10-10 2013-08-14 Necカシオモバイルコミュニケーションズ株式会社 端末装置、及びプログラム
JP5109655B2 (ja) * 2007-12-28 2012-12-26 カシオ計算機株式会社 携帯電話システムおよび腕装着型端末
JP5601559B2 (ja) * 2009-04-02 2014-10-08 Necカシオモバイルコミュニケーションズ株式会社 通信端末装置及びプログラム
DE102009030699B3 (de) * 2009-06-26 2010-12-02 Vodafone Holding Gmbh Vorrichtung und Verfahren zum Erkennen von erwünschten und/oder unerwünschten Telefonanrufen in Abhängigkeit des Nutzerverhaltens eines Nutzers eines Telefons
US20110244927A1 (en) * 2010-03-31 2011-10-06 Nokia Corporation Apparatus and Method for Wireless Headsets
JP5838676B2 (ja) * 2011-09-12 2016-01-06 セイコーエプソン株式会社 腕装着型の電子機器およびその制御方法
US8744492B2 (en) * 2011-11-30 2014-06-03 Mitac International Corp. Method of responding to incoming calls and messages while driving
JP6064464B2 (ja) * 2012-09-10 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116254A (ja) * 2005-10-18 2007-05-10 Denso Corp Bluetooth通信機能付き車載装置
WO2008084556A1 (ja) * 2007-01-12 2008-07-17 Panasonic Corporation 携帯端末の音声認識機能制御方法及び無線通信システム
JP2009124243A (ja) * 2007-11-12 2009-06-04 Toshiba Corp 情報処理装置
WO2011122340A1 (ja) * 2010-03-29 2011-10-06 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2011145314A1 (ja) * 2010-05-17 2011-11-24 株式会社デンソー 近距離無線通信装置
JP2012147146A (ja) * 2011-01-11 2012-08-02 Jvc Kenwood Corp 無線通信装置、無線通信における接続制御方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JP6504154B2 (ja) 2019-04-24
JP2019118134A (ja) 2019-07-18
WO2015125362A1 (ja) 2015-08-27
CN106031135B (zh) 2020-01-10
US20170230492A1 (en) 2017-08-10
JP6690749B2 (ja) 2020-04-28
CN111432063A (zh) 2020-07-17
CN111506159A (zh) 2020-08-07
CN106031135A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
US11223718B2 (en) Communication control device, method of controlling communication, and program
WO2017156954A1 (zh) 视频直播的方法及装置
CN112449332B (zh) 一种蓝牙连接的方法和电子设备
CN112398855B (zh) 应用内容跨设备流转方法与装置、电子设备
JP5660746B1 (ja) 監視カメラシステム
CN112119641B (zh) 通过转发模式连接的多tws耳机实现自动翻译的方法及装置
JP6690749B2 (ja) 情報処理装置、通信制御方法およびコンピュータプログラム
KR20160133414A (ko) 정보 처리 장치, 제어 방법 및 프로그램
CN109582976A (zh) 一种基于语音通话的翻译方法及电子设备
KR20180055243A (ko) 이동단말기 및 그 제어방법
CN112150778A (zh) 环境音处理方法及相关装置
CN112771828A (zh) 一种音频数据的通信方法及电子设备
KR20180000511A (ko) 이동단말기 및 그 제어방법
CN112469012A (zh) 一种蓝牙通信方法及相关装置
CN114339429A (zh) 音视频播放控制方法、电子设备和存储介质
US10499315B2 (en) Information processing apparatus and information processing method
CN113923528B (zh) 屏幕共享方法、终端和存储介质
CN113365274A (zh) 一种网络接入方法和电子设备
WO2015125364A1 (ja) 電子機器、および画像の提供方法
WO2023216930A1 (zh) 基于穿戴设备的振动反馈方法、系统、穿戴设备和电子设备
CN114520002A (zh) 一种处理语音的方法及电子设备
KR20160092820A (ko) 이동 단말기 및 그 제어방법
KR20160066269A (ko) 이동 단말기 및 그 제어 방법
CN110111786B (zh) 一种音频处理方法、设备及计算机可读存储介质
CN115525366A (zh) 一种投屏方法及相关装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181029

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

TRDD Decision of grant or rejection written
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190311

R151 Written notification of patent or utility model registration

Ref document number: 6504154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515