JP6475592B2 - Wearable device and output system - Google Patents
Wearable device and output system Download PDFInfo
- Publication number
- JP6475592B2 JP6475592B2 JP2015159055A JP2015159055A JP6475592B2 JP 6475592 B2 JP6475592 B2 JP 6475592B2 JP 2015159055 A JP2015159055 A JP 2015159055A JP 2015159055 A JP2015159055 A JP 2015159055A JP 6475592 B2 JP6475592 B2 JP 6475592B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- unit
- output
- external
- wearable device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- User Interface Of Digital Computer (AREA)
Description
この発明は、ユーザに装着可能なウェアラブル装置及び出力システムに関する。 The present invention relates to a wearable device and an output system that can be worn by a user.
上記のウェアラブル装置として、近年、テレビ、ディジタルオーディオプレイヤー等の複数の外部装置を相互に識別するための複数の識別画像を一覧表示する第1の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第2の表示領域と、を含む統合画像を生成する生成部と、前記統合画像を画像表示装置の使用者に視認させる画像表示部と、を備える、頭部装着型表示装置が開示されている(特許文献1参照)。 As the wearable device, in recent years, a first display area for displaying a list of a plurality of identification images for mutually identifying a plurality of external devices such as a television and a digital audio player, and a selection from the plurality of external devices A generating unit that generates an integrated image including a second display region that displays a display image that is an image displayed by the one external device, and an image display that allows a user of the image display device to visually recognize the integrated image A head-mounted display device comprising a unit (see Patent Document 1).
上記特許文献1においては、外部装置が出力する音声を有効利用することについては何ら考慮されていない。 In the above-mentioned Patent Document 1, no consideration is given to effective use of sound output from an external device.
本発明の目的は、外部装置が出力する音声を有効利用することができるウェアラブル装置及び出力システムを提供することにある。 An object of the present invention is to provide a wearable device and an output system that can effectively use sound output from an external device.
1つの態様に係るウェアラブル装置は、ユーザの頭部に装着可能なウェアラブル装置であって、通信部と、出力部と、外部の出力機器が出力する外部音声を集音する集音部と、前記集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部と、前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、前記外部音声に対応する音声データを外部から受信するように前記通信部を制御し、当該受信された音声データに基づき前記出力部から音声を出力させる音声出力動作を実行する動作制御部と、を備える。 A wearable device according to one aspect is a wearable device that can be worn on a user's head, and includes a communication unit, an output unit, a sound collecting unit that collects external sound output by an external output device, Detecting a predetermined sound characteristic of the collected external sound and determining whether or not the sound characteristic has a predetermined change; and if there is a predetermined change in the sound characteristic during the sound collection of the external sound, If determined by the determination unit, the communication unit is controlled to receive audio data corresponding to the external audio from the outside, and an audio output operation is performed to output audio from the output unit based on the received audio data. An operation control unit to be executed.
1つの態様に係る出力システムは、頭部に装着可能なウェアラブル装置と、前記ウェアラブル装置の外部の出力機器と、を備える出力システムであって、前記ウェアラブル装置は、前記外部の出力機器が出力する外部音声を集音する集音部と、出力部と、を備え、前記ウェアラブル装置は、前記集音された前記外部音声の所定の音特性を検出し、当該音特性の所定の変化を検出すると、当該外部音声に対応する音声データの要求を前記外部の出力機器へ送信し、前記外部の出力機器は、前記音声データの要求に応じて、当該音声データを前記ウェアラブル装置へ送信し、前記ウェアラブル装置は、受信された前記音声データに基づき前記出力部から音声を出力させる。 The output system which concerns on one aspect is an output system provided with the wearable apparatus which can be mounted | worn to a head, and the output apparatus outside the said wearable apparatus, Comprising: The said external output apparatus outputs the said wearable apparatus A sound collecting unit for collecting external sound; and an output unit, wherein the wearable device detects a predetermined sound characteristic of the collected external sound and detects a predetermined change in the sound characteristic. A request for audio data corresponding to the external audio is transmitted to the external output device, and the external output device transmits the audio data to the wearable device in response to the request for the audio data. The apparatus causes the output unit to output sound based on the received sound data.
本出願に係るウェアラブル装置及び出力システムを実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。 A plurality of embodiments for carrying out a wearable device and an output system concerning this application are described in detail, referring to drawings. The present invention is not limited to the following description. In addition, constituent elements in the following description include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those in a so-called equivalent range.
(実施形態1)
図1乃至図3を参照しながら、出力システム1の構成について説明する。図1は、出力システム1の全体的な構成を示す図である。出力システム1は、ウェアラブル装置20と、出力機器30とを備える。ウェアラブル装置20と出力機器30とは、近距離無線通信を介して、データ通信を行うことができるように構成されている。
(Embodiment 1)
The configuration of the output system 1 will be described with reference to FIGS. 1 to 3. FIG. 1 is a diagram showing an overall configuration of the output system 1. The output system 1 includes a
ウェアラブル装置20は、前面部20aと、側面部20bと、側面部20cとを有する。前面部20aは、装着時に、ユーザの両目を覆うようにユーザの正面に配置される。前面部20aは、ブリッジと、ブリッジを隔てて左右に設けられる二つの縁部(リム)とが一体となって構成されている。側面部20bは、前面部20aの一方の端部に接続され、側面部20cは、前面部20aの他方の端部に接続される。側面部20b及び側面部20cは、装着時に、眼鏡の蔓のようにユーザの耳によって支持され、ウェアラブル装置20を安定させる。側面部20b及び側面部20cは、装着時に、ユーザの頭部の背面で接続されるように構成されてもよい。
The
前面部20aは、装着時にユーザの目と対向する面に表示部2a及び表示部2bを備える。表示部2aは、装着時にユーザの右目と対向する位置に配設される。表示部2bは、装着時にユーザの左目と対向する位置に配設される。表示部2aは、右目用の画像を表示する。表示部2bは、左目用の画像を表示する。このように、装着時にユーザのそれぞれの目に対応した画像を表示する表示部2a及び表示部2bを備えることにより、ウェアラブル装置20は、両眼の視差を利用した3次元表示を実現することができる。
The
表示部2a及び表示部2bは、一対の半透過ディスプレイであるが、これに限定されない。例えば、表示部2a及び表示部2bは、メガネレンズ、サングラスレンズ、及び紫外線カットレンズ等のレンズ類を設け、レンズとは別に表示部2a及び表示部2bを設けてもよい。表示部2a及び表示部2bは、ユーザの右目と左目に異なる画像を独立して提供することができれば、1つの表示デバイスによって構成されてもよい。
Although the
前面部20aは、ウェアラブル装置20の装着時に、ユーザの顔に対向する面とは反対側の面に撮像部7を備える。撮像部7は、ユーザの前方を撮像する。例えば、撮像部7は、ユーザの前方の視界に相当する範囲の画像を取得する。視界とは、例えば、ユーザが正面を見ているときの視界を含む。
The
ウェアラブル装置20は、ユーザが視認している前景に各種情報を視認させる機能を有する。前景とは、ユーザの前方の風景である。ウェアラブル装置20は、表示部2a及び表示部2bが表示を行っていない場合、表示部2a及び表示部2bを透して前景をユーザに視認させる。ウェアラブル装置20は、表示部2a及び表示部2bが表示を行っている場合、表示部2a及び表示部2bを透した前景と、表示部2a及び表示部2bの表示内容とをユーザに視認させる。ウェアラブル装置20は、3次元的な情報を表示部2a及び表示部2bに表示させてもよい。
The
図1では、ウェアラブル装置20が、眼鏡のような形状を有する例を示したが、ウェアラブル装置20の形状はこれに限定されない。例えば、ウェアラブル装置20は、ゴーグルの形状を有してもよい。ウェアラブル装置20は、例えば、情報処理装置、バッテリ装置等の外部装置と有線または無線で接続される構成であってもよい。
FIG. 1 shows an example in which the
図2を参照しながら、ウェアラブル装置20の機能的な構成について説明する。図2は、ウェアラブル装置20のブロック図である。図2に示すように、ウェアラブル装置20は、表示部2a及び表示部2bと、操作部3と、通信部6と、撮像部7と、集音部8と、記憶部9と、制御部10と、出力部11と、検出部16とを備える。本実施形態のウェアラブル装置20は、撮像部7、集音部8及び検出部16の少なくとも1つと、制御部10とを連動させて、外部の出力機器30とユーザとの相対変化を検出することができる。
The functional configuration of the
表示部2a及び2bは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)等の半透過または透過の表示デバイスを備える。表示部2a及び2bは、制御部10から入力される制御信号に従って各種の情報を表示できる。表示部2a及び2bは、レーザー光線等の光源を用いてユーザの網膜に画像を投影する投影装置であってもよい。
The
操作部3は、ユーザの操作を受け付けることができる。操作部3は、操作を受け付けるために、ボタン、キー、タッチスクリーン等の入力デバイスを用いることができる。図1に示す例では、操作部3は、前面部20aと側面部20bと側面部20cとの各々に設けられて、接触を検出するタッチセンサを含む。タッチセンサは、例えば、静電容量式、超音波式、感圧式、抵抗膜式、光検知式等、各種方式のセンサを用いることができる。なお、操作部3は、前面部20aと側面部20bと側面部20cの何れか一方に設ける構成であってもよい。例えば、操作部3は、ウェアラブル装置20の起動、停止、動作モードの変更等の基本的な操作を受け付ける。
The
通信部6は、無線により通信できる。通信部6は、近距離無線通信方式をサポートできる。近距離無線通信方式には、Bluetooth(登録商標)、無線LAN(IEEE802.11)、ZigBee(登録商標)、赤外線通信、可視光通信、NFC(Near Field Communication)等を含む。通信部6は、複数の通信方式をサポートしてもよい。通信部6は、例えば、2G、3G、4G等のセルラーフォンの通信規格をサポートしてもよい。
The
通信部6は、放送電波を受信する。通信部6が受信する電波は、テレビの電波であってもよいし、ラジオの電波であってもよい。放送に用いられる電波の周波数帯は、複数の物理チャンネルに分割されている。通信部6は、受信した電波を信号へ変換して制御部10へ入力する。本実施形態では、通信部6は、テレビ、ラジオ等のチューナーを兼ねる場合について説明するが、これに限定されない。ウェアラブル装置20は、通信部6とは別にチューナー部を備えてもよい。
The
撮像部7は、ユーザの前方における撮像範囲を撮像できる。撮像部7は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像できる。撮像部7は、撮像した画像を信号に変換して制御部10へ出力できる。
The
集音部8は、ウェアラブル装置20の周囲の音を集音できる。集音部8は、例えば、マイクを含む。集音部8は、集音結果を音信号へ変換して制御部10へ入力できる。出力部11は、例えば、制御部10から入力される音信号を音として出力できる。出力部11は、例えば、スピーカ、イヤホンジャックを含む。
The
記憶部9は、プログラム及びデータを記憶できる。記憶部9は、制御部10の処理結果を一時的に記憶する作業領域としても利用される。記憶部9は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。記憶部9は、複数の種類の記憶媒体を含んでよい。記憶部9は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
The
記憶部9は、例えば、制御プログラム9a、設定データ9b、撮像データ9c及び音データ9dを記憶できる。制御プログラム9aは、ウェアラブル装置20を稼動させるための各種制御に関する機能を提供できる。制御プログラム9aは、例えば、通信部6を制御することによって、外部の通信装置との通信を実現させる。制御プログラム9aが提供する機能は、表示部2a及び2bを制御することによって、画像データの表示を実現させる。画像データは、例えば、静止画、動画等のデータを含む。制御プログラム9aが提供する機能は、ユーザが第1状態であるか、第2状態であるかを判定する機能を含む。第1状態は、外部の出力機器をユーザが視聴している状態である。第2状態は、当該出力機器30をユーザが視聴していない状態である。記憶部9は、外部の出力機器等から受信した画像データを記憶できる。
The
設定データ9bは、ユーザが外部表示画像を視認している第1状態であるか否かを判定するための条件データを含む。条件データは、例えば、撮像画像から判定するための条件を示すデータを含む。条件データは、例えば、ユーザの状態を判定するための条件を示すデータを含む。 The setting data 9b includes condition data for determining whether or not the first state in which the user is viewing the external display image. The condition data includes, for example, data indicating conditions for determining from the captured image. The condition data includes, for example, data indicating conditions for determining the user state.
撮像データ9cは、撮像部7によって撮像範囲を撮像した撮像画像を示すデータである。撮像データ9cは、例えば、静止画データと動画データとが含まれる。撮像データ9cには、撮像部7の撮像結果として送信されてくる撮像画像を時系列的に記憶できる。
The
音データ9dは、集音部8によって集音された音を示すデータである。音データ9dは、例えば、音量、音の波形、周波数等を示すデータを含む。音データ9dには、集音部8の集音結果として送信されてくる音データを時系列的に記憶できる。
The
制御部10は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部10は、ウェアラブル装置20の動作を統括的に制御できる。制御部10の各種機能は、制御部10の制御に基づいて実現される。
The
具体的には、制御部10は、記憶部9に記憶されているプログラムに含まれる命令を実行できる。制御部10は、記憶部9に記憶されているデータを必要に応じて参照できる。制御部10は、データ及び命令に応じて機能部を制御する。制御部10は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、表示部2a及び2b、通信部6、集音部8、及び出力部11を含むが、これらに限定されない。制御部10は、判定部10aと動作制御部10bとを含む。制御部10は、制御プログラム9aを実行することによって、判定部10aを実現する。判定部10aは、集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する機能を提供できる。外部音声は、例えば、ウェアラブル装置20を装着しているユーザが聞いている音声、音等を含む。動作制御部10bは、表示部2a及び2bの表示動作や、出力部11からの音声出力動作を制御する。動作制御部10bは、判定部10aや検出部16の検出結果に応じて、制御を変更することがある。
Specifically, the
検出部16は、撮像部7の周囲近傍に存在する物体を検出するセンサを有する。センサは、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも1つを用いて、撮像範囲に存在する現実の物体を検出するセンサである。検出部16は、検出した撮像範囲に存在する現実の物体の変化に基づいて、現実の物体とウェアラブル装置20との相対移動を検出する。検出部16は、可視光、赤外線、紫外線、電波、音波、磁気、静電容量のうち、複数の値を検出し、複数の検出結果に基づいて、撮像範囲内から撮像範囲外への物体の移動を検出してもよい。検出部16は、加速度センサをさらに有してもよい。加速度センサは、ウェアラブル装置20に働く加速度を検出できる。加速度センサの検出結果は、ウェアラブル装置20を携帯するユーザの移動、停止を検出するために用いることができる。
The
次に、出力機器30は、例えば、テレビである。出力機器30は、表示画像を表示する。出力機器30は、表示画像に対応した音声を出力する。なお、図1に示す例では、出力機器30は、テレビである場合について説明するが、これに限定されない。出力機器30は、例えば、オーディオ機器、パーソナルコンピュータ等の他の電子機器としてもよい。
Next, the
図3を参照しながら、出力機器30の構成について説明する。図3は、出力機器30のブロック図である。出力機器30は、例えば、テレビである。出力機器30は、表示画像を表示する。出力機器30は、表示画像に対応した音声を出力する。なお、本実施形態では、出力機器30は、テレビである場合について説明するが、これに限定されない。出力機器30は、例えば、オーディオ機器、パーソナルコンピュータ等の他の電子機器としてもよい。
The configuration of the
図3に示すように、出力機器30は、表示部32と、操作部33と、チューナー部34と、通信部36と、撮像部37と、集音部38と、記憶部39と、制御部40と、出力部41とを備える。
As shown in FIG. 3, the
表示部32は、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)等の表示デバイスを備える。表示部32は、制御部40から入力される制御信号に従って各種の情報を表示できる。
The
操作部33は、ユーザの操作を受け付けることができる。操作部33は、操作を受け付けるために、ボタン、キー、リモートコントローラ等の入力デバイスを用いることができる。
The
チューナー部34は、放送電波を受信する。チューナー部34が受信する電波は、テレビの電波であってもよいし、ラジオの電波であってもよい。放送に用いられる電波の周波数帯は、複数の物理チャンネルに分割されている。放送業者は、割り当てられた物理チャンネルを用いて放送区域内に放送電波を送信する。チューナー部34は、受信した電波を信号へ変換して制御部40へ入力する。出力機器30は、上記のウェアラブル装置20と同様に、通信部36をチューナー部34として機能させてもよい。
The tuner unit 34 receives broadcast radio waves. The radio wave received by the tuner unit 34 may be a television radio wave or a radio radio wave. The frequency band of radio waves used for broadcasting is divided into a plurality of physical channels. The broadcaster transmits broadcast radio waves in the broadcast area using the assigned physical channel. The tuner unit 34 converts the received radio wave into a signal and inputs the signal to the
通信部36は、無線により通信できる。通信部36は、近距離無線通信方式をサポートできる。近距離無線通信方式には、Bluetooth(登録商標)、無線LAN(IEEE802.11)、ZigBee(登録商標)、赤外線通信、可視光通信、NFC(Near Field Communication)等を含む。通信部36は、複数の通信方式をサポートしてもよい。通信部36は、例えば、2G、3G、4G等のセルラーフォンの通信規格をサポートしてもよい。 The communication unit 36 can communicate wirelessly. The communication unit 36 can support a short-range wireless communication method. The short-range wireless communication methods include Bluetooth (registered trademark), wireless LAN (IEEE 802.11), ZigBee (registered trademark), infrared communication, visible light communication, NFC (Near Field Communication), and the like. The communication unit 36 may support a plurality of communication methods. The communication unit 36 may support cellular phone communication standards such as 2G, 3G, and 4G.
撮像部37は、出力機器30の前方における撮像範囲を撮像できる。撮像範囲は、ユーザが出力機器30を視聴する位置を含む。撮像部37は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像できる。撮像部37は、撮像した画像を信号に変換して制御部40へ出力できる。
The imaging unit 37 can capture an imaging range in front of the
集音部38は、出力機器30の周囲の音を集音できる。集音部38は、例えば、マイクを含む。集音部38は、集音結果を音信号へ変換して制御部40へ入力できる。出力部41は、例えば、制御部40から入力される音信号を音として出力できる。出力部41は、例えば、スピーカ、イヤホンジャックを含む。
The
本実施形態では、出力システム1は、出力機器30が撮像部37及び集音部38を備える場合について説明するが、これに限定されない。例えば、出力機器30は、撮像部37及び集音部38の少なくとも一方を備えなくてもよい。
In this embodiment, although the output system 1 demonstrates the case where the
記憶部39は、プログラム及びデータを記憶できる。記憶部39は、制御部40の処理結果を一時的に記憶する作業領域としても利用される。記憶部39は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。記憶部39は、複数の種類の記憶媒体を含んでよい。記憶部39は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部39は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
The storage unit 39 can store programs and data. The storage unit 39 is also used as a work area for temporarily storing the processing results of the
記憶部39は、例えば、制御プログラム91、設定データ92、撮像データ93及び音データ94を記憶できる。制御プログラム91は、出力機器30を稼動させるための各種制御に関する機能を提供できる。制御プログラム91は、チューナー部34によって受信された放送電波を再生する機能を提供できる。放送電波がテレビの電波の場合、画像及び音が再生される。放送電波がラジオの電波の場合、音が再生される。制御プログラム91は、視聴可能なチャンネルを設定する機能と、設定したチャンネルの中から再生するチャンネルを利用者に選択させる機能とを提供できる。
The storage unit 39 can store, for example, a
制御プログラム91は、例えば、通信部36を制御することによって、外部の通信装置との通信を実現させる。制御プログラム91が提供する機能は、表示部32を制御することによって、画像データの表示を実現させる。画像データは、例えば、静止画、動画等のデータを含む。制御プログラム91が提供する機能は、通信部36を制御することによって、画像データを外部の電子機器に配信する機能を含んでもよい。制御プログラム91が提供する機能は、ユーザが第1状態であるか、第2状態であるかを判定する機能を含んでもよい。記憶部39は、受信した画像データを記憶できる。
For example, the
設定データ92は、出力機器30の動作に関する各種の設定に関する情報を含む。設定データ92は、ユーザが外部表示画像を視認している第1状態であるか否かを判定するための条件データを含んでもよい。条件データは、例えば、撮像画像から判定するための条件を示すデータを含む。条件データは、例えば、ユーザの状態を判定するための条件を示すデータを含む。
The setting
撮像データ93は、撮像部37によって撮像範囲を撮像した撮像画像を示すデータである。撮像データ93は、例えば、静止画データと動画データとが含まれる。撮像データ93には、撮像部37の撮像結果として送信されてくる撮像画像を時系列的に記憶できる。
The
音データ94は、集音部38によって集音された音を示すデータである。音データ94は、例えば、音量、音の波形、周波数等を示すデータを含む。音データ94には、集音部38の集音結果として送信されてくる音データを時系列的に記憶できる。
The
制御部40は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部40は、出力機器30の動作を統括的に制御できる。制御部40の各種機能は、制御部40の制御に基づいて実現される。
The
具体的には、制御部40は、記憶部39に記憶されているプログラムに含まれる命令を実行できる。制御部40は、記憶部39に記憶されているデータを必要に応じて参照できる。制御部40は、データ及び命令に応じて機能部を制御する。制御部40は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、表示部32、通信部36、集音部38、及び出力部41を含むが、これらに限定されない。
Specifically, the
図3に示す例では、出力機器30は、撮像部37と集音部38とを備える場合について説明したが、これに限定されない。例えば、出力機器30は、撮像部37と集音部38を備えなくてもよい。
In the example illustrated in FIG. 3, the
図4を参照しながら、出力システム1の動作の例について説明する。図4は、出力システム1における動作の例を示す図である。 An example of the operation of the output system 1 will be described with reference to FIG. FIG. 4 is a diagram illustrating an example of the operation in the output system 1.
図4に示すステップS11では、部屋100において、出力機器30は、表示画像を表示部32に表示している。出力機器30は、当該表示画像に対応した音声を出力部41から出力している。ユーザは、ウェアラブル装置20を装着した状態で、方向D1を向いて停止している。ユーザは、ウェアラブル装置20を起動させ、出力機器30を視聴している。
In step S <b> 11 illustrated in FIG. 4, in the
ステップS11として、ウェアラブル装置20は、集音部8によって集音し、集音結果から音特性として音量を検出する。ウェアラブル装置20は、検出した音量を基準の音量として記憶部9に記憶する。ウェアラブル装置20は、集音部8による集音を継続する。ウェアラブル装置20は、音量を検出すると、当該音量と基準の音量を比較し、音量の所定の変化の有無を判定する。音量の所定の変化は、例えば、ウェアラブル装置20と出力機器30との距離の変化に対応した音量の変化、ユーザの向き及び移動の変化に対応した音量の変化等を含む。
In step S11, the
例えば、ステップS11に示すように、ユーザが移動していない場合、ウェアラブル装置20は、所定の変化よりも小さい音量の変化を検出する。その結果、ステップS11の状態である場合、ウェアラブル装置20は、音量の所定の変化がないと判定する。
For example, as shown in step S11, when the user is not moving, the
ステップS12では、部屋100において、出力機器30は、表示画像を表示部32に表示している。出力機器30は、当該表示画像に対応した音声を出力部41から出力している。ユーザは、ウェアラブル装置20を装着した状態で、方向D1から方向D2へ向きを変えて移動し、部屋100から退室している。この場合、ユーザは、部屋100の出力機器30の出力音を、部屋100の中よりも聞こえ難くなっている。
In step S <b> 12, in the
ステップS12として、ウェアラブル装置20は、外部音声の集音結果から音量を検出し、当該音量と基準の音量を比較すると、音量の所定の変化があると判定する。ウェアラブル装置20は、通信部6を介して、出力機器30から画像データ及び音声データを受信する。
In step S12, the
ステップS13として、ウェアラブル装置20は、受信した音声データを出力部11から出力させる音声出力動作を実行する。ウェアラブル装置20は、受信した画像データを表示部2a及び2bに表示させる表示動作を実行する。その結果、部屋100の外において、ウェアラブル装置20は、表示画像を表示部2a及び2bに表示し、当該表示画像に対応した音声を出力部11から出力することができる。
As step S <b> 13, the
ステップS13では、部屋100の外において、ユーザは、出力機器30からの音声が聞こえ難い場合に、ウェアラブル装置20の出力部11から出力機器30の音声を聞くことができる。さらに、ユーザは、ウェアラブル装置20の表示部2a及び2bによって出力機器30の表示画像を視認することができる。
In step S <b> 13, outside the
このように、ウェアラブル装置20は、出力機器30の外部音声の集音中に、音特性の所定の変化が有ると判定したことを契機に、当該外部音声に対応する音声データを有効利用することができる。その結果、ウェアラブル装置20は、ユーザが出力機器30の出力音が聞き難い場所等に移動した場合に、ウェアラブル装置20を操作することなく、出力機器30が出力している音声データを出力部11から利用者に聞かせることができる。
As described above, the
図5を参照しながら、ユーザが出力機器30を視聴している時におけるウェアラブル装置20及び出力機器30の動作について説明する。図5は、出力機器30の利用時における出力システム1の動作を示すシーケンス図である。図5に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図5に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
The operations of the
図5に示すように、出力機器30の制御部40は、ステップS101として、出力処理を開始する。出力処理は、表示部32に表示画像を表示させたり、出力部41から音を出力させたりする処理を含む。例えば、出力がテレビの表示である場合、制御部40は、チューナー部34によって受信された放送電波に基づく表示画像を表示部32に表示する処理と、音声を出力部41から出力する処理とを実行する。その結果、出力機器30は、表示部32に表示画像を表示し、出力部41から音を出力する。
As illustrated in FIG. 5, the
例えば、ユーザは、ウェアラブル装置20を頭部に装着した状態で、出力機器30を視聴していることを前提とする。
For example, it is assumed that the user is viewing the
ウェアラブル装置20の制御部10は、ステップS102として、出力機器30との接続要求があるか否かを判定する。例えば、当該制御部10は、操作部3を介して所定の接続操作があったことを検出した場合に、接続要求があったと判定する。接続要求がないと判定した場合(ステップS102,No)、当該制御部10は、ステップS102の処理を繰り返す。接続要求があると判定した場合(ステップS102,Yes)、処理をステップS103に進める。
The
ウェアラブル装置20の制御部10は、ステップS103として、接続処理を実行する。本実施形態では、接続処理は、出力機器30の制御部40と連動する処理である。具体的には、ウェアラブル装置20の制御部10は、通信部6による近距離無線通信を介して、予め定められた出力機器30とコネクションの確立を行う。コネクションの確立は、ユーザにコネクションを確立する出力機器30を選択させてもよい。
The
ウェアラブル装置20の制御部10は、ステップS104として、集音部8の集音結果を示す音データ9dから外部音量を検出する。当該制御部10は、ステップS105として、検出した外部音量を基準の音量として記憶部9に記憶する。本実施形態では、当該制御部10は、検出した音量を基準の音量とする場合について説明するが、これに限定されない。例えば、当該制御部10は、出力機器30から出力している音量設定を示す音量データを取得し、取得した音量データが示す音量を基準の音量としてもよい。
The
ウェアラブル装置20の制御部10は、ステップS106として、集音部8の集音結果を示す音データ9dから外部音量を検出する。当該制御部10は、ステップS107として、外部音量が基準の音量から所定値以上の低下であるか否かを判定する。例えば、当該制御部10は、基準の音量が外部音量を差し引いた値が所定値以上である場合に、所定値以上の低下であると判定する。
The
ウェアラブル装置20の制御部10は、所定値以上の低下でないと判定した場合(ステップS108,No)、すなわち、ユーザの状態に変化がない可能性が高い場合、処理を既に説明したステップS106に戻す。本実施形態では、ウェアラブル装置20は、外部音量を検出する処理を実行している間、集音部8による集音中となっている。
If the
ウェアラブル装置20の制御部10は、所定値以上の低下であると判定した場合(ステップS108,Yes)、すなわち、ユーザの状態に変化がある可能性が高い場合、処理をステップS109に進める。当該制御部10は、ステップS109として、ユーザが視聴できていない状態であると判定したことを記憶部9に記憶する。
If the
ウェアラブル装置20の制御部10は、ステップS110として、通信部6を介して、画像データ及び音声データの送信を出力機器30に要求する。
The
出力機器30の制御部40は、ウェアラブル装置20から画像データ及び音声データの送信要求を受信すると、ステップS111として、チューナー部34から画像データ及び音声データを取得する。出力機器30の制御部40は、ステップS112として、通信部36を介して、画像データ及び音声データをウェアラブル装置20に送信する。
When receiving the transmission request for image data and audio data from the
以降、出力機器30の制御部40は、ステップS111からステップS112の処理を繰り返すことで、チューナー部34から画像データ及び音声データを取得するごとに、当該画像データ及び音声データをウェアラブル装置20に送信する。例えば、当該制御部40は、出力機器30の出力操作を検出した場合に、画像データ及び音声データの送信を終了してもよい。例えば、当該制御部40は、ウェアラブル装置20から送信の停止要求を受けた場合等に、画像データ及び音声データの送信を終了してもよい。
Thereafter, the
ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信すると、ステップS113として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、音声データを出力部11から出力させる。
When receiving the image data and the audio data from the
以降、ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信するごとに、ステップS113を実行して、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、受信した音声データを出力部11から出力させる。例えば、当該制御部10は、操作部3を介して終了操作を検出すると、画像データ及び音声データの送信終了を出力機器30に要求し、表示画像の表示及び音声の出力を終了してもよい。
Thereafter, every time image data and audio data are received from the
図5に示すシーケンスにおいて、ウェアラブル装置20の制御部10は、ステップS105で基準の音量を記憶する場合に、検出した外部の音量を基準の音量として記憶部9に記憶してもよい。当該制御部10は、外部音量が所定値以上の低下と判定した場合に、出力機器30から受信した音声データを、当該基準の音量で出力部11から出力させてもよい。
In the sequence shown in FIG. 5, the
上記の出力システム1のウェアラブル装置20は、所定の接続操作を検出した場合に、出力機器30とコネクションを確立する場合について説明したが、これに限定されない。例えば、ウェアラブル装置20は、集音部8によって所定の音量を検出した場合に、出力機器30とコネクションを確立してもよい。
Although the
上記の出力システム1において、例えば、出力機器30が楽曲を再生して音声データを出力部41から出力している場合、ウェアラブル装置20の制御部10は、出力機器30から音声データを受信し、当該音声データを出力部11から出力することができる。この場合、ウェアラブル装置20の制御部10は、音声の出力中であることを示すアイコン、画面等を表示部2a及び2bに表示させてもよい。
In the output system 1 described above, for example, when the
以上の実施形態においては、出力機器30がテレビである場合について説明したが、これに限定されず、上述したように、出力機器30は、オーディオ機器であってもよい。そして、オーディオ機器が表示機能を備えず、音声の出力機能のみを備える場合においては、ウェアラブル装置20の判定部10aは、出力機器30としてのオーディオ機器が出力する音声の集音中に、当該音声の音特性の所定の変化の有無として、当該音声の音量の所定値以上の低下の有無を判定し、音量の所定値以上の低下があると判定した場合に、ユーザがオーディオ機器の音声を聴くことができていない状態であると判定し、オーディオ機器から音声データのみを受信して、当該音声データを出力部11から出力させるようにすればよい。即ち、ウェアラブル装置20は、通信部6と、音声に関する情報を出力する出力部11と、外部の出力機器が出力する外部音声を集音する集音部8と、集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部10aと、外部音声の集音中に、音特性の所定の変化が有ると判定部10aにより判定された場合、外部音声に対応する音声データを外部から受信するように通信部6を制御し、当該受信された音声データに基づき出力部11から音声を出力させる音声出力動作を実行する動作制御部10bと、を備えるものと特徴付けられてよい。これにより、ウェアラブル装置20は、ユーザが出力機器30の出力音が聞き難い場所等に移動したことに基づく音特性の所定の変化が有ると判定したことを契機に、ウェアラブル装置20を操作することなく、出力機器30が出力している音声データを出力部11から利用者に聞かせることができる。
Although the case where the
なお、上記の実施形態において、判定部10aは、外部音声の集音中に、音特性の所定の変化の有無として、音量の所定値以上の低下の有無を判定し、音量の所定値以上の低下があると判定した場合に、ユーザが出力機器30を視聴できていない状態であると判定し、出力機器30から少なくとも音声データを受信して(画像データも受信してよい)、音声データを出力部11から出力させる(画像データも受信した場合には、画像データに基づいた表示画像を表示部2a及び2bに表示させてもよい)構成を説明したがこれに限定されない。判定部10aは、外部音声の集音中に、音量の所定値以上の低下を検出すると、当該音量の所定値以上の低下が非連続的な低下であるか否かを判定し、非連続的な音量の低下である場合には、音特性の所定の変化が無いと判定し、一方で、非連続的な音量の低下でない場合には、音特性の所定の変化が有ると判定し、当該判定に基づいて出力機器30から少なくとも音声データを受信して、音声データを出力部11から出力させるようにしてもよい。このような構成によれば、例えば、出力機器30がパーソナルコンピュータであって、当該パーソナルコンピュータが音量変更の操作のためのスライドバーを表示し、ユーザがスライドバーを操作することによって所望とする音量値を指定することで、音量を段階的に変化することなく、当該指定された音量に変更する場合、即ち、音量の所定値以上の低下が非連続的な低下となる場合には、ウェアラブル装置20は、ユーザは出力機器30を視聴している状態(即ち、ユーザが出力機器30を視聴できない状態とはなっていない)と判定し、出力機器30から音声データを受信する動作を実行させずに済む。
In the above-described embodiment, the
(変形例)
上記の出力システム1は、出力機器30が画像データ及び音声データを取得してウェアラブル装置20に送信する場合について説明したが、これに限定されない。例えば、出力システム1は、出力機器30が画像データ及び音声データを送信する代わりに、例えば、選局中のチャンネル、画像データ及び音声データの取得先等をウェアラブル装置20に通知し、ウェアラブル装置20が当該通知に基づいて画像データ及び音声データを取得してもよい。
(Modification)
The output system 1 has been described with respect to the case where the
図6を参照しながら、ユーザが出力機器30を利用している時におけるウェアラブル装置20及び出力機器30の動作の変形例について説明する。図6は、出力機器30の利用時における出力システム1の動作の変形例を示すシーケンス図である。図6に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図6に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
A modification of the operation of the
図6に示す変形例では、ステップS101からステップS109の処理は、図5に示すステップS101からステップS109の処理と同一であるため、異なる部分のみを説明し、同一部分の説明は省略する。 In the modification shown in FIG. 6, the processing from step S101 to step S109 is the same as the processing from step S101 to step S109 shown in FIG. 5, so only the different parts will be described and the description of the same parts will be omitted.
図6が示すように、ウェアラブル装置20の制御部10は、既に説明したステップS103の処理が終了すると、ステップS121として、通信部6を介して、出力情報の送信を出力機器30に要求する。出力情報は、例えば、選局中のチャンネル、画像データ及び音声データの取得先等の情報を含む。
As illustrated in FIG. 6, when the processing of step S <b> 103 described above is completed, the
出力機器30の制御部40は、ウェアラブル装置20から出力情報の送信要求を受信すると、ステップS122として、通信部36を介して、出力情報をウェアラブル装置20に送信する。例えば、当該制御部40は、チューナー部34で選局しているチャンネルを識別可能な出力情報を作成し、当該出力情報をウェアラブル装置20に送信してもよい。例えば、当該制御部40は、出力機器30が出力している映像、楽曲等を識別可能な出力情報を作成し、当該出力情報をウェアラブル装置20に送信してもよい。
When receiving the output information transmission request from the
ウェアラブル装置20の制御部10は、出力機器30から出力情報を受信すると、ステップS123として、受信した出力情報を記憶部9に記憶する。当該制御部10は、既に説明したステップS104からステップS109の処理を実行する。
When receiving the output information from the
ウェアラブル装置20の制御部10は、ユーザが視聴できていない状態であると判定すると、ステップS131として、記憶部9に記憶している出力情報に対応した画像データ及び音声データを取得する。例えば、出力情報が選局中のチャンネルを示している場合、当該制御部10は、通信部6をチューナーとして機能させ、通信部6で受信した画像データ及び音声データを取得する。例えば、出力情報が映像を示している場合、当該制御部10は、記憶部9又は外部の記憶装置から、映像に対応した画像データ及び音声データを取得する。例えば、出力情報が楽曲を示している場合、当該制御部10は、記憶部9又は外部の記憶装置から、楽曲に対応した音声データを取得する。
If the
ウェアラブル装置20の制御部10は、画像データ及び音声データを取得すると、ステップS132として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、音声データを出力部11から出力させる。
When acquiring the image data and the audio data, the
以降、ウェアラブル装置20の制御部10は、画像データ及び音声データを取得するごとに、ステップS132を実行して、取得した画像データに基づいた表示画像を表示部2a及び2bに表示させ、取得した音声データを出力部11から出力させる。例えば、当該制御部10は、操作部3を介して終了操作を検出すると、画像データ及び音声データの取得を終了し、表示画像の表示及び音声の出力を終了してもよい。
Thereafter, whenever the
上記の出力システム1において、例えば、出力機器30が楽曲を再生して音声データを出力部41から出力している場合、ウェアラブル装置20の制御部10は、音声データと楽曲データを取得することができる。楽曲データは、例えば、楽曲のタイトル、アーティスト、アルバム等の情報を含む。この場合、ウェアラブル装置20の制御部10は、音声データを出力部11から出力させるとともに、楽曲データを表示部2a及び2bに表示させてもよい。
In the output system 1 described above, for example, when the
(変形例)
上記の出力システム1において、ウェアラブル装置20は、外部音量の所定値以上の低下と判定した場合に、ユーザが移動中であるかを判定してもよい。例えば、ウェアラブル装置20は、外部音量の所定値以上の低下と判定し、かつ、ユーザが移動中であると判定した場合に、ユーザが視聴できない状態であると判定してもよい。
(Modification)
In the output system 1 described above, the
このように、ウェアラブル装置20は、出力機器30の音量が一時的に低下したことと、ユーザの移動によって音量が低下したことを区別することができる。その結果、ウェアラブル装置20は、ユーザが移動したタイミングで、受信した音声データに基づく音声を出力部11から出力させることができる。
In this way, the
図7を参照しながら、ユーザが出力機器30を利用している時におけるウェアラブル装置20及び出力機器30の動作の変形例について説明する。図7は、出力機器30の利用時における出力システム1の動作の変形例を示すシーケンス図である。図7に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図7に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
With reference to FIG. 7, a modified example of the operation of the
図7に示す変形例では、ステップS101からステップS113の処理は、図5に示すステップS101からステップS113の処理と同一であるため、異なる部分のみを説明し、同一部分の説明は省略する。 In the modification shown in FIG. 7, the processing from step S101 to step S113 is the same as the processing from step S101 to step S113 shown in FIG. 5, so only the different parts will be described and the description of the same parts will be omitted.
図7が示すように、ウェアラブル装置20の制御部10は、所定値以上の低下であると判定した場合(ステップS108,Yes)、すなわち、ユーザの状態に変化がある可能性が高い場合、処理をステップS141に進める。当該制御部10は、ステップS141として、検出部16の検出結果に基づいて、ユーザが移動したか否かを判定する。
As illustrated in FIG. 7, when the
例えば、制御部10は、ステップS141において、撮像部7に撮像させ、撮像データ9cが示す複数の撮像画像から、撮像範囲における所定範囲における画像の変化を検出した場合に、ユーザが移動したと判定してもよい。具体的には、制御部10は、相異のある撮像画像(フレーム)を比較し、比較結果がユーザの移動に対応した判定条件を満たす場合に、ユーザが移動したと判定できる。判定条件は、例えば、ユーザの移動に対応した物体の位置、大きさ等の変化量を示す条件を含む。制御部10は、ステップS142において、ユーザが移動したと判定した場合(ステップS142,Yes)、ユーザが出力機器30の出力音声を視聴できていない状態であると判定し、処理を、既に説明したステップS109に進める。
For example, in step S141, the
また、制御部10は、ステップS141において、上記とは異なり、撮像部7が撮像する撮像画像から、ユーザが部屋100(第1空間)から部屋100の外の空間(第2空間)へ移動したか否かを判定し、移動したと判定してもよい。制御部10は、ステップS142において、ユーザが移動したと判定した場合(ステップS142,Yes)、ユーザが出力機器30の出力音声を視聴できていない状態であると判定し、処理を、既に説明したステップS109に進める。即ち、ウェアラブル装置20において、判定部10aは、外部音声の集音中に、音量の所定値以上の低下を検出すると、撮像部7が撮像する撮像画像から、ユーザが第1空間から第2空間へ移動したか否かを判定し、移動していないと判定した場合には、音特性の所定の変化が無いと判定し、移動したと判定した場合には、音特性の所定の変化が有ると判定する構成を有する。なお、ウェアラブル装置20は、ステップS141よりも前の処理の段階においては撮像部7を起動させてなくてもよい。言い換えると、ウェアラブル装置20の判定部10aは、音量の所定値以上の低下を検出すると(ステップS108,Yes)、撮像部7による撮像を開始するようにしてもよい。
In step S <b> 141, the
また、制御部10は、ステップS141において、上記とは異なり、検出部16の加速度センサの検出結果と予め定められたユーザの移動中の加速度パターンとが一致している場合に、ユーザが移動したと判定してもよい。なお、パターンの一致とは、完全に一致している場合、所定の割合で一致している場合を含む。制御部10は、ユーザが移動したと判定した場合(ステップS142,Yes)、ユーザが出力機器30の出力音声を視聴できていない状態であると判定し、処理を既に説明したステップS109に進める。
Also, in step S141, the
ウェアラブル装置20の制御部10は、移動していないと判定した場合(ステップS142,No)、処理を既に説明したステップS106に戻す。
If the
以上のように、ウェアラブル装置20は、ユーザの動作を検出する動作検出部(撮像部7または加速度センサ)をさらに備え、判定部10aは、外部音声の集音中に、音特性の所定の変化の有無として、ユーザの所定の移動動作に起因する、音量の所定値以上の低下の有無を判定する構成を有する。当該構成によれば、ウェアラブル装置20は、出力機器30の音量が一時的に低下したことと、ユーザの移動によって音量が低下したことを区別することができる。その結果、ウェアラブル装置20は、ユーザが移動したタイミングで、受信した音声データに基づく音声を出力部11から出力させることができる。なお、以上に説明した構成では、外部音声の集音中に、音量の所定値以上の低下を検出すると、動作検出部の検出結果に基づきユーザの移動が検出されたか否かを判定するものとしたが、このような構成に限定されず、処理を逆にしてもよい。即ち、ウェアラブル装置20は、移動検出部の検出結果に基づいてユーザの移動が検出されたと判定すると、音量の所定値以上の低下の有無を判定するものとしてもよい。
As described above, the
上記のウェアラブル装置20は、検出部16がジャイロセンサを有する場合、ジャイロセンサによって自機の向きを検出することができる。ウェアラブル装置20は、音特性の所定の変化の有無として、自機の向きの所定角度以上の変化を伴う、音量の所定値以上の低下の有無を判定してもよい。
When the
このように構成しても、ウェアラブル装置20は、出力機器30の音量が一時的に低下したことと、ユーザの移動によって音量が低下したことを区別することができる。その結果、ウェアラブル装置20は、ユーザが移動したタイミングで、受信した音声データに基づく音声を出力部11から出力させることができる。
Even if comprised in this way, the
例えば、図7に示すシーケンスは、以下のように変更すればよい。ウェアラブル装置20の制御部10は、ステップS105として、外部音量を基準の音量とするとともに、そのときにジャイロセンサによって検出した方向を基準の方向として記憶部9に記憶するように変更する。当該制御部10は、ステップS141の処理に変えて、自機の向きの所定角度以上の変化を判定する。具体的には、当該制御部10は、検出した向きが基準の向きから所定角度以上の変化であるか否かを判定すればよい。当該制御部10は、所定角度以上の変化ではないと判定した場合、処理を既に説明したステップS106に戻す。当該制御部10は、所定角度以上の変化であると判定した場合、処理をステップS109に進めればよい。以降、図7に示すステップS109からステップS113の処理は、説明を省略する。
For example, the sequence shown in FIG. 7 may be changed as follows. In step S105, the
(実施形態2)
上記の出力システム1の他の例について説明する。実施形態2に係るウェアラブル装置20は、制御プログラム9aの機能が異なる点を除いて、図2に示したウェアラブル装置20と同様の構成を有する。実施形態2に係る出力機器30は、制御プログラム91の機能が異なる点を除いて、図3に示した出力機器30と同様の構成を有する。以下では、ウェアラブル装置20及び出力機器30を例として用いて、実施形態2について説明する。なお、ウェアラブル装置20の集音部8は、少なくとも2つのマイクを備えることを前提とする。
(Embodiment 2)
Another example of the output system 1 will be described. The
図8を参照しながら、ユーザが出力機器30を視聴している時におけるウェアラブル装置20及び出力機器30の動作について説明する。図8は、出力機器30の利用時における出力システム1の動作を示すシーケンス図である。図8に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図8に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
The operations of the
図8に示すように、出力機器30の制御部40は、ステップS201として、出力処理を開始する。出力処理は、表示部32に表示画像を表示させたり、出力部41から音を出力させたりする処理を含む。例えば、出力機器30がテレビの表示である場合、制御部40は、チューナー部34によって受信された放送電波に基づく表示画像を表示部32に表示する処理と、音声を出力部41から出力する処理とを実行する。その結果、出力機器30は、表示部32に表示画像を表示し、出力部41から音を出力する。
As shown in FIG. 8, the
例えば、ユーザは、ウェアラブル装置20を頭部に装着した状態で、出力処理を実行している出力機器30を視聴していることを前提とする。
For example, it is assumed that the user is viewing the
ウェアラブル装置20の制御部10は、ステップS202として、出力機器30との接続要求があるか否かを判定する。例えば、当該制御部10は、操作部3を介して所定の接続操作があったことを検出した場合に、接続要求があったと判定する。接続要求がないと判定した場合(ステップS202,No)、当該制御部10は、ステップS202の処理を繰り返す。接続要求があると判定した場合(ステップS202,Yes)、処理をステップS203に進める。
The
ウェアラブル装置20の制御部10は、ステップS203として、接続処理を実行する。本実施形態では、接続処理は、出力機器30の制御部40と連動する処理である。具体的には、ウェアラブル装置20の制御部10は、通信部6による近距離無線通信を介して、予め定められた出力機器30とコネクションの確立を行う。コネクションの確立は、ユーザにコネクションを確立する出力機器30を選択させてもよい。
The
ウェアラブル装置20の制御部10は、ステップS204として、集音部8の集音結果を示す音データ9dから音源方向を推定し、推定結果を記憶部9に記憶する。例えば、当該制御部10は、2つのマイクを用いて、受音した信号の時間差から音源の方向を推定する推定方法を用いることができる。例えば、ウェアラブル装置20の正面の音源から到来した音波を2つのマイクで受音した場合、2つのマイクが検出する信号の時間差はない。これに対し、当該正面から所定の方向へずれた音源から到来した音波を2つのマイクで受音した場合、2つのマイクが検出する信号には時間差が生じる。信号の時間差と音源の方向とは、所定の算出式等によって関連付けられることが知られている。よって、当該制御部10は、2つのマイクを用いて、受音した信号の時間差を検出すれば、当該時間差と所定の算出式によって音源の方向を推定することができる。
The
ウェアラブル装置20の制御部10は、ステップS205として、推定した音源方向を基準の方向として記憶部9に記憶する。
The
ウェアラブル装置20の制御部10は、ステップS206として、集音部8の集音結果を示す音データ9dから音源方向を推定する。当該制御部10は、ステップS207として、推定した音源方向が基準の方向から所定角度以上の変化であるか否かを判定する。例えば、当該制御部10は、基準の方向の角度が音源方向の角度を差し引いた値が所定角度以上である場合に、所定角度以上の変化であると判定する。
The
ウェアラブル装置20の制御部10は、所定角度以上の変化でないと判定した場合(ステップS208,No)、すなわち、ユーザの状態に変化がない可能性が高い場合、処理を既に説明したステップS206に戻す。
If the
ウェアラブル装置20の制御部10は、所定角度以上の変化であると判定した場合(ステップS208,Yes)、すなわち、ユーザの状態に変化がある可能性が高い場合、処理をステップS209に進める。当該制御部10は、ステップS209として、ユーザが視聴できていない状態であると判定したことを記憶部9に記憶する。
If the
ウェアラブル装置20の制御部10は、ステップS210として、通信部6を介して、画像データ及び音声データの送信を出力機器30に要求する。
The
出力機器30の制御部40は、ウェアラブル装置20から画像データ及び音声データの送信要求を受信すると、ステップS211として、チューナー部34から画像データ及び音声データを取得する。出力機器30の制御部40は、ステップS212として、通信部36を介して、画像データ及び音声データをウェアラブル装置20に送信する。
When receiving the transmission request for image data and audio data from the
以降、出力機器30の制御部40は、ステップS211からステップS212の処理を繰り返すことで、チューナー部34から画像データ及び音声データを取得するごとに、当該画像データ及び音声データをウェアラブル装置20に送信する。例えば、当該制御部40は、出力機器30の出力操作を検出した場合に、画像データ及び音声データの送信を終了してもよい。例えば、当該制御部40は、ウェアラブル装置20から送信の停止要求を受けた場合等に、画像データ及び音声データの送信を終了してもよい。
Thereafter, the
ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信すると、ステップS213として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、音声データを出力部11から出力させる。
When receiving the image data and the audio data from the
以降、ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信するごとに、ステップS213を実行して、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、受信した音声データを出力部11から出力させる。例えば、当該制御部10は、操作部3を介して終了操作を検出すると、画像データ及び音声データの送信終了を出力機器30に要求し、表示画像の表示及び音声の出力を終了してもよい。
Thereafter, every time image data and audio data are received from the
このように、出力システム1のウェアラブル装置20は、出力機器30の外部音声の集音中に、音源方向の所定角度以上の変化があると判定したことを契機に、当該外部音声に対応する音声データを有効利用することができる。その結果、ウェアラブル装置20は、ユーザが出力機器30の出力音が聞き難い場所に移動した場合に、ウェアラブル装置20を操作することなく、出力機器30が出力している音声データを利用者に聞かせることができる。ウェアラブル装置20は、音源方向に基づいて判定することで、音量ではユーザの状態変化を判定するのが困難な場合でも、出力機器30が出力している音声データを利用者に聞かせることができる。
As described above, when the
実施形態2に係る出力システム1のウェアラブル装置20は、音量の所定の変化と音源方向の所定角度以上の変化と組み合わせて判定してもよい。例えば、ウェアラブル装置20は、音量の所定の変化及び音源方向の所定角度以上の変化を検出した場合に、音特性の所定の変化があると判定してもよい。さらに、実施形態2に係る出力システム1は、実施形態1に係る出力システム1の変形例を適用してもよい。
The
(実施形態3)
図9を参照しながら、上記のウェアラブル装置20及び出力機器30を備える出力システム1Aについて説明する。図9は、出力システム1Aの全体的な構成を示す図である。出力システム1Aは、ウェアラブル装置20と、出力機器30と、中継器50とを備える。ウェアラブル装置20及び出力機器30は、近距離無線通信または有線による通信を介して、中継器50とデータ通信を行うことができるように構成されている。中継器50は、ウェアラブル装置20と出力機器30との位置関係を検出できるように配置されている。中継器50は、例えば、ルーター、監視装置、警報器、照明器具等を用いることができる。
(Embodiment 3)
An
実施形態3に係るウェアラブル装置20は、制御プログラム9aの機能が異なる点を除いて、図2に示したウェアラブル装置20と同様の構成を有する。以下では、ウェアラブル装置20を例として用いて、実施形態3について説明する。
The
実施形態3に係る出力機器30は、制御プログラム91の機能が異なる点を除いて、図3に示した出力機器30と同様の構成を有する。以下では、出力機器30を例として用いて、実施形態3について説明する。
The
図10を参照しながら、中継器50の構成について説明する。図10は、中継器50のブロック図である。図10に示すように、中継器50は、通信部51と、撮像部52と、集音部53と、記憶部54と、制御部55とを備える。
The configuration of the
通信部51は、無線により通信できる。通信部51は、近距離無線通信方式をサポートできる。近距離無線通信方式には、Bluetooth(登録商標)、無線LAN(IEEE802.11)、ZigBee(登録商標)、赤外線通信、可視光通信、NFC(Near Field Communication)等を含む。通信部51は、複数の通信方式をサポートしてもよい。通信部51は、例えば、2G、3G、4G等のセルラーフォンの通信規格をサポートしてもよい。 The communication unit 51 can communicate wirelessly. The communication unit 51 can support a short-range wireless communication method. The short-range wireless communication methods include Bluetooth (registered trademark), wireless LAN (IEEE 802.11), ZigBee (registered trademark), infrared communication, visible light communication, NFC (Near Field Communication), and the like. The communication unit 51 may support a plurality of communication methods. The communication unit 51 may support cellular phone communication standards such as 2G, 3G, and 4G.
撮像部52は、出力機器30の前方における撮像範囲を撮像できる。撮像範囲は、ユーザが出力機器30を視聴する位置を含む。撮像部52は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像できる。撮像部52は、撮像した画像を信号に変換して制御部55へ出力できる。
The
集音部53は、出力機器30の前方の音を集音できる。集音部53は、例えば、マイクを含む。集音部53は、集音結果を音信号へ変換して制御部55へ入力できる。
The
記憶部54は、プログラム及びデータを記憶できる。記憶部54は、制御部55の処理結果を一時的に記憶する作業領域としても利用される。記憶部54は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。記憶部54は、複数の種類の記憶媒体を含んでよい。記憶部54は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部54は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
The
記憶部54は、例えば、制御プログラム54a、設定データ54b、撮像データ54c及び音データ54dを記憶できる。制御プログラム54aは、中継器50を稼動させるための各種制御に関する機能を提供できる。制御プログラム54aは、例えば、通信部51を制御することによって、外部の電子機器との通信を実現させる。制御プログラム54aは、画像データ及び音声データを外部の電子機器に配信する機能を提供できる。制御プログラム54aは、ユーザが第1状態であるか、第2状態であるかを判定する機能を提供できる。
The
設定データ54bは、中継器50の動作に関する各種の設定に関する情報を含む。設定データ54bは、ユーザが出力機器30を視聴している第1状態であるか否かを判定するための条件データを含んでもよい。条件データは、例えば、撮像画像から判定するための条件を示すデータを含む。条件データは、例えば、ユーザの状態を判定するための条件を示すデータを含む。
The setting data 54b includes information related to various settings related to the operation of the
撮像データ54cは、撮像部52によって撮像範囲を撮像した撮像画像を示すデータである。撮像データ54cは、例えば、静止画データと動画データとが含まれる。撮像データ54cには、撮像部52の撮像結果として送信されてくる撮像画像を時系列的に記憶できる。
The
音データ54dは、集音部53によって集音された音を示すデータである。音データ54dは、例えば、音量、音の波形、周波数等を示すデータを含む。音データ54dには、集音部53の集音結果として送信されてくる音データを時系列的に記憶できる。
The
制御部55は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部55は、中継器50の動作を統括的に制御できる。制御部55の各種機能は、制御部55の制御に基づいて実現される。
The
具体的には、制御部55は、記憶部54に記憶されているプログラムに含まれる命令を実行できる。制御部55は、記憶部54に記憶されているデータを必要に応じて参照できる。制御部55は、データ及び命令に応じて機能部を制御する。制御部55は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、通信部51、撮像部52、及び集音部53を含むが、これらに限定されない。
Specifically, the
制御部55は、上記のウェアラブル装置20の判定部10aを含む。制御部55は、制御プログラム54aを実行することによって、判定部10aを実現する。判定部10aは、集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する機能を提供できる。
The
図11を参照しながら、ユーザが出力機器30を利用している時におけるウェアラブル装置20、出力機器30及び中継器50の動作について説明する。図11は、出力機器30の利用時における出力システム1Aの動作を示すシーケンス図である。図11に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図11に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。図11に示す中継器50の動作は、中継器50の制御部55が制御プログラム54aを実行することによって実現される。図11に示す例では、ウェアラブル装置20と中継器50は、コネクションが確立されていることを前提とする。図11に示す例では、出力機器30と中継器50とは、コネクションが確立されていることを前提とする。
With reference to FIG. 11, operations of the
図11に示すように、出力機器30の制御部40は、ステップS311として、通信部36を介して、映像データの送信を中継器50に要求する。
As illustrated in FIG. 11, the
中継器50の制御部55は、出力機器30から映像データの送信要求を受信すると、ステップS312として、出力機器30への映像データ(画像データ及び音声データ)の送信処理を実行する。本実施形態では、送信処理は、例えば、外部の電子機器から画像データ及び音声データを含む映像データを受信し、当該受信した画像データ及び音声データを出力機器30へ送信する処理を含む。その結果、中継器50は、画像データ及び音声データの出力機器30への配信を開始する。
When receiving the video data transmission request from the
出力機器30の制御部40は、中継器50から映像データを受信すると、ステップS313として、受信した画像データを表示部32に表示させ、受信した音声データを出力部41から出力させる。その結果、出力機器30は、表示部32に表示画像を表示し、出力部41から音を出力する。なお、ユーザは、ウェアラブル装置20を頭部に装着した状態で、出力中の出力機器30を視聴していることを前提とする。
When receiving the video data from the
中継器50の制御部55は、ステップS314として、ウェアラブル装置20近傍の外部音量を取得する。例えば、当該制御部55は、通信部51を介して、ウェアラブル装置20に集音させた外部音声を受信し、当該外部音声から外部音量を取得してもよい。例えば、当該制御部55は、ウェアラブル装置20に外部音声を集音させるとともに、当該外部音声の音量を検出させ、検出した音量をウェアラブル装置20から通信部51を介して取得してもよい。例えば、当該制御部55は、ウェアラブル装置20の位置を特定し、当該特定した位置近傍の外部音声の音量を他の電子機器から取得してもよい。
The
中継器50の制御部55は、ステップS315として、取得した外部音量を基準の音量として記憶部54に記憶する。本実施形態では、当該制御部55は、取得した音量を基準の音量とする場合について説明するが、これに限定されない。例えば、当該制御部55は、出力機器30から出力している音量設定を示す音量データを取得し、取得した音量データが示す音量を基準の音量としてもよい。
The
中継器50の制御部55は、ステップS316として、ウェアラブル装置20近傍の外部音量を取得する。当該制御部55は、ステップS317として、外部音量が基準の音量から所定値以上の低下であるか否かを判定する。例えば、当該制御部55は、基準の音量が外部音量を差し引いた値が所定値以上である場合に、所定値以上の低下であると判定する。
The
中継器50の制御部55は、所定値以上の低下でないと判定した場合(ステップS318,No)、すなわち、ユーザの状態に変化がない可能性が高い場合、処理を既に説明したステップS316に戻す。
When it is determined that the
中継器50の制御部55は、所定値以上の低下であると判定した場合(ステップS318,Yes)、すなわち、ユーザの状態に変化がある可能性が高い場合、処理をステップS319に進める。当該制御部55は、ステップS319として、ユーザが視聴できていない状態であると判定したことを記憶部54に記憶する。
If the
中継器50の制御部55は、ステップS320として、出力機器30への映像の送信を停止する。当該制御部55は、ステップS321として、ウェアラブル装置20への映像データ(音声データ)の送信処理を実行する。本実施形態では、送信処理は、例えば、外部の電子機器から画像データ及び音声データを含む映像データを受信し、当該受信した画像データ及び音声データをウェアラブル装置20へ送信する処理を含む。その結果、中継器50は、画像データ及び音声データのウェアラブル装置20への配信を開始する。
The
ウェアラブル装置20の制御部10は、中継器50から映像データを受信すると、ステップS322として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、受信した音声データを出力部11から出力させる。その結果、ウェアラブル装置20は、表示部2a及び2bに表示画像を表示し、出力部11から音を出力する。
When receiving the video data from the
上記の実施形態2の出力システム1Aでは、中継器50は、音特性の所定の変化があると判定した場合に、ウェアラブル装置20から外部音声に対応する音声データを出力させる場合について説明したが、これに限定されない。例えば、出力システム1Aは、出力機器30が音特性の所定の変化の有無を判定するように構成されてもよい。この場合、出力機器30は、ウェアラブル装置20の集音結果を取得し、当該集音結果に基づいて音特性の所定の変化の有無を判定すればよい。
In the
上記の実施形態では、ウェアラブル装置20は、ユーザの左右の目の前に設けられる一対の表示部2a、2bを有している構成を例示してきたが、これに限定されない。例えば、ウェアラブル装置20は、ユーザの左右の目の内の一方の前に設けられる一つの表示部を有している構成であっても良い。
In the above-described embodiment, the
上記の実施形態では、ウェアラブル装置20は、制御部10を判定部10aとして機能させる場合について説明したが、これに限定されない。例えば、ウェアラブル装置20は、制御部10とは別の構成として判定部10aを追加してもよい。例えば、ウェアラブル装置20は、撮像部7、集音部8及び検出部16の何れか1つを含む判定部10aとして、制御部10とは別に設けてもよい。なお、判定部10aは、中継器50にも同様に設けることができる。
In the above embodiment, the
また、上記の実施形態では、ウェアラブル装置20が、外部音声の集音中に、音特性の所定の変化が有ると判定部10aにより判定された場合、外部音声に対応する音声データを外部から受信するように通信部6を制御し、受信された音声データに基づき出力部11から音声を出力させる音声出力動作を実行する構成を説明してきた。当該構成において、ウェアラブル装置20における、動作制御部10bは、外部音声の集音中に、音特性の所定の変化が有ると判定部10aにより判定された場合、当該所定の変化が生じる前の時点における外部音声の音量(例えば、図5のステップS105を参照し説明した、基準の音量)と同量の出力音量にて、音声出力動作を実行するようにしてもよい。このようにすることで、出力機器30が出力する音声を聴いていた時と同程度の音量の音声をウェアラブル装置20からも聴くことができ、ウェアラブル装置20の音声出力動作に移行するに際してユーザが煩わしい思いをしなくて済む。
Further, in the above embodiment, when the
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。 The characterizing embodiments have been described in order to fully and clearly disclose the technology according to the appended claims. However, the appended claims should not be limited to the above-described embodiments, but all modifications and alternatives that can be created by those skilled in the art within the scope of the basic matters shown in this specification. Should be configured to embody such a configuration.
1、1A 出力システム
2a、2b 表示部
3 操作部
6 通信部
7 撮像部
8 集音部
9 記憶部
10 制御部
10a 判定部
10b 動作制御部
11 出力部
16 検出部
20 ウェアラブル装置
20a 前面部
20b 側面部
20c 側面部
30 出力機器
32 表示部
33 操作部
34 チューナー部
36 通信部
37 撮像部
38 集音部
39 記憶部
40 制御部
41 出力部
50 中継器
DESCRIPTION OF
Claims (10)
通信部と、
音声に関する情報を出力する出力部と、
外部の出力機器が出力する外部音声を集音する集音部と、
前記集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部と、
前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、前記外部音声に対応する音声データを外部から受信するように前記通信部を制御し、当該受信された音声データに基づき前記出力部から音声を出力させる音声出力動作を実行する動作制御部と、
を備え、
前記判定部は、
前記所定の音特性として、前記外部音声の音量を検出し、
前記外部音声の集音中に、前記音特性の所定の変化の有無として、前記音量の所定値以上の低下の有無を判定するウェアラブル装置。 A wearable device that can be worn on a user's head,
A communication department;
An output unit for outputting information about audio;
A sound collection unit for collecting external sound output from an external output device;
A determination unit for detecting a predetermined sound characteristic of the collected external sound and determining the presence or absence of a predetermined change in the sound characteristic;
When the determination unit determines that there is a predetermined change in the sound characteristics during sound collection of the external sound, the communication unit is controlled to receive sound data corresponding to the external sound from the outside, An operation control unit that performs an audio output operation for outputting audio from the output unit based on the received audio data;
Equipped with a,
The determination unit
Detecting the volume of the external sound as the predetermined sound characteristic;
During said sound collecting the external sound, as the presence or absence of a predetermined change in the sound characteristics, wearable device you determine the presence or absence of reduction of more than a predetermined value of said volume.
請求項1に記載のウェアラブル装置。 The operation control unit controls the communication unit to receive the audio data from the external output device when detecting a predetermined change in the sound characteristics during sound collection of the external sound, and receives the received sound data. The wearable device according to claim 1, wherein sound is output from the output unit based on the sound data.
請求項1に記載のウェアラブル装置。 When the determination unit detects a decrease in the volume more than a predetermined value during the collection of the external sound, the determination unit determines whether the decrease in the volume more than a predetermined value is a non-continuous decrease, If it is a continuous decrease in volume, it is determined that there is no predetermined change in the sound characteristics, and if it is not a continuous decrease in volume, it is determined that there is a predetermined change in the sound characteristics. Item 2. The wearable device according to Item 1 .
前記判定部は、前記外部音声の集音中に、前記音量の所定値以上の低下を検出すると、前記撮像部が撮像する撮像画像から、前記ユーザが第1空間から第2空間へ移動したか否かを判定し、移動していないと判定した場合には、前記音特性の所定の変化が無いと判定し、移動したと判定した場合には、前記音特性の所定の変化が有ると判定する
請求項1に記載のウェアラブル装置。 An imaging unit for imaging a landscape in front of the user;
If the determination unit detects a decrease in the volume more than a predetermined value during the collection of the external sound, has the user moved from the first space to the second space from the captured image captured by the imaging unit? If it is determined that the sound characteristic is not moved, it is determined that there is no predetermined change in the sound characteristic. If it is determined that the sound characteristic is moved, it is determined that there is a predetermined change in the sound characteristic. The wearable device according to claim 1 .
請求項4に記載のウェアラブル装置。 The wearable device according to claim 4 , wherein the determination unit starts imaging by the imaging unit when detecting a decrease of the sound volume by a predetermined value or more.
通信部と、
音声に関する情報を出力する出力部と、
外部の出力機器が出力する外部音声を集音する集音部と、
前記集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部と、
前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、前記外部音声に対応する音声データを外部から受信するように前記通信部を制御し、当該受信された音声データに基づき前記出力部から音声を出力させる音声出力動作を実行する動作制御部と、
自機の向きを検出する方向検出部と、を備え、
前記判定部は、
前記所定の音特性として、前記外部音声の音量を検出し、
前記外部音声の集音中に、前記音特性の所定の変化の有無として、前記ウェアラブル装置の向きの所定角度以上の変化を伴う、前記音量の所定値以上の低下の有無を判定する
ウェアラブル装置。 A wearable device that can be worn on a user's head,
A communication department;
An output unit for outputting information about audio;
A sound collection unit for collecting external sound output from an external output device;
A determination unit for detecting a predetermined sound characteristic of the collected external sound and determining the presence or absence of a predetermined change in the sound characteristic;
When the determination unit determines that there is a predetermined change in the sound characteristics during sound collection of the external sound, the communication unit is controlled to receive sound data corresponding to the external sound from the outside, An operation control unit that performs an audio output operation for outputting audio from the output unit based on the received audio data;
And a direction detector for detecting the orientation of its own,
The determination unit
Detecting the volume of the external sound as the predetermined sound characteristic;
During collected before Kigaibu speech, as the presence or absence of a predetermined change in the sound characteristics, accompanied by more than a predetermined angle change in orientation of the wearable device, you determine the presence or absence of reduction of more than a predetermined value of said volume
C Earaburu apparatus.
通信部と、
音声に関する情報を出力する出力部と、
外部の出力機器が出力する外部音声を集音する集音部と、
前記集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部と、
前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、前記外部音声に対応する音声データを外部から受信するように前記通信部を制御し、当該受信された音声データに基づき前記出力部から音声を出力させる音声出力動作を実行する動作制御部と、
前記ユーザの動作を検出する動作検出部と、を備え、
前記判定部は、
前記所定の音特性として、前記外部音声の音量を検出し、
前記外部音声の集音中に、前記音特性の所定の変化の有無として、前記ユーザの所定の移動動作に起因する、前記音量の所定値以上の低下の有無を判定する
ウェアラブル装置。 A wearable device that can be worn on a user's head,
A communication department;
An output unit for outputting information about audio;
A sound collection unit for collecting external sound output from an external output device;
A determination unit for detecting a predetermined sound characteristic of the collected external sound and determining the presence or absence of a predetermined change in the sound characteristic;
When the determination unit determines that there is a predetermined change in the sound characteristics during sound collection of the external sound, the communication unit is controlled to receive sound data corresponding to the external sound from the outside, An operation control unit that performs an audio output operation for outputting audio from the output unit based on the received audio data;
And an operation detection unit for detecting an operation of said user,
The determination unit
Detecting the volume of the external sound as the predetermined sound characteristic;
During pickup of the external sound, as the presence or absence of a predetermined change in the sound characteristics, due to the predetermined movement of the user, you determine the presence or absence of reduction of more than a predetermined value of said volume
C Earaburu apparatus.
通信部と、
音声に関する情報を出力する出力部と、
外部の出力機器が出力する外部音声を集音する集音部と、
前記集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部と、
前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、前記外部音声に対応する音声データを外部から受信するように前記通信部を制御し、当該受信された音声データに基づき前記出力部から音声を出力させる音声出力動作を実行する動作制御部と、を備え、
前記判定部は、
前記所定の音特性として、前記外部音声の音量と音源方向とを検出し、
前記外部音声の集音中に、前記音特性の所定の変化の有無として、前記音源方向の所定角度以上の変化を伴う、前記音量の所定値以上の低下の有無を判定する
ウェアラブル装置。 A wearable device that can be worn on a user's head,
A communication department;
An output unit for outputting information about audio;
A sound collection unit for collecting external sound output from an external output device;
A determination unit for detecting a predetermined sound characteristic of the collected external sound and determining the presence or absence of a predetermined change in the sound characteristic;
When the determination unit determines that there is a predetermined change in the sound characteristics during sound collection of the external sound, the communication unit is controlled to receive sound data corresponding to the external sound from the outside, An operation control unit that performs an audio output operation for outputting audio from the output unit based on the received audio data;
The determination unit
As the predetermined sound characteristic, a volume and a sound source direction of the external sound are detected,
During pickup of the external sound, as the presence or absence of a predetermined change in the sound characteristics, accompanied by more than a predetermined angle of change in the sound source direction, you determine the presence or absence of reduction of more than a predetermined value of said volume
C Earaburu apparatus.
通信部と、
音声に関する情報を出力する出力部と、
外部の出力機器が出力する外部音声を集音する集音部と、
前記集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部と、
前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、前記外部音声に対応する音声データを外部から受信するように前記通信部を制御し、当該受信された音声データに基づき前記出力部から音声を出力させる音声出力動作を実行する動作制御部と、を備え、
前記判定部は、前記所定の音特性として、前記外部音声の音量を検出し、
前記動作制御部は、前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、当該所定の変化が生じる前の時点における前記外部音声の音量と同量の出力音量にて、前記音声出力動作を実行する
ウェアラブル装置。 A wearable device that can be worn on a user's head,
A communication department;
An output unit for outputting information about audio;
A sound collection unit for collecting external sound output from an external output device;
A determination unit for detecting a predetermined sound characteristic of the collected external sound and determining the presence or absence of a predetermined change in the sound characteristic;
When the determination unit determines that there is a predetermined change in the sound characteristics during sound collection of the external sound, the communication unit is controlled to receive sound data corresponding to the external sound from the outside, An operation control unit that performs an audio output operation for outputting audio from the output unit based on the received audio data;
The determination unit detects the volume of the external sound as the predetermined sound characteristic,
When the determination unit determines that there is a predetermined change in the sound characteristics during sound collection of the external sound, the operation control unit is configured to determine the volume of the external sound at a time before the predetermined change occurs. at the same amount of output volume, run the audio output operation
C Earaburu apparatus.
前記ウェアラブル装置の外部の出力機器と、
を備える出力システムであって、
前記ウェアラブル装置は、前記外部の出力機器が出力する外部音声を集音する集音部と、出力部と、を備え、
前記ウェアラブル装置は、前記集音された前記外部音声の所定の音特性として前記外部音声の音量を検出し、前記外部音声の集音中に、前記音量の所定値以上の低下が有ると、当該外部音声に対応する音声データの要求を前記外部の出力機器へ送信し、
前記外部の出力機器は、前記音声データの要求に応じて、当該音声データを前記ウェアラブル装置へ送信し、
前記ウェアラブル装置は、受信された前記音声データに基づき前記出力部から音声を出力させる
出力システム。 A wearable device that can be worn on the head;
An output device external to the wearable device;
An output system comprising:
The wearable device includes a sound collection unit that collects external sound output by the external output device, and an output unit.
The wearable device detects the volume of the external sound as a predetermined sound characteristic of the collected external sound, and if there is a decrease in the sound volume by a predetermined value or more during sound collection of the external sound , Send a request for audio data corresponding to external audio to the external output device,
In response to the request for the audio data, the external output device transmits the audio data to the wearable device,
The wearable device outputs an audio from the output unit based on the received audio data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015159055A JP6475592B2 (en) | 2015-08-11 | 2015-08-11 | Wearable device and output system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015159055A JP6475592B2 (en) | 2015-08-11 | 2015-08-11 | Wearable device and output system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017037526A JP2017037526A (en) | 2017-02-16 |
JP6475592B2 true JP6475592B2 (en) | 2019-02-27 |
Family
ID=58049362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015159055A Active JP6475592B2 (en) | 2015-08-11 | 2015-08-11 | Wearable device and output system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6475592B2 (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01265625A (en) * | 1988-04-18 | 1989-10-23 | Keiko Matsumoto | Television sound signal receiver |
JPH09140000A (en) * | 1995-11-15 | 1997-05-27 | Nippon Telegr & Teleph Corp <Ntt> | Loud hearing aid for conference |
JP4202640B2 (en) * | 2001-12-25 | 2008-12-24 | 株式会社東芝 | Short range wireless communication headset, communication system using the same, and acoustic processing method in short range wireless communication |
DE10236167B3 (en) * | 2002-08-07 | 2004-02-12 | Siemens Audiologische Technik Gmbh | Hearing aid with automatic site recognition |
JP2007334968A (en) * | 2006-06-13 | 2007-12-27 | Pioneer Electronic Corp | Voice switching apparatus |
JP2009109927A (en) * | 2007-10-31 | 2009-05-21 | Rarugo:Kk | Acoustic system and device used for the same |
US9124984B2 (en) * | 2010-06-18 | 2015-09-01 | Panasonic Intellectual Property Management Co., Ltd. | Hearing aid, signal processing method, and program |
JP3173995U (en) * | 2011-12-19 | 2012-03-01 | 株式会社アルファ | Digital wireless transceiver |
-
2015
- 2015-08-11 JP JP2015159055A patent/JP6475592B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017037526A (en) | 2017-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021008456A1 (en) | Image processing method and apparatus, electronic device, and storage medium | |
RU2678481C2 (en) | Information processing device, information processing method and program | |
US9986086B2 (en) | Mobile terminal and method of operating the same | |
US10924877B2 (en) | Audio signal processing method, terminal and storage medium thereof | |
US11482237B2 (en) | Method and terminal for reconstructing speech signal, and computer storage medium | |
CN111723602B (en) | Method, device, equipment and storage medium for identifying driver behavior | |
CN110708630B (en) | Method, device and equipment for controlling earphone and storage medium | |
KR20120033723A (en) | 3d glasses and method for controlling thereof | |
US10636167B2 (en) | Method and device for determining distance | |
CN110933468A (en) | Playing method, playing device, electronic equipment and medium | |
WO2015186686A1 (en) | Position determination apparatus, audio apparatus, position determination method, and program | |
US20180150722A1 (en) | Photo synthesizing method, device, and medium | |
CN112084811A (en) | Identity information determining method and device and storage medium | |
WO2018000764A1 (en) | Method and device for automatic audio channel matching, and headphone | |
CN111027490A (en) | Face attribute recognition method and device and storage medium | |
CN112749590B (en) | Object detection method, device, computer equipment and computer readable storage medium | |
CN110717926B (en) | Method and device for acquiring pedestrian flow information | |
CN104702848A (en) | Method and device for displaying framing information | |
CN110853124A (en) | Method, device, electronic equipment and medium for generating GIF dynamic graph | |
KR20160020860A (en) | Mobile terminal and method for controlling the same | |
KR20150066352A (en) | Mobile for pairing hearing apparatus and pairing method of mobile | |
CN113706807B (en) | Method, device, equipment and storage medium for sending alarm information | |
JP6475592B2 (en) | Wearable device and output system | |
US20200193707A1 (en) | Systems and methods for displaying video from a remote beacon device | |
CN111669611B (en) | Image processing method, device, terminal and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181031 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6475592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |