JP6529383B2 - ウェアラブル装置及び出力システム - Google Patents

ウェアラブル装置及び出力システム Download PDF

Info

Publication number
JP6529383B2
JP6529383B2 JP2015159054A JP2015159054A JP6529383B2 JP 6529383 B2 JP6529383 B2 JP 6529383B2 JP 2015159054 A JP2015159054 A JP 2015159054A JP 2015159054 A JP2015159054 A JP 2015159054A JP 6529383 B2 JP6529383 B2 JP 6529383B2
Authority
JP
Japan
Prior art keywords
unit
state
external
wearable device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015159054A
Other languages
English (en)
Other versions
JP2017037525A (ja
Inventor
須藤 智浩
智浩 須藤
渡邊 晃子
晃子 渡邊
長究 橋本
長究 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2015159054A priority Critical patent/JP6529383B2/ja
Publication of JP2017037525A publication Critical patent/JP2017037525A/ja
Application granted granted Critical
Publication of JP6529383B2 publication Critical patent/JP6529383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

この発明は、ユーザに装着可能なウェアラブル装置及び出力システムに関する。
上記のウェアラブル装置として、近年、テレビ、ディジタルオーディオプレイヤー等の複数の外部装置を相互に識別するための複数の識別画像を一覧表示する第1の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第2の表示領域と、を含む統合画像を生成する生成部と、前記統合画像を画像表示装置の使用者に視認させる画像表示部と、を備える、頭部装着型表示装置が開示されている(特許文献1参照)。
特開2015−64476号公報
ユーザに装着可能なウェアラブル装置においては、外部装置が表示する画像を、より適切な時機に表示することが望まれている。
本発明の目的は、外部装置が表示する画像を、ウェアラブル装置により適切な時機に表示するウェアラブル装置及び出力システムを提供することにある。
1つの態様に係るウェアラブル装置は、ユーザの眼前に配置される表示部と、通信部と、外部の出力機器とユーザとの相対変化を検出する相対変化検出部と、前記相対変化検出部の検出結果に基づいて、前記外部の出力機器が表示している外部表示画像をユーザが視認している第1状態であるか、当該外部表示画像をユーザが視認していない第2状態であるか、を判定可能な状態判定部と、前記状態判定部で前記第1状態から前記第2状態に遷移したことを検出した場合、前記外部表示画像に対応する画像データを外部から受信するように前記通信部を制御し、当該受信された画像データに基づき表示画像を前記表示部に表示させる表示動作を実行する動作制御部と、を備える。
1つの態様に係る出力システムは、ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置と、前記ウェアラブル装置の外部の出力機器と、を備える出力システムであって、前記ウェアラブル装置は、前記外部の出力機器が表示している外部表示画像を前記ユーザが視認している第1状態から、当該外部表示画像を前記ユーザが視認していない第2状態に遷移したことを検出した場合に、前記外部表示画像に対応する画像データの要求を前記外部の出力機器へ送信し、前記外部の出力機器は、前記画像データの要求に応じて、当該画像データを前記ウェアラブル装置へ送信し、前記ウェアラブル装置は、受信した前記画像データに基づき表示画像を前記表示部に表示させる。
1つの態様に係る出力システムは、ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置と、前記ウェアラブル装置の外部の出力機器と、を備える出力システムであって、前記外部の出力機器は、当該外部の出力機器が表示している外部表示画像をユーザが視認している第1状態から、当該外部表示画像をユーザが視認していない第2状態に遷移したことを検出した場合に、前記外部表示画像に対応する画像データを前記ウェアラブル装置へ送信し、前記ウェアラブル装置は、受信された前記画像データに基づき表示画像を前記表示部に表示させる。
図1は、ウェアラブル装置の斜視図である。 図2は、ウェアラブル装置のブロック図である。 図3は、ウェアラブル装置による制御の例を示す図である。 図4は、ウェアラブル装置による制御に係る処理手順を示すフローチャートである。 図5は、ウェアラブル装置による制御に係る変形例の処理手順を示すフローチャートである。 図6は、ウェアラブル装置による制御に係る変形例の処理手順を示すフローチャートである。 図7は、ウェアラブル装置による制御に係る変形例の処理手順を示すフローチャートである。 図8は、表示画像の大きさの例を示す図である。 図9は、ウェアラブル装置による制御に係る変形例の処理手順を示すフローチャートである。 図10は、出力システムの全体的な構成を示す図である。 図11は、出力機器のブロック図である。 図12は、出力機器の利用時における出力システムの動作を示すシーケンス図である。 図13は、出力機器の利用時における出力システムの動作の変形例を示すシーケンス図である。 図14は、出力機器の利用時における出力システムの動作の変形例を示すシーケンス図である。 図15は、出力機器の利用時における出力システムの動作の他の例を示すシーケンス図である。 図16は、出力システムの全体的な構成を示す図である。 図17は、中継器のブロック図である。 図18は、出力機器の利用時における出力システムの動作を示すシーケンス図である。
本出願に係るウェアラブル装置及び出力システムを実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
(実施形態1)
まず、図1を参照しながら、ウェアラブル装置20の全体的な構成について説明する。図1は、ウェアラブル装置20の斜視図である。ウェアラブル装置20は、ユーザの頭部に装着されるヘッドマウントタイプの装置である。以下の説明においては、同様の構成要素には同一の符号を付し、重複する説明は省略することがある。
ウェアラブル装置20は、前面部20aと、側面部20bと、側面部20cとを有する。前面部20aは、装着時に、ユーザの両目を覆うようにユーザの正面に配置される。前面部20aは、ブリッジと、ブリッジを隔てて左右に設けられる二つの縁部(リム)とが一体となって構成されている。側面部20bは、前面部20aの一方の端部に接続され、側面部20cは、前面部20aの他方の端部に接続される。側面部20b及び側面部20cは、装着時に、眼鏡の蔓のようにユーザの耳によって支持され、ウェアラブル装置20を安定させる。側面部20b及び側面部20cは、装着時に、ユーザの頭部の背面で接続されるように構成されてもよい。
前面部20aは、装着時にユーザの目と対向する面に表示部2a及び表示部2bを備える。表示部2aは、装着時にユーザの右目と対向する位置に配設される。表示部2bは、装着時にユーザの左目と対向する位置に配設される。表示部2aは、右目用の画像を表示する。表示部2bは、左目用の画像を表示する。このように、装着時にユーザのそれぞれの目に対応した画像を表示する表示部2a及び表示部2bを備えることにより、ウェアラブル装置20は、両眼の視差を利用した3次元表示を実現することができる。
表示部2a及び表示部2bは、一対の半透過ディスプレイであるが、これに限定されない。例えば、表示部2a及び表示部2bは、メガネレンズ、サングラスレンズ、及び紫外線カットレンズ等のレンズ類を設け、レンズとは別に表示部2a及び表示部2bを設けてもよい。表示部2a及び表示部2bは、ユーザの右目と左目に異なる画像を独立して提供することができれば、1つの表示デバイスによって構成されてもよい。
前面部20aは、ウェアラブル装置20の装着時に、ユーザの顔に対向する面とは反対側の面に撮像部7を備える。撮像部7は、ユーザの前方を撮像する。例えば、撮像部7は、ユーザの前方の視界に相当する範囲の画像を取得する。視界とは、例えば、ユーザが正面を見ているときの視界を含む。
ウェアラブル装置20は、ユーザが視認している前景に各種情報を視認させる機能を有する。前景とは、ユーザの前方の風景である。ウェアラブル装置20は、表示部2a及び表示部2bが表示を行っていない場合、表示部2a及び表示部2bを透して前景をユーザに視認させる。ウェアラブル装置20は、表示部2a及び表示部2bが表示を行っている場合、表示部2a及び表示部2bを透した前景と、表示部2a及び表示部2bの表示内容とをユーザに視認させる。ウェアラブル装置20は、3次元的な情報を表示部2a及び表示部2bに表示させてもよい。
図1では、ウェアラブル装置20が、眼鏡のような形状を有する例を示したが、ウェアラブル装置20の形状はこれに限定されない。例えば、ウェアラブル装置20は、ゴーグルの形状を有してもよい。ウェアラブル装置20は、例えば、情報処理装置、バッテリ装置等の外部装置と有線または無線で接続される構成であってもよい。
次に、図2を参照しながら、ウェアラブル装置20の機能的な構成について説明する。図2は、ウェアラブル装置20のブロック図である。図2に示すように、ウェアラブル装置20は、表示部2a及び表示部2bと、操作部3と、通信部6と、撮像部7と、集音部8と、記憶部9と、制御部10と、出力部11と、検出部16とを備える。本実施形態のウェアラブル装置20は、撮像部7と集音部8と検出部16とが相対変化検出部21に含まれる。
表示部2a及び2bは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)等の半透過または透過の表示デバイスを備える。表示部2a及び2bは、制御部10から入力される制御信号に従って各種の情報を表示できる。表示部2a及び2bは、レーザー光線等の光源を用いてユーザの網膜に画像を投影する投影装置であってもよい。
操作部3は、ユーザの操作を受け付けることができる。操作部3は、操作を受け付けるために、ボタン、キー、タッチスクリーン等の入力デバイスを用いることができる。図1に示す例では、操作部3は、前面部20aと側面部20bと側面部20cとの各々に設けられて、接触を検出するタッチセンサを含む。タッチセンサは、例えば、静電容量式、超音波式、感圧式、抵抗膜式、光検知式等、各種方式のセンサを用いることができる。なお、操作部3は、前面部20aと側面部20bと側面部20cの何れか一方に設ける構成であってもよい。例えば、操作部3は、ウェアラブル装置20の起動、停止、動作モードの変更等の基本的な操作を受け付ける。
通信部6は、無線により通信できる。通信部6は、近距離無線通信方式をサポートできる。近距離無線通信方式には、Bluetooth(登録商標)、無線LAN(IEEE802.11)、ZigBee(登録商標)、赤外線通信、可視光通信、NFC(Near Field Communication)等を含む。通信部6は、複数の通信方式をサポートしてもよい。通信部6は、例えば、2G、3G、4G等のセルラーフォンの通信規格をサポートしてもよい。
通信部6は、放送電波を受信する。通信部6が受信する電波は、テレビの電波であってもよいし、ラジオの電波であってもよい。放送に用いられる電波の周波数帯は、複数の物理チャンネルに分割されている。通信部6は、受信した電波を信号へ変換して制御部10へ入力する。本実施形態では、通信部6は、テレビ、ラジオ等のチューナーを兼ねる場合について説明するが、これに限定されない。ウェアラブル装置20は、通信部6とは別にチューナー部を備えてもよい。
撮像部7は、ユーザの前方における撮像範囲を撮像できる。撮像部7は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像できる。撮像部7は、撮像した画像を信号に変換して制御部10へ出力できる。
集音部8は、ウェアラブル装置20の周囲の音を集音できる。集音部8は、例えば、マイクを含む。集音部8は、集音結果を音信号へ変換して制御部10へ入力できる。出力部11は、例えば、制御部10から入力される音信号を音として出力できる。出力部11は、例えば、スピーカ、イヤホンジャックを含む。
記憶部9は、プログラム及びデータを記憶できる。記憶部9は、制御部10の処理結果を一時的に記憶する作業領域としても利用される。記憶部9は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。記憶部9は、複数の種類の記憶媒体を含んでよい。記憶部9は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部9は、例えば、制御プログラム9a、設定データ9b、撮像データ9c及び音データ9dを記憶できる。制御プログラム9aは、ウェアラブル装置20を稼動させるための各種制御に関する機能を提供できる。制御プログラム9aは、例えば、通信部6を制御することによって、外部の通信装置との通信を実現させる。制御プログラム9aが提供する機能は、表示部2a及び2bを制御することによって、画像データの表示を実現させる。画像データは、例えば、静止画、動画等のデータを含む。制御プログラム9aが提供する機能は、ユーザが第1状態であるか、第2状態であるかを判定する機能を含む。第1状態は、外部の出力機器が表示している外部表示画像をユーザが視認している状態である。第2状態は、当該外部表示画像をユーザが視認していない状態である。記憶部9は、外部の出力機器等から受信した画像データを記憶できる。
設定データ9bは、ユーザが外部表示画像を視認している第1状態であるか否かを判定するための条件データを含む。条件データは、例えば、撮像画像から判定するための条件を示すデータを含む。条件データは、例えば、ユーザの状態を判定するための条件を示すデータを含む。
撮像データ9cは、撮像部7によって撮像範囲を撮像した撮像画像を示すデータである。撮像データ9cは、例えば、静止画データと動画データとが含まれる。撮像データ9cには、撮像部7の撮像結果として送信されてくる撮像画像を時系列的に記憶できる。
音データ9dは、集音部8によって集音された音を示すデータである。音データ9dは、例えば、音量、音の波形、周波数等を示すデータを含む。音データ9dには、集音部8の集音結果として送信されてくる音データを時系列的に記憶できる。
制御部10は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部10は、ウェアラブル装置20の動作を統括的に制御できる。制御部10の各種機能は、制御部10の制御に基づいて実現される。
具体的には、制御部10は、記憶部9に記憶されているプログラムに含まれる命令を実行できる。制御部10は、記憶部9に記憶されているデータを必要に応じて参照できる。制御部10は、データ及び命令に応じて機能部を制御する。制御部10は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、表示部2a及び2b、通信部6、集音部8、及び出力部11を含むが、これらに限定されない。制御部10は、状態判定部10aと動作制御部10bを含む。制御部10は、制御プログラム9aを実行することによって、状態判定部10aを実現する。状態判定部10aは、第1状態であるか、第2状態であるかを判定する機能を提供できる。動作制御部10bは、表示部2a及び2bの表示動作や、出力部11からの音声出力動作を制御する。動作制御部10bは、状態判定部10aや検出部16の検出結果に応じて、制御を変更することがある。
検出部16は、撮像部7の周囲近傍に存在する物体を検出するセンサを有する。センサは、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも1つを検出し、撮像範囲に存在する現実の物体を検出するセンサである。検出部16は、検出した撮像範囲に存在する現実の物体の変化に基づいて、現実の物体とウェアラブル装置20との相対移動を検出する。検出部16は、可視光、赤外線、紫外線、電波、音波、磁気、静電容量のうち、複数の値を検出し、複数の検出結果に基づいて、撮像範囲内から撮像範囲外への物体の移動を検出してもよい。検出部16は、加速度センサをさらに有してもよい。加速度センサは、ウェアラブル装置20に働く加速度を検出できる。加速度センサの検出結果は、ウェアラブル装置20を携帯するユーザの移動、停止を検出するために用いることができる。
次に、図3を参照しながら、制御プログラム9aが提供する機能に基づく制御の例について説明する。図3は、ウェアラブル装置20による制御の例を示す図である。
図3に示すステップS11では、ユーザは、ウェアラブル装置20を起動させ、当該ウェアラブル装置20を頭部に装着した状態で、前方の出力機器30を視聴している。すなわち、ユーザは、表示部2a及び2bを透して、ウェアラブル装置20の前方の出力機器30が表示している外部表示画像Pを視認している。出力機器30は、ウェアラブル装置20の外部に配置されている。出力機器30は、ユーザに対して各種情報を出力できる。出力機器30は、例えば、映像を表示することができる。出力機器30は、例えば、音声、音等を出力することができる。
図3に示す例では、出力機器30は、テレビである場合について説明するが、これに限定されない。出力機器30は、例えば、パーソナルコンピュータ、表示機能を有するオーディオ機器等の他の電子機器としてもよい。
ウェアラブル装置20は、ステップS11として、撮像部7によってユーザの前方の撮像範囲7aを撮像する。ユーザが出力機器30を視聴している場合、撮像範囲7aを撮像した撮像画像は、出力機器30を含んでいる可能性が高い。一方、ユーザが出力機器30を視聴していない場合、撮像範囲7aを撮像した撮像画像は、出力機器30の全てまたは一部を含んでいない可能性が高い。ウェアラブル装置20は、撮像した撮像画像を解析し、撮像範囲7aにおける所定範囲R内に出力機器30が存在するか否かを判別する。
例えば、ウェアラブル装置20は、撮像した撮像画像から出力機器30のフレーム、表示領域等を示す領域を推定する。ウェアラブル装置20は、所定時間の間に撮像した撮像画像から、推定した領域内に出力機器30の外部表示画像Pが表示されているかを判別する。例えば、推定した領域内の画像が変化している場合、当該画像は映像である可能性が高い。ウェアラブル装置20は、特定した領域内の画像が変化している場合に、所定範囲R内に出力機器30の外部表示画像Pが存在すると判別することができる。
図3に示す例では、所定範囲Rは、撮像部7の撮像範囲7aと略同一である場合について説明するが、これに限定されない。例えば、所定範囲Rは、撮像部7の撮像範囲7aよりも狭い範囲としてもよい。
ウェアラブル装置20は、ステップS11に示すように、撮像画像から所定範囲R内に出力機器30の外部表示画像Pが含まれている場合に、出力機器30の外部表示画像Pをユーザが視認している第1状態であると判定する。ウェアラブル装置20は、第1状態であると判定すると、当該第1状態から第2状態へ遷移したか否かを判定する。第2状態は、出力機器30の外部表示画像Pをユーザが視認していない状態である。
ステップS12では、ユーザは、例えば、視聴している場所から他の場所に移動するために、出力機器30に向かっていた頭部の向きが左方向へ向かって変化している。すなわち、ウェアラブル装置20の所定範囲R内に収まっている出力機器30は、ユーザの向きの変化に伴って所定範囲R内を右方向へ移動している。
ウェアラブル装置20は、ステップS12として、撮像した撮像画像から、所定範囲R内に外部表示画像Pが含まれているか否かの判定を継続する。ウェアラブル装置20は、所定範囲R内に外部表示画像Pが含まれている場合、第1状態であると判定する。なお、図3に示す例では、ウェアラブル装置20は、所定範囲R内から外部表示画像Pの全てが外れるまで第1状態であると判定する場合について説明するが、これに限定されない。例えば、ウェアラブル装置20は、所定範囲R内から外部表示画像Pの一部が外れた場合に、第1状態ではないと判定してもよい。
ステップS13では、ユーザは、ウェアラブル装置20を装着した状態で、移動を継続し、出力機器30を視認できない方向へ頭部の向きが変化している。すなわち、ウェアラブル装置20の所定範囲R内に収まっていた出力機器30は、ユーザの向きの変化に伴って所定範囲R内から外れている。
ウェアラブル装置20は、ステップS13として、撮像した撮像画像から、所定範囲R内に外部表示画像Pが含まれていないと判定すると、出力機器30の外部表示画像Pをユーザが視認していない第2状態であると判定する。すなわち、ウェアラブル装置20は、ユーザの状態が第1状態から第2状態へ遷移したと判定する。
ステップS14では、ユーザは、ウェアラブル装置20を装着した状態で、出力機器30を視認できない方向を向いて移動している。
ウェアラブル装置20は、ステップS14として、第1状態から第2状態に遷移したことを契機に、外部表示画像Pに対応する画像データを外部から受信するように通信部6を制御する。外部表示画像Pに対応する画像データは、例えば、外部表示画像Pと同一の画像データ、外部表示画像Pに関連する画像データを含む。ウェアラブル装置20は、通信部6を介して受信した画像データに基づいた表示画像51を表示部2a及び2bに表示させる表示動作を実行する。
ステップS14に示す例では、ウェアラブル装置20は、受信した放送電波に基づく表示画像51を、所定領域Rの右上寄りの一部に表示させている。ウェアラブル装置20は、予め設定されているチャンネルの放送電波を受信する場合、チャンネルを選択させる画面を表示画像51とともに表示部2a及び2bに表示させてもよい。
このように、ウェアラブル装置20は、ユーザが外部表示画像Pを視認している第1状態から第2状態へ遷移したことを契機に、外部表示画像Pに基づく表示画像を表示部2a及び2bに表示することができる。これにより、ウェアラブル装置20は、ユーザが出力機器30の外部表示画像Pが視認できなくなったことを契機に、当該外部表示画像Pに基づく表示画像51を表示部2a及び2bで視認させることができる。その結果、ユーザは、出力機器30の外部表示画像を視認できない状態に変化した場合に、ウェアラブル装置20によって外部表示画像を継続して視認することができる。
図4を参照しながら、ウェアラブル装置20による制御の処理手順について説明する。図4は、ウェアラブル装置20による制御に係る処理手順を示すフローチャートである。図4に示す処理手順は、制御部10が制御プログラム9aを実行することによって実現される。図4に示す処理手順は、ウェアラブル装置20が頭部に装着されている場合、ウェアラブル装置20が動作している場合等に実行される。図4に示す処理手順は、撮像部7が起動された状態で実行されることを前提とするが、撮像する場合に撮像部7を起動させてもよい。
図4に示すように、ウェアラブル装置20の制御部10は、ステップS101として、撮像部7で撮像した撮像画像に基づいて、所定範囲R内に外部表示画像Pがあるか否かを判定する。例えば、制御部10は、撮像データ9cが示す所定時間における撮像画像を解析し、撮像画像が出力機器30を含んでいる場合に、当該出力機器30が外部表示画像Pを表示しているかを判定する。制御部10は、出力機器30が外部表示画像Pを表示している場合に、所定範囲R内に外部表示画像Pがあると判定する。所定範囲R内に外部表示画像Pがないと判定した場合(ステップS102,No)、制御部10は、処理を既に説明したステップS101に戻す。
所定範囲R内に外部表示画像Pがあると判定した場合(ステップS102,Yes)、制御部10は、処理をステップS103に進める。制御部10は、ステップS103として、外部表示画像Pをユーザが視認している第1状態であると判定したことを記憶部9に記憶する。
制御部10は、ステップS104として、撮像部7で撮像した撮像画像に基づいて、所定範囲R内から外部表示画像Pが外れたか否かを判定する。例えば、制御部10は、第1状態において、撮像データ9cが示す所定時間における撮像画像を解析し、撮像画像が出力機器30の外部表示画像Pを含んでいない場合に、所定範囲R内から外部表示画像Pが外れたと判定する。所定範囲R内から外部表示画像Pが外れていないと判定した場合(ステップS105,No)、制御部10は、処理を既に説明したステップS104に戻す。
所定範囲R内から外部表示画像Pが外れたと判定した場合(ステップS105,Yes)、制御部10は、処理をステップS106に進める。制御部10は、ステップS106として、外部表示画像Pをユーザが視認していない第2状態であると判定したことを記憶部9に記憶する。
制御部10は、ステップS107として、通信部6で画像データを受信させる。制御部10は、ステップS108として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させる。その後、制御部10は、所定の終了タイミングを検出した場合に、図4に示す処理手順を終了させる。
上記のように、ウェアラブル装置20において、相対変化検出部21は、ユーザの前方を撮像する撮像部7を備え、状態判定部10aは、撮像部7が撮像する撮像画像から、所定範囲R内に外部表示画像Pが含まれるか否かを判定し、所定範囲R内に外部表示画像Pが含まれる状態から、所定範囲R内に外部表示画像Pが含まれない状態に遷移すると、外部表示画像Pをユーザが視認している第1状態から当該外部表示画像Pをユーザが視認していない第2状態に遷移したと判定する。しかしながら、撮像部7が撮像する撮像画像に基づき第1状態から第2状態への遷移を判定するための条件は、上記のものに限定されない。例えば、状態判定部10aは、撮像部7が撮像する撮像画像から、所定範囲R内に外部表示画像Pが含まれるか否かを判定し、第1状態である場合において、所定範囲R内に外部表示画像Pが含まれる状態から、所定範囲R内に外部表示画像Pが含まれない状態に遷移し、当該遷移後の状態が所定時間継続した場合に、第1状態から第2状態に遷移したと判定してもよい。このような構成とすることで、所定範囲Rから外部表示画像Pが一時的に外れたのみである場合、即ち、外部表示画像Pをユーザが視認できない状態には該当しない場合には、これに基づいてウェアラブル装置20が表示動作を実行することがなくなるので、ユーザが煩わしい思いをしないで済む。
また、上記の実施形態では、状態判定部10aは、撮像部7が撮像した撮像画像から、所定範囲R内に外部表示画像Pが含まれるか否かを判定し、当該所定範囲R内に外部表示画像Pが含まれる場合に第1状態であると判定するものとして説明した。この場合、撮像部7に撮像を開始させる時機としては、例えば、集音部8によって所定の音特性を有する音声を検出した時点、または、検出部16によってユーザの所定の動作を検出した時点としてもよい。当該構成とすることにより、常時撮像部7を起動させる必要が無いので、省電力化に貢献することができる。なお、ウェアラブル装置20は、集音部8によって集音された音声の特徴抽出を行い、特徴抽出の結果、集音した音声が出力機器30(テレビ)特有の音声に該当すると判定した場合に、所定の音特性を有する音声を検出したものとみなしてよい。テレビ特有の音声としては、例えば、テレビ特有の効果音を含む音声、テレビ特有の音声の間の空け方等の特徴を有する。また、ウェアラブル装置20は、検出部16が加速度センサである場合には、ユーザの移動する動作(例えば徒歩)を行っている状態から停止する一連の動作、ユーザが立ち上がっている状態から座り込む動作等を、所定の動作として検出してもよい。
また、ウェアラブル装置20は、検出部16がユーザの手へ赤外線を照射する機能と、手から反射される赤外線を検出し、当該検出した結果に基づいて手の動作を推定する機能と、を有する場合には、例えば、ユーザが前方を指差す動作等を所定の動作として検出してもよい。
また、上記の実施形態では、出力機器30がテレビである場合について説明したが、出力機器30は、例えば、監視カメラが撮像する画像を表示する表示装置であってもよく、この場合、一時的に表示装置から離れたとしても、監視カメラが撮像する画像を、ウェアラブル装置20において監視し続けることができる。
上記の実施形態では、ウェアラブル装置20の制御部10は、撮像部7のフレームレートを変更させてもよい。例えば、制御部10は、第1状態と判定すると、当該第1状態になる前の時点のフレームレートよりも小さいフレームレートで、撮像部7を制御してもよい。これにより、制御部10は、第1状態から第2状態への遷移を速やかに判定することができる。
上記の実施形態では、ウェアラブル装置20は、第1状態である場合において、所定範囲R内から外部表示画像Pが外れたときに、第2状態であると判定する場合について説明したが、これに限定されない。以下に、実施形態の変形例について説明する。
(変形例)
上記のウェアラブル装置20は、第1状態から第2状態への遷移を判定する場合に、ユーザが移動中であるかを判定してもよい。例えば、ウェアラブル装置20は、第1状態である場合において、所定範囲R内から外部表示画像Pが外れた場合に、ユーザが移動中であるか否かを判定してもよい。ウェアラブル装置20は、所定範囲R内から外部表示画像Pが外れ、かつユーザが移動中であると判定した場合に、第2状態へ遷移したと判定してもよい。このように、ウェアラブル装置20は、ユーザが移動中であることを判定することで、ユーザが一時的に出力機器30から視線を外したことと、ユーザが移動したことを区別することができる。その結果、ウェアラブル装置20は、ユーザが移動したタイミングで、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させることができる。
図5を参照しながら、ウェアラブル装置20による制御の変形例について説明する。図5は、ウェアラブル装置20による制御に係る変形例の処理手順を示すフローチャートである。図5に示す処理手順は、制御部10が制御プログラム9aを実行することによって実現される。図5に示す処理手順は、ウェアラブル装置20が頭部に装着されている場合、ウェアラブル装置20が動作している場合等に実行される。図5に示す処理手順は、撮像部7が起動された状態で実行されることを前提とするが、撮像する場合に撮像部7を起動させてもよい。
図5に示す例では、ステップS101からステップS108の処理は、図4に示すステップS101からステップS108の処理と同一であるため、異なる部分のみを説明し、同一部分の説明は省略する。
図5に示すように、ウェアラブル装置20の制御部10は、所定範囲R内から外部表示画像Pが外れたと判定した場合(ステップS105,Yes)、処理をステップS111に進める。制御部10は、ステップS111として、検出部16の検出結果に基づいて、ユーザが移動中であるか否かを判定する。
例えば、制御部10は、撮像データ9cが示す撮像画像から、所定範囲Rにおける画像の変化を検出した場合に、ユーザが移動中であると判定してもよい。具体的には、制御部10は、相異なる撮像画像(フレーム)を比較し、比較結果がユーザの移動に対応した判定条件を満たす場合に、ユーザが移動中であると判定できる。判定条件は、例えば、ユーザの移動に対応した物体の位置、大きさ等の変化量を示す条件を含む。
例えば、制御部10は、検出部16の加速度センサの検出結果と予め定められたユーザの移動中の加速度パターンとが一致している場合に、ユーザが移動中であると判定する。なお、パターンの一致とは、完全に一致している場合、所定の割合で一致している場合を含む。
ユーザが移動中ではないと判定した場合(ステップS112,No)、制御部10は、処理を既に説明したステップS104に戻す。ユーザが移動中であると判定した場合(ステップS112,Yes)、制御部10は、処理を既に説明したステップS106に進める。制御部10は、ステップS106からステップS108の処理を実行すると、図5に示す処理手順を終了させる。
図5に示す処理手順では、制御部10は、所定範囲R内から外部表示画像Pが外れた場合に、ユーザが移動中であるかを判定する場合について説明したが、これに限定されない。例えば、制御部10は、最初にユーザが移動中であるかを判定し、その後、所定範囲R内から外部表示画像Pが外れたかを判定してもよい。
図5に示す処理手順では、制御部10は、所定範囲R内から外部表示画像Pが外れた場合に、ユーザが移動中であるかを判定する場合について説明したが、これに限定されない。例えば、制御部10は、所定範囲R内から外部表示画像Pが外れたか否かの判定を行わずに、ユーザが移動中であるか否かのみを判定してもよい。この場合、制御部10は、ユーザが移動中であると判定した場合に、第1状態から第2状態へ遷移したと判定してもよい。
(変形例)
上記のウェアラブル装置20は、第1状態である場合において、ユーザの所定動作を検出部16が検出した場合に、撮像部7による撮像を開始し、撮像した撮像画像から所定範囲R内から外部表示画像Pが外れたか否かを判定してもよい。ユーザの所定動作は、例えば、検出部16が加速度センサである場合には、ユーザの移動する動作(例えば徒歩)、所定速度以上で移動する動作、ユーザが立ち上がる動作等を含む。また、検出部16がユーザの手へ赤外線を照射する機能と、手から反射される赤外線を検出し、当該検出した結果に基づいて手の動作の有無を判定する機能と、を有する場合には、ユーザの所定動作は、手の動作を含んでよい。
例えば、ウェアラブル装置20は、第1状態である場合において、検出部16の検出結果に基づいて、ユーザの所定動作を検出すると、撮像部7による撮像を開始する。ウェアラブル装置20は、撮像した撮像画像から、所定範囲R内から外部表示画像Pが外れたと判定した場合に、第1状態から第2状態へ遷移したと判定してもよい。
このように、ウェアラブル装置20は、第1状態である場合において、ユーザの所定動作を検出した場合に、第2状態への遷移を判定することができる。その結果、ウェアラブル装置20は、第2状態への遷移を判定するために、撮像部7を常に動作させる必要がなくなり、撮像部7による消費電力を低減させることができる。
図6を参照しながら、ウェアラブル装置20による制御の変形例について説明する。図6は、ウェアラブル装置20による制御に係る変形例の処理手順を示すフローチャートである。図6に示す処理手順は、制御部10が制御プログラム9aを実行することによって実現される。図6に示す処理手順は、ウェアラブル装置20が頭部に装着されている場合、ウェアラブル装置20が動作している場合等に実行される。図6に示す処理手順は、撮像部7が起動された状態で実行されることを前提とするが、撮像する場合に撮像部7を起動させてもよい。
図6に示す例では、ステップS101からステップS108の処理は、図4に示すステップS101からステップS108の処理と同一であるため、異なる部分のみを説明し、同一部分の説明は省略する。
図6に示すように、ウェアラブル装置20の制御部10は、既に説明したステップS103の処理が終了すると、ステップS121として、ユーザの所定動作を検出したか否かを判定する。例えば、制御部10は、検出部16の加速度センサの検出結果と予め定められた所定動作の加速度パターンとが一致している場合に、ユーザの所定動作を検出したと判定する。制御部10は、所定動作を検出していないと判定した場合(ステップS122,No)、処理を既に説明したステップS121に戻す。制御部10は、所定動作を検出したと判定した場合(ステップS122,Yes)、処理を既に説明したステップS104に進める。制御部10は、既に説明したステップS104からステップS108の処理を実行すると、図6に示す処理手順を終了させる。
(変形例)
上記のウェアラブル装置20は、第1状態である場合において、集音した音声の所定の音特性を検出し、当該音特性における所定の変化を検出した場合に、第1状態から第2状態に遷移したと判定してもよい。所定の音特性は、例えば、出力機器30が出力する音量、音の出力パターンを含む。音特性における所定の変化は、例えば、自機と出力機器30との距離の変化に対応した音量の変化、ユーザの向き及び移動の変化に対応した音質の変化等を含む。
このように、ウェアラブル装置20は、第1状態である場合において、検出した音特性の変化を検出した場合に、第2状態への遷移を判定することができる。その結果、ウェアラブル装置20は、第2状態への遷移を判定するために撮像画像を解析する必要がなくなり、制御部10の処理負担を低減させることができる。
図7を参照しながら、ウェアラブル装置20による制御の変形例について説明する。図7は、ウェアラブル装置20による制御に係る変形例の処理手順を示すフローチャートである。図7に示す処理手順は、制御部10が制御プログラム9aを実行することによって実現される。図7に示す処理手順は、ウェアラブル装置20が頭部に装着されている場合、ウェアラブル装置20が動作している場合等に実行される。図7に示す処理手順は、撮像部7が起動された状態で実行されることを前提とするが、撮像する場合に撮像部7を起動させてもよい。
図7に示す例では、ステップS101からステップS103及びステップS106からステップS108の処理は、図4に示すステップS101からステップS103及びステップS106からステップS108の処理と同一であるため、異なる部分のみを説明し、同一部分の説明は省略する。
図7に示すように、ウェアラブル装置20の制御部10は、既に説明したステップS103の処理が終了すると、ステップS131として、集音部8が集音した音データ9dから所定の音特性を検出する。制御部10は、ステップS132として、検出した音特性における所定の変化を検出したか否かを判定する。例えば、制御部10は、所定の音特性として音量を検出している場合、音量が所定の閾値よりも小さい場合に、所定の変化を検出したと判定する。制御部10は、所定の変化を検出していないと判定した場合(ステップS133,No)、処理を既に説明したステップS131に戻す。制御部10は、所定の変化を検出したと判定した場合(ステップS133,Yes)、処理を既に説明したステップS106に進める。制御部10は、既に説明したステップS106からステップS108の処理を実行すると、図7に示す処理手順を終了させる。
図7に示す処理手順では、制御部10は、第1状態である場合において、音特性の変化に基づいて第2状態への遷移を判定する場合について説明したが、これに限定されない。例えば、制御部10は、第1状態である場合において、音特定における所定の変化を検出し、かつ、所定範囲R内から外部表示画像Pが外れた場合に、第2状態であると判定してもよい。
(変形例)
上記のウェアラブル装置20は、受信した画像データに基づいた表示画像51の表示サイズをユーザの状態に応じて変化させてもよい。図8は、表示画像の大きさの例を示す図である。図8に示すように、制御部10は、第2状態において、ユーザが移動中である場合には、第1の大きさの表示画像51aを表示部2a及び2bに表示させてもよい。制御部10は、第2状態において、ユーザが移動中でない場合には、第2の大きさの表示画像51bを表示部2a及び2bに表示させてもよい。第2の大きさは、第1の大きさよりも大きい。第2の大きさは、例えば、所定範囲Rと同じ大きさとしてもよい。
このように、ウェアラブル装置20は、第2状態である場合において、ユーザが移動中であるか否かに応じて、表示画像51の表示サイズを変更することができる。その結果、ウェアラブル装置20は、ユーザの移動状態に応じて表示画像の表示サイズを変更することができるため、利便性を向上させることができる。
図9を参照しながら、ウェアラブル装置20による制御の変形例について説明する。図9は、ウェアラブル装置20による制御に係る変形例の処理手順を示すフローチャートである。図9に示す処理手順は、制御部10が制御プログラム9aを実行することによって実現される。図9に示す処理手順は、ウェアラブル装置20が頭部に装着されている場合、ウェアラブル装置20が動作している場合等に実行される。図9に示す処理手順は、撮像部7が起動された状態で実行されることを前提とするが、撮像する場合に撮像部7を起動させてもよい。
図9に示す例では、ステップS101からステップS107の処理は、図4に示すステップS101からステップS107の処理と同一であるため、異なる部分のみを説明し、同一部分の説明は省略する。
図9に示すように、ウェアラブル装置20の制御部10は、既に説明したステップS107の処理が終了すると、ステップS141として、ユーザが移動中であるか否かを判定する。
例えば、制御部10は、撮像部7が撮像した撮像画像から、所定範囲Rにおける画像の変化を検出した場合に、ユーザが移動中であると判定してもよい。具体的には、制御部10は、相異なる撮像画像(フレーム)を比較し、比較結果がユーザの移動に対応した判定条件を満たす場合に、ユーザが移動中であると判定できる。
例えば、制御部10は、加速度センサの検出結果と予め定められた移動中の加速度パターンとが一致している場合に、ユーザが移動中であると判定する。なお、パターンの一致とは、完全に一致している場合、所定の割合で一致している場合を含む。
ユーザが移動中であると判定した場合(ステップS142,Yes)、制御部10は、処理をステップS143に進める。制御部10は、ステップS143として、受信した画像データに基づいた表示画像51aを第1の大きさで表示部2a及び2bに表示させる。その後、制御部10は、所定の終了タイミングを検出した場合に、図9に示す処理手順を終了させる。
ユーザが移動中ではないと判定した場合(ステップS142,No)、制御部10は、処理をステップS144に進める。制御部10は、ステップS144として、受信した画像データに基づいた表示画像51bを第2の大きさで表示部2a及び2bに表示させる。その後、制御部10は、所定の終了タイミングを検出した場合に、図9に示す処理手順を終了させる。
(実施形態2)
図10を参照しながら、上記のウェアラブル装置20を備える出力システム1について説明する。図10は、出力システム1の全体的な構成を示す図である。出力システム1は、ウェアラブル装置20と、出力機器30とを備える。出力機器30は、例えば、テレビである。出力機器30は、表示画像を表示する。出力機器30は、表示画像に対応した音声を出力する。ウェアラブル装置20と出力機器30とは、近距離無線通信を介して、データ通信を行うことができるように構成されている。
図10に示す例では、出力機器30は、テレビである場合について説明するが、これに限定されない。出力機器30は、例えば、パーソナルコンピュータ、表示機能を有するオーディオ機器等の他の電子機器としてもよい。
実施形態2に係るウェアラブル装置20は、制御プログラム9aの機能が異なる点を除いて、図1から2に示したウェアラブル装置20と同様の構成を有する。以下では、ウェアラブル装置20を例として用いて、実施形態2について説明する。
図11を参照しながら、出力機器30の構成について説明する。図11は、出力機器30のブロック図である。図11に示すように、出力機器30は、表示部32と、操作部33と、チューナー部34と、通信部36と、撮像部37と、集音部38と、記憶部39と、制御部40と、出力部41とを備える。
表示部32は、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)等の表示デバイスを備える。表示部32は、制御部40から入力される制御信号に従って各種の情報を表示できる。
操作部33は、ユーザの操作を受け付けることができる。操作部33は、操作を受け付けるために、ボタン、キー、リモートコントローラ等の入力デバイスを用いることができる。
チューナー部34は、放送電波を受信する。チューナー部34が受信する電波は、テレビの電波であってもよいし、ラジオの電波であってもよい。放送に用いられる電波の周波数帯は、複数の物理チャンネルに分割されている。放送業者は、割り当てられた物理チャンネルを用いて放送区域内に放送電波を送信する。チューナー部34は、受信した電波を信号へ変換して制御部40へ入力する。出力機器30は、上記のウェアラブル装置20と同様に、通信部36をチューナー部34として機能させてもよい。
通信部36は、無線により通信できる。通信部36は、近距離無線通信方式をサポートできる。近距離無線通信方式には、Bluetooth(登録商標)、無線LAN(IEEE802.11)、ZigBee(登録商標)、赤外線通信、可視光通信、NFC(Near Field Communication)等を含む。通信部36は、複数の通信方式をサポートしてもよい。通信部36は、例えば、2G、3G、4G等のセルラーフォンの通信規格をサポートしてもよい。
撮像部37は、出力機器30の前方における撮像範囲を撮像できる。撮像範囲は、ユーザが出力機器30を視聴する位置を含む。撮像部37は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像できる。撮像部37は、撮像した画像を信号に変換して制御部40へ出力できる。
集音部38は、出力機器30の周囲の音を集音できる。集音部38は、例えば、マイクを含む。集音部38は、集音結果を音信号へ変換して制御部40へ入力できる。出力部41は、例えば、制御部40から入力される音信号を音として出力できる。出力部41は、例えば、スピーカ、イヤホンジャックを含む。
実施形態2では、出力システム1は、出力機器30が撮像部37及び集音部38を備える場合について説明するが、これに限定されない。例えば、出力機器30は、撮像部37及び集音部38の少なくとも一方を備えなくてもよい。
記憶部39は、プログラム及びデータを記憶できる。記憶部39は、制御部40の処理結果を一時的に記憶する作業領域としても利用される。記憶部39は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。記憶部39は、複数の種類の記憶媒体を含んでよい。記憶部39は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部39は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部39は、例えば、制御プログラム91、設定データ92、撮像データ93及び音データ94を記憶できる。制御プログラム91は、出力機器30を稼動させるための各種制御に関する機能を提供できる。制御プログラム91は、チューナー部34によって受信された放送電波を再生する機能を提供できる。放送電波がテレビの電波の場合、画像及び音が再生される。放送電波がラジオの電波の場合、音が再生される。制御プログラム91は、視聴可能なチャンネルを設定する機能と、設定したチャンネルの中から再生するチャンネルを利用者に選択させる機能とを提供できる。
制御プログラム91は、例えば、通信部36を制御することによって、外部の通信装置との通信を実現させる。制御プログラム91が提供する機能は、表示部32を制御することによって、画像データの表示を実現させる。画像データは、例えば、静止画、動画等のデータを含む。制御プログラム91が提供する機能は、通信部36を制御することによって、画像データを外部の電子機器に配信する機能を含んでもよい。制御プログラム91が提供する機能は、ユーザが第1状態であるか、第2状態であるかを判定する機能を含んでもよい。記憶部39は、受信した画像データを記憶できる。
設定データ92は、出力機器30の動作に関する各種の設定に関する情報を含む。設定データ92は、ユーザが外部表示画像を視認している第1状態であるか否かを判定するための条件データを含んでもよい。条件データは、例えば、撮像画像から判定するための条件を示すデータを含む。条件データは、例えば、ユーザの状態を判定するための条件を示すデータを含む。
撮像データ93は、撮像部37によって撮像範囲を撮像した撮像画像を示すデータである。撮像データ93は、例えば、静止画データと動画データとが含まれる。撮像データ93には、撮像部37の撮像結果として送信されてくる撮像画像を時系列的に記憶できる。
音データ94は、集音部38によって集音された音を示すデータである。音データ94は、例えば、音量、音の波形、周波数等を示すデータを含む。音データ94には、集音部38の集音結果として送信されてくる音データを時系列的に記憶できる。
制御部40は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部40は、出力機器30の動作を統括的に制御できる。制御部40の各種機能は、制御部40の制御に基づいて実現される。
具体的には、制御部40は、記憶部39に記憶されているプログラムに含まれる命令を実行できる。制御部40は、記憶部39に記憶されているデータを必要に応じて参照できる。制御部40は、データ及び命令に応じて機能部を制御する。制御部40は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、表示部32、通信部36、集音部38、及び出力部41を含むが、これらに限定されない。
図12を参照しながら、ユーザが出力機器30を利用している時におけるウェアラブル装置20及び出力機器30の動作について説明する。図12は、出力機器30の利用時における出力システム1の動作を示すシーケンス図である。図12に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図12に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
図12に示すように、出力機器30の制御部40は、ステップS201として、出力処理を開始する。出力処理は、表示部32に表示画像を表示させたり、出力部41から音を出力させたりする処理を含む。例えば、出力がテレビの表示である場合、制御部40は、チューナー部34によって受信された放送電波に基づく表示画像を表示部32に表示する処理を実行する。その結果、出力機器30は、表示部32に表示画像(外部表示画像P)を表示し、出力部41から音を出力する。
例えば、ユーザは、ウェアラブル装置20を頭部に装着した状態で、出力機器30を視聴していることを前提とする。
ウェアラブル装置20の制御部10は、ステップS202として、撮像部7で撮像した撮像画像に基づいて、所定範囲R内に外部表示画像Pがあるか否かを判定する。例えば、当該制御部10は、撮像データ9cが示す所定時間における撮像画像を解析し、撮像画像が出力機器30を含む場合に、当該出力機器30が外部表示画像Pを表示しているかを判定する。当該制御部10は、出力機器30が外部表示画像Pを表示している場合に、所定範囲R内に外部表示画像Pがあると判定する。
ウェアラブル装置20の制御部10は、所定範囲R内に外部表示画像Pがない場合(ステップS203,No)、処理を既に説明したステップS202に戻す。
ウェアラブル装置20の制御部10は、所定範囲R内に外部表示画像Pがあると判定した場合(ステップS203,Yes)、処理をステップS204に進める。ウェアラブル装置20の制御部10は、ステップS204として、外部表示画像Pをユーザが視認している第1状態であると判定したことを記憶部9に記憶する。
ウェアラブル装置20の制御部10は、ステップS205として、接続処理を実行する。本実施形態では、接続処理は、出力機器30の制御部40と連動する処理である。具体的には、ウェアラブル装置20の制御部10は、通信部6による近距離無線通信を介して、予め定められた出力機器30とコネクションの確立を行う。コネクションの確立は、ユーザにコネクションを確立する出力機器30を選択させてもよい。本実施形態では、ウェアラブル装置20の制御部10は、出力機器30の操作に関する制御情報の送信を出力機器30に要求し、出力機器30から受信した制御情報を記憶部9に記憶する。なお、接続処理は、第1状態と判定する前に実行してもよい。
ウェアラブル装置20の制御部10は、第1状態である場合において、操作部3を介して、制御情報に対応した操作を受け付けていない場合(ステップS206,No)、処理を後述するステップS209に進める。
ウェアラブル装置20の制御部10は、第1状態である場合において、操作部3を介して、制御情報に対応した操作を受け付けた場合(ステップS206,Yes)、処理をステップS207に進める。ウェアラブル装置20の制御部10は、ステップS207として、通信部6を介して、操作に対応した制御データを出力機器30に送信する。その結果、ウェアラブル装置20は、制御データを示す赤外線信号を出力機器30に送信する。ウェアラブル装置20の制御部10は、その後、処理をステップS209に進める。
なお、ウェアラブル装置20の制御部10は、通信部6を介して、制御データを示す赤外線信号を出力機器30に送信するのではなく、例えば、検出部16が赤外線を検出可能である場合に、該検出部16に赤外線を照射する機能を付加し、制御データを示す赤外線信号を検出部16の赤外線照射の機能によって出力機器30に送信するようにしてもよい。検出部16は、赤外線を照射する機能と、ユーザの前方に存在する物体へ照射され、該物体から反射した赤外線を検出する機能と、を備えることにより、例えば、ユーザの前方に存在する物体として、ユーザの手の動作および動作の種類を検出結果から推定することが可能となる。
出力機器30の制御部40は、ウェアラブル装置20から制御データを受信すると、ステップS208として、受信した制御データに対応した処理を実行する。本実施形態では、制御データに対応した処理は、例えば、チューナー部34のチャンネルを変更する処理、出力部41から出力する音量を変更する処理等を含む。
ウェアラブル装置20の制御部10は、ステップS209として、撮像部7で撮像した撮像画像に基づいて、所定範囲R内から外部表示画像Pが外れたか否かを判定する。例えば、当該制御部10は、第1状態において、撮像データ9cが示す所定時間における撮像画像を解析し、撮像画像が出力機器30の外部表示画像Pを含んでいない場合に、所定範囲R内から外部表示画像Pが外れたと判定する。
ウェアラブル装置20の制御部10は、所定範囲R内から外部表示画像Pが外れていないと判定した場合(ステップS210,No)、処理を既に説明したステップS206に戻す。
ウェアラブル装置20の制御部10は、所定範囲R内から外部表示画像Pが外れたと判定した場合(ステップS210,Yes)、処理をステップS211に進める。ウェアラブル装置20の制御部10は、ステップS211として、外部表示画像Pをユーザが視認していない第2状態であると判定したことを記憶部9に記憶する。
ウェアラブル装置20の制御部10は、ステップS212として、通信部6を介して、画像データの送信を出力機器30に要求する。
出力機器30の制御部40は、ウェアラブル装置20から画像データの送信要求を受信すると、ステップS213として、チューナー部34から画像データを取得する。出力機器30の制御部40は、ステップS214として、通信部36を介して、画像データをウェアラブル装置20に送信する。
以降、出力機器30の制御部40は、ステップS213からステップS214の処理を繰り返すことで、チューナー部34から画像データを取得するごとに、当該画像データをウェアラブル装置20に送信する。例えば、当該制御部40は、出力機器30の出力操作を検出した場合に、画像データの送信を終了してもよい。例えば、当該制御部40は、ウェアラブル装置20から送信の停止要求を受けた場合等に、画像データの送信を終了してもよい。
ウェアラブル装置20の制御部10は、出力機器30から画像データを受信すると、ステップS215として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させる。
以降、ウェアラブル装置20の制御部10は、出力機器30から画像データを受信するごとに、ステップS215を実行して、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させる。例えば、当該制御部10は、操作部3を介して終了操作を検出すると、画像データの送信終了を出力機器30に要求し、表示画像の表示を終了してもよい。
このように、ウェアラブル装置20は、ユーザが外部表示画像Pを視認している第1状態から第2状態へ遷移したことを契機に、出力機器30から取得した外部表示画像Pに基づく表示画像を表示部2a及び2bに表示することができる。これにより、ウェアラブル装置20は、ユーザが所定領域Rから出力機器30の外部表示画像Pが視認できなくなったことを契機に、当該外部表示画像Pに基づく表示画像を表示部2a及び2bで視認させることができる。その結果、ユーザは、出力機器30の外部表示画像Pを視認している状態から移動しても、ウェアラブル装置20によって外部表示画像Pを継続して視認することができる。ウェアラブル装置20は、出力機器30から受信した画像データを表示するので、チューナー機能を備える必要がなくなる。
上記の出力システム1は、出力機器30が画像データを取得してウェアラブル装置20に送信する場合について説明したが、これに限定されない。例えば、出力システム1は、出力機器30が画像データを送信する代わりに、例えば、選局中のチャンネル、画像データの取得先等をウェアラブル装置20に通知し、ウェアラブル装置20が当該通知に基づいて画像データを取得してもよい。
上記の出力システム1において、実施形態2に係るウェアラブル装置20は、実施形態1の複数の変形例を適用することができる。また、上記の出力システム1は、以下の変形例とすることもできる。
(変形例)
上記の出力システム1は、第2状態において、ウェアラブル装置20が検出した音特性に基づいて、出力するデータを変更させてもよい。例えば、ウェアラブル装置20は、音特性が所定条件を満たす場合に、出力機器30から取得した音声データを出力してもよい。所定条件は、ウェアラブル装置20を装着したユーザが出力機器30から離れたと判定するための条件を含む。例えば、所定条件は、ユーザが出力機器30から離れた場合の音量の変化パターン等に基づいて定められた閾値、音量の範囲等を含む。
このように、出力システム1は、第2状態である場合において、検出した音特性が所定条件を満たす場合に、出力機器30から音声データを取得し、当該音声データを出力することができる。その結果、ウェアラブル装置20は、例えば、ユーザが他の部屋に移動した場合、出力機器30の出力音が聞こえなくなった場合等に、画像データ及び音声データの出力が可能となり、利便性を向上することができる。
図13を参照しながら、ユーザが出力機器30を利用している時におけるウェアラブル装置20及び出力機器30の動作の変形例について説明する。図13は、出力機器30の利用時における出力システム1の動作の変形例を示すシーケンス図である。図13に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図13に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
図13に示すシーケンスは、図12に示すステップS201からステップS211のシーケンスと同一であるため、ステップS201からステップS211を省略し、ステップS211以降の異なるシーケンスを記載している。
図13に示すように、ウェアラブル装置20の制御部10は、既に説明したステップS211が終了すると、ステップS221として、集音部8で集音した音データから音特性を検出し、検出結果を記憶部9に記憶する。例えば、検出した音特性は、所定時間における音量の変化パターン、音量の平均値等を含む。
ウェアラブル装置20の制御部10は、ステップS222として、検出した音特性が所定条件を満たすか否かを判定する。例えば、音特性が音量、所定条件が所定の閾値よりも小さいことであるとする。この場合、ウェアラブル装置20の制御部10は、検出した音量が所定の閾値よりも小さい場合に、所定条件を満たすと判定する。
ウェアラブル装置20の制御部10は、音特性が所定条件を満たすと判定した場合(ステップS223,Yes)、処理をステップS224に進める。ウェアラブル装置20の制御部10は、ステップS224として、通信部6を介して、画像データ及び音声データの送信を出力機器30に要求する。
出力機器30の制御部40は、ウェアラブル装置20から画像データ及び音声データの送信要求を受信すると、ステップS225として、チューナー部34から画像データ及び音声データを取得する。出力機器30の制御部40は、ステップS226として、通信部36を介して、画像データ及び音声データをウェアラブル装置20に送信する。
以降、出力機器30の制御部40は、ステップS225からステップS226の処理を繰り返すことで、チューナー部34から画像データ及び音声データを取得するごとに、当該データをウェアラブル装置20に送信する。例えば、当該制御部40は、出力機器30の出力操作を検出した場合に、画像データの送信を終了してもよい。例えば、当該制御部40は、ウェアラブル装置20から送信の停止要求を受けた場合等に、画像データの送信を終了してもよい。
ウェアラブル装置20の制御部10は、通信部6を介して、出力機器30から画像データ及び音声データを受信すると、ステップS227として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、音声データを出力部11から出力させる。
以降、ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信するごとに、ステップS227を実行して、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させる。例えば、当該制御部10は、操作部3を介して終了操作を検出すると、画像データの送信終了を出力機器30に要求し、表示画像の表示を終了してもよい。
ウェアラブル装置20の制御部10は、音特性が所定条件を満たしていないと判定した場合(ステップS223,No)、処理を既に説明したステップS212に進める。ステップS212からステップS215のシーケンスは、図12に示すステップS212からステップS215と同一であるため、説明は省略する。
なお、出力システム1は、本変形例に限定されず、例えば、ウェアラブル装置20は、第2状態であると判定すると、出力機器30から画像データ及び音声データを受信し、音特性が所定条件を満たす場合には、受信した画像データに基づいた表示画像を表示部2a及び表示部2bに表示させつつ、音声データに基づいた音声を出力部11から出力させ、一方で、音特性が所定条件を満たさない場合には、表示画像を表示部2a及び表示部2bに表示させるのみであって、音声データに基づいた音声の出力は行わないようにしてもよい。
(変形例)
上記の出力システム1は、第2状態において、出力機器30を利用している可能性がある他のユーザが居るか否かを判定し、当該判定結果に基づいて、ウェアラブル装置20が出力するデータを変更させてもよい。例えば、ウェアラブル装置20は、出力機器30が撮像した撮像画像に基づいて、他のユーザが居るかを判定してもよい。例えば、ウェアラブル装置20は、集音部8の集音結果から他のユーザの音声を検出したか否かに基づいて、他のユーザが居るかを判定してもよい。例えば、ウェアラブル装置20は、他の電子機器が検出したユーザの有無の判定結果に基づいて、他のユーザが居るかを判定してもよい。
このように、出力システム1のウェアラブル装置20は、第2状態である場合において、他のユーザが居る場合に、出力機器30から音声データを取得し、当該音声データを出力することができる。その結果、ウェアラブル装置20は、例えば、ユーザが他の部屋に移動した場合、出力機器30が出力する音が聞き難くなる場合等に、画像データ及び音声データの出力が可能となり、利便性を向上することができる。ウェアラブル装置20は、例えば、他のユーザが居ない場合に、出力機器30に表示の停止を要求することで、出力機器30の省電力化に貢献することができる。
図14を参照しながら、ユーザが出力機器30を利用している時におけるウェアラブル装置20及び出力機器30の動作の変形例について説明する。図14は、出力機器30の利用時における出力システム1の動作の変形例を示すシーケンス図である。図14に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図14に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
図14に示すシーケンスは、図12に示すステップS201からステップS211のシーケンスと同一であるため、ステップS201からステップS211を省略し、ステップS211以降の異なるシーケンスを記載している。
図14に示すように、ウェアラブル装置20の制御部10は、既に説明したステップS211が終了すると、ステップS231として、他のユーザが居るか否かを判定する。例えば、当該制御部10は、集音部8の集音結果と予め定められた他のユーザの音声パターンとを比較し、他のユーザの音声パターンが集音結果に含まれる場合に、他のユーザが居ると判定する。例えば、当該制御部10は、外部機器30の撮像部37が撮像した撮像画像を取得し、当該撮像画像から複数のユーザ、または複数のウェアラブル装置20を検出できた場合に、他のユーザが居ると判定する。例えば、当該制御部10は、他の電子機器から他のユーザの有無を示す情報を取得し、当該情報が他のユーザありを示している場合に、他のユーザが居ると判定する。例えば、当該制御部10は、音声の特徴抽出を行うことで、テレビ特有の音声に基づき、テレビ音声とユーザの音声とを判別してもよい。テレビ特有の音声としては、例えば、テレビ特有の効果音を含む音声、テレビ特有の音声の間の空け方等の特徴を有する。
ウェアラブル装置20の制御部10は、他のユーザが居ると判定した場合(ステップS232,Yes)、処理をステップS233に進める。ウェアラブル装置20の制御部10は、ステップS233として、通信部6を介して、画像データ及び音声データの送信を出力機器30に要求する。
出力機器30の制御部40は、ウェアラブル装置20から画像データ及び音声データの送信要求を受信すると、ステップS234として、チューナー部34から画像データ及び音声データを取得する。出力機器30の制御部40は、ステップS235として、通信部36を介して、画像データ及び音声データをウェアラブル装置20に送信する。
以降、出力機器30の制御部40は、ステップS234からステップS235の処理を繰り返すことで、チューナー部34から画像データ及び音声データを取得するごとに、当該データをウェアラブル装置20に送信する。例えば、当該制御部40は、出力機器30の出力操作を検出した場合に、画像データの送信を終了してもよい。例えば、当該制御部40は、ウェアラブル装置20から送信の停止要求を受けた場合等に、画像データの送信を終了してもよい。
ウェアラブル装置20の制御部10は、通信部6を介して、出力機器30から画像データ及び音声データを受信すると、ステップS236として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、音声データを出力部11から出力させる。
以降、ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信するごとに、ステップS236を実行して、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させる。例えば、当該制御部10は、操作部3を介して終了操作を検出すると、画像データの送信終了を出力機器30に要求し、表示画像の表示を終了してもよい。
ウェアラブル装置20の制御部10は、他のユーザが居ないと判定した場合(ステップS232,No)、処理を既に説明したステップS212に進める。ステップS212からステップS215のシーケンスは、図12に示すステップS212からステップS215と同一であるため、説明は省略する。
(変形例)
上記の出力システム1のウェアラブル装置20は、第2状態である場合に、集音した音の音量の変化を検出した場合、音量の調整を実行させるための制御信号を出力機器30へ送信するように通信部6を制御してもよい。例えば、ウェアラブル装置20は、音量の変化が音量の減少である場合には、出力機器30が出力する音声の音量を増大させるための制御信号を、出力機器30へ送信するように通信部6を制御してもよい。例えば、ウェアラブル装置20は、音量の変化が音量の増大である場合には、出力機器30が出力する音声の音量を減少させるための制御信号を、出力機器30へ送信するように通信部6を制御してもよい。
実施形態2に係るウェアラブル装置20は、実施形態1に係るウェアラブル装置20の変形例を適用することができる。
(実施形態3)
図15を参照しながら、上記の出力システム1の他の例について説明する。図15は、出力機器30の利用時における出力システム1の動作の他の例を示すシーケンス図である。実施形態3に係る出力システム1は、ウェアラブル装置20と、出力機器30とを備える。ウェアラブル装置20と出力機器30とは、近距離無線通信を介して、データ通信を行うことができるように構成されている。
実施形態3に係るウェアラブル装置20は、制御プログラム9aの機能が異なる点を除いて、図1から2に示したウェアラブル装置20と同様の構成を有する。実施形態3に係る出力機器30は、制御プログラム91の機能が異なる点を除いて、図11に示した出力機器30と同様の構成を有する。以下では、ウェアラブル装置20及び出力機器30を例として用いて、実施形態3について説明する。
出力機器30の記憶部39の制御プログラム91は、ユーザが第1状態であるか、第2状態であるかを判定する機能を提供できる。第1状態は、出力機器30の表示部32が表示している表示画像をユーザが視認している状態である。第2状態は、当該表示画像をユーザが視認していない状態である。
出力機器30の設定データ92は、ユーザが表示画像を視認している第1状態であるか否かを判定するための条件データを含む。条件データは、例えば、撮像画像から判定するための条件を示すデータを含む。条件データは、例えば、ユーザの状態を判定するための条件を示すデータを含む。
出力機器30の制御部40は、上記の状態判定部10a及び動作制御部10bを含む。制御部40は、制御プログラム91を実行することによって、上記の状態判定部10a及び動作制御部10bを実現できる。
図15に示す例では、ユーザは、ウェアラブル装置20を頭部に装着した状態で、出力機器30を視聴していることを前提とする。
図15に示すように、出力機器30の制御部40は、表示部32が表示中ではないと判定した場合(ステップS301,No)、ステップS301の処理を繰り返す。出力機器30の制御部40は、表示部32が表示中であると判定した場合(ステップS301,Yes)、処理をステップS302に進める。
出力機器30の制御部40は、ステップS302として、出力機器30近傍の所定範囲R内にユーザが居るか否かを判定する。例えば、当該制御部40は、撮像部37が撮像した撮像画像からユーザ、またはウェアラブル装置20を検出できた場合に、ユーザが居ると判定する。例えば、当該制御部40は、集音部38の集音結果と出力している音声データとが一致していない場合に、ユーザが居ると判定する。例えば、当該制御部10は、他の電子機器からユーザの有無を示す情報を取得し、当該情報がユーザありを示している場合に、ユーザが居ると判定する。
出力機器30の制御部40は、ユーザが居ないと判定した場合(ステップS303,No)、処理を既に説明したステップS302に戻す。
出力機器30の制御部40は、ユーザが居ると判定した場合(ステップS303,Yes)、処理をステップS304に進める。出力機器30の制御部40は、ステップS304として、表示画像(外部表示画像P)をユーザが視認している第1状態であると判定したことを記憶部39に記憶する。
出力機器30の制御部40は、ステップS305として、接続処理を実行する。本実施形態では、接続処理は、ウェアラブル装置20の制御部10と連動する処理である。具体的には、出力機器30の制御部40は、通信部36による近距離無線通信を介して、予め定められたウェアラブル装置20とコネクションの確立を行う。コネクションの確立は、ユーザにコネクションを確立するウェアラブル装置20を選択させてもよい。出力機器30の制御部40は、接続処理において、出力機器30の操作に関する制御情報をウェアラブル装置20に送信することができる。なお、接続処理は、第1状態と判定する前に実行してもよい。
出力機器30の制御部40は、ステップS306として、出力機器30近傍の所定範囲内からユーザが居なくなったか否かを判定する。例えば、当該制御部40は、撮像部37が撮像した撮像画像からユーザ、またはウェアラブル装置20が検出できなくなった場合に、ユーザが居なくなったと判定する。例えば、当該制御部40は、集音部38の集音結果と出力している音声データとが一致している場合に、ユーザが居なくなったと判定する。例えば、当該制御部40は、他の電子機器からユーザの有無を示す情報を取得し、当該情報がユーザなしを示している場合に、ユーザが居なくなったと判定する。
出力機器30の制御部40は、ユーザが居なくなってないと判定した場合(ステップS307,No)、すなわち、ユーザが出力機器30を視聴している可能性が高い場合、処理を既に説明したステップS306に戻す。
出力機器30の制御部40は、ユーザが居なくなったと判定した場合(ステップS307,Yes)、すなわち、ユーザが出力機器30から離れた可能性が高い場合、処理をステップS308に進める。出力機器30の制御部40は、ステップS308として、表示画像(外部表示画像P)をユーザが視認していない第2状態であると判定したことを記憶部39に記憶する。
出力機器30の制御部40は、ステップS309として、チューナー部34から画像データを取得する。出力機器30の制御部40は、ステップS310として、通信部36を介して、画像データをウェアラブル装置20に送信する。
以降、出力機器30の制御部40は、ステップS309からステップS310の処理を繰り返すことで、チューナー部34から画像データを取得するごとに、当該画像データをウェアラブル装置20に送信する。例えば、当該制御部40は、出力機器30の出力操作を検出した場合に、画像データの送信を終了してもよい。例えば、当該制御部40は、ウェアラブル装置20から送信の停止要求を受けた場合等に、画像データの送信を終了してもよい。
ウェアラブル装置20の制御部10は、出力機器30から画像データを受信すると、ステップS311として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させる。
以降、ウェアラブル装置20の制御部10は、出力機器30から画像データを受信するごとに、ステップS311を実行して、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させる。例えば、当該制御部10は、操作部3を介して終了操作を検出すると、画像データの送信終了を出力機器30に要求し、表示画像の表示を終了してもよい。
このように、出力システム1の出力機器30は、ユーザが表示部32の表示画像を視認している第1状態から第2状態へ遷移したことを契機に、表示している表示画像に対応する画像データをウェアラブル装置20へ送信することができる。出力システム1のウェアラブル装置20は、出力機器30から受信した画像データに基づき表示画像を表示部2a及び2bに表示させることができる。その結果、ユーザは、出力機器30の外部表示画像を視認している状態から移動しても、ウェアラブル装置20によって外部表示画像を継続して視認することができる。
上記の出力システム1は、出力機器30が画像データを取得してウェアラブル装置20に送信する場合について説明したが、これに限定されない。例えば、出力システム1は、出力機器30が画像データを送信する代わりに、例えば、選局中のチャンネル、画像データの取得先等をウェアラブル装置20に通知し、ウェアラブル装置20が当該通知に基づいて画像データを取得してもよい。
実施形態3の出力システム1は、出力機器30の撮像部37と集音部38とが相対変化検出部21に含まれる場合について説明したが、これに限定されない。例えば、当該出力システム1は、ウェアラブル装置20の相対変化検出部21の検出結果を、出力機器30が取得して用いてもよい。
実施形態3に係る出力機器30は、実施形態1及び2に係るウェアラブル装置20の変形例を変形して適用してもよい。
(実施形態4)
図16を参照しながら、上記のウェアラブル装置20及び出力機器30を備える出力システム1Aについて説明する。図16は、出力システム1Aの全体的な構成を示す図である。出力システム1は、ウェアラブル装置20と、出力機器30と、中継器50とを備える。ウェアラブル装置20及び出力機器30は、近距離無線通信または有線による通信を介して、中継器50とデータ通信を行うことができるように構成されている。中継器50は、ウェアラブル装置20と出力機器30との位置関係を検出できるように配置されている。中継器50は、例えば、ルーター、監視装置、警報器、照明器具等を用いることができる。
実施形態4に係るウェアラブル装置20は、制御プログラム9aの機能が異なる点を除いて、図1から2に示したウェアラブル装置20と同様の構成を有する。以下では、ウェアラブル装置20を例として用いて、実施形態4について説明する。
実施形態4に係る出力機器30は、制御プログラム91の機能が異なる点を除いて、図11に示した出力機器30と同様の構成を有する。以下では、出力機器30を例として用いて、実施形態4について説明する。
図17を参照しながら、中継器50の構成について説明する。図17は、中継器50のブロック図である。図17に示すように、中継器50は、通信部51と、撮像部52と、集音部53と、記憶部54と、制御部55とを備える。
通信部51は、無線により通信できる。通信部51は、近距離無線通信方式をサポートできる。近距離無線通信方式には、Bluetooth(登録商標)、無線LAN(IEEE802.11)、ZigBee(登録商標)、赤外線通信、可視光通信、NFC(Near Field Communication)等を含む。通信部51は、複数の通信方式をサポートしてもよい。通信部51は、例えば、2G、3G、4G等のセルラーフォンの通信規格をサポートしてもよい。
撮像部52は、出力機器30の前方における撮像範囲を撮像できる。撮像範囲は、ユーザが出力機器30を視聴する位置を含む。撮像部52は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像できる。撮像部52は、撮像した画像を信号に変換して制御部55へ出力できる。
集音部53は、出力機器30の前方の音を集音できる。集音部53は、例えば、マイクを含む。集音部53は、集音結果を音信号へ変換して制御部55へ入力できる。
記憶部54は、プログラム及びデータを記憶できる。記憶部54は、制御部55の処理結果を一時的に記憶する作業領域としても利用される。記憶部54は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。記憶部54は、複数の種類の記憶媒体を含んでよい。記憶部54は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部39は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部54は、例えば、制御プログラム54a、設定データ54b、撮像データ54c及び音データ54dを記憶できる。制御プログラム54aは、中継器50を稼動させるための各種制御に関する機能を提供できる。制御プログラム54aは、例えば、通信部51を制御することによって、外部の電子機器との通信を実現させる。制御プログラム54aは、画像データを外部の電子機器に配信する機能を提供できる。制御プログラム54aは、ユーザが第1状態であるか、第2状態であるかを判定する機能を提供できる。
設定データ54bは、中継器50の動作に関する各種の設定に関する情報を含む。設定データ54bは、ユーザが出力機器30の表示画像を視認している第1状態であるか否かを判定するための条件データを含んでもよい。条件データは、例えば、撮像画像から判定するための条件を示すデータを含む。条件データは、例えば、ユーザの状態を判定するための条件を示すデータを含む。
撮像データ54cは、撮像部52によって撮像範囲を撮像した撮像画像を示すデータである。撮像データ54cは、例えば、静止画データと動画データとが含まれる。撮像データ54cには、撮像部52の撮像結果として送信されてくる撮像画像を時系列的に記憶できる。
音データ54dは、集音部53によって集音された音を示すデータである。音データ54dは、例えば、音量、音の波形、周波数等を示すデータを含む。音データ54dには、集音部53の集音結果として送信されてくる音データを時系列的に記憶できる。
制御部55は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部55は、中継器50の動作を統括的に制御できる。制御部55の各種機能は、制御部55の制御に基づいて実現される。
具体的には、制御部55は、記憶部54に記憶されているプログラムに含まれる命令を実行できる。制御部55は、記憶部54に記憶されているデータを必要に応じて参照できる。制御部55は、データ及び命令に応じて機能部を制御する。制御部55は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、通信部51、撮像部52、及び集音部38を含むが、これらに限定されない。
制御部55は、上記のウェアラブル装置20の状態判定部10a及び動作制御部10bを含む。制御部55は、制御プログラム54aを実行することによって、状態判定部10a及び動作制御部10bを実現する。状態判定部10aは、第1状態であるか、第2状態であるかを判定する機能を提供できる。
実施形態4では、出力システム1Aは、撮像部52と集音部53とが相対変化検出部21に含まれる場合について説明したが、これに限定されない。例えば、当該出力システム1は、ウェアラブル装置20の相対変化検出部21の検出結果を、中継器50が取得して用いてもよい。
図18を参照しながら、ユーザが出力機器30を利用している時におけるウェアラブル装置20、出力機器30及び中継器50の動作について説明する。図18は、出力機器30の利用時における出力システム1Aの動作を示すシーケンス図である。図18に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図18に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。図18に示す中継器50の動作は、中継器50の制御部55が制御プログラム54aを実行することによって実現される。図18に示す例では、ウェアラブル装置20と中継器50は、コネクションが確立されていることを前提とする。図18に示す例では、出力機器30と中継器50とは、コネクションが確立されていることを前提とする。
図18に示すように、出力機器30の制御部40は、ステップS411として、通信部36を介して、映像データの送信を中継器50に要求する。
中継器50の制御部55は、出力機器30から映像データの送信要求を受信すると、ステップS412として、出力機器30への映像データ(画像データ)の送信処理を実行する。本実施形態では、送信処理は、例えば、外部の電子機器から画像データ及び音声データを含む映像データを受信し、当該受信した画像データ及び音声データを出力機器30へ送信する処理を含む。その結果、中継器50は、画像データ及び音声データの出力機器30への配信を開始する。
出力機器30の制御部40は、中継器50から映像データを受信すると、ステップS413として、受信した画像データを表示部32に表示させ、受信した音声データを出力部41から出力させる。その結果、出力機器30は、表示部32に表示画像(外部表示画像P)を表示し、出力部41から音を出力する。なお、ユーザは、ウェアラブル装置20を頭部に装着した状態で、出力機器30を視聴していることを前提とする。
中継器50の制御部55は、ステップS414として、撮像範囲(所定範囲R)内にウェアラブル装置20を検出したか否かを判定する。例えば、当該制御部55は、撮像部52が撮像した撮像画像からユーザを検出できた場合、かつ、予め定められたウェアラブル装置20との通信可能な場合に、ウェアラブル装置20を検出したと判定する。なお、中継器50の制御部55は、撮像部52によってユーザの頭部の撮影が可能であれば、撮像部52が撮像した撮像画像からユーザを検出できた場合に、ウェアラブル装置20を検出したと判定する。
中継器50の制御部55は、ウェアラブル装置20を検出していないと判定した場合(ステップS415,No)、処理を既に説明したステップS414に戻す。
中継器50の制御部55は、ウェアラブル装置20を検出したと判定した場合(ステップS415,Yes)、処理をステップS416に進める。中継器50の制御部55は、ステップS416として、表示画像(外部表示画像P)をユーザが視認している第1状態であると判定したことを記憶部54に記憶する。
中継器50の制御部55は、ステップS417として、撮像範囲(所定範囲R)外へウェアラブル装置20が移動したか否かを判定する。例えば、当該制御部55は、撮像部52が撮像した撮像画像からユーザを検出できない場合に、ウェアラブル装置20を検出したと判定する。
中継器50の制御部55は、撮像範囲外へウェアラブル装置20が移動していないと判定した場合(ステップS418,No)、すなわち、ユーザが出力機器30を視聴している可能性が高い場合、処理を既に説明したステップS417に戻す。
中継器50の制御部55は、撮像範囲外へウェアラブル装置20が移動したと判定した場合(ステップS418,Yes)、すなわち、ユーザが出力機器30から離れた可能性が高い場合、処理をステップS419に進める。中継器50の制御部55は、ステップS419として、表示画像(外部表示画像P)をユーザが視認していない第2状態であると判定したことを記憶部54に記憶する。
中継器50の制御部55は、ステップS420として、出力機器30への映像の送信を停止する。なお、本実施形態では、中継器50の制御部55は、第1状態から第2状態への遷移を契機に、映像(画像データ)の出力機器30への送信を停止する場合について説明するが、これに限定されない。例えば、中継器50の制御部55は、第1状態から第2状態に遷移しても、映像の出力機器30への送信を継続させてもよい。
中継器50の制御部55は、ステップS421として、ウェアラブル装置20への映像データ(画像データ)の送信処理を実行する。本実施形態では、送信処理は、例えば、外部の電子機器から画像データ及び音声データを含む映像データを受信し、当該受信した画像データ及び音声データをウェアラブル装置20へ送信する処理を含む。その結果、中継器50は、画像データ及び音声データのウェアラブル装置20への配信を開始する。
ウェアラブル装置20の制御部10は、中継器50から映像データを受信すると、ステップS422として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、受信した音声データを出力部11から出力させる。その結果、ウェアラブル装置20は、表示部2a及び2bに表示画像を表示し、出力部11から音を出力する。
上記の出力システム1Aは、中継器50が映像を出力機器30に配信する場合について説明したが、これに限定されない。例えば、出力システム1Aは、上記の出力システム1の出力機器30と同様に、出力機器30がチューナー部34で受信した表示画像を表示してもよい。この場合、中継器50は、第1状態から第2状態の遷移を契機に、出力機器30から画像データを受信し、当該画像データをウェアラブル装置20に送信すればよい。
上記の実施形態では、ウェアラブル装置20は、ユーザの左右の目の前に設けられる一対の表示部2a、2bを有している構成を例示してきたが、これに限定されない。例えば、ウェアラブル装置20は、ユーザの左右の目の内の一方の前に設けられる一つの表示部を有している構成であっても良い。
上記の実施形態では、ウェアラブル装置20は、制御部10を状態判定部10aとして機能させる場合について説明したが、これに限定されない。例えば、ウェアラブル装置20は、制御部10とは別の構成として状態判定部10aを追加してもよい。例えば、ウェアラブル装置20は、撮像部7、集音部8及び検出部9の何れか1つを含む状態判定部10aとして、制御部10とは別に設けてもよい。なお、状態判定部10aは、出力機器30及び中継器50にも同様に設けることができる。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。
例えば、上記の実施形態では、ウェアラブル装置20が、第1状態において、撮像部7が撮像した撮像画像に基づいて、所定範囲R内から外部表示画像Pが外れたか否かを判定し、所定範囲R内から外部表示画像Pが外れたと判定した場合に、第2状態であると判定する構成を説明したが、これに限定されない。例えば、ウェアラブル装置20は、第1状態において、外部表示画像Pと出力機器30における外部表示画像Pの表示領域の外枠部分(フレーム)を撮像部7の撮像画像から予め検出しており、当該撮像画像に基づいて、所定範囲R内から外部表示画像Pと出力機器30における前記外郭部分との双方が外れた場合に、第2状態であると判定する構成としてもよい。
また、ウェアラブル装置20は、上記の種々の方法、条件に基づいて、第1条件であると判定することを説明したが、それらに限定されず、例えば、ウェアラブル装置20は、上記の撮像部7とは異なる、ユーザの瞳孔を撮像可能な撮像部をさらに備え、該撮像部の撮像画像から、ユーザの瞳孔に映る映像の内容が所定の条件を満たす場合に、ユーザが外部表示画像を視認している第1状態と判定するようにしてもよい。所定の条件は、例えば、ユーザの瞳孔に映る映像が動画像である、としてもよい。また、ユーザの瞳孔を撮像可能な撮像部は、ウェアラブル装置20の前面部20aにおけるユーザの顔面に対向する面に設けられるとよい。
また、出力機器30に対して赤外線信号を送信することが可能なリモートコントローラが存在する場合に、リモートコントローラから出力機器30へ送信され、該出力機器30から反射された赤外線信号をウェアラブル装置20の検出部16が検出したことに基づいて第1状態であると判定するようにしてもよい。ウェアラブル装置20は、検出部16によって検出される、リモートコントローラから送信された赤外線信号が、出力機器30に出力処理を実行させるための制御データを含むか否かを判定し、出力処理を実行させるための制御データを含むと判定した場合に、第1状態であると判定するようにしてもよい。
上記の実施形態では、ウェアラブル装置20の構成と動作、或いは、出力システムについて説明したが、これに限定されず、各構成要素を備える方法やプログラムとして構成されても良い。
1、1A 出力システム
2a、2b 表示部
3 操作部
6 通信部
7 撮像部
8 集音部
9 記憶部
10 制御部
10a 状態判定部
10b 動作制御部
11 出力部
16 検出部
20 ウェアラブル装置
20a 前面部
20b 側面部
20c 側面部
30 出力機器
32 表示部
33 操作部
34 チューナー部
36 通信部
37 撮像部
38 集音部
39 記憶部
40 制御部
41 出力部
50 中継器

Claims (10)

  1. ユーザの眼前に配置される表示部と、
    通信部と、
    外部の出力機器とユーザとの相対変化を検出する相対変化検出部と、
    前記相対変化検出部の検出結果に基づいて、前記外部の出力機器が表示している外部表示画像をユーザが視認している第1状態であるか、当該外部表示画像をユーザが視認していない第2状態であるか、を判定可能な状態判定部と、
    前記状態判定部で前記第1状態から前記第2状態に遷移したことを検出した場合、前記外部表示画像に対応する画像データを外部から受信するように前記通信部を制御し、当該受信された画像データに基づき表示画像を前記表示部に表示させる表示動作を実行する動作制御部と、
    を備え
    前記相対変化検出部は、前記外部の出力機器が出力する音声を集音可能な集音部を備え、
    前記状態判定部は、前記第1状態である場合において、前記集音した音声の所定の音特性を検出し、当該音特性における所定の変化を検出した場合には、前記第1状態から前記第2状態に遷移したと判定するウェアラブル装置。
  2. ユーザの眼前に配置される表示部と、
    通信部と、
    外部の出力機器とユーザとの相対変化を検出する相対変化検出部と、
    前記相対変化検出部の検出結果に基づいて、前記外部の出力機器が表示している外部表示画像をユーザが視認している第1状態であるか、当該外部表示画像をユーザが視認していない第2状態であるか、を判定可能な状態判定部と、
    前記状態判定部で前記第1状態から前記第2状態に遷移したことを検出した場合、前記外部表示画像に対応する画像データを外部から受信するように前記通信部を制御し、当該受信された画像データに基づき表示画像を前記表示部に表示させる表示動作を実行する動作制御部と、
    音声に関する情報を出力する出力部と、を備え、
    前記相対変化検出部は、前記外部の出力機器が出力する外部音声を集音可能な集音部を備え、
    前記状態判定部は、前記第2状態において、前記外部音声の所定の音特性を検出し、当該音特性が所定条件を満たすか否かを判定し、
    前記動作制御部は、前記第2状態において、前記状態判定部で前記音特性が前記所定条件を満たすと判定した場合には、前記外部音声に対応する音声データを外部から受信するように前記通信部を制御し、前記受信した音声データに基づく音声を前記出力部から出力させる音声出力動作を、前記表示動作とともに実行するウェアラブル装置。
  3. 前記状態判定部は、前記所定条件として、前記集音した外部音声の音量が所定値以下であるかを判定する
    請求項に記載のウェアラブル装置。
  4. ユーザの眼前に配置される表示部と、
    通信部と、
    外部の出力機器とユーザとの相対変化を検出する相対変化検出部と、
    前記相対変化検出部の検出結果に基づいて、前記外部の出力機器が表示している外部表示画像をユーザが視認している第1状態であるか、当該外部表示画像をユーザが視認していない第2状態であるか、を判定可能な状態判定部と、
    前記状態判定部で前記第1状態から前記第2状態に遷移したことを検出した場合、前記外部表示画像に対応する画像データを外部から受信するように前記通信部を制御し、当該受信された画像データに基づき表示画像を前記表示部に表示させる表示動作を実行する動作制御部と、を備え、
    前記相対変化検出部は、前記外部の出力機器が出力する音声を集音可能な集音部を備え、
    前記状態判定部は、前記第2状態において、前記集音した外部音声の音量を検出し、当該音量の変化があるか否かを判定し、
    前記動作制御部は、前記第2状態において、前記状態判定部で前記音量の変化があると判定した場合には、前記外部の出力機器に音量調整を実行させるための制御信号を当該外部の出力機器へ送信するように前記通信部を制御するウェアラブル装置。
  5. 前記動作制御部は、前記音量の変化が当該音量の減少である場合には、前記外部の出力機器が出力する音声の音量を増大させるための制御信号を、当該外部の出力機器へ送信するように前記通信部を制御し、
    前記音量の変化が当該音量の増大である場合には、前記外部の出力機器が出力する音声の音量を低下させるための制御信号を、当該外部の出力機器へ送信するように前記通信部を制御する
    請求項に記載のウェアラブル装置。
  6. ユーザの眼前に配置される表示部と、
    通信部と、
    外部の出力機器とユーザとの相対変化を検出する相対変化検出部と、
    前記相対変化検出部の検出結果に基づいて、前記外部の出力機器が表示している外部表示画像をユーザが視認している第1状態であるか、当該外部表示画像をユーザが視認していない第2状態であるか、を判定可能な状態判定部と、
    前記状態判定部で前記第1状態から前記第2状態に遷移したことを検出した場合、前記外部表示画像に対応する画像データを外部から受信するように前記通信部を制御し、当該受信された画像データに基づき表示画像を前記表示部に表示させる表示動作を実行する動作制御部と、
    音声に関する情報を出力する出力部と、を備え、
    前記状態判定部は、前記第1状態から前記第2状態へ遷移すると、当該遷移後において、前記外部表示画像を視認している他者が居るか否かを判定し、
    前記動作制御部は、前記外部表示画像を視認している他者が居る場合には、前記外部から音声データを受信し、前記音声データに基づき、前記音声を前記出力部から出力する音声出力動作を、前記表示動作とともに実行し、
    前記外部表示画像を視認している他者が居ない場合には、前記音声出力動作を実行することなく、前記表示動作を実行するウェアラブル装置。
  7. ユーザの眼前に配置される表示部と、外部の出力機器が出力する音声を集音可能な集音部とを備える、頭部に装着可能なウェアラブル装置と、
    前記ウェアラブル装置の外部の出力機器と、
    を備える出力システムであって、
    前記ウェアラブル装置は、前記外部の出力機器が表示している外部表示画像を前記ユーザが視認している第1状態から、当該外部表示画像を前記ユーザが視認していない第2状態に遷移したことを検出した場合に、前記外部表示画像に対応する画像データの要求を前記外部の出力機器へ送信し、
    前記外部の出力機器は、前記画像データの要求に応じて、当該画像データを前記ウェアラブル装置へ送信し、
    前記ウェアラブル装置は、受信した前記画像データに基づき表示画像を前記表示部に表示させ
    前記ウェアラブル装置は、前記第1状態である場合において、前記集音した音声の所定の音特性を検出し、当該音特性における所定の変化を検出した場合には、前記第1状態から前記第2状態に遷移したことを検出す
    出力システム。
  8. ユーザの眼前に配置される表示部と、音声に関する情報を出力する出力部と、外部の出力機器が出力する外部音声を集音可能な集音部とを備える、頭部に装着可能なウェアラブル装置と、
    前記ウェアラブル装置の外部の出力機器と、
    を備える出力システムであって、
    前記ウェアラブル装置は、前記外部の出力機器が表示している外部表示画像を前記ユーザが視認している第1状態から、当該外部表示画像を前記ユーザが視認していない第2状態に遷移したことを検出した場合に、前記外部表示画像に対応する画像データの要求を前記外部の出力機器へ送信し、
    前記外部の出力機器は、前記画像データの要求に応じて、当該画像データを前記ウェアラブル装置へ送信し、
    前記ウェアラブル装置は、受信した前記画像データに基づき表示画像を前記表示部に表示させ
    前記ウェアラブル装置は、前記第2状態において、前記外部音声の所定の音特性を検出し、当該音特性が所定条件を満たすか否かを判定し、
    前記ウェアラブル装置は、前記第2状態において、前記音特性が前記所定条件を満たすと判定した場合には、前記外部音声に対応する音声データを外部から受信し、前記受信した音声データに基づく音声を前記出力部から出力させる音声出力動作を、前記表示部に表示させる表示動作とともに実行す
    出力システム。
  9. ユーザの眼前に配置される表示部と、外部の出力機器が出力する音声を集音可能な集音部とを備える、頭部に装着可能なウェアラブル装置と、
    前記ウェアラブル装置の外部の出力機器と、
    を備える出力システムであって、
    前記ウェアラブル装置は、前記外部の出力機器が表示している外部表示画像を前記ユーザが視認している第1状態から、当該外部表示画像を前記ユーザが視認していない第2状態に遷移したことを検出した場合に、前記外部表示画像に対応する画像データの要求を前記外部の出力機器へ送信し、
    前記外部の出力機器は、前記画像データの要求に応じて、当該画像データを前記ウェアラブル装置へ送信し、
    前記ウェアラブル装置は、受信した前記画像データに基づき表示画像を前記表示部に表示させ
    前記ウェアラブル装置は、前記第2状態において、前記集音した外部音声の音量を検出し、当該音量の変化があるか否かを判定し、
    前記ウェアラブル装置は、前記第2状態において、前記音量の変化があると判定した場合には、前記外部の出力機器に音量調整を実行させるための制御信号を当該外部の出力機器へ送信す
    出力システム。
  10. ユーザの眼前に配置される表示部と、音声に関する情報を出力する出力部とを備える、頭部に装着可能なウェアラブル装置と、
    前記ウェアラブル装置の外部の出力機器と、
    を備える出力システムであって、
    前記ウェアラブル装置は、前記外部の出力機器が表示している外部表示画像を前記ユーザが視認している第1状態から、当該外部表示画像を前記ユーザが視認していない第2状態に遷移したことを検出した場合に、前記外部表示画像に対応する画像データの要求を前記外部の出力機器へ送信し、
    前記外部の出力機器は、前記画像データの要求に応じて、当該画像データを前記ウェアラブル装置へ送信し、
    前記ウェアラブル装置は、受信した前記画像データに基づき表示画像を前記表示部に表示させる表示動作を実行し、
    前記ウェアラブル装置は、前記第1状態から前記第2状態へ遷移すると、当該遷移後において、前記外部表示画像を視認している他者が居るか否かを判定し、
    前記ウェアラブル装置は、前記外部表示画像を視認している他者が居る場合には、前記外部から音声データを受信し、前記音声データに基づき、前記音声を前記出力部から出力する音声出力動作を、前記表示動作とともに実行し、
    前記ウェアラブル装置は、前記外部表示画像を視認している他者が居ない場合には、前記音声出力動作を実行することなく、前記表示動作を実行する
    出力システム。
JP2015159054A 2015-08-11 2015-08-11 ウェアラブル装置及び出力システム Active JP6529383B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015159054A JP6529383B2 (ja) 2015-08-11 2015-08-11 ウェアラブル装置及び出力システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015159054A JP6529383B2 (ja) 2015-08-11 2015-08-11 ウェアラブル装置及び出力システム

Publications (2)

Publication Number Publication Date
JP2017037525A JP2017037525A (ja) 2017-02-16
JP6529383B2 true JP6529383B2 (ja) 2019-06-12

Family

ID=58049600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015159054A Active JP6529383B2 (ja) 2015-08-11 2015-08-11 ウェアラブル装置及び出力システム

Country Status (1)

Country Link
JP (1) JP6529383B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0764709A (ja) * 1993-08-26 1995-03-10 Olympus Optical Co Ltd 指示処理装置
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
KR101861380B1 (ko) * 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
US10694106B2 (en) * 2013-06-14 2020-06-23 Qualcomm Incorporated Computer vision application processing
JP6294054B2 (ja) * 2013-11-19 2018-03-14 株式会社Nttドコモ 映像表示装置、映像提示方法及びプログラム

Also Published As

Publication number Publication date
JP2017037525A (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
WO2020103763A1 (zh) 根据眼球焦点控制显示屏的方法和头戴电子设备
US9101459B2 (en) Apparatus and method for hierarchical object identification using a camera on glasses
US11475663B2 (en) Visual aid device and visual aid method by which user uses visual aid device
JP2005352024A (ja) 眼鏡型インタフェース装置及びセキュリティシステム
US11482238B2 (en) Audio-visual sound enhancement
KR102056221B1 (ko) 시선인식을 이용한 장치 연결 방법 및 장치
US11172321B2 (en) Method and device for controlling sound field, and storage medium
US11482237B2 (en) Method and terminal for reconstructing speech signal, and computer storage medium
KR20170003364A (ko) 3d 이미지를 디스플레이하는 방법 및 이를 위한 장치
CN110933452B (zh) 萌脸礼物显示方法、装置及存储介质
JP6750697B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7403783B2 (ja) 視覚障がい者用行動支援装置
JP2015023512A (ja) 撮影装置、撮影方法及び撮影装置の撮影プログラム
KR102386110B1 (ko) 휴대용 음향기기
JP6259544B2 (ja) フレーミング情報の表示方法及び装置
US10636167B2 (en) Method and device for determining distance
US20240171826A1 (en) Volume adjustment method and system, and electronic device
JP6290827B2 (ja) オーディオ信号を処理する方法及び補聴器システム
TWM579809U (zh) Communication aid system for severely hearing impaired
US11037519B2 (en) Display device having display based on detection value, program, and method of controlling device
JP6529383B2 (ja) ウェアラブル装置及び出力システム
KR20190004490A (ko) 보행 안내 시스템
JP6475592B2 (ja) ウェアラブル装置及び出力システム
JP2022108194A (ja) 画像投影方法、画像投影装置、無人航空機および画像投影プログラム。
WO2021057420A1 (zh) 控制界面显示的方法及头戴式显示器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190514

R150 Certificate of patent or registration of utility model

Ref document number: 6529383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150