JP6402487B2 - 音声処理装置および音声処理装置の制御方法 - Google Patents

Description

本発明は、音声処理装置に関する。

映像や音声の送信機能を有する装置（以降「ソースデバイス」とも呼ぶ。）と、映像や音声の出力機能を有する装置（以降「シンクデバイス」とも呼ぶ。）と、を無線接続し、無線通信を介してソースデバイスからシンクデバイスへ、映像データーや音声データーを伝送する再生システムが知られている。特許文献１には、上述のような再生システムにおいて、ＨＤＭＩ（High Definition Multimedia Interface、ＨＤＭＩは登録商標）規格、または、ＤＶＩ（Digital Visual Interface）規格に準拠した映像データーと伝送手順とを採用することが記載されている。

特許第４９５９５７１号公報 特開２０１３−５１１２３６号公報 特開２０１２−４４４２９号公報

一方、１対１の直接的な無線通信によって、映像データーや音声データーを伝送するための規格として、Ｗｉ−Ｆｉ Ａｌｌｉａｎｃｅによって策定されたＭｉｒａｃａｓｔが知られている。Ｍｉｒａｃａｓｔでは、ソースデバイスとシンクデバイスとの間のデーター転送の信頼性は確保されない。具体的には、Ｍｉｒａｃａｓｔには、ソースデバイスから送信されたデーターが、シンクデバイスにおいて正しく受信されたか否かの整合性を確認するための仕組みがない。このため、Ｍｉｒａｃａｓｔを採用した再生システムでは、シンクデバイスが受信した映像データーや音声データーに部分的な欠落が生じ、このような場合に、シンクデバイスの利用者が、視聴中の映像や音声に違和感を覚えるという課題があった。このような課題は、特に、差分符号化を行わない音声データーの伝送において顕著である。特許文献１〜３に記載の技術では、上述の課題については何ら考慮されていない。

このため、データー転送の信頼性が確保されない規格に準拠して音声データーを受信する音声処理装置（シンクデバイス）において、利用者の違和感を軽減することが望まれている。そのほか、音声処理装置には、小型化、低コスト化、省資源化、製造の容易化、使い勝手の向上等が望まれている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、音声処理装置が提供される。この音声処理装置は；他の装置との間で無線通信を介してデーターを送受信する無線通信部と；音声データーに基づき音声を出力する音声処理部であって、前記無線通信を介して受信した音声データーに起因する利用者の違和感を低減可能な音声を出力する音声処理部と、を備える。この形態の音声処理装置によれば、音声処理部は、無線通信を介して受信した音声データーに起因する利用者の違和感を低減可能な音声を出力する。このため、データー転送の信頼性が確保されない規格に準拠して音声データーを受信する音声処理装置において、音声処理装置が受信した音声データーに不備が生じた場合であっても、音声データーの不備に起因する利用者の違和感を軽減することができる。

（２）上記形態の音声処理装置において；前記音声処理部は、前記無線通信を介して受信した音声データーの欠落を補完し、補完後の音声データーに基づく音声を出力することで、前記利用者の違和感を低減可能な音声を出力してもよい。この形態の音声処理装置によれば、音声処理部は、無線通信を介して受信した音声データーの欠落を補完し、補完後の音声データーに基づく音声を出力することで、利用者の違和感を低減可能な音声を出力することができる。

（３）上記形態の音声処理装置において；前記音声処理部は、前記補完のために、前記無線通信を介して受信した音声データーの欠落部分に対して、無音を表す音声データーを挿入してもよい。この形態の音声処理装置によれば、音声処理部は、無線通信を介して受信した音声データーの欠落部分に対して、無音を表す音声データーを挿入することで、音声データーの欠落を補完する。この結果、音声処理部は、無線通信を介して受信した音声データーの欠落に伴って、音声データーに不正なデーターが混じることを抑制することができる。

（４）上記形態の音声処理装置において；前記音声処理部は；前記無音を表す音声データーの前において、出力する音声の音量をフェードインさせ；前記無音を表す音声データーの後において、出力する音声の音量をフェードアウトさせてもよい。この形態の音声処理装置によれば、音声処理部は、無音を表す音声データーの前後において、出力する音声の音量をフェードイン／フェードアウトさせるため、無音を表す音声データーの前後において利用者に不自然な音が聞こえてしまうことを抑制することができる。

（５）上記形態の音声処理装置において；前記音声処理部は、前記補完のために、前記無線通信を介して受信した音声データーの欠落部分に対して、前記欠落部分の前の音声データーを挿入してもよい。この形態の音声処理装置によれば、音声処理部は、無線通信を介して受信した音声データーの欠落部分に対して、欠落部分の前の音声データーを挿入することで、音声データーの欠落を補完する。この結果、音声処理部は、無線通信を介して受信した音声データーの欠落に伴って、出力する音声が途切れてしまうことを抑制することができる。

（６）上記形態の音声処理装置において；前記音声処理部は、前記補完のために；前記無線通信を介して受信した音声データーの欠落部分の前の音声データーを加工して新たな音声データーを生成し；前記欠落部分に対して前記新たな音声データーを挿入してもよい。この形態の音声処理装置によれば、音声処理部は、無線通信を介して受信した音声データーの欠落部分の前の音声データーを加工して新たな音声データーを生成し、欠落部分に対して新たな音声データーを挿入することで、音声データーの欠落を補完する。この結果、音声処理部は、利用者の違和感がより少ない音声を出力することができる。

（７）上記形態の音声処理装置において；前記音声処理部は、前記音声データーの元となるコンテンツの種類と、前記欠落部分の長さと、前記音声処理装置に設定されている音量と、のうちの少なくとも一つに基づいて、前記補完のための方法を選択してもよい。この形態の音声処理装置によれば、音声処理部は、音声データーの元となるコンテンツの種類と、欠落部分の長さと、音声処理装置に設定されている音量と、のうちの少なくとも一つに基づいて、より好ましい補完のための方法を選択することができる。この結果、音声処理部は、利用者の違和感がより少ない音声を出力することができる。

（８）上記形態の音声処理装置において；前記音声処理部は、前記無線通信部が、データー転送の信頼性を確保することのできる規格に準拠して前記送受信を実行している場合は、前記利用者の違和感を低減可能な音声を出力するための処理を省略してもよい。この形態の音声処理装置によれば、音声処理部は、無線通信部が、データー転送の信頼性を確保することのできる規格に準拠して送受信を実行している場合は、利用者の違和感を低減可能な音声を出力するための処理を省略することができる。この結果、音声処理部における処理負荷を低減させることができる。

（９）上記形態の音声処理装置では、さらに；前記欠落の有無と、前記音声処理部による前記補完の有無と、前記無線通信の状態と、のうちの少なくともいずれか１つを表示する表示部を備えていてもよい。この形態の音声処理装置によれば、欠落の有無と、音声処理部による補完の有無と、無線通信の状態と、のうちの少なくともいずれか１つを表示することで、利用者に通知することができる。

（１０）上記形態の音声処理装置では、さらに；前記他の装置との間で無線通信を介してデーターを送受信する他の無線通信部を備え；前記音声処理部は、前記無線通信部による前記無線通信を介して受信した音声データーの欠落を、前記他の無線通信部による前記無線通信を介して受信したデーターを用いて補完し、補完後の音声データーに基づく音声を出力することで、前記利用者の違和感を低減可能な音声を出力してもよい。この形態の音声処理装置によれば、音声処理部は、複数の無線通信部を利用して、無線通信部により受信した音声データーの欠落を相互に補完することができるため、音声データーの不備に起因する利用者の違和感を、より効果的に軽減することができる。

（１１）上記形態の音声処理装置では、さらに；前記利用者に虚像を視認させるための画像表示部を備えていてもよい。この形態の音声処理装置によれば、さらに利用者に虚像を視認させるための画像表示部を備えるため、音声処理装置を頭部装着型表示装置として実現することができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、無線通信部と、音声処理部と、の２つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、無線通信部を有していてもよく、有していなくてもよい。また、この装置は、音声処理部を有していてもよく、有していなくてもよい。こうした装置は、例えば音声処理装置として実現できるが、音声処理装置以外の他の装置としても実現可能である。前述した音声処理装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

なお、本発明は、種々の態様で実現することが可能であり、例えば、音声処理装置および音声処理装置の制御方法、頭部装着型表示装置および頭部装着型表示装置の制御方法、音声処理装置または頭部装着型表示装置を含む再生システム、これらの方法、装置、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

本発明の一実施形態における再生システムの概略構成を示す説明図である。 ＨＭＤ１００の構成を機能的に示すブロック図である。 音声処理部１７０の処理について説明するための説明図である。 利用者に視認される虚像の一例を示す説明図である。 再生処理の手順を示すフローチャートである。 再生処理について説明するための説明図である。 再生処理において使用されるフラグと再生音量との関係について説明するための説明図である。 再生処理（他の例１）の手順を示すフローチャートである。 再生処理（他の例１）のステップＳ２００について説明するための説明図である。 再生処理（他の例２）の手順を示すフローチャートである。 再生処理（他の例２）のステップＳ３００について説明するための説明図である。 第２実施形態におけるＨＭＤ１００ａの構成を機能的に示すブロック図である。 変形例におけるＨＭＤの外観の構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．再生システムの構成：
図１は、本発明の一実施形態における再生システムの概略構成を示す説明図である。再生システム１は、音声処理装置１００と、スマートフォン５００とを備えている。音声処理装置１００とスマートフォン５００とは、１対１の直接的な無線通信によって接続されており、Ｍｉｒａｃａｓｔに準拠した音声データーの送受信を行う。なお、音声処理装置１００と、スマートフォン５００とは、Ｍｉｒａｃａｓｔ対応アダプターや、アクセスポイント等のネットワーク機器を介して接続されていてもよい。スマートフォン５００は、音声の送信機能を有する装置であり、再生システム１において「ソースデバイス」として機能する。

音声処理装置１００は、音声の出力機能を有する装置であり、再生システム１において「シンクデバイス」として機能する。本実施形態の音声処理装置１００は、スマートフォン５００から受信した音声データーに基づく音声を出力すると共に、後述の再生処理を実行することにより、無線通信を介して受信した音声データーの不備に起因する利用者の違和感が低減された音声を出力することができる。本実施形態では、音声処理装置１００の例として、頭部に装着する表示装置である頭部装着型表示装置を例示する。頭部装着型表示装置は、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置は、利用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のヘッドマウントディスプレイである。以降、音声処理装置１００を「ＨＭＤ１００」とも呼ぶ。

Ａ−２．音声処理装置（ＨＭＤ）の構成：
ＨＭＤ１００は、利用者の頭部に装着された状態において利用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。なお、以降の説明において、ＨＭＤ１００によって利用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データーに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

画像表示部２０は、利用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、９軸センサー６６と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、利用者が画像表示部２０を装着した際に利用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、利用者が画像表示部２０を装着した際の利用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、利用者が画像表示部２０を装着した際の利用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、利用者が画像表示部２０を装着した際の利用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、利用者が画像表示部２０を装着した際の利用者の頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図２参照）と調光板とを含んでいる。導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を利用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（利用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、利用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

９軸センサー６６は、利用者が画像表示部２０を装着した際の利用者の右側のこめかみに対応する位置に配置されている。９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が頭部に装着されているときには、頭部の動きを検出する「動き検出部」として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０はＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上での利用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々の方式を採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、および、電源スイッチ１８に対する操作入力に応じた信号を取得する。なお、入力情報取得部１１０は、上記以外の種々の方法を用いた操作入力を取得することができる。例えば、フットスイッチ（利用者の足により操作するスイッチ）による操作入力を取得してもよい。また、例えば、視線検出部６２によって検出された利用者の視線、目の動きに対応付けられたコマンドによる操作入力を取得してもよい。このコマンドは利用者によって追加可能に設定されていてもよい。また、例えば、利用者の視界方向の画像を撮影するカメラを用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、利用者の指先や、利用者の手に付けられた指輪や、利用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、利用者が手を離すことが困難である作業においても、入力情報取得部１１０は、利用者からの操作入力を取得することができる。

記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０には、オペレーティングシステム（ОＳ）をはじめとする種々のコンピュータープログラムが格納されている。電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

無線通信部１３２は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の所定の無線通信規格に則って、ＨＭＤ１００と接続されているスマートフォン５００（図１）や、ＨＭＤ１００と接続されている他の機器との間で無線通信を行う。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、ＯＳ１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０として機能する。

画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給する。例えばディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを生成・送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データーＤａｔａに対して、解像度変換処理や、輝度・彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データーＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、左右のＬＣＤ制御部２１１、２１２による左右のＬＣＤ２４１、２４２の駆動ＯＮ／ＯＦＦや、左右のバックライト制御部２０１、２０２による左右のバックライト２２１、２２２の駆動ＯＮ／ＯＦＦを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

音声処理部１７０はコンテンツに含まれる音声データーや、無線通信部１３２を介してソースデバイスから供給される音声データーに基づく音声を、連結部材４６に接続された右イヤホン３２内のスピーカーと左イヤホン３４内のスピーカーとから出力させる。

図３は、音声処理部１７０の処理について説明するための説明図である。音声処理部１７０は、デコーダー１７１と、再生部１７２と、Ｄ／Ａ変換部１７３とを備えている。デコーダー１７１は、無線通信部１３２から取得したＰＥＳ（Packetized Elementary Stream）パケットからサウンドデーターを生成する。具体的には、デコーダー１７１は、各ＰＥＳパケットのヘッダに格納されている情報に基づいて、複数のＰＥＳパケットＰＰ１〜ＰＰ３のデーターを組み合わせることで、サウンドデーターＳＤを生成する。なお、ＰＥＳパケットとは、ソースデバイス側において、音声信号を適当な大きさに分割してパケット化したものを意味する。その後、デコーダー１７１は、生成したサウンドデーターＳＤを再生部１７２へ供給する。

再生部１７２は、バッファーを内蔵し、デコーダー１７１から供給されるサウンドデーターＳＤを逐次バッファーに格納する。バッファーに格納された複数のサウンドデーターＳＤを「オーディオデーターＡＤ」とも呼ぶ。再生部１７２は、バッファー内のオーディオデーターＡＤをＤ／Ａ変換部１７３に供給する。Ｄ／Ａ変換部１７３は、供給されたオーディオデーターＡＤをＤ／Ａ変換して、右イヤホン３２内のスピーカーと左イヤホン３４内のスピーカーとに供給する。

図３のようにして、ＨＭＤ１００の音声処理部１７０は、スマートフォン５００から受信した音声データー（すなわちＰＥＳパケット）に基づく音声を出力することができる。ここで、ＨＭＤ１００とスマートフォン５００とは、Ｍｉｒａｃａｓｔに準拠した音声データーの送受信を行う。Ｍｉｒａｃａｓｔでは、ソースデバイスとシンクデバイスとの間のデーター転送の信頼性は確保されない。このため、ＨＭＤ１００は、スマートフォン５００からＰＥＳパケットの一部（例えば、図３のＰＥＳパケットＰＰ２）を受信できない場合がある。このように、ＨＭＤ１００がスマートフォン５００から受信した音声データーに欠落が生じた場合、デコーダー１７１はサウンドデーターＳＤを生成することができない。この時デコーダー１７１は、サウンドデーターＳＤに代えて空データーを生成し、生成した空データーを再生部１７２へ供給する。

再生部１７２に供給された空データーは、そのまま、再生部１７２のバッファーに格納される。この結果、音声データーに欠落が生じた場合、オーディオデーターＡＤ内に空データーが混じることとなる。空データーが混じったオーディオデーターＡＤに基づく音声が出力されると、利用者には、空データー部分の前後において「プツ」という不自然な音が聞こえてしまうため、違和感の元となる。そこで、本実施形態の音声処理部１７０は、ＨＭＤ１００がスマートフォン５００から受信した音声データーに欠落が生じた場合における上述の問題を軽減させるために、後述の再生処理を実行する。

なお、音声データーの欠落が生じる原因は、通信障害、フェージング、無線通信の電波状況の不良、ソースデバイスまたはシンクデバイスの故障等、何でもよい。ここで、フェージングとは、周囲の環境（例えば、壁、天井、床等）によって無線通信の電波が乱反射を起こすことに起因する無線通信品質の劣化を意味する。また、無線通信の電波状況の不良は、距離に起因する不良、遮蔽物の存在に起因する不良、他の電波の存在に起因する不良等を含む。なお、音声処理部１７０には、例えば、Ｄｏｌｂｙ（登録商標）等の音声処理システムを採用してもよい。この場合、デコーダー１７１は、Ｄｏｌｂｙディジタルに準拠したサウンドデーターＳＤを生成する。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、９軸センサー６６とを備えている。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データーＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ利用者の右眼ＲＥに導く。光学像表示部は、画像光を用いて利用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。詳細な説明は省略する。

図４は、利用者に視認される虚像の一例を示す説明図である。上述のようにして、ＨＭＤ１００の利用者の両眼に導かれた画像光が利用者の網膜に結像することにより、利用者は虚像ＶＩを視認する。図の例では、虚像ＶＩは、ＨＭＤ１００のＯＳ１５０の待ち受け画面である。また、利用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを視認する。このように、本実施形態のＨＭＤ１００の利用者は、視野ＶＲのうち虚像ＶＩが表示された部分については、虚像ＶＩと、虚像ＶＩの背後に外景ＳＣとを見ることができる。また、視野ＶＲのうち虚像ＶＩが表示されていない部分については、光学像表示部を透過して、外景ＳＣを直接見ることができる。

Ａ−３．再生処理：
図５は、再生処理の手順を示すフローチャートである。図６は、再生処理について説明するための説明図である。再生処理は、音声処理部１７０において常に実行されていてもよいし、ＯＳ１５０や任意のアプリケーションからの処理開始要求をトリガーとして実行されてもよい。

ステップＳ１００においてデコーダー１７１は、無線通信部１３２から取得したＰＥＳパケットＰＰ１〜ＰＰ３（図３、６）をデコードし、サウンドデーターＳＤ（図３、６）を生成する。詳細は図３で説明した通りである。ステップＳ１０２において音声処理部１７０は、サウンドデーターＳＤを生成するためのＰＥＳパケットに不足（欠落）がなく、サウンドデーターＳＤの生成が正常に行われたか否かを判定する。サウンドデーターＳＤが正常に生成できた場合（ステップＳ１０２：ＹＥＳ）、ステップＳ１０４においてデコーダー１７１は、生成されたサウンドデーターＳＤを再生部１７２のバッファーへ供給する（図３）。その後、ステップＳ１０６において音声処理部１７０は、再生処理において使用されるフラグに「０」をセットし、ステップＳ１００へ処理を遷移させる。

一方、サウンドデーターＳＤが正常に生成できなかった場合（ステップＳ１０２：ＮＯ）、ステップＳ１０８において音声処理部１７０は、デコーダー１７１で生成された空データーＢＤに代えて、「無音」を表す無音データーＮＤを、再生部１７２のバッファーへ供給する（図６）。その後、ステップＳ１１０において音声処理部１７０は、再生処理において使用されるフラグに「１」をセットし、ステップＳ１００へ処理を遷移させる。

図７は、再生処理において使用されるフラグと、再生音量との関係について説明するための説明図である。図７において縦軸は音声信号の振幅を、横軸は時間を表す。再生処理において使用されるフラグが「０」である場合、再生部１７２は、サウンドデーターＳＤの振幅を、通常の再生音量、すなわち利用者によって設定されている再生音量となるよう調整して、バッファーに格納する。一方、再生処理において使用されるフラグが「１」である場合、再生部１７２は、サウンドデーターＳＤの振幅を、無音データーＮＤを境にフェードイン／フェードアウトするように調整して、バッファーに格納する（図７）。ここで、フェードインとは、サウンドデーターＳＤの振幅が徐々に小さくなることを意味し、フェードアウトとは、サウンドデーターＳＤの振幅が徐々に大きくなることを意味する。

図７に示すように、再生部１７２は、上記のフェードイン／フェードアウト処理を、再生処理において使用されるフラグが「１」にセットされた時刻ｔ１から、所定の時間ＳＴ１の間だけ実施する。この結果、使用者が視聴する音声の音量は、時刻ｔ１から時刻ｔ２までのＳＴ１の間、無音の領域を挟んで、フェードイン／フェードアウトされる。なお、本実施形態では、所定の時間は２秒間とする。しかし、所定の時間ＳＴ１とは、任意に定めることができる。所定の時間ＳＴ１は、予め定められていてもよく、利用者によって設定または変更されてもよく、空データーＢＤの長さに応じて自動的に変更されてもよい。

上記の再生処理によれば、音声処理部１７０は、無線通信を介して受信した音声データーの欠落部分（ＰＥＳパケットが欠落しているため空データーＢＤが挿入されるはずだった部分）に対して、無音を表す音声データー（無音データーＮＤ）を挿入することで、音声データーの欠落を補完する。この結果、音声処理部１７０は、無線通信を介して受信した音声データーの欠落に伴って、音声データー（複数のサウンドデーターＳＤからなるオーディオデーターＡＤ）に不正なデーター（空データーＢＤ）が混じることを抑制することができる。さらに、音声処理部１７０は、無音を表す音声データー（無音データーＮＤ）の前後において、出力する音声の音量をフェードイン／フェードアウトさせるため、無音を表す音声データーの前後において利用者に不自然な音が聞こえてしまうことを抑制することができる。

Ａ−４．再生処理（他の例１）：
本実施形態のＨＭＤ１００では、図５に示した再生処理に代えて、図８に示す再生処理を実行してもよい。図８の再生処理では、音声処理部１７０は、音声データーの欠落部分に対して、欠落部分の直前の音声データーのコピーを挿入することで、音声データーの欠落を補完する。

図８は、再生処理（他の例１）の手順を示すフローチャートである。以下では、図５の再生処理とは処理内容が異なる部分についてのみ説明する。また、図中において、図５の再生処理と同様の処理内容である部分については、図５と同じ符号を付し、その詳細な説明を省略する。

サウンドデーターが正常に生成できた場合（ステップＳ１０２：ＹＥＳ）、ステップＳ１０４においてデコーダー１７１は、生成されたサウンドデーターを再生部１７２のバッファーへ供給する（図３）その後、音声処理部１７０は、処理をステップＳ１００へ遷移させる。

図９は、再生処理（他の例１）のステップＳ２００について説明するための説明図である。サウンドデーターが正常に生成できなかった場合（図８、ステップＳ１０２：ＮＯ）、ステップＳ２００において音声処理部１７０は、直前のサウンドデーターと同じサウンドデーターを、再生部１７２のバッファーへ供給する。具体的には、音声処理部１７０は、空データーが生成された時刻ｔ１（図９）の直前において、デコーダー１７１によって生成された所定期間ＳＴ２分のサウンドデーターを複製する。音声処理部１７０は、複製したサウンドデーターを、ステップＳ１００で生成された空データーに代えて、再生部１７２のバッファーへ供給する。その後、音声処理部１７０は、処理をステップＳ１００へ遷移させる。

この結果、使用者には、本来再生されるはずであった音（図９、時刻ｔ１とｔ２との間の破線部分）に代えて、直前の所定期間ＳＴ２に聞いた音（図９、時刻ｔ０とｔ１との間の実線部分）と同じ音（図９、時刻ｔ１とｔ２との間の実線部分）が聞こえることとなる。なお、本実施形態では、所定期間ＳＴ２は、１６ビットとする。しかし、所定期間ＳＴ２は、任意に定めることができる。所定時間ＳＴ２は、予め定められていてもよく、利用者によって設定または変更されてもよく、空データーＢＤの長さに応じて自動的に変更されてもよい。

上記の再生処理（他の例１）によれば、音声処理部１７０は、無線通信を介して受信した音声データーの欠落部分（ＰＥＳパケットが欠落しているため空データーが挿入されるはずだった部分）に対して、欠落部分の直前の音声データー（サウンドデーター）を挿入することで、音声データーの欠落を補完する。この結果、音声処理部１７０は、無線通信を介して受信した音声データーの欠落に伴って、出力する音声が途切れてしまうことを抑制することができる。

Ａ−５．再生処理（他の例２）：
本実施形態のＨＭＤ１００では、図５に示した再生処理に代えて、図１０に示す再生処理を実行してもよい。図１０の再生処理では、音声処理部１７０は、音声データーの欠落部分に対して、生成した新たな音声データーを挿入することで、音声データーの欠落を補完する。

図１０は、再生処理（他の例２）の手順を示すフローチャートである。以下では、図５の再生処理とは処理内容が異なる部分についてのみ説明する。また、図中において、図５の再生処理と同様の処理内容である部分については、図５と同じ符号を付し、その詳細な説明を省略する。

サウンドデーターが正常に生成できた場合（ステップＳ１０２：ＹＥＳ）、ステップＳ１０４においてデコーダー１７１は、生成されたサウンドデーターを再生部１７２のバッファーへ供給する（図３）その後、音声処理部１７０は、処理をステップＳ１００へ遷移させる。

図１１は、再生処理（他の例２）のステップＳ３００について説明するための説明図である。サウンドデーターが正常に生成できなかった場合（図１０、ステップＳ１０２：ＮＯ）、ステップＳ３００において音声処理部１７０は、直前のサウンドデーターを無音データーに収束させたデーターを生成する。具体的には、音声処理部１７０は、空データーが生成された時刻ｔ１（図１１）の直前において、デコーダー１７１によって生成された所定期間ＳＴ３分のサウンドデーターを取得する。音声処理部１７０は、取得したサウンドデーターに対して、所定期間ＳＴ４後に無音データーに収束するような加工を施し、新たなサウンドデーターを生成する。図１０のステップＳ３０２において音声処理部１７０は、生成した新たなサウンドデーターを、ステップＳ１００で生成された空データーに代えて、再生部１７２のバッファーへ供給する。その後、音声処理部１７０は、処理をステップＳ１００へ遷移させる。

この結果、使用者には、本来再生されるはずであった音（図１１、時刻ｔ１とｔ２との間の破線部分）に代えて、直前の所定期間ＳＴ３に聞いた音が徐々に無音にフェードアウトしていく音（図１１、時刻ｔ１とｔ２との間の実線部分）が聞こえることとなる。なお、本実施形態では、所定期間ＳＴ３は１６ビットとし、所定期間ＳＴ４は２ミリ秒とする。しかし、所定期間ＳＴ３，４は、任意に定めることができる。所定時間ＳＴ３，４は、予め定められていてもよく、利用者によって設定または変更されてもよく、空データーＢＤの長さに応じて自動的に変更されてもよい。

上記の再生処理（他の例２）によれば、音声処理部１７０は、無線通信を介して受信した音声データーの欠落部分（ＰＥＳパケットが欠落しているため空データーが挿入されるはずだった部分）の直前の音声データー（サウンドデーター）を加工して新たな音声データー（サウンドデーター）を生成する。また、音声処理部１７０は、欠落部分に対して生成した新たな音声データーを挿入することで、音声データーの欠落を補完する。この結果、音声処理部は、利用者の違和感がより少ない音声を出力することができる。

以上のように、図５、８、１０で説明した再生処理によれば、音声処理部１７０は、無線通信を介して受信した音声データーの欠落（ＰＥＳパケットの欠落）を補完し、補完後の音声データーに基づく音声を出力することで、利用者の違和感を低減可能な音声を出力することができる。このため、例えばＭｉｒａｃａｓｔのような、データー転送の信頼性が確保されない規格に準拠して音声データーを受信する音声処理装置（ＨＭＤ１００）において、音声処理装置が受信した音声データーに不備が生じた場合であっても、音声データーの不備に起因する利用者の違和感を軽減することができる。

Ａ−６．付加的処理：
なお、再生処理（図５、８、１０）では、さらに、以下のような付加的処理を実行してもよい。付加的処理は、単独で付加してもよいし、組み合わせて付加してもよい。

Ａ−６−１．付加的処理１：
付加的処理１において、音声処理部１７０は、図５、８、１０で説明した３つの再生処理の中から、実行する再生処理を自動で選択する。実行する再生処理を選択するための条件には、例えば、以下の条件ａ１―ａ３を採用することができる。条件ａ１―ａ３は単独で採用してもよく、組み合わせて採用してもよい。

（ａ１）音声データーの元となるコンテンツの種類
例えば、音声処理部１７０は、音声データー（サウンドデーター）の元となるコンテンツが「曲、演奏」である場合は、図８の再生処理（他の例１）を実行することが好ましい。曲や演奏の場合、無音となるよりも前回のメロディーを繰り返す方が、利用者の違和感が少ないからである。音声処理部１７０は、音声データーの元となるコンテンツが「会話、講演会」である場合は、図１０の再生処理（他の例２）を実行することが好ましい。これは、メロディーよりも内容に意味がある会話等の場合、前回の音を繰り返すとかえって違和感が増すためである。音声処理部１７０は、音声データーの元となるコンテンツが上述のどれにも属さない場合は、図５の再生処理を実行することが好ましい。これは、図５の再生処理は、最も汎用的に利用者の違和感を軽減させることができるためである。

（ａ２）無線通信を介して受信した音声データーの欠落部分の長さ
例えば、音声処理部１７０は、無線通信を介して受信した音声データーの欠落部分（ＰＥＳパケットが欠落しているため空データーが挿入されるはずだった部分）の長さが第１の閾値よりも短い場合、図８の再生処理（他の例１）を実行することができる。音声処理部１７０は、欠落部分の長さが第２の閾値（第１の閾値＜第２の閾値）よりも長い場合、図５の再生処理を実行することができる。音声処理部１７０は、欠落部分の長さが第１の閾値以上、第２の閾値以下である場合、図１０の再生処理（他の例２）を実行することができる。

（ａ３）利用者による「音量」の設定値
例えば、音声処理部１７０は、利用者によって設定されている「音量」の設定値が第３の閾値以上である場合、図５（または図８、図１０）の再生処理を実行することができる。音声処理部１７０は、「音量」の設定値が第３の閾値よりも小さい場合、音声処理部１７０は、上述した再生処理の実行を省略し、違和感の軽減を行わない通常の再生処理を実行することができる。

以上のように、付加的処理１によれば、音声処理部１７０は、音声データーの元となるコンテンツの種類と、欠落部分の長さと、ＨＭＤ１００に設定されている音量と、のうちの少なくとも一つに基づいて、より好ましい補完のための方法を選択することができる。なお、「補完のための方法の選択」には、条件ａ３で例示したように「補完を行わない」という選択も含まれる。この結果、音声処理部１７０は、利用者の違和感がより少ない音声を出力することができる。

Ａ−６−２．付加的処理２：
付加的処理２において、音声処理部１７０は、無線通信部１３２において採用されている規格に応じて、図５、８、１０で説明したいずれかの再生処理の実行有無を切り替える。例えば、音声処理部１７０は、無線通信部１３２が、データー転送の信頼性が確保されない規格に準拠してデーターの送受信を実行している場合に限って、図５、８、１０で説明したいずれかの再生処理を実行する。また、例えば、音声処理部１７０は、無線通信部１３２が、データー転送の信頼性を確保することのできる規格に準拠してデーターの送受信を実行している場合は、図５、８、１０で説明したいずれかの再生処理の実行を省略する。音声処理部１７０は、無線通信部１３２から取得したパケットのヘッダを参照することで、現在採用されている規格を知ることができる。また、音声処理部１７０は、現在採用されている規格を知るために、無線通信部１３２に問い合わせを送信してもよい。なお、データー転送の信頼性が確保されない規格には、上記実施形態で例示したＭｉｒａｃａｓｔのほか、ＵＤＰ（User Datagram Protocol）等がある。

以上のように、付加的処理２によれば、音声処理部１７０は、無線通信部１３２が、データー転送の信頼性を確保することのできる規格に準拠して送受信を実行している場合は、利用者の違和感を低減可能な音声を出力するための処理（図５、８、１０で説明したいずれかの再生処理）を省略することができる。この結果、音声処理部１７０における処理負荷を低減させることができる。

Ａ−６−３．付加的処理３：
付加的処理３において、音声処理部１７０は、再生処理に関する情報を利用者に案内するための案内画面を生成し、生成した案内画面を画像処理部１６０へ送信する。案内画面を受信した画像処理部１６０では、図２で説明した表示処理が実行される。この結果、ＨＭＤ１００の使用者は、案内画面を虚像ＶＩ（図４）として視認することができる。再生処理に関する情報には、例えば、以下のｂ１〜ｂ３を採用することができる。情報ｂ１〜ｂ３は、単独で案内画面に含まれてもよく、組み合わせて含まれてもよい。

（ｂ１）無線通信を介して受信した音声データーの欠落部分の有無
例えば、音声処理部１７０は、無線通信を介して受信した音声データーの欠落の有無、すなわち、無線通信部１３２を介して取得したＰＥＳパケットの欠落の有無を表す情報を含んだ案内画面を生成、送信することができる。このようにすれば、利用者は、音声データーの欠落の有無そのものを知ることができる。

（ｂ２）音声処理部１７０による補完の有無
例えば、音声処理部１７０は、図５、８、１０で説明したいずれかの再生処理において、ステップＳ１０８、Ｓ２００、Ｓ３００の補完処理が実行されたか否かを表す情報を含んだ案内画面を生成、送信することができる。このようにすれば、利用者は、音声処理部１７０による補完処理が実行されたか否かを知ることができる。

（ｂ３）無線通信の状態
例えば、音声処理部１７０は、無線通信の状態として、以下の少なくともいずれか１つを示す情報を含んだ案内画面を生成、送信することができる。このようにすれば、利用者は、無線通信の状態を知ることができる。
・無線通信部１３２とスマートフォン５００との間で確立している無線通信の速度
・無線通信部１３２が受信している電波の強度

以上のように、付加的処理３によれば、音声処理部１７０は、欠落部分の有無と、音声処理部１７０による補完の有無と、無線通信の状態と、のうちの少なくともいずれか１つを表示することで、利用者に通知することができる。なお、付加的処理３において、音声処理部１７０は「表示部」としても機能する。また、上記付加的処理３は、音声処理部１７０でない他の機能部（例えばＯＳ１５０や画像処理部１６０）が実行してもよい。

Ｂ．第２実施形態：
本発明の第２実施形態では、音声処理装置が無線通信部を複数持ち、複数の無線通信部によって受信した音声データーに基づいて、欠落した音声データーの補完が可能な構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。

第２実施形態の再生システムは、音声処理装置としてのＨＭＤ１００に代えてＨＭＤ１００ａを備える点が図１に示した第１実施形態とは異なる。

図１２は、第２実施形態におけるＨＭＤ１００ａの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、制御部１０に代えて制御部１０ａを備える点である。制御部１０ａは、単一の無線通信部１３２に代えて、複数の無線通信部（本実施形態では、２つの無線通信部１３２ａおよび無線通信部１３２ｂ）を備える。無線通信部１３２ａ、ｂは、それぞれ、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ等の所定の無線通信規格に則って、ＨＭＤ１００ａと接続されているスマートフォン５００（図１）や、ＨＭＤ１００ａと接続されている他の機器との間で無線通信を行う。なお、無線通信部１３２ａと、無線通信部１３２ｂとでは、異なる無線通信規格が採用されてもよい。無線通信部１３２ａ、ｂは、ソースデバイスから供給される同一の音声データー（ＰＥＳパケット）をそれぞれ並列に受信し、受信した音声データーをそれぞれ音声処理部１７０ａへ送信する。

また、制御部１０ａは、音声処理部１７０に代えて音声処理部１７０ａを備える。音声処理部１７０ａは、上述した再生処理、再生処理（他の例１）、再生処理（他の例２）に代えて、以降に説明する再生処理を実行する。

第２実施形態における再生処理について説明する。まず、音声処理部１７０ａのデコーダーは、一の無線通信部（例えば無線通信部１３２ａ）から取得したＰＥＳパケットをデコードし、サウンドデーターを生成する。詳細は図５のステップＳ１００と同様である。次に、音声処理部１７０ａは、サウンドデーターを生成するためのＰＥＳパケットに不足（欠陥）がなく、サウンドデーターの生成が正常に行われたか否かを判定する。サウンドデーターが正常に生成できた場合、音声処理部１７０ａは、図５のステップＳ１０４と同様の処理を行う。この場合、他の無線通信部（例えば無線通信部１３２ｂ）から取得したＰＥＳパケットは使用されない。一方、サウンドデーターが正常に生成できなかった場合、音声処理部１７０ａは、デコーダーで生成された空データーに代えて、他の無線通信部（無線通信部１３２ｂ）から取得したＰＥＳパケットをデコードすることで生成したサウンドデーターを、再生部のバッファーへ供給する。その後、音声処理部１７０ａは、処理を最初に遷移させる。

上記の再生処理によれば、音声処理部１７０ａは、一の無線通信部により受信した音声データーの欠落部分（ＰＥＳパケットが欠落しているため空データーが挿入されるはずだった部分）に対して、他の無線通信部により受信した音声データーを挿入することで、音声データーの欠陥を補完する。この結果、音声処理部１７０ａは、複数の無線通信部を利用して、無線通信部により受信した音声データーの欠落部分を相互に補完することができるため、音声データーの不備に起因する利用者の違和感を、より効果的に軽減することができる。

なお、上記の説明では、一の無線通信部を無線通信部１３２ａ、他の無線通信部を無線通信部１３２ｂとして説明したが、これらは逆にしてもよい。また、上記の説明では、１つの音声処理部１７０ａが複数の無線通信部により受信した音声データーをシリアルに処理するとして説明した。しかし、複数の無線通信部に対応した複数の音声処理部１７０ａを備える構成とし、各音声処理部１７０ａが上述の処理をパラレルに実行してもよい。この場合、サウンドデーターが正常に生成できた一の音声処理部１７０ａだけが、サウンドデーターをバッファーへ供給すればよい。複数の音声処理部１７０ａを備える構成は、処理速度向上の観点から有意である。また、上記の説明では、無線通信部１３２ａ、ｂは、同一の音声データーを並列に受信することとしたが、一の無線通信部により受信した音声データーの欠陥を、他の無線通信部により受信したデーターによって補完できる限りにおいて、無線通信部１３２ａ、ｂが受信するデーターは、任意に変更することができる。例えば、両者が受信する音声データーは同一でなくてもよいし、両者が受信するのは音声データーでなくてもよい。

Ｃ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、再生システムの構成について例示した。しかし、再生システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

例えば、再生システムは、シンクデバイス（音声処理装置）としてのＨＭＤと、ソースデバイスとしてのスマートフォンとを備えることとした。しかし、シンクデバイス（音声処理装置）としては、ＨＭＤ以外の種々の装置、例えば、オーディオプレーヤー、テレビ、プロジェクター、スマートフォン、パーソナルコンピューター、その他の各種のＡＶ（Audio Visual）機器等を採用することができる。同様に、ソースデバイスとしては、スマートフォン以外の種々の装置、例えば、ＨＭＤ、オーディオプレーヤー、テレビ、プロジェクター、パーソナルコンピューター、その他の各種のＡＶ（Audio Visual）機器等を採用することができる。

・変形例２：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ等の無線の信号伝送路を介した接続により接続し、接続部（コード）を廃した態様。なお、この場合において、制御部または画像表示部に対する給電をワイヤレスにより実施してもよい。

例えば、上記実施形態で例示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、上記実施形態では、制御部が送信部を備え、画像表示部が受信部を備えるものとしたが、送信部および受信部はいずれも、双方向通信が可能な機能を備えており、送受信部として機能してもよい。また、例えば、制御部が備えるとした操作用インターフェイス（各種キーやトラックパッド等）の一部を省略してもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。例えば、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

図１３は、変形例におけるＨＭＤの外観の構成を示す説明図である。図１３（Ａ）の例の場合、画像表示部２０ｘは、右光学像表示部２６に代えて右光学像表示部２６ｘを備え、左光学像表示部２８に代えて左光学像表示部２８ｘを備えている。右光学像表示部２６ｘと左光学像表示部２８ｘとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における利用者の右眼および左眼の斜め上にそれぞれ配置されている。図１３（Ｂ）の例の場合、画像表示部２０ｙは、右光学像表示部２６に代えて右光学像表示部２６ｙを備え、左光学像表示部２８に代えて左光学像表示部２８ｙを備えている。右光学像表示部２６ｙと左光学像表示部２８ｙとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における利用者の右眼および左眼の斜め下にそれぞれ配置されている。このように、光学像表示部は利用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様のＨＭＤとして実現することもできる。

例えば、制御部が備えるとした各処理部（例えば画像処理部、表示制御部等）は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、ＨＭＤは、両眼タイプの透過型ＨＭＤであるものとしたが、単眼タイプのＨＭＤとしてもよい。また、利用者がＨＭＤを装着した状態において外景の透過が遮断される非透過型ＨＭＤとして構成してもよいし、非透過型ＨＭＤにカメラを搭載したビデオシースルーとして構成してもよい。また、例えば、画像表示部として、眼鏡のように装着する画像表示部に代えて、通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）を採用してもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。また、例えば、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両、またはその他の交通手段に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたＨＭＤとして構成されてもよい。

例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

・変形例３：
上記実施形態では、再生処理の一例を示した。しかし、上記実施形態においてに示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

例えば、音声処理部は、図５、８、１０で説明したいずれかの再生処理に代えて、または、いずれかの再生処理と共に、ノイズキャンセリング処理を実行してもよい。いずれかの再生処理に代えて実行する場合、音声処理部１７０は、図５のステップＳＳ１０８、Ｓ１１０に代えて、図８のステップＳ２００に代えて、図１０のステップＳ３００、Ｓ３０２に代えて、ノイズキャンセリング処理を実行する。なお、ノイズキャンセリング処理とは、サウンドデーターに対して逆位相の波を重畳することで、不要な音を低減する処理である。

例えば、音声処理部にＤｏｌｂｙ等の音声処理システムが採用されている場合、音声処理部は、図５、８、１０で説明したいずれかの再生処理に代えて、または、いずれかの再生処理と共に、音声処理システムの設定値を変更することで、不要な音を低減させてもよい。

例えば、図５の再生処理では、フラグを用いて再生部による再生音量の調整を実施することとした。しかし、音声処理部から再生部に再生音量の指示を送信することで、フラグの使用を省略してもよい。また、再生部による再生音量の調整そのものを省略してもよい。

例えば、図８、１０の再生処理では「直前」の音声データーを挿入や加工の対象として説明したが、欠落部分の「前」の音声データーであればよく、必ずしも直前に限られない。

例えば、図１０の再生処理では、直前のサウンドデーターを無音データーに収束させた新たなサウンドデーターを生成することとした。しかし、音声処理部は、直前のサウンドデーターから次の音を推定し、推定結果に基づいて（無音でない）新たなサウンドデーターを生成してもよい。例えば記憶部に、オーディオデーターの様々なパターンが記憶されたパターンデーターを備える構成とし、音声処理部は、パターンデーターを参照して次の音を推定してもよい。

・変形例４：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６２…視線検出部
６６…９軸センサー
１１０…入力情報取得部
１００…ＨＭＤ（音声処理装置、頭部装着型表示装置）
１２０…記憶部
１２２…画像設定
１２４…元画像ファイル
１２６…連動動作設定
１２８…アイコン情報
１３０…電源
１３２…無線通信部
１４０…ＣＰＵ
１６０…画像処理部
１７０…音声処理部
１７１…デコーダー
１７２…再生部
１７３…Ｄ／Ａ変換部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
５００…スマートフォン（他の装置）
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…右眼用画像データー
Ｄａｔａ２…左眼用画像データー
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＳＣ…外景
ＶＩ…虚像
ＶＲ…視野
ＲＥ…右眼
ＬＥ…左眼
ＥＲ…端部
ＥＬ…端部
ＡＰ…先端部
ＳＤ…サウンドデーター
ＡＤ…オーディオデーター
ＢＤ…空データー
ＮＤ…無音データー

Claims (9)

1. 音声処理装置であって、
   他の装置との間で無線通信を介してデーターを送受信する無線通信部と、
   音声データーに基づき音声を出力する音声処理部であって、前記無線通信を介して受信した音声データーの欠落を補完し、補完後の音声データーに基づく音声を出力することで、前記無線通信を介して受信した音声データーに起因する利用者の違和感を低減可能な音声を出力する音声処理部と、
   を備え、
   前記音声処理部は、前記無線通信部が、データー転送の信頼性を確保することのできる規格に準拠して前記送受信を実行している場合は、前記利用者の違和感を低減可能な音声を出力するための処理を省略する、音声処理装置。
2. 請求項１に記載の音声処理装置であって、
   前記音声処理部は、前記補完のために、前記無線通信を介して受信した音声データーの欠落部分に対して、無音を表す音声データーを挿入する、音声処理装置。
3. 請求項２に記載の音声処理装置であって、
   前記音声処理部は、
   前記無音を表す音声データーの前において、出力する音声の音量をフェードインさせ、
   前記無音を表す音声データーの後において、出力する音声の音量をフェードアウトさせる、音声処理装置。
4. 請求項１に記載の音声処理装置であって、
   前記音声処理部は、前記補完のために、前記無線通信を介して受信した音声データーの欠落部分に対して、前記欠落部分の前の音声データーを挿入する、音声処理装置。
5. 請求項１に記載の音声処理装置であって、
   前記音声処理部は、前記補完のために、
   前記無線通信を介して受信した音声データーの欠落部分の前の音声データーを加工して新たな音声データーを生成し、
   前記欠落部分に対して前記新たな音声データーを挿入する、音声処理装置。
6. 請求項２から請求項５のいずれか一項に記載の音声処理装置であって、
   前記音声処理部は、前記音声データーの元となるコンテンツの種類と、前記欠落部分の長さと、前記音声処理装置に設定されている音量と、のうちの少なくとも一つに基づいて、前記補完のための方法を選択する、音声処理装置。
7. 請求項１から請求項６のいずれか一項に記載の音声処理装置であって、さらに、
   前記欠落の有無と、前記音声処理部による前記補完の有無と、前記無線通信の状態と、のうちの少なくともいずれか１つを表示する表示部を備える、音声処理装置。
8. 請求項１から請求項７のいずれか一項に記載の音声処理装置であって、さらに、
   前記利用者に虚像を視認させるための画像表示部を備える、音声処理装置。
9. 音声処理装置の制御方法であって、
   （ａ）他の装置との間で無線通信を介してデーターを送受信する工程と、
   （ｂ）音声データーに基づき音声を出力する工程と、
   を備え、
   前記工程（ｂ）は、前記工程（ａ）を介して受信した音声データーの欠落を補完し、補完後の音声データーに基づく音声を出力することで、前記工程（ａ）を介して受信した音声データーに起因する利用者の違和感を低減可能な音声を出力し、前記工程（ａ）でデーター転送の信頼性を確保することのできる規格に準拠して前記送受信を実行している場合は、前記利用者の違和感を低減可能な音声を出力するための処理を省略する、音声処理装置の制御方法。

Images