JP6766403B2 - 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム - Google Patents

Description

本発明は、頭部装着型表示装置に関する。

携帯電話機等の音声通信装置において、音声通信（以降「通話」とも呼ぶ。）の品質向上を目的として、音声データーを加工する技術が知られている。例えば、特許文献１には、携帯電話機において、送話器から入る周囲雑音の周波数特性を解析し、解析結果に基づいて、受話音声の周波数特性を変換する技術が記載されている。

特開２００２−２２３２６８号公報

一方、使用者の頭部に装着されて、使用者の視野領域に虚像を形成する頭部装着型表示装置が知られている。このような頭部装着型表示装置にも、携帯電話機と同じ通話機能が搭載されているものがある。また、頭部装着型表示装置では、使用者の頭部に装着されて使用されるという性質上、音声による入力や、ジェスチャーによる入力等、従来とは異なる様々な態様の入力手段が提案されている。音声による入力を実現するために、例えば頭部装着型表示装置は、マイク越しの使用者の発話内容を取得して音声認識し、発話内容に応じたコマンドを実行する。ここで、従来知られた通話品質向上のための手法は、発話内容を音声認識する際の認識精度向上のために、必ずしも適していないという課題があった。また、このような課題は、通話機能と音声認識機能とを使い分ける場合に限らず、複数の音声制御機能を持ち、これらを切り替えて使用可能な頭部装着型表示装置全般に共通する課題であった。

このため、複数の音声制御機能を持ち、これらを切り替えて使用可能な頭部装着型表示装置において、各音声制御機能に適した態様で音声品質を向上させることが望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
［形態１］頭部装着型表示装置であって、使用者の頭部に装着されることで前記使用者に虚像を視認させる画像表示部と、音声が入力される音声入力部と、音声を発する複数の音声発信部と、前記音声を加工処理する音声処理部と、を備える音声入出力ユニットに接続されると共に、前記音声入出力ユニットとの間で送受信される前記音声を、複数の異なる音声制御機能を用いて制御することが可能な音声制御部と、を備え、前記音声制御部は、使用される前記音声制御機能に応じて、前記音声処理部の前記加工処理における設定を変更し、前記音声制御部は、前記頭部装着型表示装置の置かれた環境における外部騒音に応じて、出力先となる前記音声発信部を決定する、頭部装着型表示装置。

（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置では；使用者の頭部に装着されることで前記使用者に虚像を視認させる画像表示部と；音声が入力される音声入力部と、音声を発する音声発信部と、前記音声を加工処理する音声処理部と、を備える音声入出力ユニットに接続されると共に、前記音声入出力ユニットとの間で送受信される前記音声を、複数の異なる音声制御機能を用いて制御することが可能な音声制御部と、を備え；前記音声制御部は、使用される前記音声制御機能に応じて、前記音声処理部の前記加工処理における設定を変更する。
この形態の頭部装着型表示装置によれば、音声制御部は、使用される音声制御機能に応じて加工処理における設定を変更するため、各音声制御機能に適した態様で、音声品質を向上させることができる。

（２）上記形態の頭部装着型表示装置において；前記音声制御部は、前記使用される音声制御機能に加えてさらに、前記頭部装着型表示装置の置かれた環境における外部騒音に応じて、前記音声処理部の前記加工処理における設定を変更してもよい。
この形態の頭部装着型表示装置によれば、音声制御部は、使用される音声制御機能に加えて外部騒音を考慮することによって、加工処理における設定をきめ細かく変更することができる。

（３）上記形態の頭部装着型表示装置において；前記音声制御部は、前記音声入力部から入力された前記外部騒音を解析し、前記解析の結果を利用して前記音声処理部の前記加工処理における設定を変更してもよい。
この形態の頭部装着型表示装置によれば、音声制御部は、外部騒音に応じた設定変更を自動的に行うことができる。

（４）上記形態の頭部装着型表示装置において；前記頭部装着型表示装置は、前記音声入力部とは別に、音声が入力される第２の音声入力部を備え；前記音声制御部は、前記音声入力部から入力された前記外部騒音と、前記第２の音声入力部から入力された前記外部騒音と、をそれぞれ解析し、前記解析の結果を利用して前記音声処理部の前記加工処理における設定を変更してもよい。
この形態の頭部装着型表示装置によれば、音声制御部は、２つの音声入力部から入力された外部騒音をそれぞれ解析するため、解析の結果の精度を向上させることができる。

（５）上記形態の頭部装着型表示装置において；前記音声入力部と、前記第２の音声入力部とは、頭部装着型表示装置を装着している状態の使用者に対する位置と、周波数特性と、指向性と、音声が入力される仕組みと、のうちの少なくとも１つが互いに相違してもよい。
この形態の頭部装着型表示装置によれば、音声制御部は、特徴が相違する２つの音声入力部から入力された外部騒音をそれぞれ解析するため、解析の結果の精度をさらに向上させることができる。

（６）上記形態の頭部装着型表示装置において；前記音声制御部は、前記使用される音声制御機能に加えてさらに、前記頭部装着型表示装置が使用されている場面に応じて、前記音声処理部の前記加工処理における設定を変更してもよい。
この形態の頭部装着型表示装置によれば、音声制御部は、使用される音声制御機能に加えて頭部装着型表示装置の使用場面を考慮することによって、加工処理における設定をきめ細かく変更することができる。

（７）上記形態の頭部装着型表示装置では、さらに；前記頭部装着型表示装置の動きを取得する動き取得部を備え；前記音声制御部は、前記動き取得部により取得された頭部装着型表示装置の動きから前記頭部装着型表示装置が使用されている前記場面を推定し、前記推定の結果を利用して前記音声処理部の前記加工処理における設定を変更してもよい。
この形態の頭部装着型表示装置によれば、音声制御部は、頭部装着型表示装置が使用されている場面に応じた設定変更を自動的に行うことができる。

（８）上記形態の頭部装着型表示装置において；前記音声制御部は、前記音声処理部の前記設定を変更するための命令を、前記音声入出力ユニットが対応している通信プロトコルを用いて送信してもよい。
この形態の頭部装着型表示装置によれば、音声制御部と音声入出力ユニットとの間の通信を確実に実施できる。

（９）上記形態の頭部装着型表示装置では、さらに；前記使用者の視線を検出する視線検出部を備え；前記音声制御部は、さらに、前記視線検出部により検出された前記視線の方向から入力された前記音声を増幅させてもよい。
この形態の頭部装着型表示装置によれば、音声制御部は、使用者が視線を向けた（すなわち注意を払った）方向の音声を増幅させるため、使用者における利便性を向上させることができる。

（１０）上記形態の頭部装着型表示装置であって；前記音声制御部は；前記音声入出力ユニットを利用した前記使用者と他者との会話を実現する通話機能と；前記音声入力部から入力された前記音声を音声認識して前記使用者の発話内容を解析する音声認識機能と；前記音声入力部から入力された前記音声を音声認識して特定の音声を検出する特定音検出機能と；コンテンツ内の音声を前記音声発信部から発する音声再生機能と；の少なくとも１つを含む、頭部装着型表示装置。
この形態の頭部装着型表示装置によれば、音声制御部は、用途に応じた様々な機能を実現し、かつ、様々な機能に応じて音声処理部の加工処理における設定を変更することができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置を含む画像表示システム、これらの装置、方法、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを配布するためのサーバー装置、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。

本発明の一実施形態におけるＨＭＤの外観構成を示す図である。 画像表示部が備える光学系の構成を示す要部平面図である。 使用者から見た画像表示部の要部構成を示す図である。 カメラの画角を説明するための図である。 ＨＭＤの構成を機能的に示すブロック図である。 ＨＭＤの制御機能部の構成を機能的に示すブロック図である。 ヘッドセットの構成を機能的に示すブロック図である。 音声処理部において実施される加工処理の一例である。 音声設定テーブル（図６）の一例である。 設定処理の手順を示すシーケンス図である。 第２実施形態におけるＨＭＤの制御機能部の構成を機能的に示すブロック図である。 第２実施形態における音声設定テーブルの一例である。 第２実施形態の設定処理の手順を示すシーケンス図である。 変形例の画像表示部が備える光学系の構成を示す要部平面図である。

Ａ．第１実施形態：
Ａ−１．ＨＭＤの構成：
図１は、本発明の一実施形態におけるＨＭＤ（頭部装着型表示装置、Head Mounted Display）１００の外観構成を示す図である。ＨＭＤ１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０（制御部）と、を備える表示装置である。制御装置１０は、使用者の操作を取得するための各種の入力デバイスを備え、使用者がＨＭＤ１００を操作するためのコントローラーとして機能する。

本実施形態のＨＭＤ１００は、ＨＭＤ１００に内蔵されたヘッドセット３０（詳細は後述）と、外付けのヘッドセット５０と、の両方を使用者の好みに応じて使い分けることができる。ヘッドセット５０は、ＨＭＤ１００との間で、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行うことができる。本実施形態のヘッドセット５０は、Ｂｌｕｅｔｏｏｔｈを用いてＨＭＤ１００との間の通信を行う。

ヘッドセット５０は、使用者の耳に装着される装着体であり、本体５１と、イヤホン５２と、マイク５４と、電源スイッチ５６と、耳掛け５９とを備える。本体５１は、内部が中空に形成された薄い四角柱形状の筐体であり、内部に各機能部を収容している。本体５１の一面には、音声を発するためのイヤホン５２と、音声が入力されるためのマイク５４とが配置されている。マイク５４は、ヘッドセット５０の装着状態において、その集音部が使用者の顔の方向を向くように配置されている。マイク５４は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。また、本体５１のうちの上述した一面とは反対側の面には、ヘッドセット５０の電源オンオフを切り替えるための電源スイッチ５６が配置されている。本体５１の鉛直方向上側の端部には、使用者の耳に掛けることでヘッドセット５０を使用者の耳に保持する耳掛け５９が配置されている。

このようなヘッドセット５０は「音声入出力ユニット」として機能し得る。同様に、イヤホン５２は「音声発信部」として、マイク５４は「音声入力部」として、それぞれ機能し得る。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。

右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２および左表示ユニット２４を総称して「表示駆動部」とも呼ぶ。

本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（使用者の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって虚像を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。使用者の前方から右導光板２６および左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光と、外光とが入射する。このため、使用者における虚像の視認性は、外光の強さに影響を受ける。

このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整することができる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。

カメラ６１は、画像表示部２０の前部フレーム２７に配置されている。カメラ６１は、前部フレーム２７の前面において、右導光板２６および左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されている。カメラ６１は、前部フレーム２７の端部ＥＬ側に配置されていてもよく、右導光板２６と左導光板２８との連結部に配置されていてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、画像表示部２０の装着状態において使用者が視認する視界方向の、少なくとも一部の外景（実空間）を撮像する。換言すれば、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ６１の画角の広さは適宜設定できる。本実施形態では、カメラ６１の画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ６１は、制御部１５０（図５）の制御に従って撮像を実行し、得られた撮像データーを制御部１５０へ出力する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム２７の右導光板２６と左導光板２８との連結部分に配置することができる。測距センサーの測定方向は、ＭＤ１００の表側方向（カメラ６１の撮像方向と重複する方向）とすることができる。測距センサーは、例えば、ＬＥＤやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーはカメラ６１と同様に、制御部１５０により制御され、検出結果を制御部１５０へ出力する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを図示する。図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。

右眼ＲＥに虚像を視認させる構成として、右表示ユニット２２は、ＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。

ＯＬＥＤ駆動回路２２５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー２１７が実装される。なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３が採用されてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に虚像を視認させる。

左眼ＬＥに虚像を視認させる構成として、左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤパネル２２３、ＯＬＥＤ駆動回路２２５と同じである。ＯＬＥＤパネル２４３の裏面に固定される基板には、温度センサー２３９が実装される。また、左光学系２５２の詳細は右光学系２５１と同じである。

以上説明した構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外景（実世界）が見えると共に、この外景に重なるようにして画像光Ｌによる虚像が視認される。

なお、ハーフミラー２６１およびハーフミラー２８１は、右表示ユニット２２および左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。

図１において、制御装置１０と画像表示部２０とは、接続ケーブル４０によって接続される。接続ケーブル４０は、制御装置１０の下部に設けられるコネクターに着脱可能に接続され、左保持部２３の先端から、画像表示部２０内部の各種回路に接続する。接続ケーブル４０には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル４０にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル４０の途中には、コネクター４６が設けられている。

コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。コネクター４６には、ステレオヘッドホンを構成する右イヤホン３２および左イヤホン３４と、マイク６３を有するヘッドセット３０とが接続されている。上述の通り、本実施形態のＨＭＤ１００では、このヘッドセット３０と、外付けのヘッドセット５０とを使用者の好みに応じて使い分けることができる。ヘッドセット５０と同様に、ヘッドセット３０も「音声入出力ユニット」として機能し得る。同様に、右イヤホン３２および左イヤホン３４は「音声発信部」として、マイク６３は「音声入力部」として、それぞれ機能し得る。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置されている。マイク６３は、音声を集音し、音声信号を音声インターフェイス１８２（図５）に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。

制御装置１０は、使用者に対する入出力インターフェイスとして、ボタン１１と、ＬＥＤインジケーター１２と、十字キー１３と、トラックパッド１４と、上下キー１５と、切替スイッチ１６と、電源スイッチ１８とを備える。

ボタン１１は、制御装置１０が実行するＯＳ（オペレーティングシステム）１４３（図６）の操作等を行うためのメニューキー、ホームキー、戻るキー等を含む。本実施形態のボタン１１は、これらのキーやスイッチのうちの押圧操作により変位するタイプのボタンである。ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯あるいは消灯する。十字キー１３は、上下左右および中央部分にそれぞれ対応するキーへのタッチまたは押圧操作を検出して、検出内容に応じた信号を出力する。本実施形態の十字キー１３は、中央に円形形状の決定ボタンが配置され、その上下左右方向に、上ボタン、下ボタン、左ボタン、右ボタンがそれぞれ配置されている。各ボタンには種々の態様を採用でき、例えば静電容量式のボタンであってもよく、機械接点式のボタンであってもよい。トラックパッド１４は、接触操作を検出する操作面を有し、操作面への接触操作を検出して、検出内容に応じた信号を出力する。接触操作の検出方法には、静電式、圧力検出式、光学式等の種々の方法を採用できる。

上下キー１５は、アクティブなヘッドセットのイヤホンから出力する音量を増減させるための指示操作や、画像表示部２０における輝度を増減させるための指示操作を検出する。ここで、「アクティブなヘッドセット」とは、ヘッドセット３０またはヘッドセット５０のうち、電源がオンされており、かつ、ＨＭＤ１００との間のペアリングが完了しているヘッドセットを意味する。切替スイッチ１６は、上下キー１５の指示対象（音量、輝度）の切り替え操作を検出する。電源スイッチ１８は、ＨＭＤ１００の電源のオンオフ（ＯＮ、ＯＦＦ）の切り替え操作を検出する。電源スイッチ１８としては、例えばスライドスイッチを採用できる。

図３は、使用者から見た画像表示部２０の要部構成を示す図である。図３では、接続ケーブル４０、右イヤホン３２、左イヤホン３４の図示を省略している。図３の状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光を照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。使用者は、これらハーフミラー２６１、２８１を含む左右の導光板２６、２８の全体を透過して外景を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。

図４は、カメラ６１の画角を説明するための図である。図４では、カメラ６１と、使用者の右眼ＲＥおよび左眼ＬＥとを平面視で模式的に示すと共に、カメラ６１の画角（撮像範囲）をＣで示す。なお、カメラ６１の画角Ｃは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。

上述のようにカメラ６１は、画像表示部２０において右側の端部に配置され、使用者の視線の方向（すなわち使用者の前方）を撮像する。このためカメラ６１の光軸は、右眼ＲＥおよび左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中の符号ＲＤ、ＬＤに示すように、対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍであることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められＨＭＤ１００にプリセットされていてもよいし、使用者が設定してもよい。カメラ６１の光軸および画角は、このような通常使用時における対象物ＯＢまでの距離が、設定された上限および下限の目安に相当する場合において対象物ＯＢが画角に含まれるように設定されることが好ましい。

なお、一般的に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされる。そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５〜７０度程度とされている。この場合、注視点が対象物ＯＢ（図４）であるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５〜７０度程度が安定注視野である。使用者が画像表示部２０を透過して右導光板２６および左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。

本実施形態のカメラ６１の画角Ｃは、使用者の視野より広い範囲を撮像可能に設定される。カメラ６１の画角Ｃは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ６１の画角Ｃは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ６１には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ６１には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。

図５は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０と、記憶部と、入出力部と、センサー類と、インターフェイスと、電源部１３０とを備える。メインプロセッサー１４０には、これらの記憶部、入出力部、センサー類、インターフェイス、電源部１３０がそれぞれ接続されている。メインプロセッサー１４０は、制御装置１０が内蔵しているコントローラー基板１２０に実装されている。

記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０によって実行されるコンピュータープログラム、および、処理されるデーターを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するコンピュータープログラムや、メインプロセッサー１４０によって処理される各種のデーターを記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０に実装されている。

入出力部には、トラックパッド１４と、操作部１１０とが含まれている。操作部１１０には、上述したボタン１１と、ＬＥＤインジケーター１２と、十字キー１３と、トラックパッド１４と、上下キー１５と、切替スイッチ１６と、電源スイッチ１８とが含まれる。メインプロセッサー１４０は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。

センサー類には、６軸センサー１１１と、磁気センサー１１３と、ＧＰＳ（Global Positioning System）１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。ＧＰＳ１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０からの指示に応じてもよい。

インターフェイスには、通信部１１７と、音声コーデック１８０と、外部コネクター１８４と、外部メモリーインターフェイス１８６と、ＵＳＢ（Universal Serial Bus）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェイス１９６とが含まれている。これらは、外部とのインターフェイスとして機能する。通信部１１７は、ＨＭＤ１００と外部機器との間における無線通信を実行する。通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉを含む無線ＬＡＮ等の規格に準拠した無線通信を行う。

音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。また、音声コーデック１８０は、内蔵されているヘッドセット３０を介して入出力される音声を加工処理する「音声処理部」としての機能（後述する音声処理部５２０と同様の機能）を備えていてもよい。さらに、音声コーデック１８０は、内蔵されているヘッドセット３０を介して入出力される音声信号について、アナログ音声信号からデジタル音声データーへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。

Ａ／Ｄコンバーターは、マイク６３を介して入力されるアナログ音声信号を、デジタル音声データーに変換してメインプロセッサー１４０へ出力する。すなわち、Ａ／Ｄコンバーターは、後述するＡ／Ｄコンバーター５３４と同様の機能を有する。Ｄ／Ａコンバーターは、メインプロセッサー１４０から出力されるデジタル音声データーをアナログ音声信号に変換して、右イヤホン３２および左イヤホン３４へと出力する。すなわち、Ｄ／Ａコンバーターは、後述するＤ／Ａコンバーター５３２と同様の機能を有する。なお、音声コーデック１８０は、外付けのヘッドセット５０を介して入出力される音声については、エンコード／デコードのみを実施して通過させてもよい。この場合、音声処理部５２０、Ｄ／Ａコンバーター５３２、Ａ／Ｄコンバーター５３４によって上述した処理が実行される。音声インターフェイス１８２は、アクティブなヘッドセットとの間で、音声信号を入出力するインターフェイスである。

外部コネクター１８４は、メインプロセッサー１４０に対して、メインプロセッサー１４０と通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー１４０が実行するコンピュータープログラムのデバッグや、ＨＭＤ１００の動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスや、無線ＬＡＮインターフェイス、Ｂｌｕｅｔｏｏｔｈインターフェイス等の無線接続に対応したインターフェイスを採用できる。

外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスである。外部メモリーインターフェイス１８６は、例えば、カード型記録媒体を装着してデーターの読み書きを行うメモリーカードスロットと、インターフェイス回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェイスである。ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェイス回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー１４０の制御に従って振動を発声する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、ＨＭＤ１００の電源がオンオフされた場合等に所定の振動パターンでバイブレーター１９により振動を発生させる。

センサーハブ１９２およびＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して画像表示部２０に接続されている。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得して、メインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信されるデーターの処理およびインターフェイス１９６を介した伝送を実行する。インターフェイス１９６は、画像表示部２０の右表示ユニット２２と、左表示ユニット２４とに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが、制御装置１０のインターフェイス１９６に接続される。

電源部１３０には、バッテリー１３２と、電源制御回路１３４とが含まれている。電源部１３０は、制御装置１０が動作するための電力を供給する。バッテリー１３２は、充電可能な電池である。電源制御回路１３４は、バッテリー１３２の残容量の検出と、ＯＳ１４３への充電の制御を行う。電源制御回路１３４は、メインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値や、バッテリー１３２の電圧の検出値をメインプロセッサー１４０へと出力する。なお、電源部１３０が供給する電力に基づいて、制御装置１０から画像表示部２０へと電力を供給してもよい。電源部１３０から制御装置１０の各部および画像表示部２０への電力の供給状態を、メインプロセッサー１４０により制御可能な構成としてもよい。

右表示ユニット２２は、表示ユニット基板２１０と、ＯＬＥＤユニット２２１と、カメラ６１と、照度センサー６５と、ＬＥＤインジケーター６７と、温度センサー２１７とを備える。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１と、受信部（Ｒｘ）２１３と、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５とが実装されている。受信部２１３は、インターフェイス２１１を介して制御装置１０から入力されるデーターを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データーを受信した場合に、受信した画像データーをＯＬＥＤ駆動回路２２５（図２）へと出力する。

ＥＥＰＲＯＭ２１５は、各種のデーターをメインプロセッサー１４０が読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０のＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデーター、右表示ユニット２２または左表示ユニット２４のセンサー特性に関するデーター等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、後述する温度センサー２１７、２３９の検出値を補償するデーター等を記憶する。これらのデーターは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。出荷後は、メインプロセッサー１４０がＥＥＰＲＯＭ２１５のデーターを読み込んで各種の処理に利用する。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データーあるいは撮像結果を表す信号を制御装置１０へと出力する。照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は主としてＯＬＥＤパネル２２３の温度を検出する。なお、温度センサー２１７は、ＯＬＥＤパネル２２３あるいはＯＬＥＤ駆動回路２２５に内蔵されてもよい。例えば、ＯＬＥＤパネル２２３がＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路２２５と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７を実装してもよい。

左表示ユニット２４は、表示ユニット基板２３０と、ＯＬＥＤユニット２４１と、温度センサー２３９とを備える。表示ユニット基板２３０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１と、受信部（Ｒｘ）２３３と、６軸センサー２３５と、磁気センサー２３７とが実装されている。受信部２３３は、インターフェイス２３１を介して制御装置１０から入力されるデーターを受信する。受信部２３３は、ＯＬＥＤユニット２４１で表示する画像の画像データーを受信した場合に、受信した画像データーをＯＬＥＤ駆動回路２４５（図２）へと出力する。

６軸センサー２３５は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。温度センサー２３９は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は主としてＯＬＥＤパネル２４３の温度を検出する。温度センサー２３９は、ＯＬＥＤパネル２４３あるいはＯＬＥＤ駆動回路２４５に内蔵されてもよい。詳細は温度センサー２１７と同様である。

右表示ユニット２２のカメラ６１、照度センサー６５、温度センサー２１７と、左表示ユニット２４の６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、制御装置１０のセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データーの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２および左表示ユニット２４が備える各センサーの検出値をメインプロセッサー１４０へ出力する。センサーハブ１９２は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデーター形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始および停止させることで、ＬＥＤインジケーター６７を点灯または消灯させる。

図６は、ＨＭＤ１００の制御機能部の構成を機能的に示すブロック図である。ＨＭＤ１００の制御機能部は、記憶部１２２と、制御部１５０とを備える。記憶部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部である。図６では記憶部１２２のみを使用する例を示すが、不揮発性記憶部１２１に組み合わせてＥＥＰＲＯＭ２１５やメモリー１１８が使用されてもよい。また、制御部１５０は、メインプロセッサー１４０がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。

記憶部１２２には、制御部１５０における処理に供する種々のデーターが記憶されている。具体的には、本実施形態の記憶部１２２には、設定データー１２３と、コンテンツデーター１２４と、音声設定テーブル１２６とが記憶されている。音声設定テーブル１２６の詳細は後述する。

設定データー１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。例えば、設定データー１２３には、制御部１５０がＨＭＤ１００を制御する際のパラメーター、行列式、演算式、ＬＵＴ（Look Up Table）等が含まれている。

コンテンツデーター１２４には、制御部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデーター（画像データー、映像データー、音声データー等）が含まれている。なお、コンテンツデーター１２４には、双方向型のコンテンツのデーターが含まれてもよい。双方向型のコンテンツとは、制御装置１０によって使用者の操作を取得して、取得した操作内容に応じた処理を制御部１５０が実行し、処理内容に応じたコンテンツを画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデーターには、使用者の操作を取得するためのメニュー画面の画像データー、メニュー画面に含まれる項目に対応する処理を定めるデーター等を含みうる。

制御部１５０は、記憶部１２２が記憶しているデーターを利用して各種処理を実行することにより、ＯＳ（オペレーティングシステム）１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、音声制御部１５１としての機能を実行する。本実施形態では、ＯＳ１４３以外の各機能部は、ＯＳ１４３上で実行されるアプリケーションプログラムとして構成されている。

画像処理部１４５は、画像表示部２０により表示する画像／映像の画像データーに基づいて、右表示ユニット２２および左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１４５は、メインプロセッサー１４０がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。

なお、画像処理部１４５は、必要に応じて、解像度変換処理、画像調整処理、２Ｄ／３Ｄ変換処理等を実行してもよい。解像度変換処理は、画像データーの解像度を右表示ユニット２２および左表示ユニット２４に適した解像度へと変換する処理である。画像調整処理は、画像データーの輝度や彩度を調整する処理である。２Ｄ／３Ｄ変換処理は、三次元画像データーから二次元画像データーを生成し、あるいは、二次元画像データーから三次元画像データーを生成する処理である。画像処理部１４５は、これらの処理を実行した場合、処理後の画像データーに基づき画像を表示するための信号を生成し、接続ケーブル４０を介して画像表示部２０へと送信する。

表示制御部１４７は、右表示ユニット２２および左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２および左表示ユニット２４のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づいて、ＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データーを生成し、記憶部１２２に一時的に記憶させる。また、カメラ６１が撮像画像データーを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は、撮像画像データーをカメラ６１から取得して、記憶部１２２に一時的に記憶させる。

音声制御部１５１は、アクティブなヘッドセットとの間で送受信される音声を、複数の異なる音声制御機能を用いて制御することが可能な制御部である。本実施形態の音声制御部１５１は、次の２つの通話機能を実現することができる。
（ａ１）通話機能：アクティブなヘッドセットのイヤホンとマイクとを利用して、他者と会話する機能。音声制御部１５１は、外部に設けられている基地局との間で、無線通信部１１７や図示しない移動体通信部を介して、デジタル音声データーを送受信する。
（ａ２）音声認識機能：アクティブなヘッドセットのマイクから入力される音声（アナログ音声信号）を音声認識して、使用者の発話内容を解析する機能。解析された発話内容は、例えば、発話内容に予め関連付けられたコマンド（命令）を実行するために利用されてもよく、ソフトウェアキーボード等を利用した文字入力の代替手段として利用されてもよい。例えば、使用者が「みぎ」と発話した場合を例に挙げ説明する。コマンド実行のために発話内容を利用する場合、音声制御部１５１は、十字キー１３の右ボタンが押下された、というイベントをＯＳ１４３へと送信する。文字入力の代替手段として発話内容を利用する場合、音声制御部１５１は、ＯＳ１４３が表示させている文字入力欄（例えばＷＥＢブラウザの検索ワード入力欄等）に「みぎ」と表示させる。

上述した機能ａ１、ａ２のうち、どちらの音声制御機能が有効になるかは、種々の方法で決定することができる。例えば、ＨＭＤ１００の使用者が好みに応じて選択してもよい。また、ＨＭＤ１００において実行されているアプリケーションに応じて自動的に選択されてもよい。この場合、例えば、使用者がＯＳ１４３にインストールされている通話アプリの実行を指示した場合は機能ａ１が有効になり、使用者がＯＳ１４３にインストールされているＷＥＢブラウザアプリの実行を指示した場合は機能ａ２が有効になる。

Ａ−２．ヘッドセット５０の構成：
図７は、ヘッドセット５０の構成を機能的に示すブロック図である。ヘッドセット５０は、図１で説明したイヤホン５２、マイク５４、電源スイッチ５６に加えてさらに、インターフェイス５１０、音声処理部５２０、Ｄ／Ａコンバーター５３２、Ａ／Ｄコンバーター５３４、バッテリー５４２、電源制御回路５４４を備える。

インターフェイス５１０は、ヘッドセット５０が接続されている機器、例えばＨＭＤ１００の音声インターフェイス１８２との間で、音声信号の送受信を行うインターフェイスである。本実施形態のインターフェイス５１０は、無線通信（Ｂｌｕｅｔｏｏｔｈ）を用いて音声信号を送受信する。

Ｄ／Ａコンバーター５３２は、音声処理部５２０から出力されるデジタル音声データーをアナログ音声信号に変換して、イヤホン５２へと出力する。Ａ／Ｄコンバーター５３４は、マイク５４を介して入力されるアナログ音声信号を、デジタル音声データーに変換して音声処理部５２０へ出力する。バッテリー５４２および電源制御回路５４４は、ヘッドセット５０が動作するための電力を供給する。バッテリー５４２は、充電可能な電池である。電源制御回路５４４は、バッテリー５４２の残容量の検出と、ヘッドセット５０の各部への充電の制御を行う。

図８は、音声処理部５２０において実施される加工処理の一例である。音声処理部５２０は、インターフェイス５１０またはＡ／Ｄコンバーター５３４から入力されるデジタル音声データーに対して、図８に示す各項目に従った加工処理を実施する。項番１のゲイン調整は、インターフェイス５１０またはＡ／Ｄコンバーター５３４から入力されたデジタル音声データーを増幅し、音量および音圧を増幅させることを意味する。ゲイン調整は、ＯＦＦ（調整なし）と、レベル１〜５の５段階の調整レベルと、を設定により選択できる。レベルは、設定値１で最も増幅量が小さく、設定値５で最も増幅量が大きい。

項番２のノイズキャンセルレベルと、項番３のノイズキャンセル方式は、いわゆるノイズキャンセリング機能を意味する。ノイズキャンセリング機能とは、ヘッドセット５０の外部騒音をマイク５４から取り込み、外部騒音と逆位相の波形をデジタル音声データーに重畳させることで、外部騒音を打ち消す機能である。なお、外部騒音とは、ＨＭＤ１００（ヘッドセット５０）の置かれた環境における外部の騒音を意味する。ノイズキャンセルレベルは、ＯＦＦ（ノイズキャンセル機能なし）と、レベル１〜５の５段階の調整レベルと、を設定により選択できる。レベルは、設定値１で最も逆位相の波形の振幅が小さく、設定値５で最も逆位相の波形の振幅が大きい。ノイズキャンセル方式は、ＯＦＦ（ノイズキャンセル機能なし）と、レベル１〜５の５段階の調整レベルと、を設定により選択できる。レベルは、設定値１〜３のいずれかで、外部騒音と逆位相の波形をデジタル音声データーに重畳させる方式が採用され、設定値４，５のどちらかで、逆位相の波形の代わりに遮音用の波形をデジタル音声データーに重畳させる方式が採用される。

項番４のクリアボイスレベルは、いわゆるクリアボイス機能を意味する。クリアボイス機能とは、ヘッドセット５０のマイク５４から取り込んだ音声から、人間の声以外のバックグラウンドノイズ（雑音）を除去する機能である。クリアボイスレベルは、ＯＦＦ（クリアボイス機能なし）と、レベル１〜５の５段階の調整レベルと、を設定により選択できる。レベルは、設定値１で最も雑音除去の程度が小さく、設定値５で最も雑音除去の程度が大きい。

項番５のＨＰＦ設定は、ハイパスフィルターを意味し、所定の周波数から上の範囲を通すフィルターを掛ける機能を意味する。ＨＰＦ設定は、ＯＦＦ（フィルター機能なし）と、レベル１〜５の５段階の調整レベルと、を設定により選択できる。レベルは、設定値１〜５に応じて徐々に、フィルタリングされる周波数が低く変化する。項番６のＬＰＦ設定は、ローパスフィルターを意味し、所定の周波数から下の範囲を通すフィルターを掛ける機能を意味する。ＬＰＦ設定は、ＯＦＦ（フィルター機能なし）と、レベル１〜５の５段階の調整レベルと、を設定により選択できる。レベルは、設定値１〜５に応じて徐々に、フィルタリングされる周波数が高く変化する。

項番７のイコライザー設定は、所定の周波数だけを上下させる機能を意味する。所定の周波数は、予め定められ音声処理部５２０に設定されている。イコライザー設定は、ＯＦＦ（周波数の上下なし）と、レベル１〜５の５段階の調整レベルと、を設定により選択できる。レベルは、設定値１で最も周波数の上下幅が小さく、設定値５で最も周波数の上下幅が大きい。項番８の出力アンプ設定は、Ｄ／Ａコンバーター５３２へと出力するデジタル音声データーを増幅し、音量および音圧を増幅させることを意味する。出力アンプ設定は、ＯＦＦ（調整なし）と、レベル１〜５の５段階の調整レベルと、を設定により選択できる。レベルは、設定値１で最も増幅量が小さく、設定値５で最も増幅量が大きい。

なお、図８で説明した加工処理はあくまで一例であり、上述した加工処理の一部が省略されてもよい。また、上述した加工処理以外の他の加工処理が実行されてもよい。さらに、設定内容（ＯＦＦ、レベル１〜５）についてもあくまで一例であり、種々の態様を採用できる。

図９は、音声設定テーブル１２６（図６）の一例である。音声設定テーブル１２６には、音声制御部１５１で実行可能な機能ごとに、想定される外部騒音の種別に応じた、音声処理部５２０における加工処理の設定内容が予め定められて記憶されている。具体的には、音声設定テーブル１２６は、使用機能と、外部騒音の種別と、設定内容と、のフィールドを含む。使用機能には、音声制御部１５１で実行可能な機能が全て格納されている。すなわち本実施形態の場合、通話機能（機能ａ１）と、音声認識機能（機能ａ２）と、が格納されている。

外部騒音の種別には、ＨＭＤ１００（ヘッドセット５０）の置かれた環境における、想定される外部騒音の種別が全て格納されている。本実施形態の場合、外部騒音の種別として、項番１〜４の４つが例示されている。項番１は、使用者が車両運転中などに生じるロードノイズである。項番２は、周期的な音圧レベルの高いノイズであり、例えば、工事現場等での作業騒音等がこれに該当する。項番３は、周期性のない音圧レベルの高いノイズであり、例えば、駅のホームでの騒音等がこれに該当する。項番４は、周期性のないざわざわ騒音であり、例えば、工事現場（作業外）や街中の雑踏等がこれに該当する。これら以外にも、音声設定テーブル１２６には、一般的に想定される様々なシーンにおける騒音の種別が予め記憶されていてよい。

設定内容には、音声制御部１５１で実行されている機能毎、かつ、その際の外部騒音の種別毎に、音声処理部５２０で実行される種々の加工処理（図８）において、図８で説明した項番１のゲイン調整から項番８の出力アンプ設定までの８つの項目の各々について、具体的にどのような設定内容を採用すると良好な結果が得られるか、という設定値が格納されている。この設定内容は、予め試験等により決定される。なお、図９において「Ｘ」の文字は、任意の文字列および数字を意味する。

Ａ−３．設定処理：
図１０は、設定処理の手順を示すシーケンス図である。本実施形態の設定処理は、ＨＭＤ１００の制御装置１０と、アクティブなヘッドセットと、の間で実行される。以降では、アクティブなヘッドセットとしてヘッドセット５０を使用する。しかし、アクティブなヘッドセットとして、ＨＭＤ１００に内蔵されているヘッドセット３０を利用した場合についても、同様の制御をすることができる。この場合、音声コーデック１８０において図８で説明したと同様の加工処理が実行されることを前提とし、図９および図１０の説明において「音声処理部５２０の設定内容」と記載した部分を「音声コーデック１８０の設定内容」と読み替える。

設定処理は、ヘッドセット５０の電源がオンされたことを契機として開始される（ステップＳ１００）。ステップＳ１０２においてヘッドセット５０の音声処理部５２０は、制御装置１０の音声制御部１５１との間で、Ｂｌｕｅｔｏｏｔｈインターフェイス（インターフェイス５１０、音声インターフェイス１８２）のペアリングを行う。また、音声処理部５２０は、加工処理において使用される設定内容（図８）と、図示しない内部メモリーとを一旦初期化する。

ステップＳ１０４において制御装置１０の音声制御部１５１は、音声制御部１５１において現在使用されている機能（機能ａ１、ａ２）の別を取得する。音声制御部１５１は、例えば、メモリー１１８のワークエリアを参照することで、この使用機能を取得することができる。

ステップＳ１０６においてヘッドセット５０のマイク５４は、所定の時間に亘り、ＨＭＤ１００（ヘッドセット５０）の置かれた環境における外部の騒音を収集する。その後、ステップＳ１０８においてヘッドセット５０の音声処理部５２０は、収集された外部騒音のデジタル音声データー（以降「外部騒音データー」とも呼ぶ。）を、制御装置１０へと送信する。なお、所定の時間は任意に定めることができる。ステップＳ１０６およびＳ１０８は、音声処理部５２０が自発的に実施してもよく、制御装置１０（音声制御部１５１）の指示に従って実施してもよい。

ステップＳ１１０において制御装置１０の音声制御部１５１は、受信した外部騒音データーを解析する。この解析は、例えば、周波数特性の取得、音圧レベルの取得、周期性の有無の判定等、多角的に実施されることが好ましい。解析の際の項目は任意に定めることができる。その後、音声制御部１５１は、受信した外部騒音データーから、ＨＭＤ１００（ヘッドセット５０）の置かれた環境における外部の騒音の種別（図９：項番１〜４）を判定する。

ステップＳ１１２において制御装置１０の音声制御部１５１は、音声制御部１５１における使用機能と、外部騒音の種別とから、設定内容を取得する。具体的には、音声制御部１５１は、音声設定テーブル１２６を検索し、ステップＳ１０４で取得した使用機能と、ステップＳ１１０で判定した外部騒音の種別と、に一致する設定内容のデーターを取得する。

ステップＳ１１４において制御装置１０の音声制御部１５１は、検索した設定内容のデーターを、ヘッドセット５０へと送信する。この送信の際、音声制御部１５１は、ヘッドセット５０が対応している通信プロトコルを用いる。本実施形態の場合、音声制御部１５１は、Ｂｌｕｅｔｏｏｔｈ ＳＳＰ（Simple Secure Pairing）を利用する。なお、本ステップにおいて音声制御部１５１は、設定内容のデーターに加えて、送信する設定内容を上書きする旨の命令（コマンド）を送信してもよい。本ステップにおける送信内容は、制御装置１０とヘッドセット５０との間における通信プロトコルに準拠する。

ステップＳ１１６においてヘッドセット５０の音声処理部５２０は、ステップＳ１１４で受信した設定内容のデーターを用いて、音声処理部５２０の加工処理において使用される各種の設定内容（図８）を上書きする。その後、ステップＳ１１２において音声処理部５２０は、設定が完了した旨の応答を、制御装置１０へと送信し、処理を終了する。なお、音声処理部５２０は、設定が正しく完了しなかった場合、その旨の応答や、再試行を求める旨の応答を制御装置１０へと送信してもよい。

以上説明したように、音声設定テーブル１２６には予め、
・制御装置１０の音声制御部１５１において使用可能な全ての機能と、
・ＨＭＤ１００（ヘッドセット５０）の置かれた環境における、想定される外部騒音の種別の全てと、
・音声制御部１５１で実行されている機能毎、かつ、その際の外部騒音の種別毎に、音声処理部５２０で実行される種々の加工処理（図８）において具体的にどのような設定内容を採用すると良好な結果が得られるか、という設定値と、
が対応付けられて記憶されている。そして、設定処理（図１０）では、音声制御部１５１において現在使用されている機能（ステップＳ１０４：使用機能）と、ＨＭＤ１００の置かれた環境、換言すれば、ＨＭＤ１００の実際の使用環境における外部騒音の種別（ステップＳ１１０）と、に基づいて音声設定テーブル１２６を使用して、音声処理部５２０における具体的な設定内容（設定値）が求められる。

この結果、第１実施形態の頭部装着型表示装置（ＨＭＤ１００）によれば、音声制御部１５１は、使用される音声制御機能（機能ａ１、ａ２）と、外部騒音と、に応じて、ヘッドセット５０の音声処理部５２０が実行する加工処理（図８）における設定を変更する。このため、各音声制御機能（機能ａ１、ａ２）に適した態様で、かつ、外部騒音を考慮して、音声品質を向上させることができる。

なお、音声設定テーブル１２６における「想定される外部騒音の種別」は省略してもよい。この場合、設定処理（図１０）のステップＳ１０６〜Ｓ１１０）についても省略可能である。このようにしても、音声制御部１５１は、使用される音声制御機能（機能ａ１、ａ２）に応じて、ヘッドセット５０の音声処理部５２０が実行する加工処理（図８）における設定を変更することができるため、各音声制御機能（機能ａ１、ａ２）に適した態様で音声品質を向上させることができる。

また、第１実施形態の頭部装着型表示装置（ＨＭＤ１００）によれば、音声制御部１５１は、音声入力部（マイク５４）から入力された外部騒音を解析し（図１０：ステップＳ１１０）、この解析の結果を利用してヘッドセット５０の音声処理部５２０の加工処理における設定を変更する（図１０：ステップＳ１１２〜Ｓ１１４）。このため、音声制御部１５１は、外部騒音に応じた設定変更を自動的に行うことができる。

さらに、第１実施形態の頭部装着型表示装置（ＨＭＤ１００）によれば、音声制御部１５１は、ヘッドセット５０の音声処理部５２０の設定を変更するための命令（図１０：ステップＳ１１４）を、音声入出力ユニット（ヘッドセット５０）が対応している通信プロトコル（Ｂｌｕｅｔｏｏｔｈ ＳＳＰ）を用いて送信する。このため、本実施形態のＨＭＤ１００によれば、音声制御部１５１と音声入出力ユニット（ヘッドセット５０）との間の通信を確実に実施できる。

Ａ−４．付加処理：
上記実施形態において、音声制御部１５１は、次に例示する処理ｂ１〜ｂ３を付加的に実行してもよい。処理ｂ１〜ｂ３は、単独で付加されてもよく、組み合わせて付加されてもよい。

（ｂ１）視線方向の音声を拡張：
上述したＨＭＤ１００において、さらに視線検出部を備える構成とする。視線検出部は、例えば、画像表示部２０の内側に配置されて、使用者の眼近傍の画像を取得するカメラと、撮影された眼近傍の画像（より具体的には黒目の向き）を画像解析により取得する処理部と、を含む構成により実現できる。音声制御部１５１は、マイク５４（またはマイク６３）により集音された音声のうち、視線検出部により検出された視線の方向から入力された音声を増幅させ、イヤホン５２（または右イヤホン３２および左イヤホン３４）から出力する。この増幅処理は、音声制御部１５１の指示に応じてヘッドセット５０の音声処理部５２０（または音声コーデック１８０）が実行してもよい。

このようにすれば、音声制御部１５１は、使用者が視線を向けた（すなわち注意を払った）方向の音声を増幅させることができるため、使用者における利便性を向上させることができる。

なお、処理ｂ１において、音声制御部１５１は、使用者が視線を向けた方向の音声を増幅することに代えて、音声データー中に含まれる特定の音（例えば人間の声、鳥の声、アラーム音等）だけを増幅させて、出力してもよい。特定の音は、例えば、ＨＭＤ１００の使用者により設定可能な構成としてもよい。このようにすれば、使用者における利便性をさらに向上させることができる。

（ｂ２）複数の音声発信部による音再現：
上述したＨＭＤ１００において、さらに、１つ以上のスピーカーを備える構成とする。スピーカーは、例えば、画像表示部２０の左保持部２３および左表示ユニット２４の内側に配置することができる。スピーカーは、種々のスピーカーを採用でき、例えば、ダイナミック型スピーカー、骨伝導スピーカー等を使用できる。スピーカーは、有指向性であってもよく、無指向性であってもよい。スピーカーの個数も任意に定めることができる。これらのスピーカーも「音声発信部」として機能する。また、本付加処理では、音声設定テーブル１２６には、音声制御部１５１で実行可能な機能ごとに、想定される外部騒音の種別に応じた、出力先となる音声発信部が記憶されている構成とする。例えば、あるデーターでは、出力先となる音声発信部として「右イヤホン３２、左イヤホン３４、第１のスピーカー」が格納されており、他のデーターでは、出力先となる音声発信部として「左イヤホン３４、左イヤホン３４、第１のスピーカー、第２のスピーカー」が格納されている。

設定処理（図１０）のステップＳ１１２において音声制御部１５１は、設定内容と共に、出力先となる音声発信部を検索する。そして、ステップＳ１１４において音声制御部１５１は、設定内容と共に、出力先となる音声発信部を送信する。以降、これを受信した音声コーデック１８０は、ステップＳ１１４で通知された音声発信部に対して、音声データーを送信する。

このようにすれば、音声制御部１５１は、使用されている音声制御機能（機能ａ１、ａ２）と、実際の外部騒音と、に応じて、音声データーの再生に使用される音声発信部を変更する。このため、各音声制御機能（機能ａ１、ａ２）に適した態様で、かつ、外部騒音を考慮して、再生される音声品質を向上させることができる。

（ｂ３）複数マイクによる外部騒音の種類判定：
設定処理（図１０）のステップＳ１０６およびＳ１０８では、ヘッドセット５０のマイク５４と、ヘッドセット３０のマイク６３との両方で、外部騒音の収集および送信を実施する。その後、ステップＳ１１０において音声制御部１５１は、ヘッドセット５０とヘッドセット３０とから受信した外部騒音データーをそれぞれ解析する。そして、音声制御部１５１は、各解析結果に基づいて、ＨＭＤ１００（ヘッドセット５０）の置かれた環境における外部の騒音の種別（図９：項番１〜４）を判定する。２つの解析結果の使用方法は任意に定めることができ、一方を主として他方を補正のために利用してもよく、両者の平均値を採用してもよい。

なお、ＨＭＤ１００がマイク６３やマイク５４以外のマイクを備える場合、音声制御部１５１は、当該マイクから収集、送信された外部騒音データーについても利用できる。解析の結果の精度を向上させるという観点から、ＨＭＤ１００が備える複数のマイクは、ＨＭＤ１００を装着している状態の使用者に対する位置と、周波数特性と、指向性と、集音の仕組みと、のうちの少なくとも１つが互いに相違することが好ましい。具体的には、例えば、指向性を有する２つのマイクを利用する態様において、一方のマイクの指向性を使用者の口元に向け、他方のマイクの指向性を外部に向けるように設定する。この場合、他方のマイクは、より外部騒音を収集しやすい環境となるため、他方のマイクを主として外部騒音をすることが好ましい。

このようにすれば、音声制御部１５１は、２つ以上の音声入力部（マイク）から入力された外部騒音をそれぞれ解析するため、解析の結果の精度を向上させることができる。

（ｂ４）外部騒音に応じた追加処理：
設定処理のステップＳ１１０において外部騒音データーを解析した結果、外部騒音の音圧レベルが所定の閾値を超える場合（外部騒音がひどい場合）、音声制御部１５１は、次に挙げる追加処理を実施してもよい。追加処理は単独で採用してもよく、組み合わせて採用してもよい。

・音声制御部１５１は、イヤホン５２（または右イヤホン３２および左イヤホン３４）から出力する音声を文字または画像化した虚像（字幕）を、画像表示部２０に表示させる。本処理によれば、聞き取り難い音声を字幕により補助できるため、例えば通話機能を使用している場合に有効である。
・音声制御部１５１は、使用者に対して、再度の発話を求める旨、静かな環境で発話する旨、滑舌よく発話する旨等を案内する。この案内は、イヤホン５２（または右イヤホン３２および左イヤホン３４）からの音声で行ってもよく、画像表示部２０に表示させてもよい。本処理によれば、例えば音声認識機能における認識精度を向上させることができる。
・音声制御部１５１は、使用者に対して、緊急通知を行う。緊急通知は、バイブレーター１９を振動させて行ってもよく、画像表示部２０に目立つ態様での表示（例えば、赤色のフラッシング）をさせてもよい。また、緊急通知のトリガは、アラーム（所定時刻の到来）、災害発生時、音声入出力ユニットとの間で送受信されるデジタル音声データーに所定のキーワードが含まれる場合等、任意に決定してよい。本処理によれば、聴覚以外の感覚器官を利用して、使用者に緊急通知を行うことができる。

Ｂ．第２実施形態：
本発明の第２実施形態では、音声制御部における使用機能と外部騒音の種別とに加えてさらに、ＨＭＤの使用場面に応じて、ヘッドセットの音声処理部の加工処理における設定を変更する構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。

図１１は、第２実施形態におけるＨＭＤ１００ａの制御機能部の構成を機能的に示すブロック図である。図６に示した第１実施形態との違いは、記憶部１２２ａが、音声設定テーブル１２６に代えて音声設定テーブル１２６ａを備える点と、制御部１５０ａが、音声制御部１５１に代えて音声制御部１５１ａを備える点である。音声設定テーブル１２６ａは、テーブルの内容が第１実施形態と相違し、音声制御部１５１ａは、設定処理の内容が第１実施形態と相違する。

図１２は、第２実施形態における音声設定テーブル１２６ａの一例である。図９に示した第１実施形態との違いは、使用場面のフィールドが追加されている点のみである。なお、図１２では、図示の便宜上、外部騒音の種別の項番２〜４の記載を省略している。使用場面には、ＨＭＤ１００ａが使用されている場面（以降「使用場面」とも呼ぶ。）であって、想定される使用場面の全てが格納されている。本実施形態の場合、使用場面として、歩行、ランニング、車両運転、飛行機搭乗の４つが例示されている。これら以外にも、音声設定テーブル１２６ａには、一般的に想定されるＨＭＤ１００ａの様々な使用場面が予め記憶されていてもよい。この結果、音声設定テーブル１２６ａの設定内容には、音声制御部１５１ａで実行されている機能毎、かつ、ＨＭＤ１００ａの使用場面毎、かつ、その際の外部騒音の種別毎に、音声処理部５２０で実行される種々の加工処理（図８）における設定項目の各々について、具体的にどのような設定内容を採用すると良好な結果が得られるか、という設定値が格納される。

図１３は、第２実施形態の設定処理の手順を示すシーケンス図である。図１０に示した第１実施形態との違いは、ステップＳ１０４とステップＳ１０６との間にステップＳ２００が実行される点と、ステップＳ１１２に代えてステップＳ２０２が実行される点である。ステップＳ２００において制御装置１０の音声制御部１５１ａは、現在のＨＭＤ１００ａの使用場面を推定する。具体的には、音声制御部１５１ａは、制御装置１０および画像表示部２０に搭載されている各種のセンサーの計測値を取得し、計測値の変化から、ＨＭＤ１００ａの使用場面を推定する。各種のセンサーとは、例えば、制御装置１０の６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５や、画像表示部２０の６軸センサー２３５、磁気センサー２３７、温度センサー２３９、照度センサー６５等である。なお、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、６軸センサー２３５、磁気センサー２３７は、ＨＭＤ１００ａの動きを取得する「動き取得部」として機能する。

例えば、音声制御部１５１ａは、６軸センサー１１１や６軸センサー２３５の計測値が人間の歩行パターンに一致する場合、使用場面は「歩行」であると推定することができる。また、例えば音声制御部１５１ａは、ＧＰＳ１１５による位置の変化が所定の範囲内（例えば、時速２０〜１５０キロ）であれば、使用場面は「車両運転」であると推定することができる。また、例えば音声制御部１５１ａは、ＧＰＳ１１５による位置の変化が所定の範囲内（例えば、時速１５１キロ〜）であれば、使用場面は「飛行機搭乗」であると推定することができる。

なお、音声制御部１５１ａは、複数のセンサーの測定値の組み合わせや、１つまたは複数のセンサーの測定値とマイク５４から集音した周囲の音の組み合わせによって、使用場面を推定してもよい。音声制御部１５１ａは、１つまたは複数のセンサーの測定値とカメラ６１により撮影された画像を解析した結果との組み合わせによって、使用場面を推定することもできる。

ステップＳ２０２において制御装置１０の音声制御部１５１ａは、音声制御部１５１ａにおける使用機能（ステップＳ１０４）と、ＨＭＤ１００ａの使用場面（ステップＳ２００）と、外部騒音の種別（ステップＳ１１０）とから、音声設定テーブル１２６ａを検索し、設定内容を取得する。

なお、第２実施形態においても、音声設定テーブル１２６ａにおける「想定される外部騒音の種別」は省略してもよい。詳細は第１実施形態で説明した通りである。また、第２実施形態においても、音声制御部１５１ａは、上述した処理ｂ１〜ｂ３を付加的に実行してもよい。なお、第２実施形態において「使用場面」に代えて、異なる情報を採用してもよい。異なる情報とは、例えば、使用者の性別、年齢、体格等が挙げられる。使用者の性別、年齢、体格は、ＨＭＤ１００ａに予め設定されている情報（例えばユーザー情報）から取得してもよく、マイク５４を介した使用者の発話音声を解析することで推定してもよい。

以上のように、第２実施形態の頭部装着型表示装置（ＨＭＤ１００ａ）によれば、音声制御部１５１ａは、音声制御部１５１ａにおいて使用されている音声制御機能（機能ａ１、ａ２）に加えてさらに、ＨＭＤ１００ａの使用場面を考慮することによって、音声処理部５２０の加工処理における設定をきめ細かく変更することができる。

また、第２実施形態の頭部装着型表示装置（ＨＭＤ１００ａ）によれば、音声制御部１５１ａは、動き取得部（ＨＭＤ１００ａに搭載されている各種のセンサー）により取得されたＨＭＤ１００ａの動きからＨＭＤ１００ａが使用されている場面を推定し（図１３：ステップＳ２００）、この推定の結果を利用してヘッドセット５０の音声処理部５２０の加工処理における設定を変更する（図１３：ステップＳ２０２〜Ｓ１１４）。このため、音声制御部１５１ａは、ＨＭＤ１００ａが使用されている場面（使用場面）に応じた設定変更を自動的に行うことができる。

Ｃ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

上記実施形態では、右導光板２６および左導光板２８が外光を透過する、いわゆる透過型のＨＭＤ１００について説明した。しかし、本発明は、例えば、外景を視認できない状態で画像を表示する、いわゆる非透過型のＨＭＤ１００に適用することもできる。また、これらのＨＭＤ１００では、上記実施形態で説明した実空間に重畳して画像を表示するＡＲ（Augmented Reality）表示のほか、撮像した実空間の画像と仮想画像とを組み合わせて表示するＭＲ（Mixed Reality）表示、あるいは、仮想空間を表示するＶＲ（Virtual Reality）表示を行うこともできる。また本発明は、ＡＲ、ＭＲ、ＶＲ表示のいずれも行わない装置にも適用できる。

上記実施形態では、制御装置１０および画像表示部２０の機能部について説明したが、これらは任意に変更することができる。例えば、次のような態様を採用してもよい。制御装置１０に記憶部１２２および制御部１５０を搭載し、画像表示部２０には表示機能のみを搭載する態様。制御装置１０と画像表示部２０との両方に、記憶部１２２および制御部１５０を搭載する態様。制御装置１０と画像表示部２０とを一体化した態様。この場合、例えば、画像表示部２０に制御装置１０の構成要素が全て含まれ、眼鏡型のウェアラブルコンピューターとして構成される。制御装置１０の代わりにスマートフォンや携帯型ゲーム機器を使用する態様。制御装置１０と画像表示部２０とを無線通信により接続し、接続ケーブル４０を配した態様。この場合、例えば、制御装置１０や画像表示部２０に対する給電についても無線で実施してよい。

上記実施形態では、内蔵の音声入出力ユニット（ヘッドセット３０）が制御装置１０に対して有線接続され、外付けの音声入出力ユニット（ヘッドセット５０）が制御装置１０に対して無線接続される例を示した。しかし、音声入出力ユニットは、内蔵と外付けとの別を問わず、制御装置１０に対して任意の方法で接続され得る。また、無線接続の例として示したＢｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ等の方法についてもあくまで例示に過ぎない。

・変形例２：
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

上記実施形態では、制御装置１０が備える入力手段の一例について説明した。しかし、制御装置１０は、例示した一部の入力手段を省略して構成されてもよく、上述しない他の入力手段を備えていてもよい。例えば、制御装置１０は、操作スティック、キーボード、マウス等を備えていてもよい。例えば、制御装置１０は、使用者の身体の動き等に対応付けられたコマンドを解釈する入力手段を備えていてもよい。使用者の身体の動き等とは、例えば、視線を検出する視線検出、手の動きを検出するジェスチャー検出、足の動きを検出するフットスイッチ等により取得できる。なお、視線検出は、例えば、画像表示部２０の内側を撮像するカメラにより実現できる。ジェスチャー検出は、例えば、カメラ６１により経時的に撮影された画像を画像解析することにより実現できる。

上記実施形態では、制御部１５０は、メインプロセッサー１４０が記憶部１２２内のコンピュータープログラムを実行することにより動作するとした。しかし、制御部１５０は種々の構成を採用することができる。例えば、コンピュータープログラムは、記憶部１２２に代えて、または記憶部１２２と共に、不揮発性記憶部１２１、ＥＥＰＲＯＭ２１５、メモリー１１８、他の外部記憶装置（各種インターフェイスに挿入されているＵＳＢメモリー等の記憶装置、ネットワークを介して接続されているサーバー等の外部装置を含む）に格納されていてもよい。また、制御部１５０の各機能は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されてもよい。

上記実施形態では、制御部１５０の音声制御部１５１が実行する音声制御機能の例として、通話機能と、音声認識機能とを例示した。しかし、音声制御部１５１は、これらの機能と共に、またはこれらの機能に代えて、他の機能を実現してもよい。他の機能としては、例えば、音声入力部（マイク）から入力された音声を音声認識して、特定の音声（機器の動作音や異常音、生物の脈動等）を検出する特定音検出機能、コンテンツ内の音声を音声発信部（イヤホンやスピーカー）から再生する音声再生機能等を採用できる。このようにすれば、音声制御部１５１は、用途に応じた様々な機能を実現し、かつ、様々な機能に応じて音声入出力ユニットの加工処理における設定を変更することができる。

・変形例３：
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

図１４は、変形例の画像表示部が備える光学系の構成を示す要部平面図である。変形例の画像表示部では、使用者の右眼ＲＥに対応したＯＬＥＤユニット２２１ａと、左眼ＬＥに対応したＯＬＥＤユニット２４１ａと、が設けられている。右眼ＲＥに対応したＯＬＥＤユニット２２１ａは、白色で発色するＯＬＥＤパネル２２３ａと、ＯＬＥＤパネル２２３ａを駆動して発光させるＯＬＥＤ駆動回路２２５とを備えている。ＯＬＥＤパネル２２３ａと右光学系２５１との間には、変調素子２２７（変調装置）が配置されている。変調素子２２７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２２３ａが発する光を変調して画像光Ｌを生成する。変調素子２２７を透過して変調された画像光Ｌは、右導光板２６によって右眼ＲＥに導かれる。

左眼ＬＥに対応したＯＬＥＤユニット２４１ａは、白色で発光するＯＬＥＤパネル２４３ａと、ＯＬＥＤパネル２４３ａを駆動して発光させるＯＬＥＤ駆動回路２４５とを備えている。ＯＬＥＤパネル２４３ａと左光学系２５２との間には、変調素子２４７（変調装置）が配置されている。変調素子２４７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２４３ａが発する光を変調して画像光Ｌを生成する。変調素子２４７を透過して変調された画像光Ｌは、左導光板２８によって左眼ＬＥに導かれる。変調素子２２７、２４７は、図示しない液晶ドライバー回路に接続される。この液晶ドライバー回路（変調装置駆動部）は、例えば変調素子２２７、２４７の近傍に配置される基板に実装される。

変形例の画像表示部によれば、右表示ユニット２２および左表示ユニット２４は、それぞれ、光源部としてのＯＬＥＤパネル２２３ａ、２４３ａと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子２２７、２４７と、を備える映像素子として構成される。なお、ＯＬＥＤパネル２２３ａ、２４３ａが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザー網膜投影型のＨＭＤ１００としてもよい。

上記実施形態では、眼鏡型の画像表示部２０について説明したが、画像表示部２０の態様は任意に変更することができる。例えば、画像表示部２０を帽子のように装着する態様としてもよく、ヘルメット等の身体防護具に内蔵された態様としてもよい。また、画像表示部２０を、自動車や飛行機等の車両、またはその他の交通手段に搭載されるＨＵＤ（Head Up Display）として構成してもよい。

上記実施形態では、画像光を使用者の眼に導く光学系として、右導光板２６および左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。しかし、この構成は任意に変更することができる。たとえば、右導光板２６および左導光板２８の全面（または大部分）を占める領域に虚像が形成されてもよい。この場合、画像の表示位置を変化させる動作によって画像を縮小してもよい。また、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６および左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品（例えば、回折格子、プリズム、ホログラフィー等）を用いる限り任意の態様を採用できる。

・変形例４：
上記実施形態では、設定処理の手順について例示した。しかし、設定処理の手順は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、実行されるステップの追加・削除、ステップ内における処理内容の変更等を行うことができる。

上記実施形態において、音声制御部１５１は、音声入力部（マイク）から入力されたデジタル音声データー（外部騒音データー）に基づいて外部騒音の種別を判定した。しかし、音声制御部１５１は、音声入力部から入力されたデジタル音声データーに代えて、または、音声入力部から入力されたデジタル音声データーと共に、他の手段によって入力されたデーターに基づいて外部騒音の種別を判定してもよい。他の手段によって入力されたデーターとしては、例えば、リモートセンシング振動計から入力された振動共振周波数や変位測定等を採用できる。

・変形例５：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御装置、１１…ボタン、１２…ＬＥＤインジケーター、１３…十字キー、１４…トラックパッド、１５…上下キー、１６…切替スイッチ、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、５０…ヘッドセット、５２…イヤホン、５４…マイク、５６…電源スイッチ、６１…カメラ、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶部、１２３…設定データー、１２４…コンテンツデーター、１２６、１２６ａ…音声設定テーブル、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０…制御部、１５１、１５１ａ…音声制御部、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９６…インターフェイス、２１０…表示ユニット基板、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１、２２１ａ…ＯＬＥＤユニット、２２３、２２３ａ…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２２７…変調素子、２３０…表示ユニット基板、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１、２４１ａ…ＯＬＥＤユニット、２４３、２４３ａ…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２４７…変調素子、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、５１０…インターフェイス、５２０…音声処理部、５３２…Ｄ／Ａコンバーター、５３４…Ａ／Ｄコンバーター、５４２…バッテリー、５４４…電源制御回路

Claims (12)

1. 頭部装着型表示装置であって、
   使用者の頭部に装着されることで前記使用者に虚像を視認させる画像表示部と、
   音声が入力される音声入力部と、音声を発する複数の音声発信部と、前記音声を加工処理する音声処理部と、を備える音声入出力ユニットに接続されると共に、前記音声入出力ユニットとの間で送受信される前記音声を、複数の異なる音声制御機能を用いて制御することが可能な音声制御部と、
   を備え、
   前記音声制御部は、使用される前記音声制御機能に応じて、前記音声処理部の前記加工処理における設定を変更し、
   前記音声制御部は、前記頭部装着型表示装置の置かれた環境における外部騒音に応じて、出力先となる前記音声発信部を決定する、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記音声制御部は、前記使用される音声制御機能に加えてさらに、前記外部騒音に応じて、前記音声処理部の前記加工処理における設定を変更する、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記音声制御部は、前記音声入力部から入力された前記外部騒音を解析し、前記解析の結果を利用して前記音声処理部の前記加工処理における設定を変更する、頭部装着型表示装置。
4. 請求項２に記載の頭部装着型表示装置であって、
   前記頭部装着型表示装置は、前記音声入力部とは別に、音声が入力される第２の音声入力部を備え、
   前記音声制御部は、前記音声入力部から入力された前記外部騒音と、前記第２の音声入力部から入力された前記外部騒音と、をそれぞれ解析し、前記解析の結果を利用して前記音声処理部の前記加工処理における設定を変更する、頭部装着型表示装置。
5. 請求項４に記載の頭部装着型表示装置であって、
   前記音声入力部と、前記第２の音声入力部とは、頭部装着型表示装置を装着している状態の使用者に対する位置と、周波数特性と、指向性と、音声が入力される仕組みと、のうちの少なくとも１つが互いに相違する、頭部装着型表示装置。
6. 請求項１から請求項５のいずれか一項に記載の頭部装着型表示装置であって、
   前記音声制御部は、前記使用される音声制御機能に加えてさらに、前記頭部装着型表示装置が使用されている場面に応じて、前記音声処理部の前記加工処理における設定を変更する、頭部装着型表示装置。
7. 請求項６に記載の頭部装着型表示装置であって、さらに、
   前記頭部装着型表示装置の動きを取得する動き取得部を備え、
   前記音声制御部は、前記動き取得部により取得された頭部装着型表示装置の動きから前記頭部装着型表示装置が使用されている前記場面を推定し、前記推定の結果を利用して前記音声処理部の前記加工処理における設定を変更する、頭部装着型表示装置。
8. 請求項１から請求項７のいずれか一項に記載の頭部装着型表示装置であって、
   前記音声制御部は、前記音声処理部の前記設定を変更するための命令を、前記音声入出力ユニットが対応している通信プロトコルを用いて送信する、頭部装着型表示装置。
9. 請求項１から請求項８のいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記使用者の視線を検出する視線検出部を備え、
   前記音声制御部は、さらに、前記視線検出部により検出された前記視線の方向から入力された前記音声を増幅させる、頭部装着型表示装置。
10. 請求項１から請求項９のいずれか一項に記載の頭部装着型表示装置であって、
    前記音声制御部は、
    前記音声入出力ユニットを利用した前記使用者と他者との会話を実現する通話機能と、
    前記音声入力部から入力された前記音声を音声認識して前記使用者の発話内容を解析する音声認識機能と、
    前記音声入力部から入力された前記音声を音声認識して特定の音声を検出する特定音検出機能と、
    コンテンツ内の音声を前記音声発信部から発する音声再生機能と、
    の少なくとも１つを含む、頭部装着型表示装置。
11. 音声が入力される音声入力部と、音声を発する複数の音声発信部と、前記音声を加工処理する音声処理部と、を備える音声入出力ユニットに接続される頭部装着型表示装置の制御方法であって、コンピューターが、
    前記音声入出力ユニットとの間で送受信される前記音声を、複数の異なる音声制御機能を用いて制御する工程と、
    前記制御する工程において使用される前記音声制御機能に応じて、前記音声入出力ユニットの前記加工処理における設定を変更する工程と、
    前記頭部装着型表示装置の置かれた環境における外部騒音に応じて、出力先となる前記音声発信部を決定する工程と、
    を備える、制御方法。
12. 音声が入力される音声入力部と、音声を発する複数の音声発信部と、前記音声を加工処理する音声処理部と、を備える音声入出力ユニットに接続される頭部装着型表示装置において実行されるコンピュータープログラムであって、
    前記音声入出力ユニットとの間で送受信される前記音声を、複数の異なる音声制御機能を用いて制御する機能と、
    前記制御する機能において使用される前記音声制御機能に応じて、前記音声入出力ユニットの前記加工処理における設定を変更する機能と、
    前記頭部装着型表示装置の置かれた環境における外部騒音に応じて、出力先となる前記音声発信部を決定する機能と、を備える、コンピュータープログラム。

Images