A.第1実施形態:
A−1.HMDの構成:
図1は、本発明の一実施形態におけるHMD(頭部装着型表示装置、Head Mounted Display)100の外観構成を示す図である。HMD100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置10(制御部)と、を備える表示装置である。制御装置10は、使用者の操作を取得するための各種の入力デバイスを備え、使用者がHMD100を操作するためのコントローラーとして機能する。
本実施形態のHMD100は、HMD100に内蔵されたヘッドセット30(詳細は後述)と、外付けのヘッドセット50と、の両方を使用者の好みに応じて使い分けることができる。ヘッドセット50は、HMD100との間で、例えば、Bluetooth(登録商標)、Wi−Fi(登録商標)を含む無線LAN等の規格に準拠した無線通信を行うことができる。本実施形態のヘッドセット50は、Bluetoothを用いてHMD100との間の通信を行う。
ヘッドセット50は、使用者の耳に装着される装着体であり、本体51と、イヤホン52と、マイク54と、電源スイッチ56と、耳掛け59とを備える。本体51は、内部が中空に形成された薄い四角柱形状の筐体であり、内部に各機能部を収容している。本体51の一面には、音声を発するためのイヤホン52と、音声が入力されるためのマイク54とが配置されている。マイク54は、ヘッドセット50の装着状態において、その集音部が使用者の顔の方向を向くように配置されている。マイク54は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。また、本体51のうちの上述した一面とは反対側の面には、ヘッドセット50の電源オンオフを切り替えるための電源スイッチ56が配置されている。本体51の鉛直方向上側の端部には、使用者の耳に掛けることでヘッドセット50を使用者の耳に保持する耳掛け59が配置されている。
このようなヘッドセット50は「音声入出力ユニット」として機能し得る。同様に、イヤホン52は「音声発信部」として、マイク54は「音声入力部」として、それぞれ機能し得る。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体に、右表示ユニット22と、左表示ユニット24と、右導光板26と、左導光板28とを備える。
右保持部21および左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部23は、前部フレーム27の端部ELから、画像表示部20の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。
右導光板26および左導光板28は、前部フレーム27に設けられている。右導光板26は、画像表示部20の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有する。この連結位置は、画像表示部20の装着状態における使用者の眉間の位置に対応する。前部フレーム27には、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部21と左保持部23とによって、画像表示部20を使用者の頭部に保持できる。また、右保持部21および左保持部23に対して、画像表示部20の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部20を使用者の頭部に強固に保持できる。
右表示ユニット22は、右導光板26による画像の表示を行う。右表示ユニット22は、右保持部21に設けられ、画像表示部20の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示を行う。左表示ユニット24は、左保持部23に設けられ、画像表示部20の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット22および左表示ユニット24を総称して「表示駆動部」とも呼ぶ。
本実施形態の右導光板26および左導光板28は、光透過性の樹脂等によって形成される光学部(例えばプリズム)であり、右表示ユニット22および左表示ユニット24が出力する画像光を使用者の眼に導く。なお、右導光板26および左導光板28の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム27の表面(使用者の眼と対向する面とは反対側の面)を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板26および左導光板28に入射し、右導光板26および左導光板28を透過する外光の光量を調整できる。
画像表示部20は、右表示ユニット22および左表示ユニット24がそれぞれ生成する画像光を、右導光板26および左導光板28に導き、この画像光によって虚像を使用者に視認させる(これを「画像を表示する」とも呼ぶ)。使用者の前方から右導光板26および左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光と、外光とが入射する。このため、使用者における虚像の視認性は、外光の強さに影響を受ける。
このため、例えば前部フレーム27に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整することができる。典型的な例では、HMD100を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板26および左導光板28を保護し、右導光板26および左導光板28の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム27、あるいは、右導光板26および左導光板28のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。
カメラ61は、画像表示部20の前部フレーム27に配置されている。カメラ61は、前部フレーム27の前面において、右導光板26および左導光板28を透過する外光を遮らない位置に設けられる。図1の例では、カメラ61は、前部フレーム27の端部ER側に配置されている。カメラ61は、前部フレーム27の端部EL側に配置されていてもよく、右導光板26と左導光板28との連結部に配置されていてもよい。
カメラ61は、CCDやCMOS等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ61は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ61は、HMD100の表側方向、換言すれば、画像表示部20の装着状態において使用者が視認する視界方向の、少なくとも一部の外景(実空間)を撮像する。換言すれば、カメラ61は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ61の画角の広さは適宜設定できる。本実施形態では、カメラ61の画角の広さは、使用者が右導光板26および左導光板28を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ61は、制御部150(図5)の制御に従って撮像を実行し、得られた撮像データーを制御部150へ出力する。
HMD100は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム27の右導光板26と左導光板28との連結部分に配置することができる。測距センサーの測定方向は、MD100の表側方向(カメラ61の撮像方向と重複する方向)とすることができる。測距センサーは、例えば、LEDやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーはカメラ61と同様に、制御部150により制御され、検出結果を制御部150へ出力する。
図2は、画像表示部20が備える光学系の構成を示す要部平面図である。説明の便宜上、図2には使用者の右眼REおよび左眼LEを図示する。図2に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成されている。
右眼REに虚像を視認させる構成として、右表示ユニット22は、OLED(Organic Light Emitting Diode)ユニット221と、右光学系251とを備える。OLEDユニット221は、画像光を発する。右光学系251は、レンズ群等を備え、OLEDユニット221が発する画像光Lを右導光板26へと導く。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光し、R(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素とした複数の画素が、マトリクス状に配置されている。
OLED駆動回路225は、制御部150(図5)の制御に従って、OLEDパネル223が備える発光素子の選択および通電を実行し、発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー217が実装される。なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加えて、W(白)の光を放射する発光素子を備えるWRGB構成のOLEDパネル223が採用されてもよい。
右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射後、右導光板26から右眼REへと射出され、この画像光Lが右眼REの網膜で像を結ぶことで、使用者に虚像を視認させる。
左眼LEに虚像を視認させる構成として、左表示ユニット24は、OLEDユニット241と、左光学系252とを備える。OLEDユニット241は画像光を発する。左光学系252は、レンズ群等を備え、OLEDユニット241が発する画像光Lを左導光板28へと導く。OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245を有する。各部の詳細は、OLEDユニット221、OLEDパネル223、OLED駆動回路225と同じである。OLEDパネル243の裏面に固定される基板には、温度センサー239が実装される。また、左光学系252の詳細は右光学系251と同じである。
以上説明した構成によれば、HMD100は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。使用者の左眼LEには、ハーフミラー281で反射した画像光Lと、左導光板28を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板26および左導光板28を透かして外景(実世界)が見えると共に、この外景に重なるようにして画像光Lによる虚像が視認される。
なお、ハーフミラー261およびハーフミラー281は、右表示ユニット22および左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系251および右導光板26を総称して「右導光部」とも呼び、左光学系252および左導光板28を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
図1において、制御装置10と画像表示部20とは、接続ケーブル40によって接続される。接続ケーブル40は、制御装置10の下部に設けられるコネクターに着脱可能に接続され、左保持部23の先端から、画像表示部20内部の各種回路に接続する。接続ケーブル40には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル40にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル40の途中には、コネクター46が設けられている。
コネクター46は、ステレオミニプラグを接続するジャックであり、コネクター46と制御装置10とは、例えばアナログ音声信号を伝送するラインで接続される。コネクター46には、ステレオヘッドホンを構成する右イヤホン32および左イヤホン34と、マイク63を有するヘッドセット30とが接続されている。上述の通り、本実施形態のHMD100では、このヘッドセット30と、外付けのヘッドセット50とを使用者の好みに応じて使い分けることができる。ヘッドセット50と同様に、ヘッドセット30も「音声入出力ユニット」として機能し得る。同様に、右イヤホン32および左イヤホン34は「音声発信部」として、マイク63は「音声入力部」として、それぞれ機能し得る。
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置されている。マイク63は、音声を集音し、音声信号を音声インターフェイス182(図5)に出力する。マイク63は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。
制御装置10は、使用者に対する入出力インターフェイスとして、ボタン11と、LEDインジケーター12と、十字キー13と、トラックパッド14と、上下キー15と、切替スイッチ16と、電源スイッチ18とを備える。
ボタン11は、制御装置10が実行するOS(オペレーティングシステム)143(図6)の操作等を行うためのメニューキー、ホームキー、戻るキー等を含む。本実施形態のボタン11は、これらのキーやスイッチのうちの押圧操作により変位するタイプのボタンである。LEDインジケーター12は、HMD100の動作状態に対応して点灯あるいは消灯する。十字キー13は、上下左右および中央部分にそれぞれ対応するキーへのタッチまたは押圧操作を検出して、検出内容に応じた信号を出力する。本実施形態の十字キー13は、中央に円形形状の決定ボタンが配置され、その上下左右方向に、上ボタン、下ボタン、左ボタン、右ボタンがそれぞれ配置されている。各ボタンには種々の態様を採用でき、例えば静電容量式のボタンであってもよく、機械接点式のボタンであってもよい。トラックパッド14は、接触操作を検出する操作面を有し、操作面への接触操作を検出して、検出内容に応じた信号を出力する。接触操作の検出方法には、静電式、圧力検出式、光学式等の種々の方法を採用できる。
上下キー15は、アクティブなヘッドセットのイヤホンから出力する音量を増減させるための指示操作や、画像表示部20における輝度を増減させるための指示操作を検出する。ここで、「アクティブなヘッドセット」とは、ヘッドセット30またはヘッドセット50のうち、電源がオンされており、かつ、HMD100との間のペアリングが完了しているヘッドセットを意味する。切替スイッチ16は、上下キー15の指示対象(音量、輝度)の切り替え操作を検出する。電源スイッチ18は、HMD100の電源のオンオフ(ON、OFF)の切り替え操作を検出する。電源スイッチ18としては、例えばスライドスイッチを採用できる。
図3は、使用者から見た画像表示部20の要部構成を示す図である。図3では、接続ケーブル40、右イヤホン32、左イヤホン34の図示を省略している。図3の状態では、右導光板26および左導光板28の裏側が視認できると共に、右眼REに画像光を照射するためのハーフミラー261、および、左眼LEに画像光を照射するためのハーフミラー281が略四角形の領域として視認できる。使用者は、これらハーフミラー261、281を含む左右の導光板26、28の全体を透過して外景を視認すると共に、ハーフミラー261、281の位置に矩形の表示画像を視認する。
図4は、カメラ61の画角を説明するための図である。図4では、カメラ61と、使用者の右眼REおよび左眼LEとを平面視で模式的に示すと共に、カメラ61の画角(撮像範囲)をCで示す。なお、カメラ61の画角Cは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。
上述のようにカメラ61は、画像表示部20において右側の端部に配置され、使用者の視線の方向(すなわち使用者の前方)を撮像する。このためカメラ61の光軸は、右眼REおよび左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で対象物OBを注視すると、使用者の視線は、図中の符号RD、LDに示すように、対象物OBに向けられる。この場合、使用者から対象物OBまでの距離は、30cm〜10m程度であることが多く、1m〜4mであることがより多い。そこで、HMD100について、通常使用時における使用者から対象物OBまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められHMD100にプリセットされていてもよいし、使用者が設定してもよい。カメラ61の光軸および画角は、このような通常使用時における対象物OBまでの距離が、設定された上限および下限の目安に相当する場合において対象物OBが画角に含まれるように設定されることが好ましい。
なお、一般的に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされる。そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45〜70度程度とされている。この場合、注視点が対象物OB(図4)であるとき、視線RD、LDを中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45〜70度程度が安定注視野である。使用者が画像表示部20を透過して右導光板26および左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。
本実施形態のカメラ61の画角Cは、使用者の視野より広い範囲を撮像可能に設定される。カメラ61の画角Cは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ61の画角Cは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ61には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ61には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。
図5は、HMD100の構成を機能的に示すブロック図である。制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140と、記憶部と、入出力部と、センサー類と、インターフェイスと、電源部130とを備える。メインプロセッサー140には、これらの記憶部、入出力部、センサー類、インターフェイス、電源部130がそれぞれ接続されている。メインプロセッサー140は、制御装置10が内蔵しているコントローラー基板120に実装されている。
記憶部には、メモリー118と、不揮発性記憶部121とが含まれている。メモリー118は、メインプロセッサー140によって実行されるコンピュータープログラム、および、処理されるデーターを一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリーやeMMC(embedded Multi Media Card)で構成される。不揮発性記憶部121は、メインプロセッサー140が実行するコンピュータープログラムや、メインプロセッサー140によって処理される各種のデーターを記憶する。本実施形態において、これらの記憶部はコントローラー基板120に実装されている。
入出力部には、トラックパッド14と、操作部110とが含まれている。操作部110には、上述したボタン11と、LEDインジケーター12と、十字キー13と、トラックパッド14と、上下キー15と、切替スイッチ16と、電源スイッチ18とが含まれる。メインプロセッサー140は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。
センサー類には、6軸センサー111と、磁気センサー113と、GPS(Global Positioning System)115とが含まれている。6軸センサー111は、3軸加速度センサーと3軸ジャイロ(角速度)センサーとを備えるモーションセンサー(慣性センサー)である。6軸センサー111は、これらセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。磁気センサー113は、例えば、3軸の地磁気センサーである。GPS115は、図示しないGPSアンテナを備え、GPS衛星から送信される無線信号を受信して、制御装置10の現在位置の座標を検出する。これらセンサー類(6軸センサー111、磁気センサー113、GPS115)は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー140へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー140からの指示に応じてもよい。
インターフェイスには、通信部117と、音声コーデック180と、外部コネクター184と、外部メモリーインターフェイス186と、USB(Universal Serial Bus)コネクター188と、センサーハブ192と、FPGA194と、インターフェイス196とが含まれている。これらは、外部とのインターフェイスとして機能する。通信部117は、HMD100と外部機器との間における無線通信を実行する。通信部117は、図示しないアンテナ、RF回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。通信部117は、例えば、Bluetooth、Wi−Fiを含む無線LAN等の規格に準拠した無線通信を行う。
音声コーデック180は、音声インターフェイス182に接続され、音声インターフェイス182を介して入出力される音声信号のエンコード/デコードを行う。また、音声コーデック180は、内蔵されているヘッドセット30を介して入出力される音声を加工処理する「音声処理部」としての機能(後述する音声処理部520と同様の機能)を備えていてもよい。さらに、音声コーデック180は、内蔵されているヘッドセット30を介して入出力される音声信号について、アナログ音声信号からデジタル音声データーへの変換を行うA/Dコンバーター、および、その逆の変換を行うD/Aコンバーターを備えてもよい。
A/Dコンバーターは、マイク63を介して入力されるアナログ音声信号を、デジタル音声データーに変換してメインプロセッサー140へ出力する。すなわち、A/Dコンバーターは、後述するA/Dコンバーター534と同様の機能を有する。D/Aコンバーターは、メインプロセッサー140から出力されるデジタル音声データーをアナログ音声信号に変換して、右イヤホン32および左イヤホン34へと出力する。すなわち、D/Aコンバーターは、後述するD/Aコンバーター532と同様の機能を有する。なお、音声コーデック180は、外付けのヘッドセット50を介して入出力される音声については、エンコード/デコードのみを実施して通過させてもよい。この場合、音声処理部520、D/Aコンバーター532、A/Dコンバーター534によって上述した処理が実行される。音声インターフェイス182は、アクティブなヘッドセットとの間で、音声信号を入出力するインターフェイスである。
外部コネクター184は、メインプロセッサー140に対して、メインプロセッサー140と通信する外部装置(例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等)を接続するためのコネクターである。外部コネクター184に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー140が実行するコンピュータープログラムのデバッグや、HMD100の動作ログの収集に使用できる。外部コネクター184は種々の態様を採用できる。外部コネクター184としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスや、無線LANインターフェイス、Bluetoothインターフェイス等の無線接続に対応したインターフェイスを採用できる。
外部メモリーインターフェイス186は、可搬型のメモリーデバイスを接続可能なインターフェイスである。外部メモリーインターフェイス186は、例えば、カード型記録媒体を装着してデーターの読み書きを行うメモリーカードスロットと、インターフェイス回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。USBコネクター188は、USB規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェイスである。USBコネクター188は、例えば、USB規格に準拠したコネクターと、インターフェイス回路とを含む。USBコネクター188のサイズ、形状、USB規格のバージョン等は適宜選択できる。
また、HMD100は、バイブレーター19を備える。バイブレーター19は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー140の制御に従って振動を発声する。HMD100は、例えば、操作部110に対する操作を検出した場合や、HMD100の電源がオンオフされた場合等に所定の振動パターンでバイブレーター19により振動を発生させる。
センサーハブ192およびFPGA194は、インターフェイス(I/F)196を介して画像表示部20に接続されている。センサーハブ192は、画像表示部20が備える各種センサーの検出値を取得して、メインプロセッサー140に出力する。FPGA194は、メインプロセッサー140と画像表示部20の各部との間で送受信されるデーターの処理およびインターフェイス196を介した伝送を実行する。インターフェイス196は、画像表示部20の右表示ユニット22と、左表示ユニット24とに対してそれぞれ接続されている。本実施形態の例では、左保持部23に接続ケーブル40が接続され、この接続ケーブル40に繋がる配線が画像表示部20内部に敷設され、右表示ユニット22と左表示ユニット24とのそれぞれが、制御装置10のインターフェイス196に接続される。
電源部130には、バッテリー132と、電源制御回路134とが含まれている。電源部130は、制御装置10が動作するための電力を供給する。バッテリー132は、充電可能な電池である。電源制御回路134は、バッテリー132の残容量の検出と、OS143への充電の制御を行う。電源制御回路134は、メインプロセッサー140に接続され、バッテリー132の残容量の検出値や、バッテリー132の電圧の検出値をメインプロセッサー140へと出力する。なお、電源部130が供給する電力に基づいて、制御装置10から画像表示部20へと電力を供給してもよい。電源部130から制御装置10の各部および画像表示部20への電力の供給状態を、メインプロセッサー140により制御可能な構成としてもよい。
右表示ユニット22は、表示ユニット基板210と、OLEDユニット221と、カメラ61と、照度センサー65と、LEDインジケーター67と、温度センサー217とを備える。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)211と、受信部(Rx)213と、EEPROM(Electrically Erasable Programmable Read-Only Memory)215とが実装されている。受信部213は、インターフェイス211を介して制御装置10から入力されるデーターを受信する。受信部213は、OLEDユニット221で表示する画像の画像データーを受信した場合に、受信した画像データーをOLED駆動回路225(図2)へと出力する。
EEPROM215は、各種のデーターをメインプロセッサー140が読み取り可能な態様で記憶する。EEPROM215は、例えば、画像表示部20のOLEDユニット221、241の発光特性や表示特性に関するデーター、右表示ユニット22または左表示ユニット24のセンサー特性に関するデーター等を記憶する。具体的には、例えば、OLEDユニット221、241のガンマ補正に係るパラメーター、後述する温度センサー217、239の検出値を補償するデーター等を記憶する。これらのデーターは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれる。出荷後は、メインプロセッサー140がEEPROM215のデーターを読み込んで各種の処理に利用する。
カメラ61は、インターフェイス211を介して入力される信号に従って撮像を実行し、撮像画像データーあるいは撮像結果を表す信号を制御装置10へと出力する。照度センサー65は、図1に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するように配置される。照度センサー65は、受光量(受光強度)に対応した検出値を出力する。LEDインジケーター67は、図1に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
温度センサー217は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー217は、OLEDパネル223(図3)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は主としてOLEDパネル223の温度を検出する。なお、温度センサー217は、OLEDパネル223あるいはOLED駆動回路225に内蔵されてもよい。例えば、OLEDパネル223がSi−OLEDとしてOLED駆動回路225と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー217を実装してもよい。
左表示ユニット24は、表示ユニット基板230と、OLEDユニット241と、温度センサー239とを備える。表示ユニット基板230には、インターフェイス196に接続されるインターフェイス(I/F)231と、受信部(Rx)233と、6軸センサー235と、磁気センサー237とが実装されている。受信部233は、インターフェイス231を介して制御装置10から入力されるデーターを受信する。受信部233は、OLEDユニット241で表示する画像の画像データーを受信した場合に、受信した画像データーをOLED駆動回路245(図2)へと出力する。
6軸センサー235は、3軸加速度センサーおよび3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMUを採用してもよい。磁気センサー237は、例えば、3軸の地磁気センサーである。温度センサー239は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー239は、OLEDパネル243(図3)の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は主としてOLEDパネル243の温度を検出する。温度センサー239は、OLEDパネル243あるいはOLED駆動回路245に内蔵されてもよい。詳細は温度センサー217と同様である。
右表示ユニット22のカメラ61、照度センサー65、温度センサー217と、左表示ユニット24の6軸センサー235、磁気センサー237、温度センサー239は、制御装置10のセンサーハブ192に接続される。センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データーの送信、検出値の取得等を実行する。センサーハブ192は、予め設定されたタイミングで、右表示ユニット22および左表示ユニット24が備える各センサーの検出値をメインプロセッサー140へ出力する。センサーハブ192は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ192は、各センサーの検出値の信号形式やデーター形式の変換機能(例えば、統一形式への変換機能)を備えてもよい。センサーハブ192は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始および停止させることで、LEDインジケーター67を点灯または消灯させる。
図6は、HMD100の制御機能部の構成を機能的に示すブロック図である。HMD100の制御機能部は、記憶部122と、制御部150とを備える。記憶部122は、不揮発性記憶部121(図5)により構成される論理的な記憶部である。図6では記憶部122のみを使用する例を示すが、不揮発性記憶部121に組み合わせてEEPROM215やメモリー118が使用されてもよい。また、制御部150は、メインプロセッサー140がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。
記憶部122には、制御部150における処理に供する種々のデーターが記憶されている。具体的には、本実施形態の記憶部122には、設定データー123と、コンテンツデーター124と、音声設定テーブル126とが記憶されている。音声設定テーブル126の詳細は後述する。
設定データー123は、HMD100の動作に係る各種の設定値を含む。例えば、設定データー123には、制御部150がHMD100を制御する際のパラメーター、行列式、演算式、LUT(Look Up Table)等が含まれている。
コンテンツデーター124には、制御部150の制御によって画像表示部20が表示する画像や映像を含むコンテンツのデーター(画像データー、映像データー、音声データー等)が含まれている。なお、コンテンツデーター124には、双方向型のコンテンツのデーターが含まれてもよい。双方向型のコンテンツとは、制御装置10によって使用者の操作を取得して、取得した操作内容に応じた処理を制御部150が実行し、処理内容に応じたコンテンツを画像表示部20に表示するタイプのコンテンツを意味する。この場合、コンテンツのデーターには、使用者の操作を取得するためのメニュー画面の画像データー、メニュー画面に含まれる項目に対応する処理を定めるデーター等を含みうる。
制御部150は、記憶部122が記憶しているデーターを利用して各種処理を実行することにより、OS(オペレーティングシステム)143、画像処理部145、表示制御部147、撮像制御部149、音声制御部151としての機能を実行する。本実施形態では、OS143以外の各機能部は、OS143上で実行されるアプリケーションプログラムとして構成されている。
画像処理部145は、画像表示部20により表示する画像/映像の画像データーに基づいて、右表示ユニット22および左表示ユニット24に送信する信号を生成する。画像処理部145が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部145は、メインプロセッサー140がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー140とは別のハードウェア(例えば、DSP(Digital Signal Processor))で構成してもよい。
なお、画像処理部145は、必要に応じて、解像度変換処理、画像調整処理、2D/3D変換処理等を実行してもよい。解像度変換処理は、画像データーの解像度を右表示ユニット22および左表示ユニット24に適した解像度へと変換する処理である。画像調整処理は、画像データーの輝度や彩度を調整する処理である。2D/3D変換処理は、三次元画像データーから二次元画像データーを生成し、あるいは、二次元画像データーから三次元画像データーを生成する処理である。画像処理部145は、これらの処理を実行した場合、処理後の画像データーに基づき画像を表示するための信号を生成し、接続ケーブル40を介して画像表示部20へと送信する。
表示制御部147は、右表示ユニット22および左表示ユニット24を制御する制御信号を生成し、この制御信号により、右表示ユニット22および左表示ユニット24のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部147は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部147は、画像処理部145が出力する信号に基づいて、OLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御等を行う。
撮像制御部149は、カメラ61を制御して撮像を実行させ、撮像画像データーを生成し、記憶部122に一時的に記憶させる。また、カメラ61が撮像画像データーを生成する回路を含むカメラユニットとして構成される場合、撮像制御部149は、撮像画像データーをカメラ61から取得して、記憶部122に一時的に記憶させる。
音声制御部151は、アクティブなヘッドセットとの間で送受信される音声を、複数の異なる音声制御機能を用いて制御することが可能な制御部である。本実施形態の音声制御部151は、次の2つの通話機能を実現することができる。
(a1)通話機能:アクティブなヘッドセットのイヤホンとマイクとを利用して、他者と会話する機能。音声制御部151は、外部に設けられている基地局との間で、無線通信部117や図示しない移動体通信部を介して、デジタル音声データーを送受信する。
(a2)音声認識機能:アクティブなヘッドセットのマイクから入力される音声(アナログ音声信号)を音声認識して、使用者の発話内容を解析する機能。解析された発話内容は、例えば、発話内容に予め関連付けられたコマンド(命令)を実行するために利用されてもよく、ソフトウェアキーボード等を利用した文字入力の代替手段として利用されてもよい。例えば、使用者が「みぎ」と発話した場合を例に挙げ説明する。コマンド実行のために発話内容を利用する場合、音声制御部151は、十字キー13の右ボタンが押下された、というイベントをOS143へと送信する。文字入力の代替手段として発話内容を利用する場合、音声制御部151は、OS143が表示させている文字入力欄(例えばWEBブラウザの検索ワード入力欄等)に「みぎ」と表示させる。
上述した機能a1、a2のうち、どちらの音声制御機能が有効になるかは、種々の方法で決定することができる。例えば、HMD100の使用者が好みに応じて選択してもよい。また、HMD100において実行されているアプリケーションに応じて自動的に選択されてもよい。この場合、例えば、使用者がOS143にインストールされている通話アプリの実行を指示した場合は機能a1が有効になり、使用者がOS143にインストールされているWEBブラウザアプリの実行を指示した場合は機能a2が有効になる。
A−2.ヘッドセット50の構成:
図7は、ヘッドセット50の構成を機能的に示すブロック図である。ヘッドセット50は、図1で説明したイヤホン52、マイク54、電源スイッチ56に加えてさらに、インターフェイス510、音声処理部520、D/Aコンバーター532、A/Dコンバーター534、バッテリー542、電源制御回路544を備える。
インターフェイス510は、ヘッドセット50が接続されている機器、例えばHMD100の音声インターフェイス182との間で、音声信号の送受信を行うインターフェイスである。本実施形態のインターフェイス510は、無線通信(Bluetooth)を用いて音声信号を送受信する。
D/Aコンバーター532は、音声処理部520から出力されるデジタル音声データーをアナログ音声信号に変換して、イヤホン52へと出力する。A/Dコンバーター534は、マイク54を介して入力されるアナログ音声信号を、デジタル音声データーに変換して音声処理部520へ出力する。バッテリー542および電源制御回路544は、ヘッドセット50が動作するための電力を供給する。バッテリー542は、充電可能な電池である。電源制御回路544は、バッテリー542の残容量の検出と、ヘッドセット50の各部への充電の制御を行う。
図8は、音声処理部520において実施される加工処理の一例である。音声処理部520は、インターフェイス510またはA/Dコンバーター534から入力されるデジタル音声データーに対して、図8に示す各項目に従った加工処理を実施する。項番1のゲイン調整は、インターフェイス510またはA/Dコンバーター534から入力されたデジタル音声データーを増幅し、音量および音圧を増幅させることを意味する。ゲイン調整は、OFF(調整なし)と、レベル1〜5の5段階の調整レベルと、を設定により選択できる。レベルは、設定値1で最も増幅量が小さく、設定値5で最も増幅量が大きい。
項番2のノイズキャンセルレベルと、項番3のノイズキャンセル方式は、いわゆるノイズキャンセリング機能を意味する。ノイズキャンセリング機能とは、ヘッドセット50の外部騒音をマイク54から取り込み、外部騒音と逆位相の波形をデジタル音声データーに重畳させることで、外部騒音を打ち消す機能である。なお、外部騒音とは、HMD100(ヘッドセット50)の置かれた環境における外部の騒音を意味する。ノイズキャンセルレベルは、OFF(ノイズキャンセル機能なし)と、レベル1〜5の5段階の調整レベルと、を設定により選択できる。レベルは、設定値1で最も逆位相の波形の振幅が小さく、設定値5で最も逆位相の波形の振幅が大きい。ノイズキャンセル方式は、OFF(ノイズキャンセル機能なし)と、レベル1〜5の5段階の調整レベルと、を設定により選択できる。レベルは、設定値1〜3のいずれかで、外部騒音と逆位相の波形をデジタル音声データーに重畳させる方式が採用され、設定値4,5のどちらかで、逆位相の波形の代わりに遮音用の波形をデジタル音声データーに重畳させる方式が採用される。
項番4のクリアボイスレベルは、いわゆるクリアボイス機能を意味する。クリアボイス機能とは、ヘッドセット50のマイク54から取り込んだ音声から、人間の声以外のバックグラウンドノイズ(雑音)を除去する機能である。クリアボイスレベルは、OFF(クリアボイス機能なし)と、レベル1〜5の5段階の調整レベルと、を設定により選択できる。レベルは、設定値1で最も雑音除去の程度が小さく、設定値5で最も雑音除去の程度が大きい。
項番5のHPF設定は、ハイパスフィルターを意味し、所定の周波数から上の範囲を通すフィルターを掛ける機能を意味する。HPF設定は、OFF(フィルター機能なし)と、レベル1〜5の5段階の調整レベルと、を設定により選択できる。レベルは、設定値1〜5に応じて徐々に、フィルタリングされる周波数が低く変化する。項番6のLPF設定は、ローパスフィルターを意味し、所定の周波数から下の範囲を通すフィルターを掛ける機能を意味する。LPF設定は、OFF(フィルター機能なし)と、レベル1〜5の5段階の調整レベルと、を設定により選択できる。レベルは、設定値1〜5に応じて徐々に、フィルタリングされる周波数が高く変化する。
項番7のイコライザー設定は、所定の周波数だけを上下させる機能を意味する。所定の周波数は、予め定められ音声処理部520に設定されている。イコライザー設定は、OFF(周波数の上下なし)と、レベル1〜5の5段階の調整レベルと、を設定により選択できる。レベルは、設定値1で最も周波数の上下幅が小さく、設定値5で最も周波数の上下幅が大きい。項番8の出力アンプ設定は、D/Aコンバーター532へと出力するデジタル音声データーを増幅し、音量および音圧を増幅させることを意味する。出力アンプ設定は、OFF(調整なし)と、レベル1〜5の5段階の調整レベルと、を設定により選択できる。レベルは、設定値1で最も増幅量が小さく、設定値5で最も増幅量が大きい。
なお、図8で説明した加工処理はあくまで一例であり、上述した加工処理の一部が省略されてもよい。また、上述した加工処理以外の他の加工処理が実行されてもよい。さらに、設定内容(OFF、レベル1〜5)についてもあくまで一例であり、種々の態様を採用できる。
図9は、音声設定テーブル126(図6)の一例である。音声設定テーブル126には、音声制御部151で実行可能な機能ごとに、想定される外部騒音の種別に応じた、音声処理部520における加工処理の設定内容が予め定められて記憶されている。具体的には、音声設定テーブル126は、使用機能と、外部騒音の種別と、設定内容と、のフィールドを含む。使用機能には、音声制御部151で実行可能な機能が全て格納されている。すなわち本実施形態の場合、通話機能(機能a1)と、音声認識機能(機能a2)と、が格納されている。
外部騒音の種別には、HMD100(ヘッドセット50)の置かれた環境における、想定される外部騒音の種別が全て格納されている。本実施形態の場合、外部騒音の種別として、項番1〜4の4つが例示されている。項番1は、使用者が車両運転中などに生じるロードノイズである。項番2は、周期的な音圧レベルの高いノイズであり、例えば、工事現場等での作業騒音等がこれに該当する。項番3は、周期性のない音圧レベルの高いノイズであり、例えば、駅のホームでの騒音等がこれに該当する。項番4は、周期性のないざわざわ騒音であり、例えば、工事現場(作業外)や街中の雑踏等がこれに該当する。これら以外にも、音声設定テーブル126には、一般的に想定される様々なシーンにおける騒音の種別が予め記憶されていてよい。
設定内容には、音声制御部151で実行されている機能毎、かつ、その際の外部騒音の種別毎に、音声処理部520で実行される種々の加工処理(図8)において、図8で説明した項番1のゲイン調整から項番8の出力アンプ設定までの8つの項目の各々について、具体的にどのような設定内容を採用すると良好な結果が得られるか、という設定値が格納されている。この設定内容は、予め試験等により決定される。なお、図9において「X」の文字は、任意の文字列および数字を意味する。
A−3.設定処理:
図10は、設定処理の手順を示すシーケンス図である。本実施形態の設定処理は、HMD100の制御装置10と、アクティブなヘッドセットと、の間で実行される。以降では、アクティブなヘッドセットとしてヘッドセット50を使用する。しかし、アクティブなヘッドセットとして、HMD100に内蔵されているヘッドセット30を利用した場合についても、同様の制御をすることができる。この場合、音声コーデック180において図8で説明したと同様の加工処理が実行されることを前提とし、図9および図10の説明において「音声処理部520の設定内容」と記載した部分を「音声コーデック180の設定内容」と読み替える。
設定処理は、ヘッドセット50の電源がオンされたことを契機として開始される(ステップS100)。ステップS102においてヘッドセット50の音声処理部520は、制御装置10の音声制御部151との間で、Bluetoothインターフェイス(インターフェイス510、音声インターフェイス182)のペアリングを行う。また、音声処理部520は、加工処理において使用される設定内容(図8)と、図示しない内部メモリーとを一旦初期化する。
ステップS104において制御装置10の音声制御部151は、音声制御部151において現在使用されている機能(機能a1、a2)の別を取得する。音声制御部151は、例えば、メモリー118のワークエリアを参照することで、この使用機能を取得することができる。
ステップS106においてヘッドセット50のマイク54は、所定の時間に亘り、HMD100(ヘッドセット50)の置かれた環境における外部の騒音を収集する。その後、ステップS108においてヘッドセット50の音声処理部520は、収集された外部騒音のデジタル音声データー(以降「外部騒音データー」とも呼ぶ。)を、制御装置10へと送信する。なお、所定の時間は任意に定めることができる。ステップS106およびS108は、音声処理部520が自発的に実施してもよく、制御装置10(音声制御部151)の指示に従って実施してもよい。
ステップS110において制御装置10の音声制御部151は、受信した外部騒音データーを解析する。この解析は、例えば、周波数特性の取得、音圧レベルの取得、周期性の有無の判定等、多角的に実施されることが好ましい。解析の際の項目は任意に定めることができる。その後、音声制御部151は、受信した外部騒音データーから、HMD100(ヘッドセット50)の置かれた環境における外部の騒音の種別(図9:項番1〜4)を判定する。
ステップS112において制御装置10の音声制御部151は、音声制御部151における使用機能と、外部騒音の種別とから、設定内容を取得する。具体的には、音声制御部151は、音声設定テーブル126を検索し、ステップS104で取得した使用機能と、ステップS110で判定した外部騒音の種別と、に一致する設定内容のデーターを取得する。
ステップS114において制御装置10の音声制御部151は、検索した設定内容のデーターを、ヘッドセット50へと送信する。この送信の際、音声制御部151は、ヘッドセット50が対応している通信プロトコルを用いる。本実施形態の場合、音声制御部151は、Bluetooth SSP(Simple Secure Pairing)を利用する。なお、本ステップにおいて音声制御部151は、設定内容のデーターに加えて、送信する設定内容を上書きする旨の命令(コマンド)を送信してもよい。本ステップにおける送信内容は、制御装置10とヘッドセット50との間における通信プロトコルに準拠する。
ステップS116においてヘッドセット50の音声処理部520は、ステップS114で受信した設定内容のデーターを用いて、音声処理部520の加工処理において使用される各種の設定内容(図8)を上書きする。その後、ステップS112において音声処理部520は、設定が完了した旨の応答を、制御装置10へと送信し、処理を終了する。なお、音声処理部520は、設定が正しく完了しなかった場合、その旨の応答や、再試行を求める旨の応答を制御装置10へと送信してもよい。
以上説明したように、音声設定テーブル126には予め、
・制御装置10の音声制御部151において使用可能な全ての機能と、
・HMD100(ヘッドセット50)の置かれた環境における、想定される外部騒音の種別の全てと、
・音声制御部151で実行されている機能毎、かつ、その際の外部騒音の種別毎に、音声処理部520で実行される種々の加工処理(図8)において具体的にどのような設定内容を採用すると良好な結果が得られるか、という設定値と、
が対応付けられて記憶されている。そして、設定処理(図10)では、音声制御部151において現在使用されている機能(ステップS104:使用機能)と、HMD100の置かれた環境、換言すれば、HMD100の実際の使用環境における外部騒音の種別(ステップS110)と、に基づいて音声設定テーブル126を使用して、音声処理部520における具体的な設定内容(設定値)が求められる。
この結果、第1実施形態の頭部装着型表示装置(HMD100)によれば、音声制御部151は、使用される音声制御機能(機能a1、a2)と、外部騒音と、に応じて、ヘッドセット50の音声処理部520が実行する加工処理(図8)における設定を変更する。このため、各音声制御機能(機能a1、a2)に適した態様で、かつ、外部騒音を考慮して、音声品質を向上させることができる。
なお、音声設定テーブル126における「想定される外部騒音の種別」は省略してもよい。この場合、設定処理(図10)のステップS106〜S110)についても省略可能である。このようにしても、音声制御部151は、使用される音声制御機能(機能a1、a2)に応じて、ヘッドセット50の音声処理部520が実行する加工処理(図8)における設定を変更することができるため、各音声制御機能(機能a1、a2)に適した態様で音声品質を向上させることができる。
また、第1実施形態の頭部装着型表示装置(HMD100)によれば、音声制御部151は、音声入力部(マイク54)から入力された外部騒音を解析し(図10:ステップS110)、この解析の結果を利用してヘッドセット50の音声処理部520の加工処理における設定を変更する(図10:ステップS112〜S114)。このため、音声制御部151は、外部騒音に応じた設定変更を自動的に行うことができる。
さらに、第1実施形態の頭部装着型表示装置(HMD100)によれば、音声制御部151は、ヘッドセット50の音声処理部520の設定を変更するための命令(図10:ステップS114)を、音声入出力ユニット(ヘッドセット50)が対応している通信プロトコル(Bluetooth SSP)を用いて送信する。このため、本実施形態のHMD100によれば、音声制御部151と音声入出力ユニット(ヘッドセット50)との間の通信を確実に実施できる。
A−4.付加処理:
上記実施形態において、音声制御部151は、次に例示する処理b1〜b3を付加的に実行してもよい。処理b1〜b3は、単独で付加されてもよく、組み合わせて付加されてもよい。
(b1)視線方向の音声を拡張:
上述したHMD100において、さらに視線検出部を備える構成とする。視線検出部は、例えば、画像表示部20の内側に配置されて、使用者の眼近傍の画像を取得するカメラと、撮影された眼近傍の画像(より具体的には黒目の向き)を画像解析により取得する処理部と、を含む構成により実現できる。音声制御部151は、マイク54(またはマイク63)により集音された音声のうち、視線検出部により検出された視線の方向から入力された音声を増幅させ、イヤホン52(または右イヤホン32および左イヤホン34)から出力する。この増幅処理は、音声制御部151の指示に応じてヘッドセット50の音声処理部520(または音声コーデック180)が実行してもよい。
このようにすれば、音声制御部151は、使用者が視線を向けた(すなわち注意を払った)方向の音声を増幅させることができるため、使用者における利便性を向上させることができる。
なお、処理b1において、音声制御部151は、使用者が視線を向けた方向の音声を増幅することに代えて、音声データー中に含まれる特定の音(例えば人間の声、鳥の声、アラーム音等)だけを増幅させて、出力してもよい。特定の音は、例えば、HMD100の使用者により設定可能な構成としてもよい。このようにすれば、使用者における利便性をさらに向上させることができる。
(b2)複数の音声発信部による音再現:
上述したHMD100において、さらに、1つ以上のスピーカーを備える構成とする。スピーカーは、例えば、画像表示部20の左保持部23および左表示ユニット24の内側に配置することができる。スピーカーは、種々のスピーカーを採用でき、例えば、ダイナミック型スピーカー、骨伝導スピーカー等を使用できる。スピーカーは、有指向性であってもよく、無指向性であってもよい。スピーカーの個数も任意に定めることができる。これらのスピーカーも「音声発信部」として機能する。また、本付加処理では、音声設定テーブル126には、音声制御部151で実行可能な機能ごとに、想定される外部騒音の種別に応じた、出力先となる音声発信部が記憶されている構成とする。例えば、あるデーターでは、出力先となる音声発信部として「右イヤホン32、左イヤホン34、第1のスピーカー」が格納されており、他のデーターでは、出力先となる音声発信部として「左イヤホン34、左イヤホン34、第1のスピーカー、第2のスピーカー」が格納されている。
設定処理(図10)のステップS112において音声制御部151は、設定内容と共に、出力先となる音声発信部を検索する。そして、ステップS114において音声制御部151は、設定内容と共に、出力先となる音声発信部を送信する。以降、これを受信した音声コーデック180は、ステップS114で通知された音声発信部に対して、音声データーを送信する。
このようにすれば、音声制御部151は、使用されている音声制御機能(機能a1、a2)と、実際の外部騒音と、に応じて、音声データーの再生に使用される音声発信部を変更する。このため、各音声制御機能(機能a1、a2)に適した態様で、かつ、外部騒音を考慮して、再生される音声品質を向上させることができる。
(b3)複数マイクによる外部騒音の種類判定:
設定処理(図10)のステップS106およびS108では、ヘッドセット50のマイク54と、ヘッドセット30のマイク63との両方で、外部騒音の収集および送信を実施する。その後、ステップS110において音声制御部151は、ヘッドセット50とヘッドセット30とから受信した外部騒音データーをそれぞれ解析する。そして、音声制御部151は、各解析結果に基づいて、HMD100(ヘッドセット50)の置かれた環境における外部の騒音の種別(図9:項番1〜4)を判定する。2つの解析結果の使用方法は任意に定めることができ、一方を主として他方を補正のために利用してもよく、両者の平均値を採用してもよい。
なお、HMD100がマイク63やマイク54以外のマイクを備える場合、音声制御部151は、当該マイクから収集、送信された外部騒音データーについても利用できる。解析の結果の精度を向上させるという観点から、HMD100が備える複数のマイクは、HMD100を装着している状態の使用者に対する位置と、周波数特性と、指向性と、集音の仕組みと、のうちの少なくとも1つが互いに相違することが好ましい。具体的には、例えば、指向性を有する2つのマイクを利用する態様において、一方のマイクの指向性を使用者の口元に向け、他方のマイクの指向性を外部に向けるように設定する。この場合、他方のマイクは、より外部騒音を収集しやすい環境となるため、他方のマイクを主として外部騒音をすることが好ましい。
このようにすれば、音声制御部151は、2つ以上の音声入力部(マイク)から入力された外部騒音をそれぞれ解析するため、解析の結果の精度を向上させることができる。
(b4)外部騒音に応じた追加処理:
設定処理のステップS110において外部騒音データーを解析した結果、外部騒音の音圧レベルが所定の閾値を超える場合(外部騒音がひどい場合)、音声制御部151は、次に挙げる追加処理を実施してもよい。追加処理は単独で採用してもよく、組み合わせて採用してもよい。
・音声制御部151は、イヤホン52(または右イヤホン32および左イヤホン34)から出力する音声を文字または画像化した虚像(字幕)を、画像表示部20に表示させる。本処理によれば、聞き取り難い音声を字幕により補助できるため、例えば通話機能を使用している場合に有効である。
・音声制御部151は、使用者に対して、再度の発話を求める旨、静かな環境で発話する旨、滑舌よく発話する旨等を案内する。この案内は、イヤホン52(または右イヤホン32および左イヤホン34)からの音声で行ってもよく、画像表示部20に表示させてもよい。本処理によれば、例えば音声認識機能における認識精度を向上させることができる。
・音声制御部151は、使用者に対して、緊急通知を行う。緊急通知は、バイブレーター19を振動させて行ってもよく、画像表示部20に目立つ態様での表示(例えば、赤色のフラッシング)をさせてもよい。また、緊急通知のトリガは、アラーム(所定時刻の到来)、災害発生時、音声入出力ユニットとの間で送受信されるデジタル音声データーに所定のキーワードが含まれる場合等、任意に決定してよい。本処理によれば、聴覚以外の感覚器官を利用して、使用者に緊急通知を行うことができる。
B.第2実施形態:
本発明の第2実施形態では、音声制御部における使用機能と外部騒音の種別とに加えてさらに、HMDの使用場面に応じて、ヘッドセットの音声処理部の加工処理における設定を変更する構成について説明する。以下では、第1実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態と同様の構成部分については先に説明した第1実施形態と同様の符号を付し、その詳細な説明を省略する。
図11は、第2実施形態におけるHMD100aの制御機能部の構成を機能的に示すブロック図である。図6に示した第1実施形態との違いは、記憶部122aが、音声設定テーブル126に代えて音声設定テーブル126aを備える点と、制御部150aが、音声制御部151に代えて音声制御部151aを備える点である。音声設定テーブル126aは、テーブルの内容が第1実施形態と相違し、音声制御部151aは、設定処理の内容が第1実施形態と相違する。
図12は、第2実施形態における音声設定テーブル126aの一例である。図9に示した第1実施形態との違いは、使用場面のフィールドが追加されている点のみである。なお、図12では、図示の便宜上、外部騒音の種別の項番2〜4の記載を省略している。使用場面には、HMD100aが使用されている場面(以降「使用場面」とも呼ぶ。)であって、想定される使用場面の全てが格納されている。本実施形態の場合、使用場面として、歩行、ランニング、車両運転、飛行機搭乗の4つが例示されている。これら以外にも、音声設定テーブル126aには、一般的に想定されるHMD100aの様々な使用場面が予め記憶されていてもよい。この結果、音声設定テーブル126aの設定内容には、音声制御部151aで実行されている機能毎、かつ、HMD100aの使用場面毎、かつ、その際の外部騒音の種別毎に、音声処理部520で実行される種々の加工処理(図8)における設定項目の各々について、具体的にどのような設定内容を採用すると良好な結果が得られるか、という設定値が格納される。
図13は、第2実施形態の設定処理の手順を示すシーケンス図である。図10に示した第1実施形態との違いは、ステップS104とステップS106との間にステップS200が実行される点と、ステップS112に代えてステップS202が実行される点である。ステップS200において制御装置10の音声制御部151aは、現在のHMD100aの使用場面を推定する。具体的には、音声制御部151aは、制御装置10および画像表示部20に搭載されている各種のセンサーの計測値を取得し、計測値の変化から、HMD100aの使用場面を推定する。各種のセンサーとは、例えば、制御装置10の6軸センサー111、磁気センサー113、GPS115や、画像表示部20の6軸センサー235、磁気センサー237、温度センサー239、照度センサー65等である。なお、6軸センサー111、磁気センサー113、GPS115、6軸センサー235、磁気センサー237は、HMD100aの動きを取得する「動き取得部」として機能する。
例えば、音声制御部151aは、6軸センサー111や6軸センサー235の計測値が人間の歩行パターンに一致する場合、使用場面は「歩行」であると推定することができる。また、例えば音声制御部151aは、GPS115による位置の変化が所定の範囲内(例えば、時速20〜150キロ)であれば、使用場面は「車両運転」であると推定することができる。また、例えば音声制御部151aは、GPS115による位置の変化が所定の範囲内(例えば、時速151キロ〜)であれば、使用場面は「飛行機搭乗」であると推定することができる。
なお、音声制御部151aは、複数のセンサーの測定値の組み合わせや、1つまたは複数のセンサーの測定値とマイク54から集音した周囲の音の組み合わせによって、使用場面を推定してもよい。音声制御部151aは、1つまたは複数のセンサーの測定値とカメラ61により撮影された画像を解析した結果との組み合わせによって、使用場面を推定することもできる。
ステップS202において制御装置10の音声制御部151aは、音声制御部151aにおける使用機能(ステップS104)と、HMD100aの使用場面(ステップS200)と、外部騒音の種別(ステップS110)とから、音声設定テーブル126aを検索し、設定内容を取得する。
なお、第2実施形態においても、音声設定テーブル126aにおける「想定される外部騒音の種別」は省略してもよい。詳細は第1実施形態で説明した通りである。また、第2実施形態においても、音声制御部151aは、上述した処理b1〜b3を付加的に実行してもよい。なお、第2実施形態において「使用場面」に代えて、異なる情報を採用してもよい。異なる情報とは、例えば、使用者の性別、年齢、体格等が挙げられる。使用者の性別、年齢、体格は、HMD100aに予め設定されている情報(例えばユーザー情報)から取得してもよく、マイク54を介した使用者の発話音声を解析することで推定してもよい。
以上のように、第2実施形態の頭部装着型表示装置(HMD100a)によれば、音声制御部151aは、音声制御部151aにおいて使用されている音声制御機能(機能a1、a2)に加えてさらに、HMD100aの使用場面を考慮することによって、音声処理部520の加工処理における設定をきめ細かく変更することができる。
また、第2実施形態の頭部装着型表示装置(HMD100a)によれば、音声制御部151aは、動き取得部(HMD100aに搭載されている各種のセンサー)により取得されたHMD100aの動きからHMD100aが使用されている場面を推定し(図13:ステップS200)、この推定の結果を利用してヘッドセット50の音声処理部520の加工処理における設定を変更する(図13:ステップS202〜S114)。このため、音声制御部151aは、HMD100aが使用されている場面(使用場面)に応じた設定変更を自動的に行うことができる。
C.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
・変形例1:
上記実施形態では、HMDの構成について例示した。しかし、HMDの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、右導光板26および左導光板28が外光を透過する、いわゆる透過型のHMD100について説明した。しかし、本発明は、例えば、外景を視認できない状態で画像を表示する、いわゆる非透過型のHMD100に適用することもできる。また、これらのHMD100では、上記実施形態で説明した実空間に重畳して画像を表示するAR(Augmented Reality)表示のほか、撮像した実空間の画像と仮想画像とを組み合わせて表示するMR(Mixed Reality)表示、あるいは、仮想空間を表示するVR(Virtual Reality)表示を行うこともできる。また本発明は、AR、MR、VR表示のいずれも行わない装置にも適用できる。
上記実施形態では、制御装置10および画像表示部20の機能部について説明したが、これらは任意に変更することができる。例えば、次のような態様を採用してもよい。制御装置10に記憶部122および制御部150を搭載し、画像表示部20には表示機能のみを搭載する態様。制御装置10と画像表示部20との両方に、記憶部122および制御部150を搭載する態様。制御装置10と画像表示部20とを一体化した態様。この場合、例えば、画像表示部20に制御装置10の構成要素が全て含まれ、眼鏡型のウェアラブルコンピューターとして構成される。制御装置10の代わりにスマートフォンや携帯型ゲーム機器を使用する態様。制御装置10と画像表示部20とを無線通信により接続し、接続ケーブル40を配した態様。この場合、例えば、制御装置10や画像表示部20に対する給電についても無線で実施してよい。
上記実施形態では、内蔵の音声入出力ユニット(ヘッドセット30)が制御装置10に対して有線接続され、外付けの音声入出力ユニット(ヘッドセット50)が制御装置10に対して無線接続される例を示した。しかし、音声入出力ユニットは、内蔵と外付けとの別を問わず、制御装置10に対して任意の方法で接続され得る。また、無線接続の例として示したBluetooth、Wi−Fi等の方法についてもあくまで例示に過ぎない。
・変形例2:
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、制御装置10が備える入力手段の一例について説明した。しかし、制御装置10は、例示した一部の入力手段を省略して構成されてもよく、上述しない他の入力手段を備えていてもよい。例えば、制御装置10は、操作スティック、キーボード、マウス等を備えていてもよい。例えば、制御装置10は、使用者の身体の動き等に対応付けられたコマンドを解釈する入力手段を備えていてもよい。使用者の身体の動き等とは、例えば、視線を検出する視線検出、手の動きを検出するジェスチャー検出、足の動きを検出するフットスイッチ等により取得できる。なお、視線検出は、例えば、画像表示部20の内側を撮像するカメラにより実現できる。ジェスチャー検出は、例えば、カメラ61により経時的に撮影された画像を画像解析することにより実現できる。
上記実施形態では、制御部150は、メインプロセッサー140が記憶部122内のコンピュータープログラムを実行することにより動作するとした。しかし、制御部150は種々の構成を採用することができる。例えば、コンピュータープログラムは、記憶部122に代えて、または記憶部122と共に、不揮発性記憶部121、EEPROM215、メモリー118、他の外部記憶装置(各種インターフェイスに挿入されているUSBメモリー等の記憶装置、ネットワークを介して接続されているサーバー等の外部装置を含む)に格納されていてもよい。また、制御部150の各機能は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit)を用いて実現されてもよい。
上記実施形態では、制御部150の音声制御部151が実行する音声制御機能の例として、通話機能と、音声認識機能とを例示した。しかし、音声制御部151は、これらの機能と共に、またはこれらの機能に代えて、他の機能を実現してもよい。他の機能としては、例えば、音声入力部(マイク)から入力された音声を音声認識して、特定の音声(機器の動作音や異常音、生物の脈動等)を検出する特定音検出機能、コンテンツ内の音声を音声発信部(イヤホンやスピーカー)から再生する音声再生機能等を採用できる。このようにすれば、音声制御部151は、用途に応じた様々な機能を実現し、かつ、様々な機能に応じて音声入出力ユニットの加工処理における設定を変更することができる。
・変形例3:
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
図14は、変形例の画像表示部が備える光学系の構成を示す要部平面図である。変形例の画像表示部では、使用者の右眼REに対応したOLEDユニット221aと、左眼LEに対応したOLEDユニット241aと、が設けられている。右眼REに対応したOLEDユニット221aは、白色で発色するOLEDパネル223aと、OLEDパネル223aを駆動して発光させるOLED駆動回路225とを備えている。OLEDパネル223aと右光学系251との間には、変調素子227(変調装置)が配置されている。変調素子227は、例えば、透過型液晶パネルで構成され、OLEDパネル223aが発する光を変調して画像光Lを生成する。変調素子227を透過して変調された画像光Lは、右導光板26によって右眼REに導かれる。
左眼LEに対応したOLEDユニット241aは、白色で発光するOLEDパネル243aと、OLEDパネル243aを駆動して発光させるOLED駆動回路245とを備えている。OLEDパネル243aと左光学系252との間には、変調素子247(変調装置)が配置されている。変調素子247は、例えば、透過型液晶パネルで構成され、OLEDパネル243aが発する光を変調して画像光Lを生成する。変調素子247を透過して変調された画像光Lは、左導光板28によって左眼LEに導かれる。変調素子227、247は、図示しない液晶ドライバー回路に接続される。この液晶ドライバー回路(変調装置駆動部)は、例えば変調素子227、247の近傍に配置される基板に実装される。
変形例の画像表示部によれば、右表示ユニット22および左表示ユニット24は、それぞれ、光源部としてのOLEDパネル223a、243aと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子227、247と、を備える映像素子として構成される。なお、OLEDパネル223a、243aが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザー網膜投影型のHMD100としてもよい。
上記実施形態では、眼鏡型の画像表示部20について説明したが、画像表示部20の態様は任意に変更することができる。例えば、画像表示部20を帽子のように装着する態様としてもよく、ヘルメット等の身体防護具に内蔵された態様としてもよい。また、画像表示部20を、自動車や飛行機等の車両、またはその他の交通手段に搭載されるHUD(Head Up Display)として構成してもよい。
上記実施形態では、画像光を使用者の眼に導く光学系として、右導光板26および左導光板28の一部に、ハーフミラー261、281により虚像が形成される構成を例示した。しかし、この構成は任意に変更することができる。たとえば、右導光板26および左導光板28の全面(または大部分)を占める領域に虚像が形成されてもよい。この場合、画像の表示位置を変化させる動作によって画像を縮小してもよい。また、本発明の光学素子は、ハーフミラー261、281を有する右導光板26および左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品(例えば、回折格子、プリズム、ホログラフィー等)を用いる限り任意の態様を採用できる。
・変形例4:
上記実施形態では、設定処理の手順について例示した。しかし、設定処理の手順は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、実行されるステップの追加・削除、ステップ内における処理内容の変更等を行うことができる。
上記実施形態において、音声制御部151は、音声入力部(マイク)から入力されたデジタル音声データー(外部騒音データー)に基づいて外部騒音の種別を判定した。しかし、音声制御部151は、音声入力部から入力されたデジタル音声データーに代えて、または、音声入力部から入力されたデジタル音声データーと共に、他の手段によって入力されたデーターに基づいて外部騒音の種別を判定してもよい。他の手段によって入力されたデーターとしては、例えば、リモートセンシング振動計から入力された振動共振周波数や変位測定等を採用できる。
・変形例5:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。