JPH09330041A - 表示システム - Google Patents

Abstract

(57)【要約】 【課題】 音声解析技術を実用に供する場合に、観察者
に不自然な姿勢や体勢を要求することなく、採取した音
声に関する画像情報を視認でき、実用分野において音声
解析技術を扱うことのできる範囲を広げるのに供するこ
とができる表示システムを提供する。 【解決手段】 音声を採取する手段２と、その採取した
音声に対応する画像表示データを生成する手段３と、そ
の画像表示データに対応する画像を表示する頭部装着型
表示装置１とを備える。人や物の発する音声を採取し、
その採取した音声を解析することで得た所要の情報を頭
部装着型表示装置１に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声情報に対応す
る画像情報を頭部装着型表示装置により観察者の視野範
囲に表示する表示システムに関する。

【０００２】

【従来の技術】人や物の発する音声を採取し、その採取
した音声を解析することで所要の情報を表示する技術が
開発されている。

【０００３】例えば、各種装置等の発する音を採取して
大きさを解析することで、騒音レベルを数値として表示
する表示装置が実用化されている。また、音声認識技術
を用いて人の発する音声を言語として認識し、その認識
した言語を文字として表示したり、自動翻訳技術を利用
して認識された言語を異なる言語に翻訳し、その翻訳さ
れた言語を文字として表示する技術が開発されている。
また、回転機械の発する音の周波数は、その回転数に応
じて変化することから、その音を採取して周波数を解析
することで、その回転数を数値として表示したり、共振
周波数との差を表示することができる。また、マイクロ
ホン等から入力した人の発する音声を、予め採取した音
声と比較することで、声紋鑑定による個人識別を行な
い、その判定結果を表示することができる。また、鳥や
動物等の鳴き声を採取して解析し、生物分類に応じて予
め求めた鳴き声と比較することで、その鳴き声の主の名
称や特徴等を表示することが考えられる。

【０００４】

【発明が解決しようとする課題】従来の技術では、音声
の解析機能を有するコンピュータにマイクロホンを接続
し、そのコンピュータによる解析結果に基づく画像を、
そのコンピュータに接続された載置型の表示装置に表示
するものであった。そのため、実用に供する場合は観察
者に不自然な姿勢や体勢が要求される。例えば、自己の
認識できない言語を話す人と会話をする場合において、
音声認識技術と自動翻訳技術を利用して相手の発する音
声を自己の認識可能な文字として表示することができた
としても、話相手と向き合うことができないため、現実
の会話の場において実用に供することはできない。ま
た、その他の物の音声情報に対応する画像情報を表示す
る場合も、その音源を観察しながら画像情報を視認する
ことは困難である。さらに、従来のシステムは大型で携
帯に不便であるため、使用場所が制限されてしまう。そ
のため、実用分野において上記のような音声解析技術を
扱うことのできる範囲が広がらないという問題があっ
た。

【０００５】本発明は、上記問題を解決することのでき
る表示システムを提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明の表示システム
は、音声を採取する手段と、その採取した音声に対応す
る画像表示データを生成する手段と、その画像表示デー
タに対応する画像を表示する頭部装着型表示装置とを備
えることを特徴とする。

【０００７】上記構成によれば、観察者が任意の方向を
向いた状態で、すなわち、その音声の採取源である対象
物と向き合ったり、その対象物の観察を行ないながら、
採取した音声に対応する画像を視認することができる。

【０００８】その音声を採取する手段と、その採取した
音声に対応する画像表示データを生成する手段とが、そ
の観察者に装着可能であるのが好ましい。これにより、
システムは携帯に便利なものになる。また、観察者はハ
ンドフリーの状態で、眼前で採取した音声に関する画像
情報を視認できる。この場合、その画像表示データを生
成するために用いられる情報を記憶する手段が、その観
察者と別個に設けられ、その記憶された情報が、その画
像表示データを生成する手段に随時伝送可能とされてい
るのが好ましい。これにより、その画像表示データを生
成する手段に伝送される情報の種類を変更することで、
生成可能な画像データの種類を変更することができる。

【０００９】その音声を採取する手段と、その採取した
音声に対応する画像表示データを生成する手段とが、観
察者とは別個に配置され、その画像表示データ生成手段
と頭部装着型表示装置とが通信機能を有するデータ処理
ユニットより接続され、そのデータ処理ユニットが観察
者に装着可能であるのが好ましい。これにより、観察者
は頭部装着型表示装置とデータ処理ユニットのみを装着
すればよく、システムは持ち運びに便利なものになって
使用場所が制限されることがなく、また、観察者はハン
ドフリーの状態で採取した音声に関する画像情報を視認
できる。

【００１０】

【発明の実施の形態】図１〜図４を参照して本発明の第
１実施形態を説明する。

【００１１】図１に示す表示システムは、頭部装着型表
示装置１と、マイクロホン２と、情報処理ユニット３と
を備える。

【００１２】その頭部装着型表示装置１は、図２に示す
ように、観察者４の頭部に装着可能な保持部５と、この
保持部５に保持される表示部６とを有する。その保持部
５は、図示の例では弾性材製のバンド状とされることで
観察者４の頭部に装着されるが、その形態は限定され
ず、例えばヘルメット状のものであってもよい。なお、
本件発明において頭部とは、顔面を含む頸部から上の部
分を言う。その表示部６は、画像表示光の出射手段６ａ
と、その画像表示光の光路を変更して観察者４の視野範
囲に導く光学系６ｂと、その出射手段６ａと光学系６ｂ
とを連結する可動アーム６ｃとを有する。その画像表示
光の出射手段６ａは、例えばＣＲＴディスプレイやバッ
クライト付き液晶表示パネル等の公知の画像表示器３０
と、後述の表示制御部３１により構成できる。その光学
系６ｂは、画像表示光を反射あるいは回折により光路変
更すると共に前方からの光を透過するハーフミラーやホ
ログラム素子等のコンバイナや、画像表示光を反射する
ことで光路変更するミラー等により構成でき、さらに、
集光用レンズ系を含むものであってもよい。また、その
光学系６ｂは、出射手段６ａに可動アーム６ｃを介して
連結され、その画像表示光を観察者４の視野範囲に導く
位置と、観察者４の視野範囲外の退避位置との間で位置
変更可能とされている。

【００１３】なお、その保持部５には、ヘッドホン８と
スピーカ９とが取り付けられ、観察者４は別途音声情報
を聴くことができると共に、自己の声を拡大することが
できる。

【００１４】そのマイクロホン２は観察者４の周囲の音
声を採取するもので、観察者４に装着可能とされてい
る。そのマイクロホン２は、例えば観察者４の前方等の
特定方向の空間の音声を採取する指向性を有するもので
もよいし、観察者４の全周囲の音声を採取するものであ
ってもよい。

【００１５】その情報処理ユニット３は、そのマイクロ
ホン２により採取した音声に対応する画像表示データを
生成するもので、マイクロホン２から入力された音声信
号がケーブル１１を介して伝送され、生成した画像表示
データをケーブル１２を介して上記表示部６に伝送す
る。すなわち、図３に示すように、その情報処理ユニッ
ト３は、マイクロホン２により採取した音声データをＡ
／Ｄ変換して内部回路で処理可能な形式に変換する音声
データ入力インターフェイス２１、採取した音声データ
の解析と解析結果に対応する画像表示データの生成を含
むシステムの制御を行うためのプログラムを内蔵するメ
モリ２２、その音声データを解析する際のデータベース
を記憶すると共に解析結果に対応する画像表示データを
格納するハードディスク等の大容量メモリ２３、その記
憶されたプログラムに基づき演算を実行するＣＰＵ２
４、その画像表示データを記憶する画像メモリ２５、こ
の画像メモリ２５に対してデータの読み書きを行なう画
像コントローラ２６、この情報処理ユニット３のＯＮ／
ＯＦＦスイッチとして機能する操作部２７に接続される
スイッチインターフェイス２９を有する。さらに、上記
のように観察者４にヘッドホン８を介して音声情報を付
与する場合、採取した音声に対応して画像表示データだ
けでなく音声データも生成し、その音声データ出力イン
ターフェイス２８を介して上記ヘッドホン８に出力す
る。その画像コントローラ２６が、上記表示部６の表示
制御部３１に接続される。なお、そのデータベースのメ
モリとして、ＣＤ−ＲＯＭやＭＯ等の外部装置を用いて
もよい。

【００１６】その表示制御部３１が、その情報処理ユニ
ット３により生成された画像表示データを画像コントロ
ーラ２６から受け取り、画像表示器３０に送ることで、
その画像表示データに対応する画像表示光が出射され
る。

【００１７】図４、図５は、二人の観察者４ａ、４ｂ
が、それぞれ上記表示システムを用いて互いに異なる言
語、例えば日本語と英語を用いて会話を行う場合を例示
する。この場合、各情報処理ユニット３は、マイクロホ
ン２により採取された音声を音声認識技術により解析す
ることで言語として認識し、さらに、認識された言語を
自動翻訳技術により解析することで異なる言語に翻訳
し、その認識された言語および翻訳された言語に対応す
る画像表示データを出力する。これにより、例えば一方
の観察者４ａが英語で「How are you ? 」と発音する
と、その音声が他方の観察者４ｂのマイクロホン２によ
り採取され、他方の観察者４ｂの頭部装着型表示装置１
により、他方の観察者４ｂの視野範囲に、認識された英
語の文字と、翻訳された日本語「ごきげんいかがです
か」とが表示される。また、他方の観察者４ｂが日本語
で「良いです。ありがとう。」と発音すると、その音声
が一方の観察者４ａのマイクロホン２により採取され、
一方の観察者４ａの頭部装着型表示装置１により、一方
の観察者４ａの視野範囲に、認識された日本語の文字
と、翻訳された英語「I'm fine thank you. 」とが表示
される。

【００１８】上記構成によれば、観察者４が任意の方向
を向いた状態で、すなわち、その音声の採取源である会
話の相手等の対象物と向き合ったり、その対象物の観察
を行ないながら、採取した音声に対応する画像を視認す
ることができる。また、その音声を採取するマイクロホ
ン２と、その採取した音声に対応する画像表示データを
生成する情報処理ユニット３とが観察者４に装着可能で
あることにより、システムは携帯に便利なものになり、
観察者４はハンドフリーの状態で、眼前で採取した音声
に関する画像情報を視認できる。

【００１９】図６〜図８は本発明の第２実施形態を示
す。上記第１実施形態との相違は、図６に示すように、
情報処理ユニット３は、入出力インターフェイス４１と
コネクタ４２ａ、４２ｂとを介してホストコンピュータ
５１に接続される。そのホストコンピュータ５１から、
採取した音声データの解析と解析結果に対応する画像表
示データの生成を行うためのプログラムと、その音声デ
ータを解析する際のデータベースとが、メモリ２２と大
容量メモリ２３に随時インストール可能とされている。
すなわち、画像表示データを生成するために用いられる
プログラムやデータベースといった情報を記憶するホス
トコンピュータ５１が観察者４と別個に設けられ、その
記憶された情報が情報処理ユニット３に随時伝送可能と
されている。この場合、操作部２７によりプログラムや
データベースのインストールの実行や、メモリ２２、２
３からの不要なプログラムやデータベースの消去が可能
とされる。これにより、その情報処理ユニット３に接続
されるホストコンピュータ５１を異なるものにし、伝送
されるプログラムやデータベースの種類を変更すること
で、生成可能な画像データの種類を変更することができ
る。例えば、図７に示すように、第１のホストコンピュ
ータ５１ａから伝送されるプログラムとデータベースに
よれば、情報処理ユニット３は、上記第１実施形態と同
様に、マイクロホン２により採取された音声を音声認識
技術により解析することで言語として認識し、さらに、
認識された言語を自動翻訳技術により解析することで異
なる言語に翻訳し、その認識された言語および翻訳され
た言語に対応する画像表示データを出力することができ
る。また、図８に示すように、第２のホストコンピュー
タ５１ｂから伝送されるプログラムとデータベースによ
れば、情報処理ユニット３は、その認識された言語およ
び翻訳された言語に対応する画像表示データを出力する
だけでなく、その認識された言語に対する回答の仕方を
表す英語の文例として、「I'm fine thank you. 」や
「Good」を表示するための画像表示データを出力するこ
とができる。

【００２０】図９〜図１２を参照して本発明の第３実施
形態を説明する。

【００２１】図９、図１０に示す表示システムは、頭部
装着型表示装置１０１と、マイクロホン１０２と、デー
タ処理ユニット１０３と、このデータ処理ユニット１０
３に双方向通信可能に接続されるホストコンピュータ１
５１とを備える。

【００２２】その頭部装着型表示装置１０１は、観察者
１０４の頭部に装着可能な第１実施形態と同様の保持部
１０５と、この保持部１０５に保持される第１実施形態
と同様の表示部１０６とを有する。その表示部１０６
は、第１実施形態と同様の出射手段１０６ａ、光学系１
０６ｂ、および可動アーム１０６ｃを有し、その出射手
段１０６ａの画像表示器１３０が表示制御部１３１とケ
ーブル１１２を介してデータ処理ユニット１０３に接続
される。その保持部１０５には、第１実施形態と同様に
ヘッドホン１０８が取り付けられ、また、第１実施形態
のスピーカ９に代えて別のマイクロホン１０２′が取り
付けられる。

【００２３】図１０に示すように、そのデータ処理ユニ
ット１０３は、このデータ処理ユニット１０３のＯＮ／
ＯＦＦスイッチとして機能する操作部１２７に接続され
るスイッチインターフェイス１２９、その別のマイクロ
ホン１０２′により採取した音声データをＡ／Ｄ変換し
て内部回路で処理可能な形式に変換する音声データ入力
インターフェイス１２１、システムの制御を行うための
プログラムを内蔵するメモリ１２２、ホストコンピュー
タ１５１から伝送される通信データを再生の必要がある
場合に記憶するためのハードディスク等の大容量メモリ
１２３、その記憶されたプログラムに基づきシステムの
制御を行うための演算を実行するＣＰＵ１２４、ホスト
コンピュータ１５１から伝送される画像表示データを記
憶する画像メモリ１２５、この画像メモリ１２５に対し
てデータの読み書きを行なう画像コントローラ１２６、
このデータ処理ユニット１０３のＯＮ／ＯＦＦスイッチ
として機能する操作部１２７に接続されるスイッチイン
ターフェイス１２９、上記ヘッドホン１０８に接続され
る音声データ出力インターフェイス１２８、及びホスト
コンピュータ１５１の通信インターフェイス１５２に接
続される通信インターフェイス１５０を有する。その画
像コントローラ１２６が上記表示制御部１３１に接続さ
れる。

【００２４】そのホストコンピュータ１５１に、別の通
信インターフェイス１５２′を介して、上記データ処理
ユニット１０３と同様の構成の別のデータ処理ユニット
１０３′が双方向通信可能に接続される。その別のデー
タ処理ユニット１０３′に上記マイクロホン１０２と上
記頭部装着型表示装置１０１と同様の別の頭部装着型表
示装置１０１′が接続され、その別の頭部装着型表示装
置１０１′に上記マイクロホン１０２が取り付けられ
る。

【００２５】そのホストコンピュータ１５１は、そのマ
イクロホン１０２により採取した音声に対応する画像表
示データを生成する。すなわち、記憶したプログラムと
データベースとに基づき、そのマイクロホン１０２によ
り採取されて別のデータ処理ユニット１０３′を介して
伝送された音声データを解析し、その解析結果に対応す
る画像表示データを生成し、その生成した画像表示デー
タをデータ処理ユニット１０３に通信インターフェイス
１５２を介して伝送する。そのホストコンピュータ１５
１により生成された画像表示データに対応する画像表示
光が、頭部装着型表示装置１０１において出射される。
また、そのホストコンピュータ１５１は、記憶した別の
プログラムとデータベースとに基づき、その別のマイク
ロホン１０２′により採取されてデータ処理ユニット１
０３を介して伝送された音声データを解析し、その解析
結果に対応する画像表示データを生成し、その生成した
画像表示データを別のデータ処理ユニット１０３′に別
の通信インターフェイス１５２′を介して伝送する。そ
のホストコンピュータ１５１により生成された画像表示
データに対応する画像表示光が、別の頭部装着型表示装
置１０１′において出射される。なお、ホストコンピュ
ータ１５１と各頭部装着型表示装置１０１、１０１′と
の間の通信は、無線通信でも有線通信でもよい。

【００２６】図１１、図１２は、上記頭部装着型表示装
置１０１を装着する観察者１０４と、別の頭部装着型表
示装置１０１′を装着する観察者１０４′が、上記表示
システムを用いて互いに異なる言語、例えば日本語と英
語を用いて会話を行う場合を例示する。この場合、その
ホストコンピュータ１５１は、マイクロホン１０２、１
０２′により採取された音声を音声認識技術により解析
することで言語として認識し、さらに、認識された言語
を自動翻訳技術により解析することで異なる言語に翻訳
し、その認識された言語および翻訳された言語に対応す
る画像表示データを出力する。これにより、例えば一方
の観察者１０４が英語で「Shall we goto have dinner?
」と発音すると、その音声が一方の観察者１０４の装
着する頭部装着型表示装置１０１に取り付けられた別の
マイクロホン１０２′により採取され、他方の観察者１
０４′の装着する別の頭部装着型表示装置１０１′の光
学系１０６ｂ′を介して、他方の観察者１０４′の視野
範囲に、認識された英語の文字と、翻訳された日本語
「夕食に行きませんか？」とが表示される。また、他方
の観察者１０４′が日本語で「いいですね。」と発音す
ると、その音声が他方の観察者１０４′の装着する別の
頭部装着型表示装置１０１′に取り付けられたマイクロ
ホン１０２により採取され、一方の観察者１０４の装着
する頭部装着型表示装置１０１の光学系１０６ｂを介し
て、一方の観察者１０４の視野範囲に、認識された日本
語の文字と、翻訳された英語「That's a good idea. 」
とが表示される。

【００２７】上記構成によれば、上記第１実施形態と同
様の効果を奏することができる。また、音声を採取する
マイクロホン１０２と、その採取した音声に対応する画
像表示データを生成するホストコンピュータ１５１と
が、観察者１０４とは別個に配置され、そのホストコン
ピュータ１５１と頭部装着型表示装置１０１とは、観察
者１０４に装着可能なデータ処理ユニット１０３により
接続される。これにより、観察者１０４は頭部装着型表
示装置１０１とデータ処理ユニット１０３のみを装着す
ればよく、システムは持ち運びに便利なものになって使
用場所が制限されることがなく、また、観察者１０４は
ハンドフリーの状態で採取した音声に関する画像情報を
視認できる。さらに、画像表示データを観察者１０４と
は別個に配置されるホストコンピュータ１５１により生
成することで、観察者１０４が保持するシステム構成を
非常にコンパクトなものにできる。

【００２８】なお、本発明は上記実施形態に限定されな
い。例えば、上記各実施形態で示す頭部装着型表示装置
は観察者の片方の眼に画像を視認させるものであるが、
図１３に示すような両眼に画像を視認させることのでき
る眼鏡型の頭部装着型表示装置１′であっても良い。な
お、図１３において上記第１実施形態と同様部分は同一
符号で示す。また、採取する音声は言語に限定されず、
機械音や人間以外の生物の発する音であってもよく、そ
の音声に対応する画像も文字に限定されず、機械音に対
応する騒音レベルを示す数値や、生物の鳴き声に対応す
る当該生物の映像等であってもよい。

【００２９】

【発明の効果】本発明の表示システムによれば、音声解
析技術を実用に供する場合に、観察者に不自然な姿勢や
体勢を要求することなく、採取した音声に関する画像情
報を視認でき、実用分野において音声解析技術を扱うこ
とのできる範囲を広げるのに供することができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態の表示システムの装着状
態を示す図

【図２】本発明の第１実施形態の頭部装着型表示装置の
正面図

【図３】本発明の第１実施形態の表示システムの構成説
明用ブロック図

【図４】本発明の第１実施形態の表示システムの使用状
態を示す図

【図５】本発明の第１実施形態の表示システムの使用状
態を示す図

【図６】本発明の第２実施形態の表示システムの構成説
明用ブロック図

【図７】本発明の第２実施形態の表示システムの使用状
態を示す図

【図８】本発明の第２実施形態の表示システムの使用状
態を示す図

【図９】本発明の第３実施形態の表示システムを装着し
た観察者を示す図

【図１０】本発明の第３実施形態の表示システムの構成
説明用ブロック図

【図１１】本発明の第３実施形態の表示システムの使用
状態を示す図

【図１２】本発明の第３実施形態の表示システムの使用
状態を示す図

【図１３】本発明の変形例の表示システムの装着状態を
示す図

【符号の説明】

１、１０１、１０１′ 頭部装着型表示装置 ２、１０２、１０２′ マイクロホン ３ 情報処理ユニット １５１ ホストコンピュータ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 音声を採取する手段と、 その採取した音声に対応する画像表示データを生成する
   手段と、 その画像表示データに対応する画像を表示する頭部装着
   型表示装置とを備える表示システム。