JP4344568B2

JP4344568B2 - ヘッドマウントディスプレイ及びそのコンテンツ再生方法

Info

Publication number: JP4344568B2
Application number: JP2003313995A
Authority: JP
Inventors: 金城　　直人
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-09-05
Filing date: 2003-09-05
Publication date: 2009-10-14
Anticipated expiration: 2023-09-05
Also published as: JP2005086328A

Description

本発明は、使用者の頭部に装着して映像や音声などのコンテンツを再生するヘッドマウントディスプレイ及びそのコンテンツ再生方法に関するものである。

使用者の頭部に装着して映像や音声などのコンテンツを再生するゴーグル型の表示装置として、ヘッドマウントディスプレイ（以下、単にＨＭＤという）がよく知られている。このＨＭＤには、使用者の両眼に近接する位置に液晶表示素子などからなる表示画面が設けられているので、使用者は大画面の据置型テレビを鑑賞しているのに相当する環境で映像を鑑賞することができる。また、ＨＭＤは、小型且つ携帯性に優れているため、自宅でテレビ代わりに利用する以外に、携帯式のＤＶＤ（Digital Versatile Disc）プレイヤーなどのＡＶ（Audio Visual）再生機を接続して、駅や空港などにおいて電車や飛行機などの待ち時間の間や、乗り物の中などで映画等を鑑賞するのに多く利用されている。

しかしながら、このＨＭＤを装着している間は、使用者の視界はほとんど遮られてしまう。さらに、映画等を鑑賞している際には、使用者の両耳は、ＨＭＤに設けられているイヤホン或いはヘッドホンなどで塞がれているため、使用者は周囲の状況を全く把握することができない。その結果、例えば自宅でコンテンツを鑑賞している最中に、自分の名前が呼ばれたり、電話や玄関の呼び鈴がなったり、誰かが目の前に来ても気がつかないおそれがある。また、駅のホームで電車を待つ間にコンテンツを鑑賞していると電車に乗り損ねたり、さらに、電車内でコンテンツを鑑賞していると気がづかない間に電車が降車駅を通り過ぎてしまうおそれがある。そのため、コンテンツ鑑賞中に外部の状況を把握できないという問題を解決する方法として、例えば特許文献１に記載されているように、ＨＭＤに外部の映像を撮像するカメラ等を設けて、このカメラにより撮像された映像をコンテンツの鑑賞映像の一部に合成表示する方法がある。これにより、使用者はコンテンツを鑑賞しながら外部の状況を把握することができる。

特開平８−１９００４号公報（第３頁）

特許文献１に記載されている方法では、使用者が表示画面の全画面を用いてコンテンツを鑑賞することができないという問題がある。さらに、コンテンツ鑑賞中においても、使用者は定期的にカメラの撮像映像を注視して、例えば、電車がホームに入ってきたか、或いは電車が降車駅に到着したかを確認しなければいけない。その結果、使用者がコンテンツの鑑賞に集中することができなくなってしまうので、改善が強く求められていた。

本発明は上記問題を解決するためのものであり、使用者が表示画面の全画面を用いてコンテンツを鑑賞できるようにするとともに、必要な外部の状況を把握できるようにしたヘッドマウントディスプレイ及びそのコンテンツ再生方法を提供することを目的とする。

上記目的を達成するため、本発明のヘッドマウントディスプレイは、使用者の視野に映像を表示する映像表示手段と、音声を出力する音声出力手段とを備え、前記使用者の頭部に装着して映像及び音声からなるコンテンツを再生するヘッドマウントディスプレイにおいて、前記使用者の周りの外部情報を取得する外部情報取得手段と、特定の外部情報が予め記憶された外部情報記憶手段と、前記外部情報取得手段により取得された外部情報が前記特定の外部情報と一致しているか否かを判定するとともに、一致していないと判定したときは前記コンテンツの再生を継続し、一致すると判定したときは取得された外部情報を前記映像表示手段及び前記音声出力手段の少なくとも一方に出力する制御手段とを備え、前記外部情報取得手段は、外部映像を撮像する撮像手段と、外部音声を集音する集音手段とを有するとともに、前記外部情報記憶手段には、前記特定の外部情報として記憶された映像情報の内容を音声化した音声データと、前記特定の外部情報として記憶された音声情報をテキスト化したテキストデータとが記憶されており、前記制御手段は、前記一致すると判定した場合に、映像重視の前記コンテンツが再生されているときは、前記音声データを前記音声出力手段へ出力し、音声重視の前記コンテンツが再生されているときは、前記テキストデータを前記映像表示手段へ出力することを特徴とする。

前記外部情報記憶手段には、前記使用者の指の映像が予め記憶されており、前記制御手段は、前記撮像手段により取得された外部映像に前記指の映像が含まれている場合に、この指の映像を前記映像表示手段に出力するとともに、前記映像表示手段に表示されている前記指の移動を追跡する追跡手段と、前記追跡手段の追跡結果に基づき、前記映像表示手段に表示されている画面に描かれた描画像を認識し、この認識結果と、前記コンテンツの再生映像の中で前記描画像が描かれた画面、及びこの画面内における前記描画像の描画位置をそれぞれ特定するための特定情報とをメモリに記憶させる記憶制御手段と、前記記憶制御手段による記憶処理後に前記コンテンツを再生する場合、前記メモリから読み出した前記認識結果及び前記特定情報に基づき、前記描画像が描かれた画面と同一の画面内の、前記描画位置と同一の位置に前記描画像を合成して前記映像表示手段に表示させる描画像合成手段とを備えることが好ましい。

また、本発明のヘッドマウントディスプレイのコンテンツ再生方法は、使用者の視野に映像を表示する映像表示部と、音声を出力する音声出力部と、前記使用者の周りの外部情報を取得する外部情報取得部と、特定の外部情報を予め記憶した外部情報記憶部とを備え、前記使用者の頭部に装着して映像及び音声からなるコンテンツを再生するとともに、前記外部情報取得部により取得された外部情報が前記特定の外部情報と一致していないと判定したときは前記コンテンツの再生を継続し、一致すると判定したときは前記取得された外部情報を前記映像表示部及び前記音声出力部の少なくとも一方に出力するヘッドマウントディスプレイのコンテンツ再生方法において、前記外部情報取得部は、前記使用者の周りの外部映像及び外部音声を取得するとともに、前記外部情報記憶部に、前記特定の外部情報として記憶された映像情報の内容を音声化した音声データと、前記特定の外部情報として記憶された音声情報をテキスト化したテキストデータとを予め記憶させておき、前記一致すると判定した場合に、映像重視の前記コンテンツを再生しているときは前記音声データを前記音声出力部へ出力し、音声重視のコンテンツを再生しているときは前記テキストデータを前記映像表示部へ出力すること特徴とする。

前記外部情報記憶部には、前記使用者の指の映像が予め記憶されており、前記外部情報取得部により取得された外部映像に前記指の映像が含まれている場合に、この指の映像を前記映像表示部に出力する出力ステップと、前記映像表示部に表示されている前記指の移動を追跡する追跡ステップと、前記追跡ステップの追跡結果に基づき、前記映像表示部に表示されている画面に描かれた描画像を認識し、この認識結果と、前記コンテンツの再生映像の中で前記描画像が描かれた画面、及びこの画面内における前記描画像の描画位置をそれぞれ特定するための特定情報とをメモリに記憶させる記憶ステップと、前記記憶ステップ後に前記コンテンツを再生する場合、前記メモリから読み出した前記認識結果及び前記特定情報に基づき、前記描画像が描かれた画面と同一の画面内の、前記描画位置と同一の位置に前記描画像を合成して前記映像表示部に表示させる描画像合成ステップとを有することが好ましい。

本発明のヘッドマウントディスプレイ及びそのコンテンツ再生方法は、予め登録された特定の外部情報が入力されたときに、この入力された外部情報をヘッドマウントディスプレイに設けられた映像表示手段及び音声出力手段の少なくともいずれか一方に出力するようにしたので、使用者がコンテンツの鑑賞に専念できるという利点がある。

図１は、本発明を実施したＨＭＤ１０の外観斜視図である。図１に示すようにＨＭＤ１０はゴーグル型の形状をしており、映像を表示するための表示器１１と、この表示器１１を使用者の頭部に装着するための頭部装着器１２とが一体に形成されている。また、このＨＭＤ１０には、別体でＨＭＤ１０を制御するコントロールボックス１４がケーブル１５ａを介して接続され、さらに、コントロールボックス１４には、ＤＶＤプレイヤー１６がケーブル１５ｂを介して接続されている。ＨＭＤ１０は、ＤＶＤプレイヤー１６からケーブル１５ａ，１５ｂ及びコントロールボックス１４を介して入力された再生用映像信号に基づく映像コンテンツと、再生用音声信号に基づく音声コンテンツとを再生する。

表示器１１は、使用者の眼前を覆うように形成された表示器本体１８と、表示器本体１８前面の両端部に設けられ、ＨＭＤ１０装着時に周囲の外部映像を撮像するＣＣＤカメラ（以下、単にＣＣＤという）１９と、ＨＭＤ１０装着時に使用者の両眼にそれぞれ近接するように表示器本体１８に設けられ、前記映像コンテンツや外部映像を表示する液晶表示画面（以下、単にＬＣＤという）２０とから構成される。なお、本実施形態では、ＣＣＤ１９は表示器本体１８前面両端部にそれぞれ設けられているが、これに限らず、例えば表示器本体１８前面の中央部に１個だけ設けてもよい。

頭部装着器１２は、表示器１１が取り付けられている装着器本体２２と、この装着器本体２２の両側面に設けられ、ゴーグルのテンプル（耳かけ）に相当する装着腕２３と、両装着腕２３に設けられ、周囲の外部音声を集音するマイク２４及び前記音声コンテンツや外部音声を音声出力するイヤホン２５とから構成される。さらに、この頭部装着器１２には、詳しくは後述するが、電話や他の家電製品などの所定の外部機器の動作状態を通知する通知信号を受信するアンテナ２６が設けられている。この通知信号は、外部機器から直接、またはホームサーバなどを経由して発信される。なお、本実施形態では、マイク２４は装着腕２３にそれぞれ１個ずつ設けられているが、これに限定されるものではなく、例えば、表示器本体１８の両側面や、ＨＭＤ１０とは別体に設けられてもよい。

次に、ＨＭＤ１０の電気的な構成を図２に示したブロック図を用いて説明する。図２に示すように、ＨＭＤ１０には、上述したＣＣＤ１９、ＬＣＤ２０、マイク２４、イヤホン２５の他に、外部映像入力端子２８、入力映像処理回路２９、外部音声入力端子３１、入力音声処理回路３２、映像処理回路３５、音声認識回路３６、無線受信回路３７、システムコントローラ３９、条件登録用メモリ４１、ＬＣＤドライバ４３、サウンドドライバ４４などが設けられている。

外部映像入力端子２８には、図１に示したケーブル１５ａの映像出力端子（図示せず）が接続され、ＤＶＤプレイヤー１６から送られてくる再生用映像信号が入力される。入力された再生用映像信号は、入力映像処理回路２９によって再生用映像データにデジタル化された後、γ補正、ホワイトバランス補正などの各種映像処理が施される。また、外部音声入力端子３１にも同様に、ケーブル１５ａの音声出力端子（図示せず）が接続され、ＤＶＤプレイヤー１６からの再生用音声信号が入力される。入力された再生用音声信号は、入力音声処理回路３２によって再生用音声データにデジタル化された後、ノイズ除去処理などの各種音質調整処理が施される。そして、各種処理が施された再生用映像データ及び再生用音声データは、それぞれシステムコントローラ３９に送られる。

映像処理回路３５はＣＣＤ１９に接続され、このＣＣＤ１９によって撮像された外部映像の撮像信号を外部映像データにデジタル化するとともに、前記各種映像処理を施す。また、音声認識回路３６はマイク２４に接続され、このマイク２４によって集音された外部音声を音声認識して外部音声データにデジタル化するとともに、前記各種音質調整を施す。さらに、無線受信回路３７は、アンテナ２６に接続され、前記所定の外部機器から送信された通知信号を受信し、この通知信号から外部機器の種類、動作状態を解析し、得られた結果を外部機器データとして生成する。そして、これらの各種データも前記各再生用データと同様に、それぞれシステムコントローラ３９に送られる。

システムコントローラ３９は、図示は省略するが、ＣＰＵ、ワークＲＯＭ、ワークＲＡＭなどからなり、コントロールボックス１４からの指令に基づいてＨＭＤ１０全体の動作を統括制御する。このシステムコントローラ３９には、上述したように、再生用映像データ、再生用音声データなどのコンテンツ再生用データの他に、外部映像データ、外部音声データ、外部機器データなどの外部情報データが送られてくる。従って、これらの取得された外部情報をＬＣＤ２０に表示、またはイヤホン２５から音声出力することで、使用者はコンテンツ鑑賞中に外部情報を把握することができるが、上述したようにコンテンツ再生用データと外部情報データとが同時に再生されると、使用者はコンテンツの鑑賞に集中できない。そのため、本実施形態では、特定の外部情報データを登録した登録外部情報データを予め作成しておくとともに、システムコントローラ３９は、取得された外部情報データが登録外部情報データに登録されたものであるか否かを判定し、登録されている外部情報データのみを使用者に通知する。そのため、このシステムコントローラ３９には前記ＣＰＵなどの他に、条件判定回路４６、バッファメモリ４７、出力映像制御回路４９、出力音声制御回路５０などが設けられている。

条件判定回路４６は、取得された外部情報データが登録外部情報データに登録されたものであるか否かを判定する。そのため、この条件判定回路４６には、映像処理回路３５、音声認識回路３６、無線受信回路３７の他に、登録外部情報データを記憶した条件登録用メモリ４１と、バッファメモリ４７とが接続されている。

次に、この条件登録用メモリ４１内に記憶された登録外部情報データの登録例を図３に示す。なお、本発明はこれに限定されるものではない。図３に示すように、登録外部情報データには、特定の被写体の映像を登録した登録映像データ欄と、特定の音声を集音して登録した登録音声データ欄と、特定の外部機器からの通知信号を登録した登録外部機器データ欄とが設けられている。

登録映像データ欄には、例えば親兄弟、知人などの顔などを撮像した「特定の人物」、人物以外の被写体として、例えば頻繁に利用する電車やバスなどを撮像した「特定の被写体」等が登録されている。また、登録音声データ欄には、例えば使用者の名前を音声認識した「使用者の名前」、親兄弟、知人などの音声を音声認識した「特定の人物の声」、携帯電話やパーソナルコンピュータ（以下、単にＰＣという）などの電子メールの着信音を音声認識した「メール着信」、電話の着信音を音声認識した「電話」、玄関の呼び鈴の音を音声認識した「玄関の呼び鈴」、特定の家電製品の動作音や異常音を音声認識した「家電の動作音」等が登録されている。さらに、登録外部機器データ欄には、ＰＣへのメールの着信を通知する「ＰＣへのメール着信」、電話の着信を通知する「電話着信」、特定の家電製品の動作状況や異常を通知する「家電の動作状況」等が登録されている。なお、図示は省略するが登録外部機器データ欄に登録された外部機器データには、それぞれの通知信号の内容をＬＣＤ２０に表示するための通知用テキストデータや、その内容をイヤホン２５から音声出力するための通知用音声データが関連付けられて登録されている。

条件登録用メモリ４１内に登録された各登録データは、使用者により任意のデータの追加または削除をすることができる。例えば、登録データを追加する場合には、コントロールボックス１４を操作してＨＭＤ１０の動作モードをデータ登録モードなどに変更し、その際に撮像された映像、集音された音声、受信した通知信号を条件登録用メモリ４１に登録する。逆に登録データを削除する場合には、コントロールボックス１４を操作して条件登録用メモリ４１から所定の登録データを削除すればよい。また、コントロールボックス１４用いる代わりに、ＨＭＤ１０に接続された外部ＰＣ（図示せず）を用いて登録データの追加または削除をしてもよく、さらに、ＣＣＤ１９により撮像された映像やマイク２４により集音された音声以外に、この外部ＰＣ内に予め記憶されている映像や音声などを登録してもよい。

条件判定回路４６は、各回路３５，３６，３７からの外部情報データが入力されると、条件登録用メモリ４１内の登録外部情報データを検索して、これらが登録されているデータと一致するか否かを判定する。そして、一致していると判定されたときには、外部情報データのうち外部映像データは出力映像制御回路４９に送られ、外部音声データは出力音声制御回路に送られる。バッファメモリ４７は、例えば数秒程度の外部情報データを記憶できる容量を備えており、条件判定回路４６から送られる新しい外部情報データを古い外部情報データと置き換える。これにより、常に直近の数秒間の外部情報データを一時的にバッファメモリ４７に記憶することができる。その結果、詳しくは後述するが、必要に応じて記憶された外部情報データをバッファメモリ４７から読み出して、ＬＣＤ２０またはイヤホン２５から再生させることができる。なお、入力された外部情報データが外部機器データの場合には、この通知信号に対応した前記通知用テキストデータまたは前記通知用音声データがそれぞれ各出力制御回路４９，５０に送られるとともに、バッファメモリ４７に記憶される。

出力映像制御回路４９には、入力映像処理回路２９において映像処理された再生用映像データと、条件判定回路４６より送られた外部映像データまたは通知用テキストデータとが入力される。出力映像制御回路４９は、コンテンツ再生中は、再生用映像データのみをＬＣＤドライバ４３に出力するため、ＬＣＤ２０には映像コンテンツのみが再生される。なお、ＬＣＤドライバ４３は入力された映像データ（通知用テキストデータを含む）をアナログ映像信号に変換してＬＣＤ２０に表示させる。そして、条件判定回路４６から外部映像データまたは通知用テキストデータが入力されたときには、出力映像制御回路４９は再生用映像データの出力を一旦停止して、代わりに外部映像データまたは通知用テキストデータをＬＣＤドライバ４３を介してＬＣＤ２０に表示させる。これにより、使用者はコンテンツを鑑賞している最中でも、登録映像データ欄に登録されている親兄弟や電車などが近くに来たことを知ることができる。また、通知用テキストデータの内容が表示された場合には、対応する外部機器の動作状態を知ることができる。

出力音声制御回路５０には、入力音声処理回路３２において音質調整処理された再生用音声データと、条件判定回路４６より送られた外部音声データまたは通知用音声データとが入力される。出力音声制御回路５０も出力映像制御回路４９と同様に、コンテンツ再生中は再生用音声データのみをサウンドドライバ４４に出力するため、イヤホン２５には音声コンテンツのみが音声出力される。なお、サウンドドライバ４４は、入力された音声データ（通知用音声データを含む）をアナログ音声信号に変換してイヤホン２５から音声出力する。そして、条件判定回路４６から外部音声データまたは通知用音声データが入力されたときには、出力音声制御回路５０は再生用音声データの出力を一旦停止して、代わりに外部音声データまたは通知用音声データを出力する。これにより、使用者はコンテンツを鑑賞している最中でも、登録音声データ欄に登録しておいた自分の名前が呼ばれたことや、電話の呼出音などが鳴っていることに気づくことができる。また、通知用音声データの内容が音声出力された場合には、対応する外部機器の動作状態を知ることができる。

次に本実施形態の作用について図４を用いて説明する。ＨＭＤ１０を頭に装着してコンテンツを鑑賞しているときには、上述したようにＬＣＤ２０には映像コンテンツが表示され、また、イヤホン２５からは音声コンテンツが音声出力される。同時にＨＭＤ１０には、ＣＣＤ１９によって撮像された外部映像データ、マイク２４により集音した音声を音声認識した外部音声データ、アンテナ２６を介して受信した外部機器データなどの外部情報データが入力される。

入力された外部情報データは、システムコントローラ３９内の条件判定回路４６に送られる。外部情報データが入力されると、条件判定回路４６は条件登録用メモリ４１内の登録外部情報データを検索して、入力された外部情報データが登録されているデータと一致している否かを判定する。そして、一致していると判定された外部情報データは、それぞれ出力映像制御回路４９、出力音声制御回路５０に送られる。或いは、バッファメモリ４７に記憶された過去数秒間の外部情報データを先に出力することができ、この場合は一致していると判定された瞬間の前後の外部情報が再生されるため、使用者が見逃したり、或いは聞き漏らしたりすることを防止できる。

各出力制御回路４９，５０に外部情報データが入力されると、コンテンツの再生が一旦停止される。そして、出力映像制御回路４９は、入力された外部情報データのうち外部映像データまたは通知用テキストデータをＬＣＤドライバ４３に出力して、外部映像または通知用テキストをＬＣＤ２０に表示させる。また、出力音声制御回路５０は、外部音声データまたは通知用音声データをサウンドドライバ４４に出力して、外部音声または通知用音声をイヤホン２５から音声出力させる。これにより、使用者は、コンテンツ鑑賞中、つまり視界が遮られ、且つ両耳が塞がれている状況でも必要な外部情報を容易に把握することができる。さらに、コンテンツ再生中には、特許文献１記載のＨＭＤとは異なり外部情報が一切表示または音声出力されないので、使用者はコンテンツの鑑賞に集中することができる。なお、使用者が必要な外部情報を把握した後に、コンテンツの鑑賞を継続する場合には、上述の処理を繰り返して行えばよい。

なお、本実施形態では、外部情報を取得する外部情報取得手段として、ＨＭＤ１０にはＣＣＤ１９、マイク２４、及びアンテナ２６が設けられているが、本発明はこれらのうちの少なくとも一つが設けられていればよい。また、ＣＣＤ１９やマイク２４などをＨＭＤ１０に設ける代わりに、例えば、ＨＭＤ１０に接続されたカメラ付き携帯電話や、室内または屋外に設置された監視用カメラや監視用マイクから無線ＬＡＮなどを経由して外部情報を取得するようにしてもよい。

また、本実施形態では、外部映像データ或いは通知用テキストデータをＬＣＤ２０に再生する際には映像コンテンツの再生を停止したが、本発明はこれに限定されるものではなく、出力映像制御回路において、再生用映像データと外部映像データ或いは通知用テキストデータとを合成し、ＬＣＤ２０に表示される映像コンテンツの一部に、任意のサイズに縮小した外部映像または通知用テキストを合成表示してもよい。さらに、外部映像データを合成表示する際には、撮像された被写体の距離に応じて、合成される外部映像のサイズを変えてもよい。例えば、被写体が遠くにある場合には合成される外部映像のサイズを小さくして、この被写体が使用者に近づくにつれて、そのサイズを大きくしてもよい。また、映像コンテンツの一部に外部映像を合成表示する代わりに、映像コンテンツを縮小して外部映像または通知用テキストの一部に合成表示してもよい。

なお、本実施形態では、ＣＣＤ１９によって撮像された外部映像、マイク２４によって集音された外部音声、及びアンテナ２６によって受信された外部通知信号を外部情報データとして取得するようにしたが、本発明はこれら３つのデータに限定されるものではなく、例えば、使用者の周りの公共の施設や乗り物などから発信される公共情報、或いは使用者の位置情報などを外部情報として取得してもよい。この場合には、公共情報を取得する公共情報取得手段や、使用者の位置情報を取得する位置情報取得手段をＨＭＤ１０に設ける。そして、特定の公共情報を取得したとき、または、取得した位置情報に基づいて特定の場所に近づいたときに、コンテンツの再生を停止して外部情報を使用者に通知する。

特定の公共情報を受信したときに、この公共情報の内容を使用者に通知するため、前記公共情報取得手段としてアンテナ２６を用いるとともに、図５（ａ）に示したように、取得する公共情報の種類を登録した登録公共情報データ欄を前記登録外部情報データ内に設ける。この登録公共情報データ欄内には、例えば公共情報を取得する場所を登録した場所欄、取得する公共情報の種類を登録した情報の種類欄、コンテンツの再生を停止させて使用者に外部情報を通知する条件を登録した通知条件欄などが設けられている。なお、取得する公共情報の種類としては、例えば、駅構内において電車の到着までの時間や距離などを通知する運行情報や、横断歩道において信号が青信号または赤信号になっているかを通知する信号情報などがある。また、当然のことながら、駅構内や横断歩道には、個々の情報を発信するための発信機を予め設置しておく。

運行情報を取得する場合の登録公共情報データ欄の登録例としては、図５（ａ）に示すように、場所欄には「駅構内」を登録し、情報の種類欄には「運行情報」を登録し、通知条件欄には電車の到着Ｔ分前になったとき、或いは駅からＬｋｍ手前に電車が来たときに、使用者に電車が来たことを通知できるように「電車到着までＴ分／Ｌｋｍ手前」を登録しておく。これにより、駅構内においてコンテンツを鑑賞している場合でも、電車到着までＴ分前、或いはＬｋｍ手前まで来たという運行情報を受信したときには、コンテンツの再生を一旦停止して、ＬＣＤ２０の表示映像とイヤホン２５の出力音声とを、それぞれ外部の映像と音声とに切り替えることができる。また、外部の映像と音声とに切り替える代わりに、例えば「電車が近くに来ています」というテキストデータまたは音声データを再生してもよい。その結果、電車の到着を気にすることなく、その到着間近までコンテンツの鑑賞に集中できる。なお、電車の乗り過ごしを防止するために、前記登録音声データ欄に電車がホームに進入する際の警告アナウンスなどを予め登録しておくことが好ましい。

信号情報を取得する場合の登録例としては、場所欄に「信号機」を登録し、情報の種類欄には「信号情報」を登録し、通知条件欄には信号が赤信号になっていることを使用者に通知できるように「赤信号」を登録しておく。これにより、横断歩道の近辺でコンテンツを鑑賞中に、赤信号になっているという信号情報を受信したときにはコンテンツの再生を一旦停止して、ＬＣＤ２０の表示映像とイヤホン２５の出力音声とを、それぞれ外部の映像と音声とに切り替えることができる。また、外部の映像及び音声に切り替える代わりに、例えば「赤信号になっています」というテキストデータまたは音声データを再生してもよい。なお、信号が赤信号になっていることを使用者に強調するために、信号が赤信号になったときには、ＣＣＤ１９によって撮像された赤信号の赤色の部分をＬＣＤ２０に拡大表示するとともに、その映像に「赤信号」というテキストを合成表示することが好ましい。

使用者の位置情報に基づいて、特定の場所に近づいたということを使用者に通知するために、ＨＭＤ１０は使用者の位置情報を取得する。この位置情報を取得する位置情報取得手段としては、ＨＭＤ１０にＧＰＳ（Global Positioning System ) 用アンテナ（図示せず）を設けてもよいが、本発明のＨＭＤ１０は電車や飛行機などの乗り物で移動している間においての使用が多くなる。そのため、これらの電車や飛行機にその位置情報を発信する位置情報発信機（図示せず）を予め設置しておき、この位置情報発信機から発信される位置情報をアンテナ２６を用いて受信する。また、図５（ｂ）に示したような、使用者の目的地を登録した登録目的地データ欄を登録外部情報データ内に設ける。この登録目的地データ欄には、例えば、乗り物の種類を登録した乗り物欄、使用者の目的地を登録した目的地欄、登録された目的地に近づいたときに、コンテンツの再生を停止させて使用者に外部情報を通知する条件を登録した通知条件欄が設けられている。

例えば、電車内でコンテンツを鑑賞する場合には、乗り物欄には「電車」を登録し、目的地欄には降車予定駅「Ａ駅」とその位置情報を登録し、通知条件欄にはＡ駅までＬｋｍになったときに、使用者に降車予定駅が近づいたことを通知できるように「降車予定駅到着までＬｋｍ手前」を登録しておく。これにより、電車に乗りながらコンテンツを鑑賞している場合でも、電車とＡ駅との位置情報に基づいてＡ駅までＬｋｍになったことが検出されたときには、コンテンツの再生を一旦停止して、ＬＣＤ２０の表示映像とイヤホン２５の出力音声とを、それぞれ外部の映像と音声とに切り替えることができる。また、外部の映像及び音声に切り替える代わりに、例えば「間もなくＡ駅です」というテキストデータまたは音声データを再生してもよい。その結果、使用者は、降車駅を気にすることなく、その駅に到着する間近までコンテンツの鑑賞に集中することができる。また、電車に無線などの通信手段を備え、例えばＡ駅までＴ分前となったときに当該通信手段からＨＭＤ１０にその旨の情報を送るようにしてもよい。このとき、ＨＭＤ１０でコンテンツの再生を一時停止することで、使用者に目的地が近くなったことを通知することができる。

なお、本実施形態では、コンテンツの再生を停止して、ＬＣＤ２０の表示映像を外部映像に切り替える、或いはイヤホン２５から出力される音声を外部音声に切り替えることによって、使用者に外部情報を通知させるようにしたが、本発明はこれに限定されるものではなく、再生しているコンテンツの内容に応じてその通知形態を変えてもよい。例えば、写真集などの映像を主目的とする映像コンテンツを再生しているときには、表示映像を外部映像に切り替えるのではなく、映像コンテンツの再生を続けた状態で、この外部映像の内容を音声で通知してもよい。また、音楽などの音声を主目的とする音声コンテンツを再生しているときには、出力音声を外部音声に切り替えるのではなく、この外部音声の内容をＬＣＤ２０にテキストで表示してもよい。この場合には、予め登録映像データ内に登録された各映像データに、その映像の内容を音声化した音声データを関連付けて記憶させておくとともに、登録音声データ内に登録された各音声認識結果に、その音声認識結果の内容をテキスト化したテキストデータを関連付けて記憶させておけばよい。

また、本実施形態では、ＣＣＤ１９は外部映像を撮像するためだけに用いられているが、本発明はこれに限定されるものではなく、コンテンツを鑑賞しながら、前記コントロールボックス１４や、任意の外部機器を制御するリモートコントローラ（以下、単にリモコンという）などを操作するのに用いてもよい。

この場合には、例えばエアコン制御用のリモコン５２（図６参照）の映像をＣＣＤ１９を用いて撮像して、前記登録映像データ欄に登録しておく。そして、このリモコン５２が撮像されたときには、ＬＣＤ２０に表示される映像を外部映像に切り替えるのではなく、上述したように、映像コンテンツの一部に外部映像を合成表示させる。これにより、コンテンツ鑑賞中に部屋の温度を変えたい場合には、使用者はリモコン５２が設置されている方向に顔を向けることで、図６に示すように、映像コンテンツ５３の一部にリモコン５２及びその周囲の映像が縮小表示される。その結果、使用者はＨＭＤ１０を外すことなく、コンテンツを鑑賞しながらリモコン５２を操作することができる。また、リモコン５２の代わりにコントロールボックス１４の映像を登録した場合には、コンテンツを鑑賞しながらでも簡単にコントロールボックス１４を操作することができる。

さらに、例えばＨＭＤ１０をＰＣ（図示せず）に接続し、このＨＭＤ１０をＰＣのモニタ（図示せず）代わりに使用して、ワープロ作業などを行う場合には、予めキーボード５４（図７参照）の映像を登録映像データ欄に登録しておくことで、例えば図７に示すように、ワープロ作業画面５５にキーボード５４及びその周囲の映像を合成表示することができる。キーボード５４とワープロ作業画面５５とが同一画面上に表示され、使用者の視線移動角度が小さくなるため、ブラインドタッチができない人でも、文字入力の効率を上げることができる。なお、図７に示したように、ワープロ作業画面５５にキーボード５４の映像を合成表示する代わりに、キーボード５４の映像中に、ワープロ作業画面５５の文字入力エリア（図示せず）の映像を合成して文字入力を行うようにしてもよい。

上述のリモコン操作やワープロ文字入力は、例えば以下のようにして行うことができる。まづ、使用者の指にマニキュアを塗って予め登録映像データに登録しておく。そして、この指がＣＣＤ１９により撮像されたときには、マニキュアの色を検出して、ＬＣＤ２０に表示されている映像コンテンツに指の映像を合成表示させるとともに、マニキュアが塗られている箇所の移動を追跡させる。これにより、システムコントローラ３９は、ＬＣＤ２０に合成表示されている指の移動を追跡することができる。また、指の映像を合成表示させる他に、予め登録しておいたコントロールボックス１４などの操作機器の映像を映像コンテンツの一部に合成表示させる。その結果、合成表示されたコントロールボックス１４の映像に、使用者の指の映像を重ねることで、実際にコントロールボックス１４を操作することなくＨＭＤ１０を操作することができる。例えば、コントロールボックス１４の音量制御部（図示せず）の映像に指の映像が重なるように指を移動させれば、イヤホン２５から出力される音声の音量を変えることができる。さらに、例えば上述したリモコン操作やワープロ作業を行う場合には、指の移動を追跡することによって温度調整や文字入力を行うことができる。

また、ワープロ作業中だけではなく、再生中の映像コンテンツの任意の画面に、文字を手書き入力することができる。この場合には、例えば図８に示すように、ＬＣＤ２０に表示されている映像コンテンツ５３の再生を任意の画面で一時停止させる。そして、マニキュアが塗られた指５７を用いて文字を画面内の任意の位置に手書き入力する。なお、文字を入力する代わりに、絵などを手書き入力してもよい。入力された文字の文字情報や、映像コンテンツ内のどの場面のどの位置に入力されたかという入力情報は、ＨＭＤ１０本体内に設けられたメモリに記憶される。そして、次回の映像コンテンツ再生時には、このメモリに記憶された文字情報と入力情報とを読み込んで、入力された文字を同一場面内の同一位置に合成表示することができる。これにより、ＰＣ及び市販の映像編集ソフトなどを用いることなく、映像コンテンツに文字や絵などを合成させることができる。

本発明は、ＨＭＤに限定されるものではなく、使用者の頭部に装着して映像や音声などのコンテンツを再生するゴーグル型の各種表示装置に適用することができる。

本発明を実施したＨＭＤの外観斜視図である。ＨＭＤの電気的構成を示したブロック図である。ＨＭＤに記憶された登録外部情報データの登録例を示した概略図である。コンテンツ再生中のＨＭＤにおいて外部情報が入力されたときの処理を示したフローである。登録外部情報データの他の登録例を示した概略図である。ＨＭＤを用いてコンテンツを鑑賞しながらリモコン操作を行う実施例を示した概略図である。ＨＭＤを用いてワープロ作業を行う際に、文書作成画面にキーボードの実写映像を合成表示した実施例を示した概略図である。ＨＭＤにおいて再生中の映像コンテンツの任意の画面に、文字を手書き入力することができるようにした実施例を示した概略図である。

符号の説明

１０ＨＭＤ
１４コントロールボックス
１９ＣＣＤ
２０ＬＣＤ
２４イヤホン
２５マイク
２６アンテナ
２９入力映像処理回路
３２入力音声処理回路
３５映像処理回路
３６音声認識回路
３７無線受信回路
３９システムコントローラ
４６条件判定回路
４７バッファメモリ
４９出力映像制御回路
５０出力音声制御回路

Claims

使用者の視野に映像を表示する映像表示手段と、音声を出力する音声出力手段とを備え、前記使用者の頭部に装着して映像及び音声からなるコンテンツを再生するヘッドマウントディスプレイにおいて、
前記使用者の周りの外部情報を取得する外部情報取得手段と、
特定の外部情報が予め記憶された外部情報記憶手段と、
前記外部情報取得手段により取得された外部情報が前記特定の外部情報と一致しているか否かを判定するとともに、一致していないと判定したときは前記コンテンツの再生を継続し、一致すると判定したときは取得された外部情報を前記映像表示手段及び前記音声出力手段の少なくとも一方に出力する制御手段とを備え、
前記外部情報取得手段は、外部映像を撮像する撮像手段と、外部音声を集音する集音手段とを有するとともに、
前記外部情報記憶手段には、前記特定の外部情報として記憶された映像情報の内容を音声化した音声データと、前記特定の外部情報として記憶された音声情報をテキスト化したテキストデータとが記憶されており、
前記制御手段は、前記一致すると判定した場合に、映像重視の前記コンテンツが再生されているときは、前記音声データを前記音声出力手段へ出力し、音声重視の前記コンテンツが再生されているときは、前記テキストデータを前記映像表示手段へ出力することを特徴とするヘッドマウントディスプレイ。
前記外部情報記憶手段には、前記使用者の指の映像が予め記憶されており、前記制御手段は、前記撮像手段により取得された外部映像に前記指の映像が含まれている場合に、この指の映像を前記映像表示手段に出力するとともに、
前記映像表示手段に表示されている前記指の移動を追跡する追跡手段と、
前記追跡手段の追跡結果に基づき、前記映像表示手段に表示されている画面に描かれた描画像を認識し、この認識結果と、前記コンテンツの再生映像の中で前記描画像が描かれた画面、及びこの画面内における前記描画像の描画位置をそれぞれ特定するための特定情報とをメモリに記憶させる記憶制御手段と、
前記記憶制御手段による記憶処理後に前記コンテンツを再生する場合、前記メモリから読み出した前記認識結果及び前記特定情報に基づき、前記描画像が描かれた画面と同一の画面内の、前記描画位置と同一の位置に前記描画像を合成して前記映像表示手段に表示させる描画像合成手段とを備えることを特徴とする請求項１記載のヘッドマウントディスプレイ。
使用者の視野に映像を表示する映像表示部と、音声を出力する音声出力部と、前記使用者の周りの外部情報を取得する外部情報取得部と、特定の外部情報を予め記憶した外部情報記憶部とを備え、前記使用者の頭部に装着して映像及び音声からなるコンテンツを再生するとともに、前記外部情報取得部により取得された外部情報が前記特定の外部情報と一致していないと判定したときは前記コンテンツの再生を継続し、一致すると判定したときは前記取得された外部情報を前記映像表示部及び前記音声出力部の少なくとも一方に出力するヘッドマウントディスプレイのコンテンツ再生方法において、
前記外部情報取得部は、前記使用者の周りの外部映像及び外部音声を取得するとともに、
前記外部情報記憶部に、前記特定の外部情報として記憶された映像情報の内容を音声化した音声データと、前記特定の外部情報として記憶された音声情報をテキスト化したテキストデータとを予め記憶させておき、
前記一致すると判定した場合に、映像重視の前記コンテンツを再生しているときは前記音声データを前記音声出力部へ出力し、音声重視のコンテンツを再生しているときは前記テキストデータを前記映像表示部へ出力すること特徴とするヘッドマウントディスプレイのコンテンツ再生方法。
前記外部情報記憶部には、前記使用者の指の映像が予め記憶されており、
前記外部情報取得部により取得された外部映像に前記指の映像が含まれている場合に、この指の映像を前記映像表示部に出力する出力ステップと、
前記映像表示部に表示されている前記指の移動を追跡する追跡ステップと、
前記追跡ステップの追跡結果に基づき、前記映像表示部に表示されている画面に描かれた描画像を認識し、この認識結果と、前記コンテンツの再生映像の中で前記描画像が描かれた画面、及びこの画面内における前記描画像の描画位置をそれぞれ特定するための特定情報とをメモリに記憶させる記憶ステップと、
前記記憶ステップ後に前記コンテンツを再生する場合、前記メモリから読み出した前記認識結果及び前記特定情報に基づき、前記描画像が描かれた画面と同一の画面内の、前記描画位置と同一の位置に前記描画像を合成して前記映像表示部に表示させる描画像合成ステップとを有することを特徴とする請求項３記載のヘッドマウントディスプレイのコンテンツ再生方法。