JP5262688B2 - プレゼンテーションシステム及びそのプログラム - Google Patents

Description

本発明は、プレゼンテーションシステム及びそのプログラムの技術に関する。詳細には、外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射して当該ユーザに前記画像光に応じた画像を視認させるシースルー型のヘッドマウントディスプレイを用いたプレゼンテーションシステム及びそのプログラムの技術に関する。

近年、各種会議や商品展示会等において、コンピュータと表示装置（例えば、プロジェクタや大型ディスプレイ）とを接続し、コンピュータから出力される画像信号に応じた画像を表示装置で表示して、発表者が多人数の聴衆に向けてプレゼンテーションを行うことが多くなってきている。

この種のプレゼンテーションでは、発表者は手元においた台本や関連資料（以下、補助資料とする）を見つつ、プロジェクタなどの表示装置で表示されたプレゼンテーション画像の該当箇所をレーザポインタ等で指示しながらプレゼンテーションを進行させることが多い。

しかしながら、手元においた補助資料を見ながらのプレゼンテーションでは、発表者が一定の場所に留まらなくてはならない場合が多く、発表者の動きが制限されてしまう。また、補助資料を確認する必要がある際、聴衆から目を離さなければならないといった課題もある。

そこで、表示装置で表示されたプレゼンテーション画像に応じた補助資料の画像を発表者の眼に投影して、プレゼンテーションの進行に応じた補助資料を発表者に視認させることができるヘッドマウントディスプレイが提案されている（特許文献１参照）。
特開２００２−１６５１５６号公報

しかしながら、上記特許文献１では、表示装置で表示されたプレゼンテーション画像毎に補助資料を表示する。従って、現在説明しているプレゼンテーション画像との対応箇所を表示している補助資料から探すのに手間が掛かる。

例えば、多数の図表が含まれるプレゼンテーション画像がスクリーンに投影されているとき、各図表にそれぞれ対応する補助資料がヘッドマウントディスプレイで一度に表示されることになる。よって、発表者は説明したい図表の説明箇所を多数の補助資料から見つけ出さなければならず、プレゼンテーションを円滑に行うことができない虞がある。

そこで、本発明は、表示装置で表示しているプレゼンテーション画像の説明資料のうち、発表者が必要とする説明資料を発表者に提示するための補助画像として、ヘッドマウントディスプレイにより発表者の眼に投影することができるプレゼンテーションシステムを提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明では、外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射して当該ユーザに前記画像光に応じた画像を視認させるシースルー型のヘッドマウントディスプレイを有するプレゼンテーションシステムにおいて、プレゼンテーション画像を表示するための第１の表示情報と、前記プレゼンテーション画像内の領域に関連付けた補助画像を表示するための第２の表示情報と、を含むプレゼンテーションデータを記憶する記憶手段と、前記第１の表示情報に基づくプレゼンテーション画像を表示する表示装置と、前記表示装置に表示されたプレゼンテーション画像上の領域のうち、ユーザにより指示された回数が単位時間当たり所定回数以上となった領域の座標を、前記指示された領域の座標として検出する検出手段と、前記検出手段の検出結果に基づき、前記プレゼンテーション画像の領域のうち、前記補助画像が関連付けられた領域がユーザにより指示されたと判定すると、当該指示された領域に関連付けられた補助画像を表示するための第２の表示情報を選択する選択手段と、前記選択手段により選択された第２の表示情報を前記記憶手段から読み出して、前記ヘッドマウントディスプレイに表示させる表示制御手段と、を備えたプレゼンテーションシステムとした。

また、請求項２に記載の発明では、請求項１に記載のプレゼンテーションシステムにおいて、前記検出手段は、前記指示された時間が所定時間以上となった領域の座標を、前記指示された領域の座標として検出することとした。

また、請求項３に記載の発明では、請求項１又は２に記載のプレゼンテーションシステムにおいて、前記表示装置は、前記第１の表示情報に基づくプレゼンテーション画像を投影するプロジェクタであることとした。

また、請求項４に記載の発明では、請求項３に記載のプレゼンテーションシステムにおいて、前記ヘッドマウントディスプレイに固定され、ユーザの前方を撮像する撮像部を備え、前記検出手段は、前記撮像部から出力される撮像画像データに基づいて、前記指示された領域の座標を検出することとした。

また、請求項５に記載の発明では、コンピュータを、請求項１から４の何れか１項に記載のプレゼンテーションシステムの各手段として機能させるプログラムとした。

請求項１，５に記載の発明によれば、検出手段がプレゼンテーション画像上の領域のうちユーザにより指示された回数が単位時間当たり所定回数以上となった領域の座標を検出し、選択手段が補助画像が関連付けられた領域がユーザにより指示されたと判定すると、当該指示された領域に関連付けられた補助画像を表示するための第２の表示情報を選択する。従って、表示装置で表示しているプレゼンテーション画像の説明資料のうち、発表者が必要とする説明資料を発表者に提示するための補助画像として、ヘッドマウントディスプレイによりユーザの眼に投影することができるプレゼンテーションシステムを提供することができる。また、ユーザによって指示された回数が単位時間当たり所定回数以上となった領域の座標を検出する点についての効果を、例を挙げて説明すると、プレゼンテーションの最中では、ユーザが行う説明の都合によって指示箇所が行ったり来たりする場合がある。このような場合、一般に、所望する領域、即ち説明の中心となる領域が主に指示され、それ以外の領域が適宜指示される。すると、所望する領域が指示される回数は、それ以外の領域が指示される回数よりも多くなる。従って、ユーザが所望する領域と同領域外とを複数回に亘り交互に指し示した場合でも、ユーザの所望する領域に関連付けられた補助画像をヘッドマウントディスプレイに表示させることができる。

また、請求項２に記載の発明によれば、ユーザによって指示された時間が所定時間以上となった領域の座標を検出するため、ユーザの手ぶれなどによって、所望しない領域を瞬間的に指し示してしまった場合でも、ユーザが所望しない領域の補助画像が、ヘッドマウントディスプレイに予期せず表示されてしまうことを防止できる。

また、請求項３に記載の発明によれば、表示装置をプロジェクタとしたため、多くの視
聴者に対してプレゼンテーションを行うことができる。

また、請求項４に記載の発明によれば、ヘッドマウントディスプレイに固定された撮像
部から出力される撮像画像データに基づいて、ユーザによって指示された領域の座標を検
出することとしたため、プロジェクタによって投影された画像をユーザが見ている時に、
補助画像をヘッドマウントディスプレイに表示させることができる。

本発明は、外光を透過しつつ、表示情報に応じた画像光を発表者（以下、ユーザともいう。）の眼に投射して当該ユーザに前記画像光に応じた画像を視認させるシースルー型のヘッドマウントディスプレイ（以下、ＨＭＤともいう。）を備えたプレゼンテーションシステムに関するものである。

特に、本実施形態に係るプレゼンテーションシステムは、プレゼンテーション画像の説明資料をユーザに提示するための補助画像を記憶しており、同プレゼンテーションシステムのユーザが、聴衆の注意を引くために、プレゼンテーション画像上に設定された所定の領域を指示すると、その部位に関連付けされた補助画像のみが、ユーザが装着しているＨＭＤに表示される。

すなわち、プレゼンテーション画像上に複数の図表がある場合、それぞれの図表を区画分けして領域を設定し、その領域毎にそれぞれの図表に応じた補助画像を関連付けしておくことにより、ユーザがある図表を指示すると、その指示した図表に関連付けされた補助画像のみがＨＭＤに表示される。

したがって、ユーザは、自らが説明している領域に表示されている図表に応じた補助画像を、他の領域の図表に関する補助画像と混同することなく、認識することができる。

以下、本実施形態に係るプレゼンテーションシステムについて、図面を参照しながら説明する。

〔本発明の概要〕
まず、図１を用いて本実施形態に係るプレゼンテーションシステムＡの概要について説明する。図１は、プレゼンテーションシステムＡを実際に使用した状態における聴衆の視界とユーザの視界とを示した説明図である。なお、本実施形態では、プレゼンテーションの方法として、プロジェクタにより大型のスクリーン12上に投影したプレゼンテーション画像11を、ユーザＰがレーザポインタ10で指示しながら解説するスタイルを例に挙げて説明する。

図１（ａ）に示すように、ユーザＰは、指示器であるレーザポインタ10を手に持って、スクリーン12のプレゼンテーション画像11を指示しながら、聴衆に対してプレゼンテーションを行っている。

この際、ユーザＰは、後に詳述するＨＭＤ13を装着しており、ユーザＰのみが視認しうる補助画像を閲覧可能な状態にある。

すなわち、ユーザＰは、レーザポインタ10により、プレゼンテーション画像11上の領域Ｃ１にポイント光27を当てて指示すると、ユーザＰは、図１（ｂ）に示すように、ＨＭＤ13により補助画像Ｈ１を視認することとなる。

ここで補助画像Ｈ１は、レーザポインタ10により指示されている領域Ｃ１に関連付けられた補助画像であり、この補助画像Ｈ１には、領域Ｃ１内の棒グラフの解説が表示されている。なお、本実施形態における補助画像は、プレゼンテーションを行う前に予めユーザＰにより記載された備忘録としている。

次いで、図１（ｃ）に示すように、ユーザＰがレーザポインタ10により領域Ｃ２を指示すると、図１（ｄ）に示すように、ＨＭＤ13によって補助画像Ｈ２が表示され、ユーザＰは、領域Ｃ２内の棒グラフの補助画像、すなわち、備忘録を視認することとなる。

この際、補助画像Ｈ２は、図１（ｄ）上において左寄りに表示され、ユーザＰの視界内で領域Ｃ２と重複しないように表示される。

次いで、図１（ｅ）に示すように、ユーザＰが聴衆の視界から見てスクリーン12の左側に立ち位置変え、レーザポインタ10により領域Ｃ３を指示する。

すると、ユーザＰの視界では、領域Ｃ３内の円グラフの解説を記載した補助画像Ｈ３が領域Ｃ３と重複しない位置に表示されることとなる。

このように、本実施形態に係るプレゼンテーションシステムＡによれば、ユーザＰの説明に応じた補助画像を、ＨＭＤ13によりユーザＰの眼に投影することができ、自らが説明している領域に表示されている図表に応じた補助画像を、認識させることができる。

しかも、レーザポインタ10により指示された図表以外の領域に補助画像を表示するため、この指示された図表と補助画像とが重なってこれらの画像が視認しにくくなることを防止できる。

〔プレゼンテーションシステムの構成〕
次に、本実施形態に係るプレゼンテーションシステムＡの具体的な構成について説明する。

図２に示すように、本実施形態に係るプレゼンテーションシステムＡは、パーソナルコンピュータ（以下、パソコンとする）14と、スクリーン12と、プロジェクタ15と、ＨＭＤ13と、同ＨＭＤ13のコントローラ20（後述）に略一体となるように接続された表示制御ユニット58とで構成している。

パソコン14は、プレゼンテーション画像11の表示や作成を行うプレゼンテーションプログラムがインストールされており、同パソコン14に内蔵されているハードディスクドライブ（ＨＤＤ）16には、プレゼンテーション画像11を表示するための第１の表示情報と、前記プレゼンテーション画像内の各領域に関連付けた補助画像を表示するための第２の表示情報と、を含むプレゼンテーションデータが記憶されている。すなわち、このパソコン14のＨＤＤ16は、プレゼンテーションデータを記憶する記憶手段として機能する。

本実施形態において、第１の表示情報は、プレゼンテーションプログラムによって実行されるプレゼンテーションデータファイルであり、第２の表示情報は、ＨＭＤ13において補助画像を表示するためのデータ、例えば、テキストファイルや、JPEG等の画像ファイルと解することができる。

プロジェクタ15は、前記第１の表示情報に基づくプレゼンテーション画像11の表示装置として機能するものである。

プロジェクタ15は、パソコン14とプロジェクタ接続ケーブル18により電気的に接続されており、パソコン14から出力される画像信号に基づいた画像をプロジェクタ15からスクリーン12に投影することで、聴衆に対しプレゼンテーション画像11を表示可能としている。

具体的には、前述のプレゼンテーションデータファイルに基づいて、パソコン14に内蔵されている画像出力回路（図示せず）により画像信号を生成し、この画像信号をプロジェクタ15がプロジェクタ接続ケーブル18を介して受信することにより、プレゼンテーション画像11を表示するようにしている。

ＨＭＤ13は、前述の第２の表示情報に基づく補助画像をユーザＰに視認させるためのものであり、ＨＭＤ接続ケーブル19により表示制御ユニット58を介してパソコン14と電気的に接続されている。

本実施形態では、ＨＭＤ13は、パソコン14から送信される第２の表示情報に基づいて補助画像の画素毎に強度変調された光（以下、補助画像形成光という。）を形成するコントローラ20と、コントローラ20から出射された補助画像形成光を伝送する光ファイバケーブルを備えた伝送ケーブル部22と、伝送された補助画像形成光を走査してユーザＰに補助画像を認識させるための頭部装着ユニット23とを備えている。なお、伝送ケーブル部22は、後述するＣＣＤカメラ21からの画像信号（以下、撮像画像信号という。）を表示制御ユニット58へ伝送する画像信号伝送用ケーブルも有している。

コントローラ20には、図３に示すように、表示制御ユニット58が接続されている。この表示制御ユニット58には、外部入出力端子31が形成されており、前述のＨＭＤ接続ケーブル19を接続することにより、表示制御ユニット58やコントローラ20とパソコン14との間で、第２の表示情報や各種制御信号の送受信を可能としている。

頭部装着ユニット23は、略眼鏡形状とした支持部材24と、伝送ケーブル部22により伝送されてきた補助画像形成光を、ユーザＰが補助画像として認識可能とするために走査する画像形成部25とを備えている。

画像形成部25は、ユーザＰの眼前にハーフミラー26を設けており、外光Ｌａをハーフミラー26を透過させてユーザＰの眼Ｙに入射させ、第２の表示情報に応じた補助画像形成光Ｌｂをハーフミラー26で反射させてユーザＰの眼に入射させるようにしている。このとき、ハーフミラーは外界光も透過させるので、ユーザＰは、画像光を見ながら外界も見ることができる。この画像形成部25は、各色（Ｒ，Ｇ，Ｂ）毎に強度変調された補助画像形成光を２次元方向に走査した光（以下、画像光という）をユーザＰの目に入射し、ユーザＰの眼の網膜上で補助画像形成光を２次元方向に走査することにより、ユーザＰに第２の表示情報に対応する補助画像を視認させる網膜走査ディスプレイ（Retinal Imaging Display）である。なお、画像形成部25として、網膜走査ディスプレイではなく、ＬＣＤ（liquid crystal display）を透過又は反射させて生成した画像光をユーザＰの眼に投射して、ユーザＰにコンテンツを視認させるディスプレイを用いてもよい。このとき、画像形成部25にはＬＣＤ及び光源等を内蔵させ、コントローラ20から画像信号を出力させて当該画像信号に応じた画像をＬＣＤに表示させ、光源からの光をＬＣＤに入射し、透過又は反射させることによって画像光を生成する。

このようにＨＭＤ13は、外光を透過しつつ、補助画像形成光をユーザＰの眼に投射するシースルー型のＨＭＤである。

また、頭部装着ユニット23には、支持部材24上に撮像用のＣＣＤカメラ21が配設されており、ユーザＰが頭部装着ユニット23を装着した際に、ユーザＰの前方を撮像可能としている。すなわち、このＣＣＤカメラ21は、ユーザＰの視野範囲のうち少なくとも一部の画像をサンプリングするように構成されており、ユーザＰの前方を撮像する撮像部として機能する。

このＣＣＤカメラ21にて生成された撮像画像信号は、伝送ケーブル部22を介してコントローラ20へ伝送される。

〔ＨＭＤ13及び表示制御ユニット58の電気的構成及び光学的構成〕
次に、ユーザＰが装着するＨＭＤ13及び表示制御ユニット58の電気的構成及び光学的構成について図４を用いながら説明する。

ＨＭＤ13のコントローラ20には、前述のように、パソコン14から供給される第２の表示情報に基づいて画像信号を生成し、補助画像形成光を出射するための表示制御ユニット58が設けられている。

表示制御ユニット58には、制御部30が設けられており、内部に記憶されているプログラムに基づいて後述する所定の処理を実行することにより、後述する検出手段、選択手段及び表示制御手段等として機能する。この制御部30の構成及び各手段として動作については、後に詳述する。なお、このプログラムは、例えば、ＣＤ−Ｒ、ＤＶＤ―Ｒ等の記録媒体に記録されてから図示しない記録媒体ドライブを介して、制御部30に読み込まれるようにしてもよい。

コントローラ20には、画像信号供給回路34が設けられている。この画像信号供給回路34は、表示制御ユニット58の制御部30が生成した補助画像形成信号Ｓに基づいて、補助画像を合成するための要素となる各信号を生成する。すなわち、画像信号供給回路34からは、Ｒ（赤色）画像信号35ｒ、Ｇ（緑色）画像信号35ｇ、Ｂ（青色）画像信号35ｂ、水平同期信号36、及び、垂直同期信号37が出力される。

また、コントローラ20には、Ｒ画像信号35ｒ、Ｇ画像信号35ｇ、Ｂ画像信号35ｂの各画像信号をもとにそれぞれ強度変調されたレーザ光を出射するように、Ｒレーザ38，Ｇレーザ39，Ｂレーザ40を、それぞれ駆動するためのＲレーザドライバ41，Ｇレーザドライバ42，Ｂレーザドライバ43が設けられている。

さらに、各レーザより出射されたレーザ光を平行光にコリメートするように設けられたコリメート光学系44と、それぞれコリメートされたレーザ光を合波するダイクロイックミラー45と、合波されたレーザ光からなる画像光、すなわち、補助画像形成光を伝送ケーブル部22に導く結合光学系46とが設けられている。

尚、Ｒレーザ38，Ｇレーザ39，Ｂレーザ40として、レーザダイオード等の半導体レーザや固体レーザを利用してもよい。

また、ＨＭＤ13には、コントローラ20から伝搬された補助画像形成光を水平走査系47に導くコリメート光学系48と、コリメートされた補助画像形成光を、光走査素子49を利用して水平方向に走査する水平走査系47と、水平走査系47によって走査された補助画像形成光を垂直走査系50に導く第１リレー光学系51と、水平走査系47に走査され、第１リレー光学系51を介して入射された補助画像形成光を、ガルバノミラー52を利用して垂直方向に走査する垂直走査系50と、垂直走査系50に走査された補助画像形成光をユーザＰの眼Ｙの瞳孔53に入射するように第２リレー光学系54（投射光学系）と、ハーフミラー26と、が設けられている。

２次元走査され、ハーフミラー26で反射されてユーザＰの瞳孔53に入射した補助画像形成光は網膜55上に投影され、これによりユーザＰはこの補助画像形成光を、補助画像として認識することができる。

水平走査系47は、補助画像形成光を水平方向に走査する光走査素子49と、その光走査素子49の駆動制御を行う水平走査制御回路56とを備え、表示すべき画像の１走査線ごとに、補助画像形成光を水平方向に水平走査させる光学系である。

これに対し、垂直走査系50は、垂直走査するガルバノミラー52と、そのガルバノミラー52の駆動制御を行う垂直走査制御回路57とを備え、表示すべき画像の１フレームごとに、補助画像形成光を最初の走査線から最後の走査線に向かって垂直に垂直走査する光学系である。

水平走査系47は、垂直走査系50より高速にすなわち高周波数で補助画像形成光を走査するように設計されている。また、水平走査系47，垂直走査系50は、図４に示すように、各々画像信号供給回路34に接続され、画像信号供給回路34より出力される水平同期信号36，垂直同期信号37にそれぞれ同期して補助画像形成光を走査するように構成されている。

〔制御部30の構成〕
次に、表示制御ユニット58内に備えられた制御部30の構成について、図５を参照しながら説明する。

制御部30は、ＣＰＵ60と、ＲＯＭ61と、ＲＡＭ63と、ＣＣＤカメラインターフェース64と、ＣＣＤカメラ用ＶＲＡＭ65と、画像信号供給回路用インターフェース66と、画像信号供給回路用ＶＲＡＭ67と、パソコン接続用インターフェース68と、周辺機器用インターフェース69とを備えており、システムバス70を介して相互に接続されている。

ＲＯＭ61には、ＣＰＵ60で実行されることにより、後述するフローチャートに従った処理を実現するためのプログラムが記憶されている。

ＲＡＭ63は、ＣＰＵ60にて参照される補助画像関連づけテーブルや各種フラグ、画像データなどの一時記憶領域として機能する。

ここで、補助画像関連付けテーブルについて、図６を用いて説明する。

ＲＡＭ63に記憶される補助画像関連付けテーブルは、ユーザＰがパソコン14でプレゼンテーションプログラムによりプレゼンテーションデータを作成した際に生成されるものであり、表示制御ユニット58及びＨＭＤ13を起動させた際に、ＣＰＵ60の命令で、パソコン14からＲＡＭ63に読み込まれるものである。

この補助画像関連付けテーブルは、図６に示すように、複数のページに亘るそれぞれのプレゼンテーション画像と、設定された補助画像の数、補助画像のファイル名、補助画像の座標領域を対応付けている。

すなわち、この補助画像関連付けテーブルにより、プレゼンテーション画像11上の各図表（各領域）と、補助画像とが関連付けられている。

例えば、３番目のプレゼンテーション画像の座標(X1,Y1)-(X2,Y2)の領域に関連付けされている補助画像は、「A3.jpg」というファイル名を備えた第２の表示情報であることが分かる。

ＣＰＵ60は、この補助画像関連付けテーブルを参照することにより、ユーザＰにより指示された領域に関連付けられた第２の表示情報を選択することができる。

再び図５の説明に戻ると、ＣＣＤカメラインターフェース64は、ＣＣＤカメラ21との接続を担うものであり、ＣＣＤカメラ21より伝送されてくる１フレーム毎の撮像画像信号を、撮像画像データに変換してＣＣＤカメラ用ＶＲＡＭ65に書き込む役割を担っている。

また、このＣＣＤカメラインターフェース64は、例えば、図１（ｂ）に示したように、ＣＣＤカメラ21によってやや斜め方向から撮像されたスクリーン12の撮像画像データを、正面視におけるスクリーン12の撮像画像データに変換する機能を有している。

この正面視の撮像画像データへの変換は、既に知られている方法を適用することができる。

例えば、正面視におけるスクリーン12の形状を撮像した撮像画像データを予めＲＯＭ61等に記憶させておき、この正面視における撮像画像データを元に、プレゼンテーション中に撮像された撮像画像データのスクリーンの形状を比較して変形度合いを算出し、プレゼンテーション中に撮像された撮像画像データを、算出した変形度合いに応じて補正することで、正面視に変換しても良い。

ＣＣＤカメラ用ＶＲＡＭ65は、ＣＣＤカメラインターフェース64にて正面視に変換された画像をフレーム毎に記憶する機能を有している。後に詳述するが、ＣＰＵ60は、このＣＣＤカメラ用ＶＲＡＭ65に記憶された正面視に変換後の撮像画像データと、パソコン14から得られるプレゼンテーション画像の画像データとを比較して、プレゼンテーション画像11上のポイント光27の座標を決定する。

画像信号供給回路用インターフェース66は、画像信号供給回路34との接続を担うものであり、画像信号供給回路用ＶＲＡＭ67を参照して、補助画像形成信号Ｓを生成し画像信号供給回路34に供給する。

画像信号供給回路用ＶＲＡＭ67は、頭部装着ユニット23にてユーザＰが視認する補助画像を形成するための補助画像形成データを記憶するものであり、前述のように、画像信号供給回路用インターフェース66が、この画像信号供給回路用ＶＲＡＭ67を参照して画像信号供給回路34に補助画像形成信号Ｓを供給する。

パソコン接続用インターフェース68は、パソコン14との接続を担うものであり、ＣＰＵ60により要求されるデータの送受信や、受信したデータの画像信号供給回路用ＶＲＡＭ67への書き込み等を行う。また、パソコン14上にて実行されているプレゼンテーションプログラムのページ切替処理が行われた際に、同パソコン14から送信されるページ切替信号を受信して、ＲＡＭ63の所定アドレスにページ切替処理が行われたことを示すフラグを立てる。なお、このフラグは、ＣＰＵ60が参照した後は、ページ切替処理が行われていない旨を示す初期値に戻される。

周辺機器用インターフェース69は、制御部30に接続された周辺機器類の動作制御や信号の送受信を担うものであり、同周辺機器用インターフェース69には、表示制御ユニット58及びＨＭＤ13を起動するための電源スイッチ32や表示制御ユニット58及びＨＭＤ13が起動状態にあることを表示する電源ランプ33が接続されている。

この周辺機器用インターフェース69は、例えば、表示制御ユニット58やＨＭＤ13の電源が投入されていない状態において、電源スイッチ32が押下された場合、ＣＰＵ60に電源が投入された旨の信号を送信し、この信号を受けたＣＰＵ60はＨＭＤ13を電源ＯＮ状態とする。また、この際、周辺機器用インターフェース69は電源ランプ33を点灯させる。

〔制御部の処理フロー〕
次に、プレゼンテーションシステムＡにおける制御部30での処理について、図７及び図８を用いて説明する。図７は、本実施形態に係るプレゼンテーションシステムＡのメイン処理を示したフローチャートであり、図８はメイン処理にて実行される補助画像関連処理を示したフローチャートである。

まずは、図７を用いてメインフローについて説明する。制御部30のＣＰＵ60は、まず、ＲＡＭ63のアクセス許可、作業領域を初期化等の初期設定処理を実行する（ステップＳ10）。また、この際、ＲＡＭ63に補助画像関連処理実行フラグを設定し、この補助画像関連処理実行フラグの値を“補助画像関連処理実行不要”を意味する「０」とする。

また、ＣＰＵ60は、パソコン接続用インターフェース68を介してパソコン14に補助画像関連付けテーブルを要求し、得られた補助画像関連付けテーブルをＲＡＭ63に記憶する。

次にＣＰＵ60は、ＲＡＭ63の所定アドレスを参照し、パソコン14からページ切替信号を受信したか否かについて判断をおこなう（ステップＳ11）。

ここで、ＣＰＵ60は、ページ切替信号を受信したと判断した場合（ステップＳ11：Ｙｅｓ）には、処理をステップＳ12へ移す。

ステップＳ12においてＣＰＵ60は、画像信号供給回路用ＶＲＡＭ67に記憶しているデータを消去して画像信号供給回路用ＶＲＡＭ67を初期化して、処理をステップＳ14へ移す。

一方、ステップＳ11において、ＣＰＵ60は、ページ切替信号を受信していないと判断した場合（ステップＳ11：Ｎｏ）には、処理をステップＳ13へ移す。

ステップＳ13においてＣＰＵ60は、ＲＡＭ63の所定アドレスを参照し、補助画像関連処理実行フラグの値が“補助画像関連処理実行”を意味する「１」であるか否かの判断を行う。

ここでＣＰＵ60が、補助画像関連処理実行フラグの値が「１」であると判断した場合（ステップＳ13：Ｙｅｓ）には、処理をステップＳ14へ移す。

ステップＳ14では、補助画像関連処理を実行する。この補助画像関連処理においてＣＰＵ60は、ユーザＰによってプレゼンテーション画像11上の所定の領域が指示されているか否かなど複数の条件に基づいて判断を行い、補助画像をユーザＰに視認させるための処理を行う。なお、この補助画像関連処理については、後に図８を用いて詳細に説明する。

一方、ＣＰＵ60が、補助画像関連処理実行フラグの値が「１」でないと判断した場合（ステップＳ13：Ｎｏ）には、処理をステップＳ15へ移す。

ステップＳ15においてＣＰＵ60は、電源スイッチ32からの入力があるか否かの判断を行う。

ここでＣＰＵ60が、電源スイッチ32からの入力があると判断した場合（ステップＳ15：Ｙｅｓ）には、処理をステップＳ16へ移す。

ステップＳ16では、ＣＣＤカメラ用ＶＲＡＭ65、画像信号供給回路用ＶＲＡＭ67、ＲＡＭ63を初期化し、電源ランプ33を消灯して処理を終了する。なお、ＣＰＵ60は、本処理を終了した後でも、電源スイッチ32からの入力を監視しており、再度電源スイッチ32が押下された場合には、本フローのステップＳ10から再び処理を開始する。

一方、ＣＰＵ60が、電源スイッチ32からの入力がないと判断した場合（ステップＳ15：Ｎｏ）には、処理を再びステップＳ11へ移すこととなる。

次に、図８を用いて、ステップＳ14にて実行される補助画像関連処理について説明する。

図８に示すように、まずＣＰＵ60は、ＲＡＭ63上に記憶されている補助画像関連付けテーブルを参照し、現在プロジェクタ15により表示されているプレゼンテーション画像11に設定されている補助画像の数について確認を行う（ステップＳ20）。

次に、ＣＰＵ60は、現在表示されているプレゼンテーション画像11に、補助画像が設定されているか否かについて判断を行う（ステップＳ21）。ＣＰＵ60は、プレゼンテーション画像11に設定されている補助画像の数が「０」のときに、補助画像が設定されていないと判定し、補助画像の数が「０」以外のときに、補助画像が設定されていると判定する。

ここでＣＰＵ60は、補助画像が設定されていないと判断した場合（ステップＳ21：Ｎｏ）には、処理をステップＳ22へ移す。

ステップＳ22においてＣＰＵ60は、ＲＡＭ63に記憶されている補助画像関連処理実行フラグの値を「０」に設定し、処理をステップＳ15に移す。

一方、ステップＳ21において、補助画像が設定されているとＣＰＵ60が判断した場合（ステップＳ21：Ｙｅｓ）には、処理をステップＳ23へ移す。

ステップＳ23においてＣＰＵ60は、ＲＡＭ63に記憶されている補助画像関連処理実行フラグの値を「１」に設定し、処理をステップＳ24へ移す。

ステップＳ24においてＣＰＵ60は、パソコン接続用インターフェース68に対し、現在スクリーン12上に表示しているプレゼンテーション画像11の画像データを、パソコン14から取得するよう要求し、得られた画像データをＲＡＭ63へ書き込みを行って、処理をステップＳ25へ移す。

ステップＳ25においてＣＰＵ60は、ＣＣＤカメラ用ＶＲＡＭ65の所定アドレスを参照し、ＣＣＤカメラ21により撮像され、ＣＣＤカメラインターフェース64により正面視の画像に変換された１フレーム分の撮像画像データをＲＡＭ63の所定アドレスにコピーする。

次にＣＰＵ60は、ＲＡＭ63上に記憶した撮像画像データを参照し、プレゼンテーション画像11全体が撮像されているか否かについて判断を行う（ステップＳ26）。

ここでＣＰＵ60は、プレゼンテーション画像11全体が撮像されていないと判断した場合（ステップＳ26：Ｎｏ）には、処理をステップＳ２７へ移し、画像信号供給回路用ＶＲＡＭ67を初期化して、ステップＳ15に移す。

一方、ＣＰＵ60が、プレゼンテーション画像11全体が撮像されていると判断した場合（ステップＳ26：Ｙｅｓ）には、処理をステップＳ28へ移す。

ステップＳ28においてＣＰＵ60は、ＲＡＭ63上にそれぞれ記憶されているプレゼンテーション画像11の画像データと、撮像画像データとを比較して、スクリーン12に表示されているプレゼンテーション画像11上でのポイント光27の座標を決定する。

そして、ＣＰＵ60は、補助画像関連付けテーブルを参照し、ステップＳ28にて決定したポイント光27の座標が、補助画像関連付けテーブルに設定されている座標領域の範囲内であるか否かについて判断を行う（ステップＳ29）。このように、ＣＰＵ60は、ステップＳ28，Ｓ29の処理を実行することにより、スクリーン12に表示されたプレゼンテーション画像11上の領域のうち、ユーザＰによりレーザポインタ10にて指示された領域の座標を検出する検出手段として機能することとなる。

ここでＣＰＵ60は、ポイント光27の座標が座標領域の範囲内ではないと判断した場合（ステップＳ29：Ｎｏ）には、処理をステップＳ27へ移し、画像信号供給回路用ＶＲＡＭ67を初期化して、処理をステップＳ15に移す。

一方、ＣＰＵ60が、ポイント光27の座標が座標領域の範囲内であると判断した場合（ステップＳ29：Ｙｅｓ）には、処理をステップＳ30へ移す。

ステップＳ30においてＣＰＵ60は、ポイント光27が同一領域内で所定時間経過しているか否かについて判断を行う。

ここでＣＰＵ60が、所定時間を経過していると判断した場合（ステップＳ30：Ｙｅｓ）には、処理をステップＳ32へ移す。

一方、ＣＰＵ60が、所定時間を経過していないと判断した場合（ステップＳ30：Ｎｏ）には、処理をステップＳ31へ移す。

ステップＳ31においてＣＰＵ60は、ユーザＰによってレーザポインタ10から出射されるポイント光27により、プレゼンテーション画像11上の領域のうち同一の補助画像が設定されている領域が、所定回数以上指示されたか否かについて判断を行う。

ここでＣＰＵ60が、所定回数以上指示されたと判断した場合（ステップＳ31：Ｙｅｓ）には、処理をステップＳ32へ移す。

一方、ＣＰＵ60が、所定回数以上指示されていないと判断した場合（ステップＳ31：Ｎｏ）には、処理をステップＳ27へ移し、画像信号供給回路用ＶＲＡＭ67を初期化して、処理をステップＳ15に移す。

ステップＳ32において、ＣＰＵ60は、補助画像関連付けテーブルを参照し、ユーザによって指示されている座標領域に関連付けされた補助画像のファイル名を決定して、第２の表示情報を選択する。すなわち、ＣＰＵ60は、ステップＳ30〜Ｓ32の処理を実行することにより、プレゼンテーション画像11の領域のうち補助画像が関連付けられた領域がユーザＰにより指示されたと判定すると、当該指示された領域に関連付けられた補助画像を表示するための第２の表示情報を選択する選択手段として機能することとなる。

次いでＣＰＵ60は、パソコン接続用インターフェース68に対し、決定したファイル名に対応する第２の表示情報をパソコン14から受信するよう命令を行う（ステップＳ33）。

そして、ＣＰＵ60は、パソコン接続用インターフェース68により得られたファイルに基づいて、画像信号供給回路用ＶＲＡＭ67上にデータの書き込みを行う（ステップＳ34）。この際、ＣＰＵ60は、撮像画像データを参照し、ユーザＰの視界で、ユーザＰにより指示されている領域と重複しない部位に補助画像が表示されるよう、画像信号供給回路用ＶＲＡＭ67に補助画像形成データの書き込みを行う。このように、ＣＰＵ60は、ステップＳ33，Ｓ34を実行することにより、選択手段により選択された第２の表示情報を記憶手段から読み出して、ＨＭＤ13に表示させる表示制御手段として機能することとなる。本ステップが終了すると、ＣＰＵ60は、処理をステップＳ15に移す。

上述してきたようにして、本実施形態に係るプレゼンテーションシステムＡは、表示装置で表示しているプレゼンテーション画像に対応する補助画像のうち発表者の説明に応じた補助画像をＨＭＤにより発表者の眼に投影することとしている。

〔他の実施形態〕
次に、他の実施形態に係るプレゼンテーションシステムＢについて説明する。

図９は、他の実施形態に係るプレゼンテーションシステムＢの全体像を示した説明図である。なお、以下の説明に置いて、前述のプレゼンテーションシステムＡと同じ構成については、同じ符号を付して説明を省略する。

プレゼンテーションシステムＢは、前述のプレゼンテーションシステムＡとほぼ同じ構成としているが、頭部装着ユニット23にＣＣＤカメラ21が備えられていない点、パソコン14にマウス80が備えられている点、及び、ユーザＰは、ディスプレイ81に表示されているプレゼンテーション画像11上で、マウス80を操作し、マウスポインタ82を移動させることにより領域を指示する点において異なっている。なお、このプレゼンテーションシステムＢにおいて、視聴者は、スクリーン12に表示されるマウスポインタ82を視認することにより、ユーザＰがどの領域を指示しているかを理解可能としている。

そして、このプレゼンテーションシステムＢによっても、ユーザＰは、スクリーン12に表示しているプレゼンテーション画像11に対応する補助画像のうちユーザＰの説明に応じた補助画像をＨＭＤ13によりユーザＰの眼に投影することができる。

特に、このプレゼンテーションシステムＢでは、プレゼンテーションシステムＡと比較して、コントローラ20の制御部30にて実行される補助画像関連処理が異なる。

そこでここでは、本プレゼンテーションシステムＢにおいて、先に図７を用いて説明したメインフローのステップＳ14にて実行される補助画像関連処理について説明する。なお、ステップＳ40〜Ｓ43，Ｓ47，Ｓ51，Ｓ52の処理については、図８に示す、ステップＳ20〜Ｓ23，Ｓ27，Ｓ33，Ｓ34の処理と同様の処理であるため、ここでの説明は省略する。

ステップＳ44においてＣＰＵ60は、パソコン接続用インターフェース68に対し、ディスプレイ81に表示しているプレゼンテーション画像11上におけるマウスポインタ82の座標を、パソコン14から取得するよう要求し、得られたマウスポインタ82の座標をＲＡＭ63へ書き込みを行って、処理をステップＳ45へ移す。

次いでＣＰＵ60は、マウスポインタ82の座標と補助画像関連付けテーブル内の現在表示しているプレゼンテーション画像11に設定されている座標領域とを参照する（ステップＳ45）。

そして、ＣＰＵ60は、マウスポインタ82の座標が、補助座標領域の範囲内であるか否かについて判断を行う（ステップＳ46）。このように、ＣＰＵ60は、ステップＳ45，Ｓ46の処理を実行することにより、スクリーン12に表示されたプレゼンテーション画像11上の領域のうち、ユーザＰによりマウスポインタ82にて指示された領域の座標を検出する検出手段として機能することとなる。

ここでＣＰＵ60は、マウスポインタ82の座標が座標領域の範囲内ではないと判断した場合（ステップＳ46：Ｎｏ）には、処理をステップＳ47へ移し、マウスポインタ82の座標が座標領域の範囲内であると判断した場合（ステップＳ46：Ｙｅｓ）には、処理をステップＳ48へ移す。

ステップＳ48においてＣＰＵ60は、マウスポインタ82が同一領域内で所定時間経過しているか否かについて判断を行う。

ここでＣＰＵ60が、所定時間を経過していると判断した場合（ステップＳ48：Ｙｅｓ）には、処理をステップＳ50へ移し、所定時間を経過していないと判断した場合（ステップＳ48：Ｎｏ）には、処理をステップＳ49へ移す。

ステップＳ49においてＣＰＵ60は、ユーザＰによってマウスポインタ82により、プレゼンテーション画像11上の領域のうち同一の補助画像が設定されている領域を、所定回数以上指示されたか否かについて判断を行う。

ここでＣＰＵ60が、所定回数以上指示されたと判断した場合（ステップＳ49：Ｙｅｓ）には、処理をステップＳ50へ移し、所定回数以上指示されていないと判断した場合（ステップＳ49：Ｎｏ）には、処理をステップＳ47へ移す。

ステップＳ50において、ＣＰＵ60は、補助画像関連付けテーブルを参照し、ユーザＰによってマウスポインタ82により指示されている座標領域に関連付けされた補助画像のファイルを決定して、第２の表示情報を選択する。このように、ＣＰＵ60は、ステップＳ48〜Ｓ50の処理を実行することにより、プレゼンテーション画像11の領域のうち補助画像が関連付けられた領域がユーザＰにより指示されたと判定すると、当該指示された領域に関連付けられた補助画像を表示するための第２の表示情報を選択する選択手段として機能することとなる。その後、ＣＰＵ60は、ステップＳ51，Ｓ52の処理を実行し、処理をステップＳ15に戻す。

このように、他の実施形態に係るプレゼンテーションシステムＢは、上述してきたフローに従って、動作することとなる。

上述してきたように、本実施形態に係るプレゼンテーションシステムＡ及びプレゼンテーションシステムＢによれば、外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射して当該ユーザに前記画像光に応じた画像を視認させるシースルー型のヘッドマウントディスプレイを有するプレゼンテーションシステムにおいて、プレゼンテーション画像を表示するための第１の表示情報と、前記プレゼンテーション画像内の領域に関連付けた補助画像を表示するための第２の表示情報と、を含むプレゼンテーションデータを記憶する記憶手段と、前記第１の表示情報に基づくプレゼンテーション画像を表示する表示装置と、前記表示装置に表示されたプレゼンテーション画像上の領域のうち、ユーザにより指示された領域の座標を検出する検出手段と、前記検出手段の検出結果に基づき、前記プレゼンテーション画像の領域のうち、前記補助画像が関連付けられた領域がユーザにより指示されたと判定すると、当該指示された領域に関連付けられた補助画像を表示するための第２の表示情報を選択する選択手段と、前記選択手段により選択された第２の表示情報を前記記憶手段から読み出して、前記ヘッドマウントディスプレイに表示させる表示制御手段と、を備えたため、表示装置で表示しているプレゼンテーション画像に対応する補助画像のうちユーザ（発表者）の説明に応じた補助画像をヘッドマウントディスプレイ（ＨＭＤ）によりユーザの眼に投影することができるプレゼンテーションシステムを提供することができる。

最後に、上述した各実施の形態の説明は本発明の一例であり、本発明は上述の実施の形態に限定されることはない。このため、上述した各実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

例えば、前述の他の実施形態に係るプレゼンテーションシステムＢでは、マウスポインタ82の座標を、パソコン14から直接読み込むこととしたが、これに限定されるものではなく、プレゼンテーションシステムＡと同様、頭部装着ユニット23にＣＣＤカメラ21を備える構成とし、スクリーン12やディスプレイ81に表示されているプレゼンテーション画像11を撮像し、マウスポインタ82の形状を認識することにより、同マウスポインタ82の座標を算出するようにしても良い。

また、プレゼンテーションシステムＡやプレゼンテーションシステムＢにおいて、プレゼンテーションデータを記憶する記憶手段は、パソコン14内に備えられたＨＤＤ16を用いることとしたが、この記憶手段の設置部位はこれに限定されるものではなく、例えば、プレゼンテーションデータをメモリカードのような外部接続型のＥＥＰＲＯＭに記憶させ、このＥＥＰＲＯＭを表示制御ユニット58のスロットに挿入することで、記憶手段として機能させるようにしても良い。

本実施形態に係るプレゼンテーションシステムを実際に使用した状態における聴衆の視界とユーザの視界とを示した説明図である。 本実施形態に係るプレゼンテーションシステムの具体的な構成を示した説明図である。 ヘッドマウントディスプレイの構成を示した説明図である。 ヘッドマウントディスプレイの電気的構成及び光学的構成を示したブロック図である。 制御部の構成を示したブロック図である。 補助画像関連付けテーブルの説明図である。 本実施形態に係るプレゼンテーションシステムにおいて実行される処理の動作を示すフローチャートである。 本実施形態に係るプレゼンテーションシステムにおいて実行される処理の動作を示すフローチャートである。 他の実施形態に係るプレゼンテーションシステムの具体的な構成を示した説明図である。 他の実施形態に係るプレゼンテーションシステムにおいて実行される処理の動作を示すフローチャートである。

符号の説明

10 レーザポインタ
11 プレゼンテーション画像
12 スクリーン
13 ヘッドマウントディスプレイ（ＨＭＤ）
14 パソコン
15 プロジェクタ
16 ハードディスクドライブ（ＨＤＤ）
18 プロジェクタ接続ケーブル
19 ＨＭＤ接続ケーブル
20 コントローラ
21 ＣＣＤカメラ
22 伝送ケーブル部
23 頭部装着ユニット
24 支持部材
25 画像形成部
26 ハーフミラー
27 ポイント光
30 制御部
31 外部入出力端子
32 電源スイッチ
33 電源ランプ
34 画像信号供給回路
35ｒ Ｒ（赤色）画像信号
35ｇ Ｇ（緑色）画像信号
35ｂ Ｂ（青色）画像信号
36 水平同期信号
37 垂直同期信号
38 Ｒレーザ
39 Ｇレーザ
40 Ｂレーザ
41 Ｒレーザドライバ
42 Ｇレーザドライバ
43 Ｂレーザドライバ
44 コリメート光学系
45 ダイクロイックミラー
46 結合光学系
47 水平走査系
48 コリメート光学系
49 光走査素子
50 垂直走査系
51 第１リレー光学系
52 ガルバノミラー
53 瞳孔
54 第２リレー光学系（投射光学系）
55 網膜
56 水平走査制御回路
57 垂直走査制御回路
58 表示制御ユニット
58 表示制御ユニット
60 ＣＰＵ
61 ＲＯＭ
63 ＲＡＭ
64 ＣＣＤカメラインターフェース
65 ＣＣＤカメラ用ＶＲＡＭ
66 画像信号供給回路用インターフェース
67 画像信号供給回路用ＶＲＡＭ
68 パソコン接続用インターフェース
69 周辺機器用インターフェース
70 システムバス
80 マウス
81 ディスプレイ
82 マウスポインタ
Ａ プレゼンテーションシステム
Ｂ プレゼンテーションシステム
Ｃ１ 領域
Ｃ２ 領域
Ｃ３ 領域
Ｈ１ 補助画像
Ｈ２ 補助画像
Ｈ３ 補助画像
Ｌａ 外光
Ｌｂ 補助画像形成光
Ｐ ユーザ

Claims (5)

1. 外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射して当該ユーザに前記画像光に応じた画像を視認させるシースルー型のヘッドマウントディスプレイを有するプレゼンテーションシステムにおいて、
   プレゼンテーション画像を表示するための第１の表示情報と、前記プレゼンテーション画像内の領域に関連付けた補助画像を表示するための第２の表示情報と、を含むプレゼンテーションデータを記憶する記憶手段と、
   前記第１の表示情報に基づくプレゼンテーション画像を表示する表示装置と、
   前記表示装置に表示されたプレゼンテーション画像上の領域のうち、ユーザにより指示された回数が単位時間当たり所定回数以上となった領域の座標を、前記指示された領域の座標として検出する検出手段と、
   前記検出手段の検出結果に基づき、前記プレゼンテーション画像の領域のうち、前記補助画像が関連付けられた領域がユーザにより指示されたと判定すると、当該指示された領域に関連付けられた補助画像を表示するための第２の表示情報を選択する選択手段と、
   前記選択手段により選択された第２の表示情報を前記記憶手段から読み出して、前記ヘッドマウントディスプレイに表示させる表示制御手段と、を備えたことを特徴とするプレゼンテーションシステム。
2. 前記検出手段は、前記指示された時間が所定時間以上となった領域の座標を、前記指示された領域の座標として検出することを特徴する請求項１に記載のプレゼンテーションシステム。
3. 前記表示装置は、前記第１の表示情報に基づくプレゼンテーション画像を投影するプロジェクタであることを特徴とする請求項１又は２に記載のプレゼンテーションシステム。
4. 前記ヘッドマウントディスプレイに固定され、ユーザの前方を撮像する撮像部を備え、
   前記検出手段は、前記撮像部から出力される撮像画像データに基づいて、前記指示された領域の座標を検出することを特徴とする請求項３に記載のプレゼンテーションシステム。
5. コンピュータを、請求項１から４の何れか１項に記載のプレゼンテーションシステムの各手段として機能させることを特徴とするプログラム。