JP4783035B2 - 投影型表示装置、投影表示方法、投影表示プログラム及び投影表示プログラムが格納された記録媒体 - Google Patents

Description

本発明は、投影型表示装置、投影表示方法、投影表示プログラム及びその記録媒体に関し、具体的には、投影型表示装置の投影面に重畳した書き込み面に書き込まれた情報を抽出できる投影型表示装置、投影表示方法、投影表示プログラム及びその記録媒体に関する。

従来、投影型表示装置は、一般に、プロジェクタ、表示付電子黒板、パーソナルコンピュータ等へ適用されており、会議や講義等において複数人を対象としたモニタとして使用されたり、個人で使用するパーソナルコンピュータ等のモニタとして使用されたりしている。

また、会議や講義等においては、モニタに表示される情報映像に基づいて、参加者が議論と検討を行い、必要に応じて、参加者がモニタに表示される情報映像に重畳して、情報を書き込むことにより、さらに検討会議を進行させる表示装置が使用されている。

この場合、検討過程で生じた参加者の検討事項を電子情報としてパーソナルコンピュータ等へ入力できる機能が望まれる。

このような表示と書き込みとを同一面上で行うことを実現するための手段の１つとして、表示面に接触されたペン先の位置を検出し、これを追跡することにより書き込んだ情報をパーソナルコンピュータへ取り込む機能を搭載した表示装置が販売されている。

例えば、透過型スクリーンに投影されている画像や、透過型スクリーン前面に設けられた透明部材上にペン等で書き込まれた画像を、透過型スクリーンの近傍に設けられた比較的大型の線形受光センサによりスキャニングすることで、プリントする技術が開示されている（例えば、特許文献１参照。）。

また、ペンなどで電子黒板に描画された画像を電子的に取り込み、これをプロジェクタで電子黒板に投影する画像と合成するための電子黒板システムが開示されている（例えば、特許文献２参照。）。特許文献２は、電子黒板に描画された情報を電子黒板本来の機能により電子情報として読み取り、これをパソコンにおいて投影画像と合成させる。

しかしながら、特許文献１又は２に記載された方法では、書き込むための専用のペンが必要であったり、文字の追加や消去を行うために画面操作でモードを変更する必要があるなど、機能性や操作性が充分でない。また、特許文献１に記載された方法では、受光センサをスクリーン面上を移動させることで書き込み情報を読み取るため、装置が大掛かりになる。また、特許文献２記載の方法では、書き込み情報を読み取るには書き込み面（電子黒板）を移動させスキャナ部を通過させなくてはならず、読み取りに時間がかかる。

そこで、所定の投影画像を形成する投影面と、この投影画像と重複して通常のホワイトボード用マーカなどのペンで直接書き込みが可能である書き込み面と、これらの投影面を撮影する撮像手段を有する装置が提案されている（例えば、特許文献３参照。）。

特許文献３は、書き込み用のホワイトボード用マーカで書込面に文字や絵などの書き込みができるとともに、書込面上に画像を表示することができる。この画像は筐体によって遮光された内部にあるプロジェクタによって形成され、反射ミラーを介して透過型スクリーンで画像が形成される。この透過型スクリーンは書込面の内部にあるが、書込面は透明であるため、書込面と重ね合わせて投影された画像を外部から見ることができ、さらに、ＣＣＤカメラにより、書込面に書かれた書き込みを撮像でき、その書き込みを電子的に取り込んで外部へ出力することができる。
特公平７−４６１９８号公報 特開平１０−２９７１６６号公報 特開２００３−１４３３４８号公報

しかしながら、特許文献３の方法では、ＣＣＤカメラによって得られた書き込み画像から投影画像を減算するという方法を用いているため、撮影時にスクリーン付近にある障害物の影によるノイズを除去することができないという不都合がある。

そこで、本出願人は、所定の投影画像を形成する投影面と、この投影画像と重複して通常のホワイトボード用マーカなどのペンで直接書き込みが可能である書き込み面と、これらの投影面を撮影する撮像手段を有する装置を開発した。当該装置では、背面から投影し表示画面に書込みを行い、内蔵されたＣＣＤカメラ等の撮像装置で撮像した画像の画素ごとの色信号（例えば、ＲＧＢ）の相対値を用いて書き込み画像を抽出する。色信号を用いて書き込み画像を抽出することでスクリーンに書き込まれた情報を良質に抽出できる。

本発明は、上記の課題に鑑み、スクリーンに書き込まれた情報をより良質に抽出し、抽出した画像を有効に活用することのできる投影型表示装置、投影表示方法、投影表示プログラム及びその記録媒体を提供することを目的とする。

上記課題に鑑み、本発明は、投影面に所定の投影画像を投影する投影手段と、前記投影手段により投影された前記投影画像に対して書き込み情報が書き込まれる書き込み面と、画素が二次元的に配列された撮像部によって、前記書き込み面に書き込まれた前記書き込み情報を撮影する撮影手段と、を有する投影型表示装置において、前記撮影手段により撮影された書き込み画像から、各画素の色信号の相対値に基づき前記書き込み情報を抽出する抽出手段と、色キャリブレーション値を抽出する色キャリブレーション手段と、を備え、 前記色キャリブレーション手段は、所定の色と指定された書き込み枠を前記投影面に投影する書き込み枠投影手段と、書き込み枠投影手段により前記投影面に投影された、前記所定の色と指定された前記書き込み枠、及び、書き込まれた書き込み情報を撮影する書き込み枠撮影手段と、をさらに備え、前記書き込み枠投影手段で前記投影面に投影された前記書き込み枠に対して指定された前記所定の色と、前記書き込み枠撮影手段により撮影された書き込み画像の前記書き込み枠の部分に相当する色信号とに基づき、前記所定の色を判別するための色キャリブレーション値を抽出する、ことを特徴とする。

本発明によれば、書き込み面に書き込まれた情報をノイズを除去してより良質に抽出し、抽出した画像を有効に活用することができる。なお、色信号とは、色を表現する際に用いられる信号であり、例えば書き込み画像がＲＧＢ色空間で表現されていればＲＧＢの各色の信号を、また、ＣＭＹ、ＹＣｒＣｂ、ＹＵＢ、ＨＳＶ等の各色の信号をいう。
本発明によれば、色信号の判別をキャリブレーションすることで、書き込まれた情報の色を明瞭に再現して書き込み情報を抽出できる。

また、本発明の投影型表示装置の一形態において、当該投影型表示装置が起動された場合、撮影手段により無地の投影面を撮影し、撮影された無地画像の輝度分布を記憶する無地輝度分布記憶手段と、撮影手段で撮影された所定の書き込み画像の輝度分布を、無地輝度分布記憶手段に記憶された無地画像の輝度分布に基づき平滑化する輝度補正手段と、を有することを特徴とする。

本発明によれば、投影型表示装置が起動されたときに、外光の輝度分布を記憶し、該輝度分布に基づき、撮影された書き込み画像の輝度分布を補正するので、外光によって生じるノイズを除去し、設置場所の環境に応じて書き込み情報を抽出できる。

また、本発明の投光型表示装置の一形態において、抽出手段は、書き込み画像から、書き込みが存在する略矩形の領域を抽出する書き込み領域抽出手段を有する、ことを特徴とする。

本発明によれば、書込みのなされた最小領域のみを抽出可能なので、画像の容量を抑えることができ、抽出画像の操作性が向上する。

また、本発明の投光型表示装置の一形態において、投影画像は所定のファイルの内容を投影したものであり、抽出手段で抽出された書き込み情報を、当該書き込み情報が書き込まれた際に投影されていたファイルの略同じ位置に貼り付ける書き込み画像合成手段を有し、投影手段は、書き込み画像合成手段により書き込み画像が合成された所定のファイルの内容を投影面に投影する、ことを特徴とする。

本発明によれば、PC等から抽出された書込み情報を、投影画像と組み合わせて使うことができるので、データの活用性が拡大された投影型表示装置を提供できる。

また、本発明の投影型表示装置の一形態において、書き込み画像合成手段は、所定のファイルの内容を表示するソフトウェアが利用可能なダイナミックリンクライブラリである、ことを特徴とする。

本発明によれば、ビットマップオブジェクトを扱えるソフトウェアであり外部コントロールにより画像の貼り付け操作が可能なソフトウェアに対して、書き込み面に書き込まれた情報を撮像手段で撮像することで、投影されたファイルにアノテーション情報として付加できる。

また、本発明の投光型表示装置の一形態において、書き込み画像合成手段は、プリンタドライバにより所定のファイルを一又は複数の画像ファイルとして出力する画像ファイル出力手段と、画像ファイル出力手段により出力された画像ファイルに、抽出手段により抽出された書き込み情報を貼り付けるファイル貼り付け手段と、を有する、ことを特徴とする。

本発明によれば、仮想プリンタドライバを用いて画像展開することにより、印刷機能をもつアプリケーションのファイルを汎用的に、編集可能な階層型ファイル構造に変換することができるので、アプリケーションに縛られずに書き込み情報を再利用可能にファイル管理ができる。

また、本発明の投光型表示装置の一形態において、抽出手段により抽出された書き込み情報をクリップボードに格納する書き込み情報格納手段を有する、ことを特徴とする。

本発明によれば、書き込んだ情報を画像ファイルとしてクリップボードに保存できるので、ユーザの任意のアプリケーションに情報を保存することができる。

また、本発明は、投影手段により投影面に所定の投影画像を投影する投影ステップと、投影された前記投影画像に対して書き込み情報が書き込まれる書き込み面の前記書き込み情報を、画素が二次元的に配列された撮像部によって撮影する撮影ステップと、を有する投影表示方法において、前記撮影ステップにより撮影された書き込み画像から、抽出手段が、各画素の色信号の相対値に基づき前記書き込み情報を抽出する抽出ステップと、色キャリブレーション手段が、色キャリブレーション値を抽出する色キャリブレーションステップと、を備え、前記色キャリブレーションステップは、さらに、書き込み枠投影手段が、所定の色と指定された書き込み枠を前記投影面に投影する書き込み枠投影ステップと、書き込み枠撮影手段が、書き込み枠投影手段により前記投影面に投影された、前記所定の色と指定された前記書き込み枠、及び、書き込まれた書き込み情報を撮影する書き込み枠撮影ステップと、をさらに備え、前記書き込み枠投影ステップで前記投影面に投影された前記書き込み枠に対して指定された前記所定の色と、前記書き込み枠撮影ステップにより撮影された書き込み画像の前記書き込み枠の部分に相当する色信号とに基づき、前記所定の色を判別するための色キャリブレーション値を抽出するステップと、を有することを特徴とする。

また、本発明は、投影面に投影された無地の投影面を撮影し、撮影された無地画像の輝度分布を記憶する無地輝度分布記憶ステップと、無地輝度分布記憶ステップにより記憶された輝度分布に基づき、撮影ステップにより撮影される書き込み画像の輝度分布を平滑化する輝度補正ステップと、を有することを特徴とする。

また、本発明は、抽出ステップは、書き込み画像から、書き込みの存在する略矩形の領域を抽出する書き込み領域抽出ステップを有する、ことを特徴とする。

また、本発明は、所定のファイルの内容を投影した投影面と重畳した書き込み面に書き込まれた書き込み情報を撮影するファイル書き込み撮影ステップと、ファイル書き込み撮影ステップにより撮影した書き込み画像から抽出された書き込み情報を、当該書き込み情報が書き込まれた際に投影されていた前記ファイルの略同じ位置に貼り付ける書き込み画像合成ステップと、を有し、投影ステップは、書き込み画像合成ステップにより書き込み画像が合成された所定のファイルの内容を投影面に投影する、ことを特徴とする。

また、本発明は、書き込み画像合成ステップは、所定のファイルの内容を表示するソフトウェアが利用可能なダイナミックリンクライブラリを用いて、書き込み画像を当該書き込み情報が書き込まれた際に投影されていたファイルの略同じ位置に貼り付ける、ことを特徴とする。

また、本発明は、書き込み画像合成ステップは、プリンタドライバにより所定のファイルを一又は複数の画像ファイルとして出力する画像ファイル出力ステップと、画像ファイル出力ステップにより出力された画像ファイルに、抽出ステップにより抽出された書き込み情報を貼り付けるファイル貼り付けステップと、を有する、ことを特徴とする。

また、本発明は、抽出ステップにより抽出された前記書き込み情報をクリップボードに格納する書き込み情報格納ステップを有する、ことを特徴とする。

また、本発明は、コンピュータに、請求項９ないし１６のいずれかに記載の投影表示方法を実行させるための投影表示プログラムを提供する。

また、本発明は、請求項１７に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

スクリーンに書き込まれた情報をより良質に抽出し、抽出した画像を有効に活用することのできる投影型表示装置、投影表示方法、投影表示プログラム及びその記録媒体を提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら実施例を挙げて説明する。図1は、投影型表示装置１Ａ、１Ｂの斜視図の一例を、図２はその断面図を示す。投影型表示装置１Ａ、１Ｂは、投影装置７から投影された所定の投影画像を形成する投影面４と、投影画像と重複可能に書き込み情報を書き込み可能な書き込み面３と、書き込み面３上に書き込まれた書き込み情報を、画素が二次元的に配列された撮像部で撮影する撮影手段６とを有することを特徴とする。なお、投影型表示装置１Ａは、投影画像を反射させるためのミラー５を有する。

撮影手段６は例えばＣＣＤやＣＭＯＳ等の固体撮像素子を有する。撮影手段６の画角内に、投影手段７が画像を投影する投影面４又は書き込み面３全体を撮影できるように設置されており、撮影手段６と投影手段７は後述する制御装置に接続されている。例えば、投影手段７はプロジェクタであり、制御装置はパーソナルコンピュータ（以下、ＰＣという）である。ＰＣであれば、投影表示プログラムを搭載し実行する事で当該投影型表示装置の実現は可能であるが、制御装置はＰＣでなくとも投影表示プログラムが実行可能な他のハードウエアでもよい。以下では、撮影手段６をＣＣＤカメラ６、投影手段７をプロジェクタ７，制御装置をＰＣとする。
図３（ａ）は、投影型表示装置の機能ブロック図である。ユーザは、プロジェクタ７によって投影されたＰＣからの画像を見ながら、投影画像に対して追記したい文や図形等を、ホワイトボード用マーカを用いて書き込み面３に直接書き込む。書き込んだ内容を投影されている画像と共に保存するためにユーザは任意のタイミングで投影表示プログラムのダイアログボタンをクリックし撮影の撮影命令を出す。

撮影命令の出力は、投影表示プログラム以外に専用のハードボタンを搭載する事でも実現できる。ユーザによって撮影命令がなされると、ＣＣＤカメラ６は書き込み面３の画像を撮影し、撮影された画像は書き込み情報を抽出する抽出部１１へ送られ書き込み情報が抽出される。

抽出された書き込み情報は合成部１４に送られ、先に投影されていたファイルに合成され投影部１３によって再び投影面４に投影される。この動作により、ユーザは書き込み面３に書込みを行い、その情報は電子情報としてファイルと共に保存することができる。

また、撮影部１２には記憶部１５が接続されており、色信号（例えばＲＧＢ値）の相対値に基づく色判別のための色のキャリブレーション値や無地画像の輝度分布が保存される。

図３（ｂ）は、制御装置（ＰＣ）のハードウェア構成図を示す。ＰＣは、それぞれバス３９で相互に接続されているＣＰＵ３１、入出力制御部３２、ドライブ装置３３、通信部３４、主記憶部３５、記憶装置３６、表示制御部３７を有するように構成される。

ＣＰＵ３１は、ＰＣが行う処理を統括的に制御し、例えば、後述の投影表示プログラム４０を主記憶部３５にロードして実行する。入出力制御部３２は、ＣＣＤカメラ７から入力される画像データを主記憶装置３５に保存し、また、表示制御部３７が表示する表示データをプロジェクタ７に送出する。また、入出力制御部３２は、キーボード及びマウスなどにより入力される様々な操作指示を処理するために用いられる。通信部３４は、インターネットやＬＡＮなどのネットワークに接続するためのインターフェイスであり、例えばモデム、ルータ等で構成される。主記憶部３５は、オペレーティングシステムやプログラム、データを一時保管する記憶領域である。

ドライブ装置３３は、ＤＶＤ−ＲＯＭやＣＤ−ＲＯＭが挿入可能であり、記録媒体３８からプログラムやデータを読み込み、また記録媒体３８にプログラムやデータを書き込むことも可能である。表示制御部３７は、ＧＵＩ（Ｇｒａｐｈｙｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面を形成し、操作に必要な各種ウィンドウやデータ等を表示する。

記憶装置３６には、投影表示プログラム４０が記録媒体３８やインターネットを介してインストールされている。図３（ｃ）は投影表示プログラムの各機能を示す。投影表示プログラム４０は、ＰＣ（コンピュータ）を、ＣＣＤカメラ６により撮影された書き込み画像から、該書き込み画像の各画素の色信号の相対値に基づき書き込み情報を抽出する抽出手段４１、書き込まれた色をより精度よく判別するための色キャリブレーション値を抽出する色キャリブレーション手段４２、ＣＣＤカメラ６で撮影された書き込み画像の輝度分布を予め撮影した無地画像の輝度分布に基づき平滑化する輝度補正手段４３、抽出手段で抽出された書き込み情報を、当該書き込み情報が書き込まれた際に投影されていたファイルの略同じ位置に貼り付ける書き込み画像合成手段４５、抽出手段により抽出された書き込み情報をクリップボードに格納する書き込み情報格納手段４９、として機能させる。

また、抽出手段４１は書き込み画像のうち書き込みの存在する略矩形の領域のみを抽出する書き込み領域抽出手段４４を有する。また、書き込み画像合成手段４５は、後述するようにダイナミックリンクライブラリ（ＤＬＬ）４６、所定のファイルを一又は複数の画像ファイルとして出力する画像ファイル出力手段（プリンタドライバ）４７及び画像ファイル出力手段４７により出力された画像ファイルに、抽出手段４１により抽出された書き込み情報を重ね合わせるファイル貼り付け手段４８、とを有する。また、輝度補正手段４３はＣＣＤカメラ６により無地の投影面を撮影し撮影された無地画像の輝度分布が記憶された無地輝度分布４３１を保持する。

〔書き込み情報の抽出〕
以上の構成に基づき、書き込み面３を撮影し撮影された画像から書き込み情報を抽出する処理の詳細について図４のフローチャート図に沿って説明する。
投影光黒表示（Ｓ１）
ユーザによって撮影の制御命令がなされるとＰＣが投影部１３から黒一色の画像を投影する。これにより投影手段７を遮光状態にすることができ、ＣＣＤカメラ６で撮影する画像に不必要な情報の写り込みが回避される。投影手段７にミュート機能（一時的に画像の投影を中断する）が備わっていれば、それを利用しても良い。

スクリーン面撮影（Ｓ２）
投影手段７が遮光状態になったら、ＣＣＤカメラ６によってスクリーン面（書き込み面３）を撮影する。図５は書き込みがなされた書き込み面３を撮影した画像の一例を示す。プロジェクタ７は遮光状態であるので書き込み画像だけが撮影される。図５では、ＡＢＣＤの文字が赤のマーカで、１２３４の文字が青のマーカで、○×△□が黒のマーカで書き込まれている。

書き込み部抽出（Ｓ３）
図６は撮影時にユーザが書き込み面３付近に手をかざしてしまったことにより手の影５１が映りこんでしまった画像の一例を示す。抽出手段４１は、こうした影等のノイズを除去し、マーカ書き込み部のみを抽出する処理を行う。マーカによって書き込まれた部位は輪郭が明確でその内部の濃度は高濃度（グレースケールに変換したときの階調が低い） であり、背景部や影等は低濃度であることから、書き込まれた部位の輪郭を表す輪郭情報に基づいて、影等のノイズを除去することができる。書き込み部とそれ以外の部分の輪郭は、例えば二値化処理によって切り分ける事ができる。

二値化処理について説明する。二値化処理は、対象となる画像から背景部分を取り除き対象部分を抽出する処理として用いられることが多い。すなわち、ある濃度値を閾値とし、背景領域と対象領域に分割する。閾値を決定する方法としてはモード法、ｐ-タイル法、微分ヒストグラム法等が知られているが、これらは閾値を一定値に固定してしまう。本実施の形態における撮影画像においては、撮影時の障害物や人の挙動等によって影やノイズの生じ方にも変化があるため、可変閾値処理を用いることが好ましい。

可変閾値処理は、画像中の画素を走査していき、そのとき注目する画素ごとに閾値を変化させる方法である。注目する画素の周辺N×N画素分の局所領域の平均濃度値を閾値とする。

図７（ａ）はN=3での例である。Ｎ＝３であるので注目画素を含む周囲の画素全9画素の緑色の成分g値の合計の平均値g_aveを計算し、この値より注目画素のg値が低ければ、抽出対象、すなわちマーカ書き込み部であると判断し、注目画素のg値が高ければ、背景、影又はノイズと判断し、この画素を白すなわちRGB(２５５,２５５,２５５)として置き換える。これにより、図８に示すように、背景部を排除して書き込み情報を抽出することができる。なお、本実施の形態では、色信号としてＲＧＢを用いるが、ＣＭＹ、ＹＣｒＣｂ、ＹＵＢ等であってもよい。

色変換（Ｓ４）
本実施の形態の投影型表示装置において、書き込み面３の撮影には外光を利用しており、通常の会議室などにおける利用シーンを想定する場合、室内の灯りをつけたままの利用である。外光を利用すると、書き込み面３の撮影画像の書き込み以外の背景部分は白、もしくはこれに近い明るい色となるため、そのＲＧＢ値はともに高い値をとる。したがって、上記したRGB情報の相対関係から、赤、青、黒の情報を抜き出し、それ以外を背景、ノイズとして捨てることにより、書き込み情報のみを抽出することができる。

図７（ｂ）ないし（ｅ）は、画像中の赤書き込み、青書き込み、黒書き込み、背景の画素の平均的なRGB成分の相対関係を表している。一例としてこの相対関係から考えると、画像中の各画素において、図７（ｂ）のようにＲ＞Ｂ＞Ｇの関係が成立するものは赤、図７（ｃ）のようにＢ＞Ｇ＞Ｒの関係が成立するものは青とみなすことで、3色のマーカーによる書き込み情報を抽出することができる。黒の書込みにおいては、RGB３成分ともにある値以下をとるので、図７（ｄ）のように所定の閾値以下のものを黒の書き込みとみなすことで、4色のマーカによる書き込みを抽出することが可能になる。また、図７（ｅ）のようにＲＧＢ３成分がそれ以外の関係である場合、背景であるとみなす。

赤マーカに相当するところはRGB（255、0、0）、青はRGB（0、0、255）、黒はRGB（0、0、0）などに色を変換することで、図８の書き込み画像は書き込まれた際の色（原色）で明瞭に表示される。図９は色変換された書き込み情報を示す。赤いマーカで書き込まれた情報は赤色で、青いマーカで書き込まれた情報は青色で、黒いマーカで書き込まれた情報は黒色で、それぞれ表示されている。

最小領域抽出（Ｓ５）
これまでの処理で得られた画像はＣＣＤカメラ６からの画像のサイズになっているので、書き込み領域抽出手段４４により書込みのある部分だけの領域を切り出す。図１０は、書き込みのある領域のみを抽出する処理を説明する図を示す。

例えば、ステップＳ４までの処理において書き込み部以外は白に変換しているので、書き込み領域抽出手段４４は白い領域を残して切り出す。画像を左上から下方向に走査していき最初に白以外の画素とあたったところのＸ座標をｘ１、右上から下方向に走査していき最初に白以外の画素とあたったところのＸ座標をｘ２、左上から右方向に走査していき最初に白以外の画素と当たったところのＹ座標をｙ１、左下から右方向に走査していき最初に白以外の画素とあたったところのＹ座標をｙ２とする。

ｐ１(ｘ１,ｙ１)、ｐ２（ｘ２,ｙ１）、ｐ３（ｘ１、ｙ２）及びｐ４(ｘ２,ｙ２)を頂点座標とする矩形領域を切り出すことで、書き込み領域抽出手段４４は、図１０（ｂ）のように書込みのなされた面積に応じた画像を得ることができるので、後の合成処理等における操作性が向上する。

〔色キャリブレーション〕
本実施の形態の投影型表示装置の撮影手段６による書き込み面３の撮影は、外光すなわち書き込み面３を透過してくる外部の光を利用しているため、投影型表示装置の設置場所の外光条件によって画素値が変化する。

一般的なオフィスにおける蛍光灯下では図５における赤のR値は０〜255の階調で200前後の値をとり、黒ではRGB値ともに50より小さい値を示す。しかしながら、設置場所によるこの値の変化に対応する為に、設置場所に応じた値を設置する事が好ましい。

そこで、例えば投影型表示装置を起動した時に、色キャリブレーション手段４２は、設置場所の採光状態に応じてＲＢＧの色判定用の階調をキャリブレーションする。例えば、まず書き込み枠投影手段が図１１（ａ）に示すような色キャリブレーションのダイアログを投影面４に投影する。図１１（ａ）のダイアログにはＲＥＤ、Ｂｌｕｅ及びＢｌａｃｋと指定された書き込み枠が設けられているので、ユーザにそれぞれの枠に赤、青及び黒のマーカで書き込み情報を書きこませる。書き込みが終わった段階でキャリブレーションボタンをユーザがクリックすると、書き込み枠撮影手段がＣＣＤカメラ６に、赤、青及び黒のマーカで書き込まれた書き込み情報を撮影させる。

赤ペンで書き込まれた枠（文字）の画素のRGB値は、Ｒ＞Ｂ＞Ｇという相対関係があることがわかっている。背景部分（捨てるべき画素）はB>R>Gという相対関係があるが、ノイズや影が映った場合は背景画素がR>B>Gという相対関係をもってしまうケースが存在する。したがって、相対関係で判断すると、赤ペンで書き込まれた枠（文字）と背景部分（捨てるべき画素）とは同じＲ＞Ｂ＞Ｇであるが、両者はＲの値の大小が大きく異なっている。すなわち、赤ペン部分はR>B>Gという相対関係をもち、かつ、Rの値がある一定の値より大きく、背景部分のR>B>Gという相対関係をもつ画素のRの値はある一定の値より小さい。

そこで赤ペンで書き込まれた画素のR値の下限値がわかれば、赤の書き込み抽出の精度がより向上する。図１２は、画素のR値の下限値を抽出する処理を示すフローチャート図である。

コンピュータから投影されている画像サイズは既知であり、例えば１０２４×７６８のサイズである。ＣＣＤカメラ６はこの投影されている画像に画角が一致するように設置されているため、コンピュータの画像上の座標と撮影画像中の座標は１対１に対応している。また、ダイアログやWindow等、コンピュータ画面上に表示される要素の座標はプログラム上で容易に取得可能なので、色キャリブレーション手段４２は、図１１（ａ）に示すようなダイアログがコンピュータ画面上に表示されたとき、REDの枠が表示されている領域の座標を取得する（Ｓ１１）。

各枠の座標と撮影画像は１対１に対応しているので、色キャリブレーション手段４２はＰＣの画像における各枠の座標から撮影画像の座標に変換する（Ｓ１２）。

図１１（ｂ）は、図１１（ａ）の書き込み枠を撮影した撮影画面を示す。枠２１〜２３は、ＰＣの画面上の座標を取得して撮影画像中に対応する座標から得た枠である。したがって、枠２１の書き込みは赤であること、枠２２の書き込みは青であること、枠２３の書き込みは黒であること、が分かっている。

図１１（ａ）又は（ｂ）の撮影画像では枠２１に影がなく、かつ、他の色のペンによる書き込みはなされていないため、枠２１に存在するＲ＞Ｂ＞Ｇの相対関係をもつ画素はすべて赤ペンによる書き込みのなされている部分であることになる（Ｓ１３）。

そこで、色キャリブレーション手段４２は、枠２１に存在するＲ＞Ｂ＞Ｇの相対関係をもつ画素のなかで最も低いＲの値をＲ_ｒ_ｍｉｎとして抽出する（Ｓ１４）。

このＲ_ｒ_ｍｉｎはこのときの環境下で赤色による書き込みの画素でとりうる最小値であるので、抽出手段４１はＲ_ｒ_ｍｉｎを書き込み情報の抽出に用いて R>B>G かつR ＞Ｒ_ｒ_ｍｉｎである画素 を RGB（２５５，０，０）と変換することで、赤ペン部分は鮮明な赤色にと変換されることとなる。

また、このキャリブレーション時に取得する閾値の必要な要素は、カメラレンズ、ＣＣＤの特性によって若干変化するため、用いる撮像系にあった要素を取得することが好ましい。

青及び黒の色も同様の方法でそれぞれに必要な閾値を獲得する。図１１（ａ）のように画面上のダイアログの座標、ダイアログ内の青、黒のマーカでそれぞれ書き込みを行う部分の枠の位置も既知であるから、撮影された画像中で黒ペンによる書き込みのなされた領域、青ペンによる書き込みのなされた領域の座標も容易に取得できる。

すなわち、青ペンの書き込み枠には青ペンと背景のみが存在する為、色キャリブレーション手段４２は書き込み部分のかなでB値の最も低い値を取得しこれをB_b_minとして抽出する。黒ペンの書き込み枠も同様にたとえばＧ値の最も低い値をBk_g_minとして抽出する。以上で、投光型表示装置のキャリブレーションが完了する。

Ｒ_ｒ_ｍｉｎ、Ｂ_ｒ_ｍｉｎ及びＢｋ_ｒ_ｍｉｎは、記憶部１５に保存される。色キャリブレーションは投光型表示装置の設置時に行い、例えばiniファイルやレジストリファイルとして保存しておく。投光型表示装置を使用して、書き込み情報を抽出する場合、この値をもとに画像中の書き込み部が何色のペンでされたものかを判別する。

具体的には、例えば、赤ペンの画素はRGB相対値がR>B>Gの関係になる事がわかっており、さらに設置環境下でR値の最小値はR_r_minとして保存されているので、抽出手段４１は色変換時において所定の画素がR>G>B かつ R ＞ R_r_minとなっている画素を（255,0,0）と置き換える。同様に画像中のある画素のRGBがB>G>R かつ B ＞ B_b_minとなっている画素を（0,0,255）、G値が G＜Bk_g_minの画素を（0,0,0）と、抽出手段４１は変換する。

このように投光型表示装置の設置段階で、撮影した画像の書き込み部の色変換処理に必要な値を取得しておく事で、外光条件の変化に柔軟な色変換処理が可能になる。

〔輝度補正〕
本実施例では、周囲の外光の条件により生じる光量ムラを低減する方法について説明する。図１３は、書き込みのなされていない無地の書き込み面３を撮影した画像を示す。図１３では、ＣＣＤカメラ６による撮影の際に書き込み面３前から入射する外光を用いているため、左側の輝度が高くなっており画像中に濃度勾配ができている。

図１３のような光量ムラにより、書き込み情報の抽出を行う際に設定している閾値が撮影画像中の部位により変わってしまうことをさけるため、輝度補正手段４３は、図１３の無地画像を用いて書き込み撮影画像をシェーディング補正する。シェーディング補正では、書き込み画像の画素値に対する無地画像の画素値の濃度値の割合を求め、これを0~255の幅に換算した値で書き込み画像の画素値を置き換えることで濃度勾配を補正できる。

シェーディング補正について図１４に基づき説明する。周囲の外光の状況により、画像内には明るい部分と暗い部分、すなわち輝度勾配が発生する。書き込み画像内で、輝度が高い部分にかかれているものは輝度が高く、輝度が低い部分にかかれているものは輝度が低く撮影される。無地画像中のあるライン上（図１４ではｙ＝J ）の輝度勾配が図１４（ｂ）のように、原点からＸ軸方向に離れるほど輝度が大きくなるものとする。

図１４（ｃ）は、図１４（ｂ）のような外光の環境下で単色で書き込みを行った書き込み画像を示す。また、図１４（ｄ）は、ライン上（ｙ＝J ）の輝度勾配を示す。図１４（ｄ）に示すように、外光により輝度勾配がある場合、同じ色のペンで書き込みを行ったとしても、画像中の輝度値は撮影画面の部分により異なり、書き込み場所によって輝度値に差が生じてしまう。例えば図１４（ｄ）では、左側の文字と中央の文字でΔｋ１輝度値が異なり、中央の文字と右側の文字とはΔｋ２輝度値が異なる。輝度値が異なれば、同じ色のペンで書かれたものでもＲＧＢ値に大小が生じるため、シェーディング補正により無地画像の輝度勾配に基づき、書き込み撮影画像の輝度勾配を修正する。

あらかじめ撮影されている書き込みがない状態での無地画像と、書き込みがなされている撮影画像はその画角は一致しているため、無地画像上の座標（ I,J ）は書き込み画像上でも( I,J )と、一対一に対応する。書き込み撮影画像のある画素の画素値をそれぞれRc,Gc,Bcとし、これと同じ座標の無地画像上の画素値をRn,Gn,Bnとすると補正後の画素値R,G,Bは、
R = (Rc/Rn)×255
B = (Bc/Bn)×255
G = (Gc/Gn)×255
で表される。無地画像上の画素値Rn,Gn,Bnは、無地輝度分布４３１として保持される。

図１５（ａ）は、補正後の画素値R,G,Bにより輝度勾配を補正した書き込み画像の撮影画像を、図１５（ｂ）はその輝度勾配を示す。図１５（ｂ）に示すように、補正後の画素値R,G,Bは輝度勾配が修正されているので、同色での輝度の落差が解消されている。輝度補正手段４３が光量ムラを補正することで、鮮明な書込み面の撮影画像を得ることができ、より良質な書込み画像を抽出することができる。光量ムラ補正のための無地画像は、装置起動時に自動的に撮影してもよいし、またユーザの操作による任意のタイミングで撮影してもよい。

〔書き込み情報の合成〕
続いて、撮影画像から抽出した書き込み情報を投影されていたファイルに貼り付け、投光画像として再投光する方法について説明する。図１６は、書き込み情報をファイルに合成して投影するフローチャート図を示す。図１６のフローチャート図では、ビットマップオブジェクトを扱えるソフトウェアで表示可能なファイルを対象に、外部コントロールにより画像の貼り付けが操作可能な場合について説明する。

これまで説明したように、まず図１７（ａ）に示すようにＣＣＤカメラ６が書き込み画像を撮影する（Ｓ３１）。次いで、抽出部１１が、図１７（ｂ）に示すように、撮影画像から書き込み領域のある部分を抽出する。投影された画像と撮影された画像は１対１に対応しているので、書き込み画像合成手段４５は画像サイズと貼付位置を取得できる。

ところで、API（Application Program Interface）を公開しているアプリケーション、例えばMicrosoft Office（登録商標）であれば、撮影手段によって得た書き込み情報を、当該アプリケーションのファイルに編集可能に付加することができる。

例えばユーザがワープロソフトウェア（例えば、Ｗｏｒｄ（登録商標））の文書ファイルを投影しつつ、そこに追記文や図形等を書き込み面３に書き込んだ場合、修正したい又は関連する個所に書き込みを行っている。本実施の形態の投光型表示装置は、書き込み面３に書き込まれた書き込み情報を抽出し、投影されている文書に画像として貼り付ける。このため、貼り付けが行われ再投影された際、書き込まれた情報は実際に書き込み面３に書き込まれたものと位置と合っていることが好ましい。

投影画像でＰＣから投影されているワープロソフトウェアのウィンドウ座標は取得可能で、書き込み面３の位置は撮影画像中の座標に換算可能であるため、抽出した画像の貼り付け位置が換算できる。また、ワープロソフトウェアはダイナミックリンクライブラリDLL４６からPaste()関数を呼びだし、Paste()関数に付加画像のサイズ及び貼り付け位置の情報を引数として与えることで、書き込み画像合成手段４５は、指定の位置（当該書き込み情報が書き込まれた際に投影されていたファイルの略同じ位置）に書き込み情報を貼り付けることができる。

したがって、図１０（ｂ）のように抽出した書き込み情報の左上の座標ｐ１（x1,y1）と幅x2−x1、高さｙ２−ｙ１のサイズを引数としてあたえ、白地の部分を透明色にしてWordファイルにペーストすれば、抽出した書き込み画像を指定の位置に貼り付けることができる（Ｓ３３）。

これにより、図１７（ｃ）に示すように、直接ファイルに書き込みをしたように、抽出した書き込み情報がワープロソフトウェアのファイルに貼り付けられる。貼り付けしたワープロソフトウェアの画像をプロジェクタ７から投影すれば、図１７（ｄ）に示すように、ワープロソフトウェアのファイルに書き込み情報が重畳して投影される。図１７（ｄ）は、投影面に書き込まれた書込み情報を、書き込み画像から抽出し、ワープロソフトウェアのファイルにビットマップオブジェクトとして貼り付けたものである。したがって、外部コントロールにより画像の貼付けが操作可能なアプリケーションソフトウェアのファイルに、アノテーション情報を付加することが可能になる。

ところで、ＤＬＬのような内部操作可能な関数（ライブラリ）を公開していないアプリケーションの場合これまで説明した方法が行えない。かかるアプリケーションの場合に、抽出した書き込み情報を元のファイルに重畳して投影する方法について説明する。

図１８は、投影している文書を仮想プリンタドライバを用いて画像ファイルに展開し、前記抽出手段４１を用いて抽出した書き込み情報を書き込み画像合成手段４５が貼り付け、階層構造により表示投影する方法を示す。

プリンタドライバは、通常、アプリケーションの印刷情報を紙に印刷するものであるが、仮想プリンタドライバとは、印刷情報を実際のプリンタ以外にファイル（以下、画像ファイルという）として出力するためのソフトウエアである。アプリケーションが印刷機能を有している場合、仮想ファイル出力手段４７は、出力先のドライバにこの仮想プリンタドライバを設定することでファイルの情報は画像ファイルとして出力される。

図１８（ａ）は、ＰＣの画面に表示されたアプリケーションの文書を示す。図１８（ａ）のような文書を仮想ファイル出力手段４７が仮想プリンタにより画像ファイルに出力すると図１８（ｂ）のような画像ファイルが得られる。なお、仮想プリンタにより出力された文書が複数ページの場合、画像ファイルは複数頁の画像の階層構造となる。

印刷機能をもつアプリケーションの文書を、仮想プリンタドライバを通して階層構造の画像ファイルに展開すれば、例えばアプリケーションソフトウェアが提供する貼り付け機能（ファイル貼り付け手段４８）が任意の画像情報を付加する。これにより、ＤＬＬのような内部操作可能な関数（ライブラリ）の公開の有無に制約されず、書き込み画像合成手段４５は書き込み情報をファイルに合成することができる。

したがって、図１８（ｃ）のような書き込み情報が抽出されていた場合、仮想プリンタドライバにより画像ファイルに展開することで書き込み情報を貼り付け、図１８（ｄ）のように元の文書に書き込み情報が重畳した画像が得られる。

書き込み可能な書き込み面と、投影面の背面から画像を投影する手段と、投影面の背面から画像を読み取る手段を有する装置においてこの方法を用いると、利用者は、プロジェクタ７から投影された投影画像に重畳的に自由な書き込みを行うことができ、内蔵された撮影手段により投影面を撮影し、得られた撮影画像から書き込み情報を抽出し、投影された元のファイルに書き込み情報を付加することができる。

本実施の形態のように、仮想プリンタドライバを通して階層構造で管理することによって、印刷機能をもつアプリケーションであれば、後に編集可能に、ファイルと付加された書き込み情報を管理することができる。

〔ホワイトボード的利用方法〕
続いて、投影型表示装置をホワイトボードのように利用して書き込んだ内容を保存する方法について説明する。例えば、アプリケーション起動時に白色のダイアログを全画面表示した画面を投影面４に投影する。図１９は、白色のダイアログを全画面表示したスクリーンの一例を示す。なお、操作用ダイアログ５２を画面の一部に表示することが好適である。なお、図１９では画面下部にツールバーが表示されているが、ツールバーの表示もなくしてもよい。

投影された画面は、所定の明るさがある無地の画面なので、ユーザは電子黒板やホワイトボードと同様に書き込み面３にマーカによる書込みを行うことができる。書込みが終了したら、操作用ダイアログボタン（図１９ではCLIPBOARDボタン）をクリックするとCCDカメラによる書き込み面３の撮影が行われ、上述の方法で背景やノイズを白色に変換し、書き込み情報が抽出されるので、書き込み情報格納手段４９は抽出された書込み情報はクリップボードへ格納する。ユーザは、いわゆるカット&ペーストするときのペースト動作を、任意のアプリケーションに対して行えば、書き込み面３に書き込んだ情報(画像)を当該アプリケーションに貼り付けることができる。

ユーザは、ビットマップオブジェクトを扱える任意のアプリケーション（画像をペーストできるアプリケーション）を起動し、このファイルに書き込み情報を貼付けることで、マーカによる書込み情報を電子的に保存することが可能になる。表示するダイアログの色や表示サイズは任意の大きさに設定可能である。なお、ダイアログのCLIPBOARDボタンは、他の名称のボタンでもよく、特定のボタンをクリックしたら、この処理を行うように設定しておいてもよい。

以上のように、本実施の形態の投影型表示装置、投影表示方法及び投影型表示プログラムは、書き込み面に書き込まれた情報をより良質に抽出し、抽出した画像を有効に活用することができる。

投影型表示装置の斜視図である。 投影型表示装置の断面図である。 投影型表示装置の機能ブロック図及び制御装置（ＰＣ）のハードウェア構成図である。 投影面を撮影し撮影された画像から書き込み情報を抽出する処理のフローチャート図である。 書き込みがなされた書き込み面を撮影した画像の一例である。 撮影時に書き込み面付近にかざされた手の影が映りこんだ画像の一例である。 ３×３画素の可変閾値処理を説明するための図である。 背景部を排除した書き込み情報の一例である。 色変換された書き込み情報の一例である 書き込みのある領域のみを抽出する処理を示す図である。 色キャリブレーションのためのダイアログを示す図である。 画素のR値の下限値を抽出する処理を示すフローチャート図である。 書き込みのなされていない無地の書き込み面を撮影した画像である。 輝度分布の補正を説明するための図である。 補正後の画素値R,G,Bにより輝度勾配を補正した書き込み画像の撮影画像である。 書き込み情報をファイルに合成して投影するフローチャート図である。 書き込み情報をファイルに合成する処理の流れを示す図である。 内部操作可能な関数を公開していないアプリケーションで書き込み情報をファイルに合成する処理を示す図である。 白色のダイアログを全画面表示したスクリーンの一例である。

符号の説明

１ 投影型表示装置
３ 書き込み面
４ 投影面
５ ミラー
６ ＣＣＤカメラ
７ プロジェクタ
１１ 抽出部
１２ 撮影部
１３ 投影部
１４ 合成部
１５ 記憶部

Claims (16)

1. 投影面に所定の投影画像を投影する投影手段と、前記投影手段により投影された前記投影画像に対して書き込み情報が書き込まれる書き込み面と、画素が二次元的に配列された撮像部によって、前記書き込み面に書き込まれた前記書き込み情報を撮影する撮影手段と、を有する投影型表示装置において、
   前記撮影手段により撮影された書き込み画像から、
   各画素の色信号の相対値に基づき前記書き込み情報を抽出する抽出手段と、
   色キャリブレーション値を抽出する色キャリブレーション手段と、を備え、
   前記色キャリブレーション手段は、
   所定の色と指定された書き込み枠を前記投影面に投影する書き込み枠投影手段と、
   書き込み枠投影手段により前記投影面に投影された、前記所定の色と指定された前記書き込み枠、及び、書き込まれた書き込み情報を撮影する書き込み枠撮影手段と、をさらに備え、
   前記書き込み枠投影手段で前記投影面に投影された前記書き込み枠に対して指定された前記所定の色と、前記書き込み枠撮影手段により撮影された書き込み画像の前記書き込み枠の部分に相当する色信号とに基づき、前記所定の色を判別するための色キャリブレーション値を抽出する、
   ことを特徴とする投影型表示装置。
2. 当該投影型表示装置が起動された場合、前記撮影手段により無地の投影面を撮影し、撮影された無地画像の輝度分布を記憶する無地輝度分布記憶手段と、
   前記撮影手段で撮影された所定の書き込み画像の輝度分布を、前記無地輝度分布記憶手段に記憶された前記無地画像の前記輝度分布に基づき平滑化する輝度補正手段と、
   を有することを特徴とする請求項１記載の投影型表示装置。
3. 前記抽出手段は、
   前記書き込み画像から、書き込みが存在する略矩形の領域を抽出する書き込み領域抽出手段を有する、
   ことを特徴とする請求項１又は２記載の投影型表示装置。
4. 前記投影画像は所定のファイルの内容を投影したものであり、
   前記抽出手段で抽出された書き込み情報を、当該書き込み情報が書き込まれた際に投影されていた前記ファイルの略同じ位置に貼り付ける書き込み画像合成手段を有し、
   前記投影手段は、前記書き込み画像合成手段により書き込み画像が合成された前記所定のファイルの内容を前記投影面に投影する、
   ことを特徴とする請求項１ないし３いずれか記載の投影型表示装置。
5. 前記書き込み画像合成手段は、前記所定のファイルの内容を表示するソフトウェアが利用可能なダイナミックリンクライブラリである、
   ことを特徴とする請求項４記載の投影型表示装置。
6. 前記書き込み画像合成手段は、
   プリンタドライバにより前記所定のファイルを一又は複数の画像ファイルとして出力する画像ファイル出力手段と、
   前記画像ファイル出力手段により出力された前記画像ファイルに、前記抽出手段により抽出された書き込み情報を貼り付けるファイル貼り付け手段と、を有する、
   ことを特徴とする請求項４記載の投影型表示装置。
7. 前記抽出手段により抽出された前記書き込み情報をクリップボードに格納する書き込み情報格納手段を有する、
   ことを特徴とする請求項１記載の投影型表示装置。
8. 投影手段により投影面に所定の投影画像を投影する投影ステップと、投影された前記投影画像に対して書き込み情報が書き込まれる書き込み面の前記書き込み情報を、画素が二次元的に配列された撮像部によって撮影する撮影ステップと、を有する投影表示方法において、
   前記撮影ステップにより撮影された書き込み画像から、
   抽出手段が、各画素の色信号の相対値に基づき前記書き込み情報を抽出する抽出ステップと、
   色キャリブレーション手段が、色キャリブレーション値を抽出する色キャリブレーションステップと、を備え、
   前記色キャリブレーションステップは、さらに、
   書き込み枠投影手段が、所定の色と指定された書き込み枠を前記投影面に投影する書き込み枠投影ステップと、
   書き込み枠撮影手段が、書き込み枠投影手段により前記投影面に投影された、前記所定の色と指定された前記書き込み枠、及び、書き込まれた書き込み情報を撮影する書き込み枠撮影ステップと、をさらに備え、
   前記書き込み枠投影ステップで前記投影面に投影された前記書き込み枠に対して指定された前記所定の色と、前記書き込み枠撮影ステップにより撮影された書き込み画像の前記書き込み枠の部分に相当する色信号とに基づき、前記所定の色を判別するための色キャリブレーション値を抽出するステップと、
   を有することを特徴とする投影表示方法。
9. 前記投影面に投影された無地の投影面を撮影し、撮影された無地画像の輝度分布を記憶する無地輝度分布記憶ステップと、
   前記無地輝度分布記憶ステップにより記憶された前記輝度分布に基づき、前記撮影ステップにより撮影される書き込み画像の輝度分布を平滑化する輝度補正ステップと、
   を有することを特徴とする請求項８記載の投影表示方法。
10. 前記抽出ステップは、
    前記書き込み画像から、書き込みの存在する略矩形の領域を抽出する書き込み領域抽出ステップを有する、
    ことを特徴とする請求項８又は９記載の投影表示方法。
11. 所定のファイルの内容を投影した投影面と重畳した書き込み面に書き込まれた書き込み情報を撮影するファイル書き込み撮影ステップと、
    前記ファイル書き込み撮影ステップにより撮影した書き込み画像から抽出された書き込み情報を、当該書き込み情報が書き込まれた際に投影されていた前記ファイルの略同じ位置に貼り付ける書き込み画像合成ステップと、を有し、
    前記投影ステップは、前記書き込み画像合成ステップにより書き込み画像が合成された前記所定のファイルの内容を前記投影面に投影する、
    ことを特徴とする請求項８ないし１０いずれか記載の投影表示方法。
12. 前記書き込み画像合成ステップは、前記所定のファイルの内容を表示するソフトウェアが利用可能なダイナミックリンクライブラリを用いて、前記書き込み画像を当該書き込み情報が書き込まれた際に投影されていた前記ファイルの略同じ位置に貼り付ける、
    ことを特徴とする請求項１１記載の投影表示方法。
13. 前記書き込み画像合成ステップは、
    プリンタドライバにより前記所定のファイルを一又は複数の画像ファイルとして出力する画像ファイル出力ステップと、
    前記画像ファイル出力ステップにより出力された前記画像ファイルに、前記抽出ステップにより抽出された書き込み情報を貼り付けるファイル貼り付けステップと、を有する、
    ことを特徴とする請求項１１記載の投影表示方法。
14. 前記抽出ステップにより抽出された前記書き込み情報をクリップボードに格納する書き込み情報格納ステップを有する、
    ことを特徴とする請求項８記載の投影表示方法。
15. コンピュータに、請求項８ないし１４のいずれかに記載の投影表示方法を実行させるための投影表示プログラム。
16. 請求項１５に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。