JP4588366B2 - 画像表示装置 - Google Patents

Description

本発明は、画像表示装置に関し、例えば、表示面に投影された投影画像と書き込み面に書き込まれた画像の合成を行うようにした画像表示装置に関する。

一般に、投影型表示装置はプロジェクタ、表示付電子黒板、パーソナルコンピュータ等に適用されており、会議や講義等において複数人を対象としたモニタとして使用されたり、個人で使用するパーソナルコンピュータ等のモニタとして使用されている。

この投影型表示装置にあっては、会議や講義の終了後に、その会議内容や講義内容の取り扱いを向上させるために、表示画像に重畳させて文字や絵が書き込むことができるとともに、その書き込みを電子情報として入力できる機能がある。

このような表示と書き込みとを同一面上で行うことを実現するための手段の１つとして、表示面に接触されたペン先の位置を検出し、これを追跡する機能があり、現在この機能を搭載した表示装置が販売されている。

ところが、この方法では、書き込むための専用のペンが必要であったり、文字の追加や消去を行うために画面操作でモードを変更する必要がある等、機能性や操作性の問題があった。

この問題を解消するものとして、所定の投影画像を形成する投影面と、この投影画像と重複可能に書き込み画像を、通常のホワイトボード用マーカー等のペンで直接書き込みが可能である書き込み面と、これらの投影面を撮像する撮像手段を有する画像投影表示装置がある（例えば、特許文献１参照）。
特開２００３−１４３３４８号公報

しかしながら、特許文献１に記載されたものは、書き込みを抽出するための画像を撮像する際に、画像投影表示装置の周囲の外光を用いているので、画像投影表示装置の使用される環境がカメラによる書き込み面の撮像に十分な外光を得られない環境下、例えば、消灯した暗い環境下での撮像では、図２９に示すように書き込み画像を抽出するに必要な画像が得られないという問題があった。図２９では、書き込み面に書き込まれた画像が全く得られずに、真黒な画像が撮像されている。

本発明はこのような問題を解決するためになされたもので、周囲の外光状態に拘わらずに、書き込み画像を安定して撮像することができる画像表示装置を提供するものである。

本発明の画像読取装置は、画像を投影する画像投影手段と、前記画像投影手段から投影された画像を表示する表示面と、前記投影画像と重複可能に書き込み画像が形成される書き込み面と、前記書き込み面上に形成された書き込み画像を撮像する撮像手段と、前記撮像手段による撮像画像から書き込み画像を抽出するとともに、前記抽出された書き込み画像および前記画像投影手段により投影される投影画像の一部または全部を合成して合成画像を生成する画像抽出・合成手段と、少なくとも前記書き込み面を含んだ前記書き込み面の周囲の外光状態を判別し、前記外光状態に応じて前記画像投影手段から投影される画像を変化させる投影画像制御手段とを備え、前記投影画像制御手段は、前記書き込み面の周囲に、前記撮像手段によって撮像された書き込み面の画像から書き込み画像を抽出するために必要な外光があるものと判別した場合、前記書き込み面の撮像時に前記画像投影手段から投影される画像を、前記画像表示装置の起動時に撮像された投影面の画像の輝度分布を反転させた画像にするものから構成される。

この構成により、画像表示装置の周囲の外光状態を判別し、外光状態の判別結果に基づいて画像投影手段から投影される画像を変化させるようにしたので、書き込み画像を抽出するために必要な高画質な画質の書き込み画像を撮像することができる。
また、装置起動時の輝度分布を反転させた画像を投影することで、書き込み面における輝度分布のムラを軽減し、より高画質な書き込み面の撮像画像を得ることができる。

以上説明したように、本発明は、周囲の外光状態に拘わらずに、書き込み画像を安定して撮像することができる画像表示装置を提供することができる。

以下、本発明の実施の形態について、図面を用いて説明する。

図１乃至図６は本発明に係る画像表示装置の第１の実施の形態を示す図である。 まず、構成を説明する。図１、図２において、画像投影表示装置（画像表示装置）１は本体２にアクリル等の透過性樹脂からなるスクリーン３が設けられており、このスクリーン３の投影面（表示面）３ａにはプロジェクタ４からの画像が利用者側に透過して表示されるようになっている。なお、スクリーン３は透過率の高い材質、例えば、ガラスやプラスティック等から構成されても良い。

書き込み面５は、利用者側に面する側と反対側に設けられたスクリーン３に投影された画像を利用者側へ透過するのに十分透明の材質、例えばアクリルから構成されており、利用者はプロジェクタ４からスクリーン３に投影された画像を書き込み面５を介して見ることができる。すなわち、スクリーン３の投影面３ａと書き込み面５は重複して設けられている。

この書き込み面５には一般的なホワイトボードと同様に塗布されたインクを布等で拭き取り易い加工、例えば、フッ素樹脂加工が施されており、書き込み面５に一般的にホワイトボード用マーカーとして販売されているものを用いて文字や絵等を書き込むことができる。

また、本体２内にはプロジェクタ（画像投影手段）４、ＣＣＤカメラ（撮像手段）６および制御部７が設けられている。

プロジェクタ４は制御部７に制御されることにより、スクリーン３の投影面３ａに画像を投影するようになっている。

ＣＣＤカメラ６はスクリーン３に投影された画像に画角を合わせて設置されており、制御部７にＩＥＥＥ１３９４インターフェースにより接続されている。ＣＣＤカメラ６は利用者による任意のタイミングで書き込み面５を撮像し、撮像画像を制御部７に転送するようになっている。

ここで、ＣＣＤカメラ６は画像をデジタル画像として取り込めるものであれば何でも良く、産業用ＣＣＤカメラや一般に用いられるデジタルカメラでも良い。また、制御部７とＣＣＤカメラ６とのインターフェースは、ＳＵＢ、シリアルケーブル等でも良いが、より転送速度の速いものが好ましい。

また、制御部７は図３に示すように、投影画像生成部８、画像合成部９、書き込み画像抽出部１０および記憶部１１を備えている。

投影画像生成部８はプロジェクタ４に投影する画像を生成するようになっており、この投影画像生成部８は、資料用のファイルを直接読取ったり、メモリに記憶された情報を読取ることにより、プロジェクタ４から画像をスクリーン３に投影する。

書き込み画像抽出部（画像抽出・合成手段）１０はＣＣＤカメラ６によって撮像された画像から書き込み面５に書き込まれた画像を抽出して電子化するようになっており、画像合成部（画像抽出・合成手段）９は投影画像生成部８によって生成された画像、すなわち、プロジェクタ４から投影される画像に抽出されて電子化された画像を合成するようになっている。このため、プロジェクタ４は合成画像をスクリーン３に投影することができる。

入出力部１２はマウスやキーボード等の操作手段から構成されており、記憶部１１に記憶されたファイル情報を読み出して外部機器に出力するようになっている。

また、本実施の形態の投影画像生成部８は、ＣＣＤカメラ６によって書き込み面５の撮像するときに、プロジェクタ４から投影面３ａに投影される画像を白色（単色）にして表示面３ａに表示するようにしている。

次に、図４乃至図６に基づいて書き込み画像の撮像方法を説明する。

利用者は、プロジェクタ４からスクリーン３の投影面３ａに投影された画像を見ながら書き込み面５にマーカーによって直接、図や文字等の書き込みを行うことにより、会議や講義を行う。そして、書き込み面５に書き込んだ情報をＣＣＤカメラ６によって撮像し、プロジェクタ４から投影面３ａに投影されたファイル画像に合成して投影したり、合成されたファイル画像を記憶部１１に記憶して保存する。

ところで、書き込み面５をＣＣＤカメラ６によって撮像する場合には、透過型のスクリーン３には投影画像が投影されているため、書き込み終了後に書き込み面を撮像した画像内には、マーカーによって書き込まれた情報とプロジェクタ４によって投影された投影画像の情報とが混在して存在することになる。

この画像内では何れの情報も単なる色情報でしかないため、書き込み画像のみを抽出する際には、その判別が困難になる。この場合、書き込み面５の撮像時にはプロジェクタ４による投影を一時的に消灯し撮像することが考えられる。

ところが、プロジェクタ４の光を消灯する手法では、以下の問題が生じてしまう。

書き込み面５を撮像する際には、画像投影表示装置１の周辺の外光を利用するが、画像投影表示装置１の周辺の外光状態は常に一定ではないことが考えられる。ある一定以上の照明がある場合、例えば、一般オフィス等のように、蛍光灯による十分な照明がなされた環境であれば、書き込み面撮像に十分な外光を得ることができるが、ショールームや展示場等のように、照明の色や明るさにより、必要な外光条件を満たさない状況の場合も考えられる。

そこで、本実施の形態では、利用者によって書き込みが行われた書き込み面５をＣＣＤカメラ６によって撮像する際に、投影画像生成部８は、ＣＣＤカメラ６の撮像起動信号に基づいてプロジェクタ４からの投影画像を単色の無地画像に切換えて投影面３ａに投影する。特に外光の全くないような環境下では投影画像を白色の無地画像に切換えて投影する。

書き込み面５の撮像画像には、投影画像の情報が混在しておらず、かつ外光条件による影響の少ないものが好ましい。無地画像で色が既知であれば、書き込み画像だけを抽出することは困難ではなく、また、単色の投影光が、カメラのストロボの代わりにもなる。

ここで、白表示にする手段としては、プログラムによるタスクの切り替えで白無地の画像を表示する、または、一時的にパワーポイントの無地画像をスライドショー表示にする等、制御部７にインストールされているアプリケーションで書き込み面５の全体、または略全体を白く表示できるものであれば良い。例えば、ペイントの背景を白表示、デスクトップの背景を白表示、または、プロジェクタ４自身の機能として、投影画像を白に切換えることができるものであれば、何でも良い。

図４は書き込み画像の撮像処理のフローチャートである。

図４において、画像投影表示装置１が起動されると、プロジェクタ４から画像が投影されるので、利用者は投影画像を見ながら書き込み面５にマーカー等で書き込みを行う。

利用者が書き込み面５に書き込まれた書き込み画像の保存の指示を行うと、ＣＣＤカメラ６によって書き込み面５の撮像をスタートする（ステップＳ１）。次いで、投影画像生成部８がＣＣＤカメラ６の撮像起動信号をトリガとしてプロジェクタ４から投影される画像を白に切換え（ステップＳ２）、ＣＣＤカメラ６によって書き込み面５の撮像が行われる（ステップＳ３）。撮像が終了すると、プロジェクタ４の投影画像を元に戻した後（ステップＳ４）、撮像された画像から書き込み画像を抽出して（ステップＳ５）、元の投影画像に合成する（ステップＳ６）。

図５は画像投影表示装置１を消灯した環境下に設置して投影画像を白表示にして撮像した書き込み面５の撮像画像１３を示し、図６は同じく消灯した環境下でプロジェクタ４の光を消灯して撮像した書き込み面５の撮像画像１４を示すものである。図５と図６の比較をすると、図５の撮像画像１４に示すように、プロジェクタ４の投影画像を白表示にして撮像することにより、書き込み画像の抽出が容易であることが分かる。

このように本実施の形態では、ＣＣＤカメラ６によって書き込み面５を撮像するときに、プロジェクタ４から投影される画像を単色にして表示面３ａに表示するようにしたので、画像投影表示装置１の周囲の外光状態、すなわち、外光の明るさや照明の方向等に拘わらずに、書き込み画像を安定して撮像することができる。

また、特に、プロジェクタ４から投影される画像を白色にして表示面３ａに表示するようにしたので、外光の少ない環境下でも書き込み画像を抽出するために必要な画質の書き込み画像を撮像することができる。

図７乃至図１４は本発明に係る画像表示装置の第２の実施の形態を示す図であり、第１の実施の形態と同様の構成には同一番号を付して説明を省略する。

本実施の形態では、制御部７が画像合成部９および書き込み画像抽出部１０に加えて、外光状態判別部２１、撮像時投影画像決定部２２および投影画像切換部２３を備えている。

外光状態判別部２１は、少なくとも書き込み面５を含んだ書き込み面５の周囲の外光状態を判別するようになっており、画像投影表示装置１の起動時にＣＣＤカメラ６が書き込み面５を撮像したときの画像の輝度分布によって外光状態を判別する。

撮像時投影画像決定部２２は、外光状態判別部２１によって判別された外光状態に応じてプロジェクタ４から投影面３ａに投影される画像を決定するようになっている。また、外光状態判別部２１は、書き込み面５の周囲にＣＣＤカメラ６によって撮像された書き込み面の画像から書き込み画像を抽出するために必要な外光があるものと判別した場合には、書き込み面５の撮像時にプロジェクタ４から投影される画像を黒色にするとともに、外光状態判別部２１が外光がないものと判別した場合には、書き込み面５の撮像時にプロジェクタ４から投影される画像を白色にするように投影画像を決定する。

投影画像切換部２３は、撮像時投影画像決定部２２からの出力信号に基づいて書き込み面５を撮像するときのプロジェクタ４から投影される画像の色を切換えてプロジェクタから投影するとともに、書き込み面５の非撮像時に通常のファイル画像を投影する。本実施の形態では、外光状態判別部２１、撮像時投影画像決定部２２、投影画像切換部２３が投影画像制御手段を構成している。

次に、図８乃至図１４に基づいて書き込み画像の撮像方法を説明する。

まず、画像投影表示装置１の周囲の外光状態は、画像投影表示装置１の使用況下で変化するため、書き込み面５の撮像時に投影する画像を一義的に決定することは難しい。図９において、
（ａ）はスクリーン３の真上に３本の蛍光灯が位置するように画像投影表示装置１が設置されている場合
（ｂ）はスクリーン３の真上に２本の蛍光灯が位置するように画像投影表示装置１が設置されている場合
（ｃ）はスクリーン３の真上に１本の蛍光灯が位置するように画像投影表示装置１が設置されている場合（蛍光灯１本）
（ｄ）は画像投影表示装置１の上部の両側に蛍光灯がある場合
（ｅ）蛍光灯が消灯あるいは蛍光灯がない場合、
における環境下でプロジェクタ４の投影光を遮光してＣＣＤカメラ６によって撮像された書き込み面５の様子である。

（ａ）から（ｄ）に示すように、十分な外光を得られる環境下では、プロジェクタ４の投影光を補助光として用いなくても書き込み画像を抽出するために必要な画像を撮像することができる。

この場合は、白色光を投影すると撮像画像に白とび等の情報欠落を起こす可能性が生じる。図１０は、プロジェクタ４の投影光を黒表示にして書き込み面を撮像したものである。図１０（ａ）から（ｄ）においてはプロジェクタ４を黒表示にし、図１０（ｅ）に示すように外光のない環境下では投影光を白にすることにより、図１１に示すように書き込み画像を抽出可能な画像を得ることができる。本実施の形態では、外光状態に拘わらずに正確に書き込み画像を抽出するために、投影画像を切換えるものであり、周囲の外光状態を判別するため、画像投影表示装置１の起動時に撮像される書き込み面の輝度分布を用いている。

具体的には、画像投影表示装置１の起動時に、ＣＣＤカメラ６は書き込みのなされていない無地画像を一枚撮像する（図１２参照）。撮像された画像の中から、図１３の枠で示すように５箇所の領域の輝度の最小値と最大値を調べる。図１４（ａ）から（ｅ）は、図９の（ａ）から（ｅ）の画像から５箇所の輝度をグラフにしたヒストグラムである。

図１４の（ａ）から（ｄ）に示すヒストグラムのように、輝度が最小値以上の場合は図１０の（ａ）から（ｄ）のようにプロジェクタ４の投影光が黒表示であっても、書き込み面５の書き込み画像を読み取ることができる。

ところが、図１４（ｅ）のように輝度が最大値以下の場合は図１０（ｅ）からは書き込み面５の書き込み画像を認識することは困難であるため、この場合には、図１１に示すように白表示にすることで書き込み画像を認識を可能にしている。

図８は書き込み画像の撮像処理のフローチャートである。

図８において、画像投影表示装置１の起動時に書き込み面５を撮像し、撮像画像から５箇所の領域の輝度を取得し、その最大値Ｍと最小値ｍの分布を調べる（ステップＳ１１）。

次いで、利用者がＣＣＤカメラ６による撮像を指示すると（ステップＳ１２）、輝度分布の最小値ｍがｍ＞１３０であるか否かを判別し（ステップＳ１３）、ｍが閾値１３０以上であれば、書き込み面５を撮像するときのプロジェクタ４の投影画像を黒にして画像を投影する（ステップＳ１４）。

また、ステップＳ１３で、輝度分布の最小値ｍが閾値１３０以下であれば、輝度分布の最大値ＭがＭ＜５０であるか否かを判別し（ステップＳ１５）、輝度分布の最大値が閾値５０以下であれば、書き込み面５を撮像するときのプロジェクタ４の投影画像を白にして画像を投影する（ステップＳ１６）。

次いで、ＣＣＤカメラ６によって書き込み面５の書き込み画像を撮像した後（ステップＳ１７）、撮像した画像から書き込み画像を抽出して（ステップＳ１８）、プロジェクタ４から投影される画像を元のファイル画像に戻してこのファイル画像に抽出した画像を合成する（ステップＳ１９）。

このように本実施の形態では、画像投影表示装置１の周囲の明るさや照明の方向等の外光状態を判別し、書き込み面５の周囲に、ＣＣＤカメラ６によって撮像された書き込み面の画像から書き込み画像を抽出するために必要な外光があるものと判別した場合には、書き込み面５の撮像時にプロジェクタ４から投影される画像を黒色にするとともに、外光がないものと判別した場合には、書き込み面５の撮像時にプロジェクタ４から投影される画像を白色にしたので、書き込み画像を抽出するために必要な高画質な画質の書き込み画像を撮像することができる。

また、本実施の形態では、画像投影表示装置１の起動時に、書き込み面５を撮像したときの画像の輝度分布によって外光の明るさや照明の方向等の外光状態を認識することができるので、書き込み部を抽出するために必要なより一層高画質な画質の書き込み画像を撮像することができる。

ここで、プロジェクタ４のランプがロッドインテグレータの場合、図１０に示すように、投影光を黒にしてもランプ中心光の影響が残ってしまう。プロジェクタ４のランプがフライアイレンズのような光学的インテグレータの場合、中心光のない画像が得られるので、書き込み面５の周囲にＣＣＤカメラ６によって撮像された書き込み面の画像から書き込み画像を抽出するために必要な外光があるものと判別した場合、書き込み面５の撮像時にプロジェクタ４から投影される画像を、画像投影表示装置１の起動時に撮像された投影面の画像の輝度分布を反転させた画像にすることにより、外光の照度ムラを抑えた書き込み画像を撮像することができる。

なお、画像投影表示装置１の起動時に得られる書き込み面５の書き込み画像から輝度情報を得る方法としては、画像中の５箇所に限らず、適切な外光状態を取得できればどのような方法でも良い。

図１、図２、図７、図１５、図１６は本発明に係る画像表示装置の第３の実施の形態を示す図であり、第１、第２の実施の形態と同様の構成には同一番号を付して説明を省略する。

本実施の形態では、第２の実施の形態が、画像投影表示装置１の起動時にＣＣＤカメラ６が書き込み面５を撮像したときの画像の輝度分布によって外光状態を判別するのに対して、外光状態判別部２１が、画像投影表示装置１の起動時におけるＣＣＤカメラ６の露出値を基準にして外光条件を判別する点が相違する。

図１５は書き込み画像の撮像処理のフローチャートである。

図１５において、画像投影表示装置１の起動時にＣＣＤカメラ６を自動露出に設定し、カメラの露出値Ｅ（０〜２５５）を取得する（ステップＳ２１）。次いで、利用者がＣＣＤカメラ６による撮像を指示すると（ステップＳ２２）、ステップＳ２１で取得した露出値Ｅが閾値１３０以上であるか否かを判別し（ステップＳ２３）、閾値１３０以上であれば、書き込み面５を撮像するときのプロジェクタ４の投影画像を黒にして画像を投影する（ステップＳ２４）。

また、ステップＳ２３で、露出値Ｅが閾値１３０以下であれば、露出値Ｅが閾値５０以上であるか否かを判別し（ステップＳ２５）、露出値Ｅが閾値５０以下であれば、書き込み面５を撮像するときのプロジェクタ４の投影画像を白にして画像を投影する（ステップＳ２６）。

次いで、ＣＣＤカメラ６によって書き込み面５の書き込み画像を撮像した後（ステップＳ２７）、撮像した画像から書き込み画像を抽出して（ステップＳ２８）、プロジェクタ４から投影される画像を元のファイル画像に戻してこのファイル画像に抽出した画像を合成する（ステップＳ２９）。

このように本実施の形態では、画像投影表示装置１の起動時におけるＣＣＤカメラ６の露出値を基準にして外光条件を判別する点が相違するようにしたので、画像投影表示装置１の周囲のより正確な明るさを判別することができ、より高画質な書き込み面の撮像画像を得ることができる。

一方、利用者により書き込み面５の書き込み画像の撮像の指示が行われるまでの間に、外光状態が変化することが考えられる。この場合には、撮像の指示があった際にＣＣＤカメラ６の露出値を取得し、予め設定されている閾値と比較することにより、書き込み面５の書き込み画像を撮像する際の投影画像のパターンを決定する。

以下、図１６の書き込み画像の撮像処理のフローチャートに基づいて説明する。

図１６において、画像投影表示装置１の起動後に、利用者がＣＣＤカメラ６による撮像を指示すると（ステップＳ３１）、カメラの露出値Ｅ（０〜２５５）を取得する（ステップＳ３２）。

次いで、ステップＳ３２で取得した露出値Ｅが閾値１３０以上であるか否かを判別し（ステップＳ３３）、閾値１３０以上であれば、書き込み面５を撮像するときのプロジェクタ４の投影画像を黒にして画像を投影する（ステップＳ３４）。

また、ステップＳ３３で、露出値Ｅが閾値１３０以下であれば、露出値Ｅが閾値５０以上であるか否かを判別し（ステップＳ３５）、露出値Ｅが閾値５０以下であれば、書き込み面５を撮像するときのプロジェクタ４の投影画像を白にして画像を投影する（ステップＳ３６）。

次いで、ＣＣＤカメラ６によって書き込み面５の書き込み画像を撮像した後（ステップＳ３７）、撮像した画像から書き込み画像を抽出して（ステップＳ３８）、プロジェクタ４から投影される画像を元のファイル画像に戻してこのファイル画像に抽出した画像を合成する（ステップＳ３９）。

このように書き込み画像の撮像直前のＣＣＤカメラ６の露出値を基準にして外光条件を判別するようにすれば、画像投影表示装置１の周囲の正確な明るさをリアルタイムで判別することができ、より高画質な書き込み面の撮像画像を得ることができる。

図１、図２、図７、図１７乃至図２０は本発明に係る画像表示装置の第４の実施の形態を示す図であり、第１、第２の実施の形態と同様の構成には同一番号を付して説明を省略する。

本実施の形態では、画像合成部９が、書き込み面５の画像から抽出された書き込み画像をプロジェクタ４から投影される画像に合成する際に、撮像時投影画像決定部２２により決定された外光状態に基づいて抽出された書き込み画像の色を変更する点に特徴がある。

次に、図１７乃至図２０に基づいて書き込み画像の撮像方法を説明する。

周囲の外光状態によりプロジェクタ４の投影光を変化させて書き込み面５の撮像を行う。特に、外光状態が定めれている基準値以下のときには、ＣＣＤカメラ６のストロボ的効果を目的としてプロジェクタ４の投影光を白表示にすることにより、書き込み画像の抽出可能な画像を得る。

また、外光状態が定められている基準値以上のものはプロジェクタ４の投影光を黒表示や外光による照度ムラを相殺するような画像を投影する。また、基準値以上であった場合でも、図１７に示すように色情報までを正確に取得することの困難な画像が撮像される。

また、基準値以下でプロジェクタ４を白表示にして撮像したとしても、図１８に示すように書き込みの位置および形状を得ることができるが、色情報の取得が困難な画像が得られることもある。

図１７のような画像では、画像中の画素のＲＧＢの値が図１９のように、例えば黒に見えていても青や緑と同等の相対関係を示している部分も存在する。このＲＧＢ値に基づいて書き込み画像を抽出すると、色の混じった画像となってしまう。

そこで、本実施の形態は、画像投影表示装置１の周囲の照明状態に基づいて抽出した書き込み画像の色を切換える。以下、書き込み画像の色の切換処理を図２０のフローチャートに基づいて説明する。

図２０において、画像投影表示装置１の起動時にＣＣＤカメラ６を自動露出に設定して露出値Ｅ（０〜２５５）を取得した後（ステップＳ４１）、書き込み面５の撮像時にこの露出値Ｅの値が予め定められた白表示黒表示判別用の基準値１以下であるか否かを判別する（ステップＳ４２）。

露出値Ｅが基準値以下であれば、撮像時のプロジェクタ４の投影光を白表示にした後（ステップＳ４３）、ＣＣＤカメラ６によって書き込み面５の書き込み情報を撮像し、次いで、撮像された画像から書き込み画像を抽出して（ステップＳ４４）、この抽出画像をモノトーン（単一色）に変換する（ステップＳ４５）。

一方、ステップＳ４２で露出値Ｅが基準値以上であれば、撮像時のプロジェクタ４の投影光を黒表示にした後（ステップＳ４６）、ＣＣＤカメラ６によって書き込み面５の書き込み情報を撮像し、次いで、書き込み画像を抽出する（ステップＳ４７）。

具体的には、書き込み画像と背景色を切り分ける。背景色は、書き込みのなされていない書き込み面を撮像した画像からＲＢＢの相対値が分かっているので、背景色を切り分けるのは容易である。抽出された書き込み画像は、カラー画像となっているので、ここで、露出値Ｅが予め定めてある基準値２以下であるか否かを判別し（ステップＳ４８）、露出値Ｅが基準値２以下の場合には、抽出された画像の色を変換せずにそのままとする（ステップＳ４９）。

また、露出値Ｅが基準値２以上である場合は、撮像条件的に最も好ましい状態での撮像であり、画像中の色情報を明確に取得できるものであるため、赤色はＲＧＢ（２５５、０、０）、青はＲＧＢ(０、０、２５５)、黒はＲＧＢ（０、０、０）のように原色化する（ステップＳ５０）。

このように本実施の形態では、書き込み面５の画像から抽出された書き込み画像をプロジェクタ４から投影される画像に合成する際に、外光状態に基づいて抽出された書き込み画像の色を変更するようにしたので、合成画像の質を向上させることができる。なお、基準値１、２と比較する値は露出値Ｅに限らず、ＣＣＤカメラ６のホワイトバランスの値や、また、起動時に撮像することで得られる画像の輝度分布の最大値と最小値を利用しても良い。

図２１至図２８は本発明に係る画像表示装置の第５の実施の形態を示す図であり、第１の実施の形態と同様の構成には同一番号を付して説明を省略する。

図２１において、画像投影表示装置（画像表示装置）３０の本体２内には、プロジェクタ４の近傍にステッピングモータ３１および遮光板（遮光手段）３２が設けられており、ステッピングモータ３２を回転させるにより、遮光板３２を遮光位置と投影位置に切換え、プロジェクタ４からの投影光を遮断および投影するようにしている。

また、本体２内には制御部４０が設けられており、制御部４０は、投影画像生成部８、画像合成部９、書き込み画像抽出部１０、記憶部１１に加えて、ステッピングモータ３１を駆動するステッピングモータドライバ３３を備えている。

本実施の形態は、画像合成部９が、プロジェクタ４から投影された画像の投影光を遮光板３２によって遮断して撮像した書き込み面５の画像に基づいて抽出された書き込み画像と、プロジェクタ４からの投影光を単色にして撮像された書き込み面の画像に基づいて抽出された書き込み画像とを合成した画像を、プロジェクタ４から投影される投影画像の一部または全部と合成して合成画像を生成するようにしている。

次に、図２３乃至図２８に基づいて画像の合成方法を説明する。図２３は画像の合成処理のフローチャートである。

図２３において、画像投影表示装置１を起動し、利用者が書き込み面に書き込みを行い、ＣＣＤカメラ６による撮像指示を行うと（ステップＳ６１）、ステッピングモータ３１を駆動して遮光板３２でプロジェクタ４の投影光を遮る（ステップＳ６２）。

次いで、ＣＣＤカメラ６によって書き込み面５を撮像し（ステップＳ６３）、遮光板３２を閉じている間にプロジェクタ４の投影光を切換える（ステップＳ６４）。撮像の終了後にステッピングモータ３１により遮光板３２を開いた後（ステップＳ６５）、再び書き込み面５を撮像する（ステップＳ６６）。

ここで、ロッドインテグレータ方式のプロジェクタ４では、スクリーン３におけるランプ中心光の反射光がＣＣＤカメラ６の画像上では白とびを起こしてしまうので（図２４参照）、このプロジェクタ４のランプ中心光の影響を受けた画像から書き込み画像を抽出すると、図２５に示すように、所々に情報の欠けた画像が得られる。

プロジェクタ４からの投影光を遮光した撮像はランプ中心光の影響のない画像を得ることができるが、十分な外光のない環境下の場合には、画像から色情報を得ることが難しくなる（図２６参照）。

しかしながら、この画像から書き込み画像の位置や形状の情報を得ることはできる（図２７参照）。そこで、プロジェクタ４から元の画像を投影した後（ステップＳ６７）、ステップＳ６６で撮像された画像１、画像２を合成し（ステップＳ６８）、元の投影画像に画像１と画像２を合成して投影することにより（ステップＳ６９）、図２５の情報の書けた部分の形状を図２７のような遮光して得た画像から補間し、周囲の色からその補間部の色を決定することで良質な書き込み画像を得ることができる（図２８参照）。

このように本実施の形態では、プロジェクタ４から投影された画像の投影光を遮光板３２によって遮断して撮像した書き込み画面の画像に基づいて抽出された書き込み画像と、プロジェクタ４からの投影光を単色にして撮像された書き込み面の画像に基づいて抽出された書き込み画像とを合成した画像を、プロジェクタ４から投影するので、より高画質な書き込み面の撮像画像を得ることができる。

以上のように、本発明に係る画像表示装置は、周囲の外光状態に拘わらずに、書き込み画像を安定して撮像することができるという効果を有し、表示面に投影された投影画像と書き込み面に書き込まれた画像の合成を行うようにした画像表示装置等として有用である。

本発明に係る画像表示装置の第１乃至第４の実施の形態の外観図である。 第１乃至第４の実施の形態の画像表示装置の断面図である。 第１の実施の形態の画像表示装置のブロック図である。 第１の実施の形態の書き込み画像の撮像処理のフローチャートである。 第１の実施の形態の画像表示装置を消灯した環境下に設置して投影画像を白表示にして撮像した書き込み面の撮像画像である。 第１の実施の形態の画像表示装置を消灯した環境下でプロジェクタの光を消灯して撮像した書き込み面の撮像画像である。 本発明に係る画像表示装置の第２の実施の形態のブロック図である。 第２の実施の形態の書き込み画像の撮像処理のフローチャートである。 （ａ）〜（ｃ）は第２の実施の形態のスクリーンの真上に異なる本数の蛍光灯が位置したときの書き込み面の撮像画像を示す図、（ｄ）は画像表示装置の上部の両側に蛍光灯が設置されたときの書き込み面の撮像画像を示す図、（ｅ）は蛍光灯が消灯あるいは蛍光灯がない場合の書き込み面の撮像画像を示す図である。 （ａ）〜（ｄ）は第２の実施の形態におけるプロジェクタの投影光を黒表示にして書き込み面を撮像した図、（ｅ）は投影光を白表示にしたときに書き込み面を撮像した図である。 第２の実施の形態における投影光を白表示したときに撮像された書き込み面の画像である。 第２の実施の形態において、画像投影表示装置１の起動時に、書き込みのなされていない書き込み面を撮像したときの無地画像である。 図１２に示す撮像画像の中から設定された輝度の検出領域である。 図１３に示す撮像画像に設定された領域の画像の輝度をグラフにしたヒストグラムである。 本発明に係る画像表示装置の第３の実施の形態を示す図であり、書き込み画像の撮像処理のフローチャートである。 第３の実施の形態の他の書き込み画像の撮像処理のフローチャートである。 本発明に係る画像表示装置の第４の実施の形態を示す図であり、外光状態が定められている基準値以上のときに撮像された書き込み面の画像である。 第４の実施の形態における基準値以下でプロジェクタを白表示にして撮像したときの書き込み面の画像である。 第４の実施の形態における画像中の画素のＲＧＢを示す図である。 第４の実施の形態の書き込み画像の色の切換処理のフローチャートである。 本発明に係る画像表示装置の第５の実施の形態を示す図であり、その画像表示装置の断面図である。 第５の実施の形態の画像表示装置のブロック図である。 第５の実施の形態の画像の合成処理のフローチャートである。 第５の実施の形態のスクリーンにおけるランプ中心光の反射光がＣＣＤカメラの画像上で白とびを起こしてしまう様子を示す図である。 図２４の撮像画像から抽出された書き込み画像を示す図である。 第５の実施の形態における十分な外光のない環境下で撮像された書き込み面の画像である。 図２６の撮像画像から抽出された書き込み画像を示す図である。 図２５の情報の書けた部分の形状を図２７の撮像から補間したときの抽出画像である。 外光がない状態で撮像された書き込み面を画像である。

符号の説明

１、３０ 画像投影表示装置（画像表示装置）
３ａ 投影面（表示面）
４ プロジェクタ（画像投影手段）
６ ＣＣＤカメラ（撮像手段）
９ 画像合成部（画像抽出・合成手段）
１０ 書き込み画像抽出部（画像抽出・合成手段）
２１ 外光状態判別部（投影画像制御手段）
２２ 撮像時投影画像決定部（投影画像制御手段）
２３ 投影画像切換部（投影画像制御手段）
３２ 遮光板（遮光手段）

Claims (1)

1. 画像を投影する画像投影手段と、
   前記画像投影手段から投影された画像を表示する表示面と、
   前記投影画像と重複可能に書き込み画像が形成される書き込み面と、
   前記書き込み面上に形成された書き込み画像を撮像する撮像手段と、
   前記撮像手段による撮像画像から書き込み画像を抽出するとともに、前記抽出された書き込み画像および前記画像投影手段により投影される投影画像の一部または全部を合成して合成画像を生成する画像抽出・合成手段と、
   少なくとも前記書き込み面を含んだ前記書き込み面の周囲の外光状態を判別し、前記外光状態に応じて前記画像投影手段から投影される画像を変化させる投影画像制御手段とを備え、
   前記投影画像制御手段は、前記書き込み面の周囲に、前記撮像手段によって撮像された書き込み面の画像から書き込み画像を抽出するために必要な外光があるものと判別した場合、前記書き込み面の撮像時に前記画像投影手段から投影される画像を、前記画像表示装置の起動時に撮像された投影面の画像の輝度分布を反転させた画像にすることを特徴とする画像表示装置。

Images