JP4764177B2 - 投影型表示装置、書き込み画像抽出方法及びそのプログラム並びにこれが記録されたコンピュータが読み取り可能な情報記録媒体 - Google Patents

Description

本発明は、スクリーンなどに画像光を投影して表示する投影型表示装置書き込み画像抽出方法及びそのプログラム並びにこれが記録されたコンピュータが読み取り可能な情報記録媒体に関する。

スクリーンに書き込まれた情報を抽出することに関する従来技術として、特許文献１に開示される「リーダプリンタ」、特許文献２に開示される「電子黒板システム」、特許文献３に開示される「投影型表示装置、及びプログラム」がある。

特許文献１に開示される発明は、透過型スクリーンに投影されている画像や、透過型スクリーン前面に設けられた透明部材上にペンなどで書き込まれた画像を、透過型スクリーンの近傍に設けられた比較的大型の線形受光センサによってスキャニングするものである。

特許文献２に開示される発明は、ペンなどで電子黒板に描画された画像を電子的に取り込み、これをプロジェクタで電子黒板に投影する画像と合成するものである。

特許文献３に開示される発明は、スクリーンの背面から投影し表示画面に書き込みを行い、内蔵された撮像装置（ＣＣＤカメラなど）で撮像してデジタル化し画像情報を得るものである。
特公平７−４６１９８号公報 特開平１０−２９７１６６号公報 特開２００３−１４３３４８号公報

しかしながら、特許文献１に開示される発明は、受光センサがスクリーン面上を移動することで書き込み情報を読みとるため装置が大がかりになってしまう。

特許文献２に開示される発明は、書き込み情報を読みとるために書き込み面を移動させてスキャナ部を通過させねばならず、読み取りに時間がかかってしまう。

特許文献３に開示される発明は、撮像手段によって得られた書き込み画像から投影画像を減算するという処理を行うため、スクリーン付近にある障害物の陰によって発生し状況によって変動するノイズを除去できない。

さらに、マーカ−ペンなどのペンで書かれた文字を拡大してみた場合、画素にばらつきがあり、代表色で色変換するなどの場合に判定精度が非常に低くなってしまう可能性がある。
これは、マーカーペンで書かれた文字自体に濃度のばらつきがあることに加え、書き込み面から撮影面に透過する際に書き込み情報が拡散されるためである。

このように、従来は、高精度の色変換を行える投影型表示装置、書き込み画像抽出方法及びそのプログラム並びにこれが記録されたコンピュータが読み取り可能な情報記録媒体は提供されていなかった。

本発明はかかる問題に鑑みてなされたものであり、高精度の色変換を行える投影型表示装置、書き込み画像抽出方法及びそのプログラム並びにこれが記録されたコンピュータが読み取り可能な情報記録媒体を提供することを目的とする。

上記目的を達成するため、本発明は、第１の態様として、投影画像が形成される投影面と、投影画像と重複して書き込み画像が形成されうる書き込み面と、書き込み面上に形成された書き込み画像を撮影する撮像手段と、撮像手段で撮影した画像から書き込み画像に対応する部分の情報を抽出する抽出手段と、抽出した書き込み画像の色を代表色に置き換える色変換手段とを有する投影型表示装置であって、色変換手段は、書き込まれた画像の注目画素の画素値を、該注目画素を中心とする周囲Ｎ×Ｎ（ただし、Ｎは３以上の奇数）画素分の正方形の領域内の書き込み画素の画素値の平均値で置き換えることで平均化する平均化手段と、前記平均化手段によって平均化された後のＲＧＢ各色の色成分の内の輝度値の、最大値と最小値を算出する算出手段と、前記算出した最大値と最小値との差を算出する差算出手段と、前記最大値の色が青であって、前記差算出手段によって算出された差が所定値以下である場合に前記注目画素の色を黒色と判断して黒色に変換し、該黒色と判断されなかった場合に、前記最大値の色が青で、かつ前記最小値の色が赤である場合に前記注目画素の色を青色と判断して青色に変換し、該青色と判断されなかった場合に、前記最大値の色が赤である場合に前記注目画素の色を赤色と判断して赤色に変換し、前記黒色でも前記青色でも前記赤色でもないと判断された場合に、前記平均化前の画素の色をそのまま用いる色判別手段と、前記書き込み画像の色をいずれの代表色に変換するかを黒、青、赤の順で判断する手段と、前記注目画素における前記平均化後のＲＧＢ各色の色成分の内の最大値と最小値との差を算出し、その差が所定値以下である場合に前記注目画素の色を黒色に変換する手段と、前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、青色の輝度値が最大である場合に、前記注目画素の色を青色に変換する手段と、前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、赤色の輝度値が最大である場合に、前記注目画素の色を赤色に変換する手段と、前記注目画素における前記平均化後の画素が白色でなく、前記注目画素における前記平均化後のＲＧＢ各色の色成分の内の最大値と最小値との差を算出し、その差が所定値以下でなく、前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、青色の輝度値が最大でなく、かつ、前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、赤色の輝度値が最大でない場合に、前記平均化前の画素をそのまま用いる手段と、を有することを特徴とする投影型表示装置を提供するものである。

本発明の第１の態様においては、抽出手段は、撮像手段が撮影した画像から背景部分を除去することが好ましい。

本発明の第１の態様の上記のいずれの構成においても、抽出手段は、装置起動時に投影面の無地画像を撮像手段に撮影させてその画像における輝度分布を記憶し、これを基に撮像手段で撮影された書き込み画像の輝度分布をシェーディング補正することが好ましい。また、代表色は、黒、青、及び赤であることが好ましい。

また、上記目的を達成するため、本発明は、第２の態様として、投影画像が形成される投影面と、投影画像と重複して書き込み画像が形成されうる書き込み面とを有する投影型表示装置における書き込み画像抽出方法であって、撮像手段により、書き込み面上に形成された書き込み画像を撮影する撮像工程と、抽出手段により、撮像手段で撮影した画像から書き込み画像に対応する部分の情報を抽出する抽出工程と、色変換手段により、抽出した書き込み画像の色を代表色に置き換える色変換工程とを有し、色変換工程は、書き込まれた画像の注目画素の画素値を、該注目画素を中心とする周囲Ｎ×Ｎ（ただし、Ｎは３以上の奇数）画素分の正方形の領域内の書き込み画素の画素値の平均値で置き換えることで平均化する平均化工程と、前記平均化工程によって平均化された後のＲＧＢ各色の色成分の内の輝度値の、最大値と最小値を算出する算出工程と、前記算出した最大値と最小値との差を算出する差算出工程と、前記最大値の色が青であって、前記差算出手段によって算出された差が所定値以下である場合に前記注目画素の色を黒色と判断して黒色に変換し、該黒色と判断されなかった場合に、前記最大値の色が青で、かつ前記最小値の色が赤である場合に前記注目画素の色を青色と判断して青色に変換し、該青色と判断されなかった場合に、前記最大値の色が赤である場合に前記注目画素の色を赤色と判断して赤色に変換し、前記黒色でも前記青色でも前記赤色でもないと判断された場合に、前記平均化前の画素の色をそのまま用いる色判別工程と、前記書き込み画像の色をいずれの代表色に変換するかを黒、青、赤の順で判断する工程と、前記注目画素における前記平均化後のＲＧＢ各色の色成分の内の最大値と最小値との差を算出し、その差が所定値以下である場合に前記注目画素の色を黒色に変換する工程と、前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、青色の輝度値が最大である場合に、前記注目画素の色を青色に変換する工程と、前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、赤色の輝度値が最大である場合に、前記注目画素の色を赤色に変換する工程と、前記注目画素における前記平均化後の画素が白色でなく、前記注目画素における前記平均化後のＲＧＢ各色の色成分の内の最大値と最小値との差を算出し、その差が所定値以下でなく、前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、青色の輝度値が最大でなく、かつ、前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、赤色の輝度値が最大でない場合に、前記平均化前の画素をそのまま用いる工程と、を有することを特徴とする書き込み画像抽出方法を提供するものである。

本発明の第２の態様においては、抽出工程では、撮像工程において撮影した画像から背景部分を除去することが好ましい。

本発明の第２の態様の上記のいずれの書き込み画像抽出方法においても、抽出工程では、予め記録されている投影面の無地画像における輝度分布を基に、撮像工程で撮影された書き込み画像の輝度分布をシェーディング補正することが好ましい。また、代表色は、黒、青、及び赤であることが好ましい。

また、上記目的を達成するため、本発明は、第３の態様として、上記本発明の第２の態様のいずれかの書き込み画像抽出方法を投影型表示装置のコンピュータに実行させるプログラムを提供するものである。

また、上記目的を達成するため、本発明は、第４の態様として、上記本発明の第３の態様にかかる書き込み画像抽出方法のプログラムが記録されたコンピュータが読み取り可能な情報記録媒体を提供するものである。

本発明によれば、高精度の色変換を行える投影型表示装置、書き込み画像抽出方法及びそのプログラム並びにこれが記録されたコンピュータが読み取り可能な情報記録媒体を提供できる。

図１に、本発明の好適な実施の形態にかかる投影型表示装置を示す。
図１（ａ）、（ｂ）に示す投影型表示装置は、所定の投影画像を形成するスクリーン（投影面）１と、投影画像と重複可能に書き込み画像を形成可能な書き込み面と、書き込み面上に形成された書き込み画像を撮像する撮像装置とを有する装置である。

図２に、本実施形態にかかる投影型表示装置の装置断面を示す。
撮像装置２はその画角内に投影装置３が画像を投影するスクリーン１全体を撮影できるように設置されている。図３に示すように、撮像装置２と投影装置３とは制御装置４に接続されている。本実施形態にかかる投影型表示装置は、撮像装置２としてＣＣＤカメラ、投影装置３としてプロジェクタ、制御装置４としてコンピュータを用い、コンピュータに制御プログラムを実行させることで実現可能であるが、制御プログラムを搭載したハードウェアで制御装置４として適用可能である。
以下、撮像装置２としてＣＣＤカメラ、投影装置３としてプロジェクタ、制御装置４としてコンピュータを適用するものとし、符号もＣＣＤカメラ２、プロジェクタ３、コンピュータ４とする。

ユーザは、プロジェクタ３によって投影されたコンピュータ４からの画像を参照しながら、投影画像に対して追記したい文章や図形等を、ペンを用いてスクリーン１に直接書き込める。書き込んだ内容を投影されている画像とともに保存する際には、ユーザは任意のタイミングで制御プログラムに対してコマンド入力する（ダイアログボタンをクリックするなど）。このコマンド入力は、プログラムによるソフトウェア処理ではなく、専用のスイッチを設けるなどして実行できるようにしてもよい。

ユーザによるコマンド入力がなされると、撮影部４１からＣＣＤカメラ２へ撮影命令が送信される。コンピュータ４からの撮影命令を受信したＣＣＤカメラ２は、スクリーン１の画像を撮像し、得られた画像はコンピュータ４へ送られる。コンピュータ４はＣＣＤカメラ２から受信した画像を抽出部４２で処理し、書き込み画像を抽出する。コンピュータ４は、抽出された画像を合成部４３へ送り、先に投影されていた画像と合成する。投影部４４は、合成した画像の投影命令をプロジェクタ３へ送信する。コンピュータ４からの投影命令を受信したプロジェクタ３は、合成画像をスクリーンに投影する。

この動作によって、ユーザがスクリーン１に書き込んだ画像が電子情報に変換される。

図４に、本実施形態にかかる投影型表示装置の抽出部４２の動作の流れを示す。
〈投影光黒表示処理：ステップＳ１０１〉
ユーザによって画像取り込みのコマンド入力がなされると、コンピュータ４はプロジェクタ３から黒一色の画像を投影させる。これは、この後ＣＣＤカメラ２が撮影する画像に不必要な情報が写り込むのを避けるためにプロジェクタ３を遮光状態にするための動作である。なお、プロジェクタ３にミュート機能が備わっていればそれを利用することも可能である。

〈スクリーン面撮影処理：ステップＳ１０２〉
プロジェクタ３が遮光状態となったらＣＣＤカメラ２によってスクリーン１を撮影する。図５に、書き込みがなされたスクリーン１を撮影した画像の一例を示す。

〈背景除去処理：ステップＳ１０３〉
図６に、ユーザがスクリーン１付近に手をかざしてしまったことにより影が写り込んでしまった画像の一例を示す。背景除去処理ではこのような影などのノイズを除去し、ペンなどによる書き込み部分のみを抽出する処理を行う。
ペンによって書かれた部分は面に接しており、輪郭が明確でその内部の濃度は高濃度（グレースケールに変換した場合に低階調）であり、背景部や影の部分は低濃度であることから、書き込み部分とそれ以外の部分とは二値化処理によって切り分けられる。

一般的に対象となる画像から背景部分を取り除き対象部分を抽出するには二値化処理を行う。すなわち、ある濃度値を閾値とし、背景領域と対象領域とに分割する。閾値を決定する方法としては、モード法、ｐ−タイル法、微分ヒストグラム法等が知られているが、これらは閾値を一定値に固定してしまう方法である。
本発明においては、撮影時の障害物や人の挙動などによって影やノイズの生じ方も変化するため、可変閾値の処理を用いることが好ましい。これは画像中の画素を走査していき、そのとき注目する画素ごとに閾値を変化させる方法である。本実施形態では、注目する画素の周囲Ｎ×Ｎ画素分の局所領域の平均濃度値を閾値とする。

図７に、Ｎ＝３の場合の局所領域の一例を示す。
注目画素を含む３×３の領域内の９個の画素の緑色の成分ｇ値の平均値g_aveを計算し、この値よりも注目画素のｇ値が低ければ抽出対象（すなわち書き込み部分）であると判断し、ｇ値が高ければ背景、影又はノイズであると判断する。背景、影又はノイズと判断した場合には注目画素を白（すなわちＲＧＢ（２５５，２５５，２５５））として置き換える。
この処理によって図８に示すように背景部を除去して書き込み部分のみを抽出できる。

〈シェーディング補正処理：ステップＳ１０４〉
ＣＣＤカメラ２による撮影の際にはスクリーン１前面から入射する外光を用いているため、設置場所によっては周囲の外光の条件によっては光量ムラが起こりうる。図９に、書き込みのされていないスクリーン１を撮影した画像の一例を示す。この画像は左側の輝度が高くなっており画像中に濃度勾配が発生している。
書き込み部分を抽出する際に設定している閾値がこの光量ムラによって画像中の位置によって変わってしまうことを避けるため、無地画像を用いて書き込み画像をシェーディング補正する。書き込み部分の画素値の無地画像の画素値に対する濃度値の割合を求め、これを０〜２５５の幅に換算した値で画素値を置き換えることで濃度勾配を補正できる。

周囲の外光の状況により、画像内には明るい部分と暗い部分、すなわち輝度勾配が発生する。無地画像の輝度が高い部分に書かれている書き込み部分は輝度が高く、無地画像の輝度が低い部分に書かれている書き込み部分は輝度が低く撮影される。
無地画像中のあるライン上（ｙ＝ｊ）の輝度勾配が図１０に示す状態にあるものとする。この環境下で書き込みを行うと、図１１に示すように、同じ色のペンを用いて書き込んだとしても、輝度勾配の影響で書き込み部分の輝度値は一定とならず、場所によって輝度値に差が生じる。
このように、同じ色で書き込みをしても撮影した画像にはＲＧＢ値に大小が生じるため、無地画像の輝度勾配を基に書き込み撮影画像の輝度勾配を修正する。

予め撮影されている無地画像と、書き込みがなされた後の撮影画像とで画角が一致しているため、無地画像上の座標（Ｉ，Ｊ）は書き込みがなされた後の撮影画像でも座標（Ｉ，Ｊ）となって１対１に対応する。書き込み撮影画像のある画素の画素値をそれぞれＲｃ、Ｇｃ、Ｂｃとし、これと同じ座標の無地画像上の画素値をＲｎ、Ｇｎ、Ｂｎとすると、補正後の画素値Ｒ、Ｇ、Ｂは、
Ｒ＝（Ｒｃ／Ｒｎ）×２５５
Ｇ＝（Ｇｃ／Ｇｎ）×２５５
Ｂ＝（Ｂｃ／Ｂｎ）×２５５
と表される。
このようにして輝度勾配を補正すれば、図１２に示すように同色内での輝度差が解消され、図１３に示すような鮮明な色合いの書き込み撮影画像が得られ、より良質な書き込み抽出画像が得られる。

光量ムラの補正のための無地画像は、装置起動時に自動的に撮影しても良いし、ユーザの操作に応じて任意のタイミングで撮影しても良い。

〈色変換処理：ステップＳ１０５〉
図１４に、色変換処理での動作の流れを示す。色変換処理は、平均化フィルタ処理（ステップＳ２０１）、色判別処理（ステップＳ２０２）、補正処理（ステップＳ２０３）の三つの処理に分けられる。

図１５に、平均化フィルタ処理での動作の流れを示す。
まず、シェーディング後の画像pImageを取得する（ステップＳ３０１）。次に、平均化フィルタ後の画像filtimgの領域を確保する（ステップＳ３０２）。そして、filtimgにpImageをコピーする（ステップＳ３０３）。シェーディング後の画像pImageが白の場合（ステップＳ３０４／Ｙｅｓ）、何もしないでラスタ順に次の画素位置へ移動する。
シェーディング後の画像pImageが白でない場合（ステップＳ３０４／Ｎｏ）、注目画素を中心としたＮ×Ｎ画素の領域の中で白でない画素の平均値を注目が素の値に置き換える（ステップＳ３０５〜Ｓ３０９）。具体的には、totalcountの値を０に初期化する（ステップＳ３０５）。そして、pImageが白でなければ（ステップＳ３０６／Ｎｏ）、totalcountをインクリメントするとともに、その位置でのpImageの値をfiltimgに加算する（ステップ３０７）。その後、カレント位置におけるフィルタ範囲が終了していなければ（ステップＳ３０８／Ｎｏ）、pImageをフィルタ範囲内の次の位置へ移動してからステップＳ３０６へ戻り、フィルタ範囲が終了するまで上記の処理を繰り返す。

フィルタ範囲が終了したら（ステップＳ３０８／Ｙｅｓ）、filtimgの値をtotalcountの値で除することによってフィルタ範囲内の白以外の画素の平均値を算出し、注目画素の画素値をこの値に置き換える（ステップＳ３１０）。その後、pImageをカレント位置へ戻す（ステップＳ３１１）。そして、最終画素位置での処理が完了していなければ（ステップ３１２／Ｎｏ）ラスタ順に次の画素位置へ移動し（ステップＳ３１３）、最終画素位置での処理が完了したら（ステップＳ３１２／Ｙｅｓ）終了する。

図１６に、色判別処理での動作の流れを示す。まず、平均化フィルタ処理後の画像filtimgを取得する（ステップＳ４０１）。次に、色判別後の画像tmpimgの領域を確保する（ステップＳ４０２）。そして、tmpimgにpImageをコピーする（ステップＳ４０３）。次に、filtimgのＲＧＢの最大値maxrgbとその色maxcolとを算出する（ステップＳ４０４）。次に、filtimgのＲＧＢの最小値minrgbとその色mincolとを算出する（ステップＳ４０５）。次に、maxrgbとminrgbとの差diffrgbを算出する（ステップＳ４０６）。tmpimgが白である場合（ステップＳ４０７／Ｙｅｓ）pImageを代入する（ステップＳ４１４）。tmpimgが白でない場合（ステップＳ４０７／Ｎｏ）、（mincolが青）かつ（maxcolが緑又はdiffrgb＜thA（thAは任意の閾値）又は｜r-g｜＜thB（thBは任意の閾値））の時（ステップ４０８／Ｙｅｓ）、tmpimgは黒と判断する（ステップＳ４１１）。なお、thA及びthBは任意の閾値であるが、これらを実験的に変化させたところthAは、１０≦thA≦３０、より好ましくはthA＝２０、thBは、５≦thB≦１５、より好ましくはthB＝１０である場合に色判別結果が最も良好であった。また、maxcolが青でかつmincolが赤のとき（ステップＳ４０９／Ｙｅｓ）、tmpimgは青と判断する（ステップＳ４１２）。maxcolが赤のとき（ステップＳ４１０／Ｙｅｓ）、tmpimgは赤と判定する（ステップＳ４１３）。最後の画素位置の色判別を終えたら処理を終了する。ステップＳ４０８〜Ｓ４１０でいずれの条件も満たさない場合（ステップ４１０／Ｎｏ）、tmpimgにpImageを代入する（ステップＳ４１４）。そして、最終画素位置での処理が完了していなければ（ステップ４１５／Ｎｏ）ラスタ順に次の画素位置へ移動し（ステップＳ４１６）、最終画素位置での処理が完了したら（ステップＳ４１５／Ｙｅｓ）終了する。

図１７に、補正処理での動作の流れを示す。まず、シェーディング後の画像pImageを取得する（ステップＳ５０１）。次に、色判別後の画像tmpimgを取得する（ステップＳ５０２）。色判別後の画像tmpimgが青か赤でない場合（ステップＳ５０３／Ｎｏ）、カレント位置のtmpimgに補正する（ステップＳ５１３）。色判別後の画像tmpimgが青又は赤である場合（ステップＳ５０３／Ｙｅｓ）、まず、totalcountとcountとを０に初期化する（ステップＳ５０４）。次に、tmpimgが白でなければ（ステップＳ５０５／Ｎｏ）、totalcountをインクリメントする（ステップＳ５０６）。次に、tmpimgが黒であるならば（ステップＳ５０７／Ｙｅｓ）、countをインクリメントする（ステップ５０８）。カレント位置における補正範囲が終了していなければ（ステップＳ５０９／Ｎｏ）、tmpimgを補正範囲内と次の位置へ移動し（ステップＳ５１０）、この処理を注目画素を中心とした補正範囲内で繰り返す。注目画素が補正範囲の最後まできたら（ステップＳ５０９／Ｙｅｓ）、注目画素における補正ループを終了する。
次に、注目画素における補正範囲内でのマーカー色における黒画素の割合rateを算出する（ステップＳ５１１）。算出式は、rate＝count／totalcountである。rateが任意の閾値thrよりも大きければ（ステップＳ５１２／Ｙｅｓ）、カレント位置のpImageを黒に補正する（ステップＳ５１４）。rateがthr以下であれば（ステップＳ５１２／Ｎｏ）、カレント位置のpImageをtmpimgに補正する（ステップＳ５１３）。なお、thrは任意の閾値であるが、この値を実験的に変化させたところ、０．１５≦thr≦０．２５、より好ましくはthr＝０．２である場合に補正結果が最も良好であった。次に、tmpimgをカレント位置に戻して注目画素における補正を終了する（ステップＳ５１５）。そして、最終画素位置での処理が完了していなければ（ステップ５１６／Ｎｏ）ラスタ順に次の画素位置へ移動し（ステップＳ５１７）、最終画素位置での処理が完了したら（ステップＳ５１６／Ｙｅｓ）終了する。

〈最小領域抽出処理：ステップＳ１０６〉
補正によって得られた画像はカメラからの画像サイズになっているため、書き込みのある部分だけの最小領域を切り出す。例えば、前段階までの処理において書き込み部以外は白に変換しているため、画像の左上を始点として下方向への走査を左から右に繰り返し、最初に白以外の画素と当たったところをｘ１、最後に白以外の画素と当たったところをｘ２とする。同様に、画像の左上を始点として右方向へ走査を上から下へ繰り返し、最初に白以外の画素と当たったところをｙ１、最後に白以外の画素と当たったところをｙ２とする。図１８に示すように、この（ｘ１，ｙ１）、（ｘ２，ｙ２）をそれぞれ左上、右下の頂点座標とする矩形領域を切り出すことで書き込みがなされた領域に対応する画像が得られるため、後に合成処理などを行う際の操作性が向上する。

このように本実施形態にかかる投影型表示装置は、スクリーンを透過した画像の拡散によるばらつきを平均化処理によって補正することで、書き込み画像の色判別を精度良く行える。
また、誤判定を取り除くために、判定式で判定不可能な画素においては平均化前の画素をそのまま用いることにより、誤判別せずに違和感のない色変換後の画像が得られる。

抽出した画像を元々投影されていた画像と合成する処理や、投影する処理は、従来と同様の手法を適用できるため説明は省略する。

なお、上記実施形態は本発明の好適な実施の一例であり、本発明はこれに限定されることはない。
例えば、上記実施形態で示したフローチャートはあくまでも動作の一例であり、本発明はこれに限定されることはない。例えば、分岐条件で示した数値などは上記実施形態と異なる値であっても良い。
このように、本発明は様々な変形が可能である。

本発明の好適な実施の形態にかかる投影型表示装置の外観を示す図である。 本発明の好適な実施の形態にかかる投影型表示装置の概略構成を示す図である。 投影型表示装置の機能構成を示す図である。 投写型表示装置の動作の抽出部の動作の流れを示すフローチャートである。 書き込みがなされたスクリーンを撮影した画像の一例を示す図である。 影が写り込んでしまった画像の一例を示す図である。 局所領域の一例を示す図である。 背景部を除去して書き込み部分のみを抽出した画像の一例を示す図である。 書き込みのされていないスクリーンを撮影した画像の一例を示す図である。 無地画像中のあるライン上での輝度勾配を示す図である。 輝度勾配の影響で書き込み部分の輝度値は一定とならず、場所によって輝度値に差が生じた状態を示す図である。 輝度勾配を補正して同色内での輝度差を解消した状態を示す図である。 鮮明な色合いで撮影された書き込み撮影画像の一例を示す図である。 色変換処理での動作の流れを示すフローチャートである。 平均化フィルタ処理での動作の流れを示すフローチャートである。 色判別処理での動作の流れを示すフローチャートである。 補正処理での動作の流れを示すフローチャートである。 書き込みのある部分だけの最小領域を切り出す方法の一例を示す図である。

符号の説明

１ スクリーン
２ 撮影装置（ＣＣＤカメラ）
３ 投影装置（プロジェクタ）
４ 制御装置（コンピュータ）
４１ 撮影部
４２ 抽出部
４３ 合成部
４４ 投影部

Claims (10)

1. 投影画像が形成される投影面と、前記投影画像と重複して書き込み画像が形成されうる書き込み面と、前記書き込み面上に形成された前記書き込み画像を撮影する撮像手段と、前記撮像手段で撮影した画像から前記書き込み画像に対応する部分の情報を抽出する抽出手段と、抽出した前記書き込み画像の色を代表色に置き換える色変換手段とを有する投影型表示装置であって、
   前記色変換手段は、
   書き込まれた画像の注目画素の画素値を、該注目画素を中心とする周囲Ｎ×Ｎ（ただし、Ｎは３以上の奇数）画素分の正方形の領域内の書き込み画素の画素値の平均値で置き換えることで平均化する平均化手段と、
   前記平均化手段によって平均化された後のＲＧＢ各色の色成分の内の輝度値の、最大値と最小値を算出する算出手段と、
   前記算出した最大値と最小値との差を算出する差算出手段と、
   前記最大値の色が青であって、前記差算出手段によって算出された差が所定値以下である場合に前記注目画素の色を黒色と判断して黒色に変換し、
   該黒色と判断されなかった場合に、前記最大値の色が青で、かつ前記最小値の色が赤である場合に前記注目画素の色を青色と判断して青色に変換し、
   該青色と判断されなかった場合に、前記最大値の色が赤である場合に前記注目画素の色を赤色と判断して赤色に変換し、
   前記黒色でも前記青色でも前記赤色でもないと判断された場合に、前記平均化前の画素の色をそのまま用いる色判別手段と、
   前記書き込み画像の色をいずれの代表色に変換するかを黒、青、赤の順で判断する手段と、
   前記注目画素における前記平均化後のＲＧＢ各色の色成分の内の最大値と最小値との差を算出し、その差が所定値以下である場合に前記注目画素の色を黒色に変換する手段と、
   前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、青色の輝度値が最大である場合に、前記注目画素の色を青色に変換する手段と、
   前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、赤色の輝度値が最大である場合に、前記注目画素の色を赤色に変換する手段と、
   前記注目画素における前記平均化後の画素が白色でなく、前記注目画素における前記平均化後のＲＧＢ各色の色成分の内の最大値と最小値との差を算出し、その差が所定値以下でなく、前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、青色の輝度値が最大でなく、かつ、前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、赤色の輝度値が最大でない場合に、前記平均化前の画素をそのまま用いる手段と、
   を有することを特徴とする投影型表示装置。
2. 前記抽出手段は、前記撮像手段が撮影した画像から背景部分を除去することを特徴とする請求項１記載の投影型表示装置。
3. 前記抽出手段は、装置起動時に前記投影面の無地画像を前記撮像手段に撮影させてその画像における輝度分布を記憶し、これを基に前記撮像手段で撮影された前記書き込み画像の輝度分布をシェーディング補正することを特徴とする請求項１又は２記載の投影型表示装置。
4. 前記代表色は、黒、青及び赤であることを特徴とする請求項１から３のいずれか１項記載の投影型表示装置。
5. 投影画像が形成される投影面と、前記投影画像と重複して書き込み画像が形成されうる書き込み面とを有する投影型表示装置における書き込み画像抽出方法であって、撮像手段により、前記書き込み面上に形成された前記書き込み画像を撮影する撮像工程と、抽出手段により、前記撮像手段で撮影した画像から前記書き込み画像に対応する部分の情報を抽出する抽出工程と、色変換手段により、前記抽出した前記書き込み画像の色を代表色に置き換える色変換工程とを有し、
   前記色変換工程は、
   書き込まれた画像の注目画素の画素値を、該注目画素を中心とする周囲Ｎ×Ｎ（ただし、Ｎは３以上の奇数）画素分の正方形の領域内の書き込み画素の画素値の平均値で置き換えることで平均化する平均化工程と、
   前記平均化工程によって平均化された後のＲＧＢ各色の色成分の内の輝度値の、最大値と最小値を算出する算出工程と、
   前記算出した最大値と最小値との差を算出する差算出工程と、
   前記最大値の色が青であって、前記差算出手段によって算出された差が所定値以下である場合に前記注目画素の色を黒色と判断して黒色に変換し、
   該黒色と判断されなかった場合に、前記最大値の色が青で、かつ前記最小値の色が赤である場合に前記注目画素の色を青色と判断して青色に変換し、
   該青色と判断されなかった場合に、前記最大値の色が赤である場合に前記注目画素の色を赤色と判断して赤色に変換し、
   前記黒色でも前記青色でも前記赤色でもないと判断された場合に、前記平均化前の画素の色をそのまま用いる色判別工程と、
   前記書き込み画像の色をいずれの代表色に変換するかを黒、青、赤の順で判断する工程と、
   前記注目画素における前記平均化後のＲＧＢ各色の色成分の内の最大値と最小値との差を算出し、その差が所定値以下である場合に前記注目画素の色を黒色に変換する工程と、
   前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、青色の輝度値が最大である場合に、前記注目画素の色を青色に変換する工程と、
   前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、赤色の輝度値が最大である場合に、前記注目画素の色を赤色に変換する工程と、
   前記注目画素における前記平均化後の画素が白色でなく、前記注目画素における前記平均化後のＲＧＢ各色の色成分の内の最大値と最小値との差を算出し、その差が所定値以下でなく、前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、青色の輝度値が最大でなく、かつ、前記注目画素における前記平均化後のＲＧＢ各色の色成分の輝度値のうち、赤色の輝度値が最大でない場合に、前記平均化前の画素をそのまま用いる工程と、
   を有することを特徴とする書き込み画像抽出方法。
6. 前記抽出工程では、前記撮像工程において撮影した画像から背景部分を除去することを特徴とする請求項５記載の書き込み画像抽出方法。
7. 前記抽出工程では、予め記録されている前記投影面の無地画像における輝度分布を基に、前記撮像工程で撮影された前記書き込み画像の輝度分布をシェーディング補正することを特徴とする請求５又は６記載の書き込み画像抽出方法。
8. 前記代表色は、黒、青及び赤であることを特徴とする請求項５から７のいずれか１項記載の書き込み画像抽出方法。
9. 請求項５から８のいずれか１項記載の書き込み画像抽出方法を投影型表示装置のコンピュータに実行させる画像抽出方法のプログラム。
10. 請求項９記載の画像抽出方法のプログラムが記録されたコンピュータが読み取り可能な情報記録媒体。

Images