以下図面により本発明の実施の形態について説明する。
図1は、本発明の実施形態に係るプレゼンテーションシステム10の構成を示すブロック図である。
このプレゼンテーションシステム10は、プレゼンテーション用画像データの出力元になるノート型パーソナルコンピュータ(ノートPC)11を備える。ノートPC11から出力されたプレゼンテーション用画像データはプロジェクタ13によって光学画像Gに変換されスクリーン12上に投影表示される。
またこのプレゼンテーションシステム10は、前記スクリーン12上にその投影範囲14として投影表示された画像(G)を撮影するためのCCDカメラ部15を前記ノートPC11に接続して備える。そして、このプレゼンテーションシステム10のノートPC11は、ユーザ操作に応じてプレゼンテーション用画像データをプロジェクタ13に出力して単に投影表示させるだけでなく、前記カメラ部15により一定フレームレート(例えば、30フレーム/秒)で撮影された投影範囲14の画像(G)に基づき当該投影範囲14上でのレーザポインタ17による照射位置Pを解析検出し、このポインタ照射位置Pに基づいたプレゼンテーション用画像データ内の適切な部分にアンダーライン(QB:図5参照)や囲みライン(QC:図17参照)などの強調画像を合成して投影表示させるためのプレゼンテーション制御プログラム(22P)を記憶する。
ここで、前記カメラ部15によるスクリーン12上での投影画像Gの撮像範囲16は、当該投影画像Gの投影範囲14が十分収まる範囲とすればよく、撮像範囲16を投影範囲14に必ずしも合わせる必要はない。
プレゼンテーション用画像Gの投影表示されたスクリーン12上は、そのプレゼンテーションに伴い任意の位置がレーザポインタ17により指示され、このレーザポインタ17の可視光レーザによる画像G上でのポインタ照射位置Pは、カメラ部15による投影画像Gの撮像に伴い、撮像範囲16に相当する撮影画像に含まれて接続中のノートPC11へ転送される。
そして、カメラ部15の撮像範囲16に応じた撮影画像からプレゼンテーション用画像(G)の投影範囲14であるスクリーン12の輪郭が解析され、当該投影範囲14(G)内におけるポインタ照射位置Pの座標P(X,Y)(図4(B)参照:詳細後述)が検出される。
また、プレゼンテーションシステム10のノートPC11は、電源のON/OFF設定やカメラ部15による撮影機能の切り換えなどを行うためのキー・ボタンなどによるユーザI/F部20を備える。
図2は、前記プレゼンテーションシステム10の電子回路の構成を示すブロック図である。
プレゼンテーションシステム10の電子回路は、メインコントローラ(CPU)21によって回路各部の動作が制御されるもので、その制御プログラムはメモリ部22内のROMに予め記憶される。メモリ部22内のROMに予め記憶される制御プログラムとしては、このプレゼンテーションシステム10の全体の動作を司るメイン処理プログラムを主体として、プレゼンテーション制御プログラム(22P)などが記憶される。なお、メモリ部22には、前記プレゼンテーション制御プログラム(22P)に従った作業用のデータを記憶するためのRAMも備えられる。
メインコントローラ(CPU)21には、前記メモリ部22をはじめ、カメラ部15、ユーザI/F部20、表示部24が接続される他に、プロジェクタ13との間での入出力制御を行うためのプロジェクタI/F部23が接続される。
図3は、前記プレゼンテーションシステム10におけるノートPC11内のメモリ部22に確保される各種データメモリの構成を示す図である。
図4は、前記プレゼンテーションシステム10のカメラ部15による撮像範囲16の撮影画像データから投影範囲14であるスクリーン12上の画像データ(G)を解析抽出しポインタ照射位置Pに基づいたアンダーライン画像QBを合成して行く過程を示す図である。
メモリ部22には、プレゼンテーション制御プログラムを格納するプログラムメモリ22Pをはじめ、プレゼンテーション画像メモリ22a、ビデオ画像(ラスタ画像)メモリ22b、コピー画像(マスク画像生成)メモリ22c、撮影画像メモリ22d、撮影画像(スクリーン)メモリ22e、ポインタ検出座標メモリ22f、ビデオ画像上ポインタ座標メモリ22gが備えられると共に、その他の作業用データを記憶するためのワークメモリ22hなどが備えられる。
プレゼンテーション画像メモリ22aには、プロジェクタ13へ出力してスクリーン12へ投影すべきプレゼンテーション用の画像データ(G)が記憶される。
ビデオ画像(ラスタ画像)メモリ22bには、前記プレゼンテーション画像メモリ22aに記憶されたプレゼンテーション用の画像データ(G)をプロジェクタ13へ出力するに際し、当該画像データ(G)がラスタ画像に展開されて記憶される。
コピー画像(マスク画像生成)メモリ22cには、前記ビデオ画像メモリ22bに展開記憶されたプレゼンテーション用画像データ(G)のラスタ画像がそのままコピーされて記憶される。このコピー画像(マスク画像生成)メモリ22cに記憶されたプレゼンテーション用画像データ(G)のラスタ画像は、当該画像に含まれるテキスト,イメージの各データ領域を抽出してマスクしたマスク画像として変換生成される(図12参照:詳細後述)。
撮影画像メモリ22dには、例えば図4(A)に示すように、前記カメラ部15により一定フレームレート毎に撮像される撮像範囲16に対応する撮影画像データが記憶される。
撮影画像(スクリーン)メモリ22eには、例えば図4(B)(C)に示すように、前記撮影画像メモリ22dに一定フレームレート毎に記憶される撮像範囲16に対応する撮影画像データから、投影範囲14であるスクリーン12の輪郭が解析された投影画像データ(G)が抽出されて記憶される。
ポインタ検出座標メモリ22fには、前記撮影画像(スクリーン)メモリ22eに一定フレームレート毎に記憶されるスクリーン12の投影範囲14(12)の画像領域から検出されたポインタ照射位置Pの座標P(X1,Y1)(X2,Y2)…(図4(B)参照)が記憶される。
ビデオ画像上ポインタ座標メモリ22gには、前記ポインタ検出座標メモリ22fに記憶された投影範囲14(12)の画像領域上でのポインタ照射位置Pの座標P(X1,Y1)(X2,Y2)…に対応した前記ビデオ画像(22b:プレゼンテーション用画像データ(G)のラスタ画像)上での座標P(X1′,Y1′)(X2′,Y2′)…(図4(C)(D)参照)が記憶される。
図5は、前記プレゼンテーションシステム10でスクリーン12上の投影画像(G)に対しポインタ照射した場合の当該画像(G)に対する強調画像(QB)の合成投影表示状態を示す図である。
すなわち、例えば図5(A)に示すように、スクリーン12に投影表示されているプレゼン画像上で指し示したい目標のテキスト部分Oへ向けてレーザポインタ17を照射する。この際のポインタ照射位置Pは、通常手ぶれの影響によって目標テキスト部分Oに正確に合わすことが難しく、当該目標テキスト部分Oから若干離間した位置となるのが普通である。
このような場合に、本実施形態のプレゼンテーションシステム10では、前記図4(A)〜図4(D)で示したように、カメラ部15から一定フレームレートで撮影転送される撮像範囲16の撮影画像データ(22d)からスクリーン12に対応した投影画像データ(22e)を解析抽出し、ポインタ照射位置Pの投影画像データ(22e)上での座標P(X,Y)→ビデオ画像(プレゼン画像)(22b)上での座標P(X′,Y′)を検出する。
一方で、ビデオ画像(プレゼン画像)(22b)のコピー画像(22c)に基づきそのテキスト部分やイメージ部分をマスクにしたマスク画像を生成し(図12参照)、前記検出されたビデオ画像(プレゼン画像)(22b)上でのポインタ座標P(X′,Y′)から一定範囲内に存在するマスク領域をレーザポインタ17による本来の目標部分Oとして判断し、当該目標部分Oのマスク領域に合わせた強調画像(この場合にはアンダーライン画像QB)を前記ビデオ画像(プレゼン画像)(22b)に合成してプロジェクタ13へ出力することで、図5(B)に示すように、本来の目標テキスト部分O「・来期の目標」にぴったり合わせたアンダーライン画像QBを表示するものである(図13参照)。
次に、前記構成によるプレゼンテーションシステム10の動作について説明する。
図6は、前記プレゼンテーションシステム10のノートPC11にて実行されるプレゼンテーション制御の全体処理を示すフローチャートである。
図7は、前記プレゼンテーション制御の全体処理に伴うマスク画像生成処理を示すフローチャートである。
図8は、前記プレゼンテーション制御の全体処理に伴うポインタ検出処理を示すフローチャートである。
図9は、前記プレゼンテーション制御の全体処理に伴う強調処理を示すフローチャートである。
図10は、前記プレゼンテーション制御の強調処理に伴うアンダーライン処理を示すフローチャートである。
図11は、前記プレゼンテーション制御の強調処理に伴う囲み処理を示すフローチャートである。
ノートPC11において、ユーザI/F部20の例えばキーボードを操作してプレゼンテーションの開始を指示すると、プレゼンテーション画像メモリ22aに記憶されているプレゼンテーション用画像データ(22a)が選択的にラスタ画像に変換されてビデオ画像メモリ22bに書き込まれ、このビデオ画像データはプロジェクタ13に出力され、例えば図5(A)で示したようにスクリーン12上に投影表示される(ステップS1)。
すると、図7におけるマスク画像生成処理に移行される(ステップSB)。
図12は、前記プレゼンテーション制御のマスク画像生成処理に伴うマスク画像の生成処理状態を示す図である。
なお、この図12で示すマスク画像の生成対象となるプレゼンテーション用画像データ(22a)の内容は、前記図5(A)で示したその内容とは異なるがマスク画像の生成工程は同一である。
先ず、ビデオ画像メモリ22bに書き込まれたラスタ画像としてのプレゼンテーション用画像データ(22a)は、そのまま図12(A)に示すようにコピー画像メモリ22cに転送されてコピーされる(ステップB1)。
すると、このコピーされたラスタ画像データに対し、例えばRGB→YCbCr変換が行われることでYデータのみ取り出されてカラー情報が削除され、図12(B)に示すようにテキスト,イメージなどそのデータ存在部分に対応したグレースケール画像が生成される(ステップB2)。
続いて、このグレースケール画像に対し、例えばSobelフィルタ等を使ったフィルタ処理が施されることで輪郭抽出され、図12(C)に示すように輪郭抽出画像が生成される(ステップB3)。
そして、この輪郭抽出画像から、実際の文字(テキスト)や図形(イメージ)の輪郭とノイズとを分離するために、予め定められた閾値により2値化処理され、図12(D)に示すように2値画像が生成される(ステップB4)。
これにより、プレゼンテーション用画像データ(ラスタ画像)(22b)における文字(テキスト)や図形(イメージ)のある領域が輪郭として得られることになり、この輪郭内部を塗りつぶした2値画像を作成することで、図12(E)に示すようにマスク画像が生成される(ステップB5)。
こうして、前記プレゼンテーション用画像データ(ラスタ画像)(22b)のコピー画像(22c)に基づいてそのマスク画像が生成されると、カメラ部15により一定フレームレートで撮像されるスクリーン12を含む撮影画像データがノートPC11に取り込まれ撮影画像メモリ22dに記憶される(ステップS2)。
この際、前記図4(A)〜図4(C)で示したように、撮影画像メモリ22dに記憶されたスクリーン12を含む撮像範囲16の撮影画像データから当該スクリーン12の輪郭が抽出され、この輪郭抽出されたスクリーン12の領域画像が投影範囲14の画像データとして投影画像メモリ22eに記憶される。
すると、図8におけるポインタ検出処理へ移行される(ステップSC)。
このポインタ検出処理(ステップSC)では、図4(A)で示したように、撮影画像メモリ22dに記憶された撮像範囲16の撮影画像データにおいて、例えば予め設定された輝度値以上の画素位置がポインタ照射位置Pとして検出される(ステップC1)。
すると、この撮像範囲16の撮影画像データ上にて検出されたポインタ照射位置Pは、図4(B)で示したように、スクリーン12の左上を起点とする投影範囲14の画像領域におけるポインタ照射位置Pの座標P(X,Y)として位置計算されポインタ検出座標メモリ22fに記憶される(ステップC2)。
ここで、一定フレームレートでの前回の撮影画像に基づき検出されたポインタ照射位置P-1の座標P-1(X-1,Y-1)に対し、今回の撮影画像に基づき検出されたポインタ照射位置Pの座標P(X,Y)が所定の連続関係にあるか否か判断される(ステップC3)。
このポインタ照射位置Pの所定の連続関係とは、例えば前回撮影時のポインタ照射位置P-1の座標P-1(X-1,Y-1)と今回撮影時のポインタ照射位置Pの座標P(X,Y)とが所定の離間範囲内で近接している場合にポインタPの移動に伴う連続性ありと判断されるもので、このステップC3において連続性なしと判断された場合には、新たにポインタ指示されたものと認識され(ステップC4)、図9における強調処理へ移行されてそのポインタ照射位置Pに基づいたアンダーライン処理が実行される(ステップSD(→DE))。
一方、前記ステップC3において、ポインタ照射位置Pの移動に伴う連続性ありと判断された場合には、さらに当該連続性ありと判断された各ポインタ照射位置P-2(X-2,Y-2),P-1(X-1,Y-1),P(X,Y),…が所定の円に対応した動作(移動)をしているか否か解析判断される(ステップC5)。
このステップC5において、各ポインタ照射位置P-2(X-2,Y-2),P-1(X-1,Y-1),P(X,Y),…間を結ぶ軌跡が例えば二重の円を描く動作(移動)をしていると解析判断された場合には、強調表示変化処理として図9における強調処理へ移行され(ステップC6)、その円動作(移動)の各ポインタ照射位置P-2(X-2,Y-2),P-1(X-1,Y-1),P(X,Y),…に基づいた囲み処理が実行される(ステップSD(→DF))。
一方、前記ステップC1において、撮影画像メモリ22dに記憶された撮像範囲16の撮影画像データにて、予め設定された輝度値以上の画素が無く、ポインタ照射位置Pが検出されない場合には(ステップC1(No))、ポインタ指示なしと認識され(ステップC7)、図9における強調処理はスルーされる(ステップSD(D1→Return))。
こうしたポインタ検出処理において、例えば前回撮影時のポインタ照射位置P-1の座標P-1(X-1,Y-1)と今回撮影時のポインタ照射位置Pの座標P(X,Y)とが近接してなく連続性なしと判断され、新たにポインタ指示されたものと認識されることで(ステップC1〜C4)、図9における強調処理へ移行されると、まずレーザポインタ17の照射検出あり(ステップD1(Yes))、新規ポインタ照射位置Pであると判断される(ステップD2(Yes))。
すると、前記ポインタ検出座標メモリ22fに記憶されている投影範囲14(スクリーン12)の画像領域におけるポインタ照射位置Pの座標P(X,Y)が、図4(C)で示したように、ビデオ画像(22b:プレゼンテーション用画像データ(G)のラスタ画像)上での座標P(X′,Y′)に位置計算されて変換され、ビデオ画像上ポインタ座標メモリ22gに記憶される(ステップD3)。
ここで、過去の強調表示処理に伴うビデオ画像(22b:プレゼンテーション用画像データ(G)のラスタ画像)上でのポインタ照射位置Pに基づいたアンダーラインQBや囲みラインQCによる強調画像の合成表示がある場合には終了消去され(ステップD4)、図10におけるアンダーライン処理へ移行される(ステップDE)。
このアンダーライン処理では、まず前記ビデオ画像上ポインタ座標メモリ22gに記憶されたポインタ照射位置P(X′,Y′)の存在する画像領域が、前記コピー画像メモリ22cに生成記憶されたマスク画像上でテキストやイメージのない空白領域であるのか、またテキストやイメージの範囲に相当するマスク領域であるのかが判断される(ステップE1→E2)。
図13は、前記プレゼンテーションシステムのプレゼンテーション制御においてポインタ照射位置Pが投影画像(22e)およびマスク画像(22c)上の空白領域で且つ直近のマスク領域から一定範囲内である場合のアンダーライン表示処理状態を示す図である。
図14は、前記プレゼンテーションシステムのプレゼンテーション制御においてポインタ照射位置Pが投影画像(22e)およびマスク画像(22c)上の空白領域で且つ直近のマスク領域から一定範囲外である場合のアンダーライン表示処理状態を示す図である。
例えば図13(A)に示すように、ユーザがスクリーン12に投影されたプレゼンテーション用画像データ(G)のテキスト部分「・来期の目標」をレーザポインタ17によって指示しようとした際、そのポインタ照射位置Pが当該テキスト部分「・来期の目標」より下の空白領域に存在することで、前記ステップE1,E2において、当該ポインタ照射位置P(X′,Y′)の存在する画像領域が、図13(B)に示すようにコピー画像メモリ22cに生成記憶されたマスク画像上でテキストやイメージのない空白領域であると判断された場合には(ステップE2(Yes))、このポインタ照射位置Pを中心として予め設定された探索範囲Hにおいて、該ポインタ照射位置Pの直上にマスク領域があるか否か判断される(ステップE3)。
そして、同図13(B)で示したように、ポインタ照射位置Pを中心とした探索範囲Hにおいて、該ポインタ照射位置Pの直上にマスク領域があると判断された場合には(ステップE3(Yes))、その直上のマスク領域の幅に合わせたアンダーライン画像QBが生成される(ステップE5)。そして図13(C)に示すように、前記ビデオ画像メモリ22bに記憶されたプレゼンテーション用画像データ(G)のラスタ画像における前記直上マスク領域の直下になる前記テキスト部分「・来期の目標」に沿わせてアンダーライン画像QBが合成され投影表示される(ステップE6)(図4(D)、図5(B)参照)。
これにより、ポインタ照射位置Pが手振れなどによってその目標部分Oから下にずれてしまった場合でも、当該目標部分Oのテキスト領域にピッタリ沿わせてアンダーライン画像QBを合成表示させ明確に指示することができる。
一方、例えば図14(A)に示すように、ユーザがスクリーン12に投影されたプレゼンテーション用画像データ(G)の広い空白部分をレーザポインタ17によって指示した際、図14(B)に示すように、そのポインタ照射位置P(X′,Y′)を中心とした探索範囲Hにおいて、該ポインタ照射位置Pの直上にマスク領域がないと判断された場合には(ステップE1〜E3(No))、所定長のアンダーライン画像QBが生成される(ステップE7)。そして図14(C)に示すように、前記ビデオ画像メモリ22bに記憶されたプレゼンテーション用画像データ(G)のラスタ画像における前記ポインタ照射位置P(X′,Y′)と対応する位置にアンダーライン画像QBが合成され投影表示される(ステップE8)。
これにより、ポインタ照射位置Pが完全に空白部分を指示していると推定される場合には、そのポインタ照射位置Pに合わせてアンダーライン画像QBを合成表示させ明確に指示することができる。
図15は、前記プレゼンテーションシステムのプレゼンテーション制御においてポインタ照射位置Pがマスク画像(22c)ではマスク領域となる投影画像(22e)上のテキスト領域にある場合のアンダーライン表示処理状態を示す図である。
図16は、前記プレゼンテーションシステムのプレゼンテーション制御においてポインタ照射位置Pがマスク画像(22c)ではマスク領域となる投影画像(22e)上のイメージ領域にある場合のアンダーライン表示処理状態を示す図である。
例えば図15(A)に示すように、ユーザがスクリーン12に投影されたプレゼンテーション用画像データ(G)のテキスト部分「・来期の目標」をレーザポインタ17によって指示した際、そのポインタ照射位置Pが当該テキスト部分「・来期の目標」に上手く合わされて存在することで、前記ステップE1,E2において、当該ポインタ照射位置P(X′,Y′)の存在する画像領域が、図15(B)に示すようにコピー画像メモリ22cに生成記憶されたマスク画像上でテキストやイメージのあるマスク領域であると判断された場合には(ステップE2(No))、このポインタ照射位置Pを中心として予め設定された探索範囲Hにおいて、該ポインタ照射位置Pのあるマスク領域の下に空白領域があるか否か判断される(ステップE4)。
そして、同図15(B)で示したように、ポインタ照射位置Pを中心とした探索範囲Hにおいて、該ポインタ照射位置Pのあるマスク領域の下に空白領域があると判断された場合には(ステップE4(Yes))、そのマスク領域の幅に合わせたアンダーライン画像QBが生成される(ステップE5)。そして図15(C)に示すように、前記ビデオ画像メモリ22bに記憶されたプレゼンテーション用画像データ(G)のラスタ画像における前記ポインタ照射位置Pのあるマスク領域の直下になる前記テキスト部分「・来期の目標」に沿わせてアンダーライン画像QBが合成され投影表示される(ステップE6)(図4(D)、図5(B)参照)。
これにより、ポインタ照射位置Pがある目標部分Oのテキスト領域にピッタリ沿わせてアンダーライン画像QBを合成表示させ明確に指示することができる。
一方、例えば図16(A)に示すように、ユーザがスクリーン12に投影されたプレゼンテーション用画像データ(G)のイメージ部分をレーザポインタ17によって指示した際、図16(B)に示すように、そのポインタ照射位置P(X′,Y′)を中心とした探索範囲Hにおいて、該ポインタ照射位置Pの下に空白領域がないと判断された場合には(ステップE1,E2→E4(No))、所定長のアンダーライン画像QBが生成される(ステップE7)。そして図16(C)に示すように、前記ビデオ画像メモリ22bに記憶されたプレゼンテーション用画像データ(G)のラスタ画像における前記ポインタ照射位置P(X′,Y′)と対応するイメージ上の位置にアンダーライン画像QBが合成され投影表示される(ステップE8)。
これにより、ポインタ照射位置Pがイメージ部分を指示していると推定される場合には、そのポインタ照射位置Pに合わせてアンダーライン画像QBを合成表示させ明確に指示することができる。
そして、前記強調処理(ステップSD)のアンダーライン処理(ステップDE)に伴いプレゼンテーション用画像データ(G)に合成されて投影表示されたアンダーライン画像QBは、一定時間経過の後にその合成が解除されて消去される(ステップD5)。
なお、前記アンダーライン処理では、ポインタ照射位置Pが投影表示中のプレゼンテーション用画像データ(G)(22b)に対応するマスク画像(22c)上の何れの領域に存在するかでその適切な位置にアンダーライン画像QBを合成させて投影表示する構成としたが、このアンダーライン画像QBに代えて、例えば図17に示すような囲みライン画像QCを合成表示させ、レーザポインタ17による本来の指示位置をより明確に指示する構成としてもよい。
図17は、前記プレゼンテーションシステム10でスクリーン12上の投影画像(G)に対しポインタ照射した場合の当該画像(G)に対する囲みライン画像(QC)の合成投影表示状態を示す図である。
すなわち、例えば図17(A)に示すように、ユーザがスクリーン12に投影されたプレゼンテーション用画像データ(G)のテキスト部分「・来期の目標」を目標部分Oとしてレーザポインタ17によって指示しようとした際、そのポインタ照射位置Pが当該テキスト部分「・来期の目標」より下の空白領域に存在した場合でも、前記アンダーライン処理(ステップE1〜E6)と同様にして、図17(B)に示すように、ポインタ照射位置Pの直上にあるテキスト部分「・来期の目標」に対応したマスク領域の幅に合わせた囲みライン画像QCを生成して当該マスク領域を囲むように合成表示させることで、当該目標とするテキスト部分「・来期の目標」をより明確に指示することができる。
またさらに、前記アンダーライン画像QBに代えて、例えば図18に示すようなマーカ画像QM1あるいはQM2を合成表示させ、レーザポインタ17による本来の指示位置をより明確に強調表示して指示するようにしてもよい。
図18は、前記プレゼンテーションシステム10でスクリーン12上の投影画像(G)に対しポインタ照射した場合の当該画像(G)に対するマーカ画像QMの合成投影表示状態を示す図である。
すなわち、例えば図18(A)に示すように、ユーザがスクリーン12に投影されたプレゼンテーション用画像データ(G)のテキスト部分「本日のテーマ」を目標部分Oとしてレーザポインタ17によって指示しようとした際、そのポインタ照射位置Pが当該テキスト部分「本日のテーマ」より下の空白領域に存在した場合でも、前記アンダーライン処理(ステップE1〜E6)と同様にして、図18(B)に示すように、ポインタ照射位置Pの直上にあるテキスト部分「本日のテーマ」に対応したマスク領域の幅に合わせたマーカ画像QM1を生成して、図18(C1)に示すように、当該マスク領域に対応するテキスト部分に重ねて合成表示させることで、当該目標とするテキスト部分「本日のテーマ」を明確に指示することができる。
この場合、図18(C1)で示したマーカ画像QM1は、ポインタ照射位置Pの直上にあるテキスト部分に対応したマスク領域の幅および高さに合わせたサイズとして生成し、当該目標テキスト部分の全体に合成して表示させているが、図18(C2)に示すように、同目標テキスト部分に対応したマスク領域の高さのみに合わせたマーカ画像QM2を横幅所定のサイズとして生成し、ポインタ照射位置Pに直近のテキスト部分のみより明確に強調して指示するようにしてもよい。
さらに、前記図4、図5、図13〜図18で示したアンダーライン処理やこのアンダーライン処理に基づく変形例では、投影表示中のプレゼンテーション画像(22b)におけるポインタ照射位置Pと当該プレゼンテーション画像(22b)に対応したマスク画像(22c)におけるマスク領域/空白領域との関係に基づき設定された目標部分の領域に対して、アンダーライン画像QBや囲みライン画像QC、あるいはマーカ画像QM1やQM2を合成して表示させる構成としたが、例えば図19に示すように、ポインタ照射位置Pに応じて設定された目標部分の領域のみ除いて反転表示を行うことで、レーザポインタ17により指示目標とする部分を明確に表示する構成としてもよい。
図19は、前記プレゼンテーションシステム10でスクリーン12上の投影画像(G)に対しポインタ照射した場合の当該画像(G)のポインタ目標領域のみ除いた反転表示状態を示す図である。
すなわち、例えば図19(A)に示すように、ユーザがスクリーン12に投影されたプレゼンテーション用画像データ(G)のテキスト部分「本日のテーマ」を目標部分Oとしてレーザポインタ17によって指示しようとした際、そのポインタ照射位置Pが当該テキスト部分「本日のテーマ」より下の空白領域に存在した場合でも、前記アンダーライン処理(ステップE1〜E6)と同様にして、図19(B)に示すように、ポインタ照射位置Pの直上にあるテキスト部分「本日のテーマ」に対応したマスク領域を見出し、図19(C1)に示すように、当該マスク領域に対応するテキスト領域のみ未処理部QM1′として残して反転表示させることで、当該目標とするテキスト部分「本日のテーマ」を明確に指示することができる。
この場合、図19(C1)で示した反転未処理部QM1′は、ポインタ照射位置Pの直上にあるテキスト部分に対応したマスク領域の幅および高さに合わせたサイズとして設定し、それ以外の全領域を反転して表示させているが、図19(C2)に示すように、同目標テキスト部分に対応したマスク領域の高さのみに合わせた横幅所定サイズの反転未処理部QM2′として設定し、ポインタ照射位置Pに直近のテキスト部分のみより明確に強調して指示するようにしてもよい。
一方、前記図8におけるポインタ検出処理(ステップSC)において、例えば前回撮影時のポインタ照射位置P-1の座標P-1(X-1,Y-1)と今回撮影時のポインタ照射位置Pの座標P(X,Y)とが近接しており連続性ありと判断されると共に(ステップC1〜C3(Yes))、各ポインタ照射位置P-2(X-2,Y-2),P-1(X-1,Y-1),P(X,Y),…間を結ぶ軌跡が例えば二重の円を描く動作(移動)をしていると解析判断されることで(ステップC5(Yes))、強調表示変化処理として図9における強調処理へ移行されると(ステップC6)、その円動作(移動)の各ポインタ照射位置P-2(X-2,Y-2),P-1(X-1,Y-1),P(X,Y),…に基づいた囲み処理が実行される(ステップSD(→DF))。
図20は、前記プレゼンテーションシステム10でスクリーン12上の投影画像(G)に対し円状にポインタ照射した場合の各ポインタ照射位置P1〜P6の移動状態とこれに伴うポインタ移動軌跡の取得状態とを時間順に並列にして示す図である。
すなわち、図20(A1)〜図20(F1)に示すように、スクリーン12に投影されたプレゼンテーション用画像(22d)における目標テキスト部分「・今期の実績」を囲むようにポインタ照射位置P1〜P6を移動させることで、図9における強調処理へ移行されると、まずレーザポインタ17の照射検出あり(ステップD1(Yes))、新規ポインタ照射位置Pではないと判断されると共に(ステップD2(No))、強調表示変化処理への移行であると判断される(ステップD6(Yes))。
そして、前記ポインタ検出座標メモリ22fに記憶されている投影範囲14(スクリーン12)の画像領域におけるポインタ照射位置P1〜P6の座標P(X1,Y1)〜P(X6,Y6)が、ビデオ画像(22b:プレゼンテーション用画像データ(G)のラスタ画像)上での座標P(X1′,Y1′)〜P(X6′,Y6′)に位置計算されて変換され、ビデオ画像上ポインタ座標メモリ22gに記憶される(ステップD7)。
すると、図11における囲み処理へ移行される(ステップDF)。
図21は、前記プレゼンテーションシステム10のプレゼンテーション制御においてポインタ照射位置Pを円動作(移動)させた場合の囲み処理に伴う囲みライン画像QC′の生成および合成表示状態を示す図である。
この囲み処理では、まず図20で示したように、各ポインタ照射位置P1〜P6の円動作(移動)に伴い取得されたポインタ照射位置の座標P(X1,Y1)〜P(X6,Y6)が判断されると共に(ステップF1)、これから解析取得された囲み状の移動軌跡Kに基づいて、図21(A)に示すように、その囲み状軌跡領域の重心Rおよび長軸・短軸、水平方向に沿った長軸の傾き角度θが計算解析され、図21(B)に示すようにコピー画像メモリ22cにて生成されたマスク画像において前記囲み状軌跡領域の重心Rに対応するマスク領域の幅および高さに応じてその外周を囲む囲みライン画像QC′が生成される(ステップF2)。なお、この囲みライン画像QC′は、前記ポインタ照射位置P1〜P6の移動軌跡Kに基づき取得された囲み状軌跡領域の長軸・短軸に応じたサイズの楕円の囲みライン画像QC′として生成してもよい。
すると、図21(C)に示すように、ビデオ画像メモリ22bに記憶されたプレゼンテーション用画像データ(G)のラスタ画像における前記囲み状軌跡領域の重心Rに対応するテキスト部分「・今期の実績」(マスク領域)の中心位置を基準にして前記生成された囲みライン画像QC′が前記傾き角度θで合成され投影表示される(ステップF3)。
これにより、ポインタ照射位置Pがスクリーン12に投影中のプレゼンテーション用画像(22e)における目標部分を囲むように円動作(移動)された場合には、当該目標部分のテキスト領域を囲む囲みライン画像QC′を合成表示させ明確に指示することができる。
そして、前記強調処理(ステップSD)の囲み処理(ステップDF)に伴いプレゼンテーション用画像データ(G)に合成されて投影表示された囲みライン画像QC′は、一定時間経過の後にその合成が解除されて消去される(ステップD5)。
なお、次の図22(A)→(B)に示すように、目標部分に対応したマスク領域OMの幅および高さに基づいた中心CTに従って囲みライン画像QC′を合成表示させるのではなく、同図22(A)→(C)に示すように、複数のポインタ照射位置P1,P1,…,Pnからなる囲み状軌跡領域の重心Rに対応するところの目標部分のマスク領域OMの高さのみに基づいた中心CTに従って囲みライン画像QC′を合成表示させる構成としてもよい。
ここで、複数のポインタ照射位置P1,P1,…,Pnからなる囲み状軌跡領域の重心Rがマスク画像(22b)における空白領域に位置した場合には、前記図10におけるアンダーライン処理でのポインタ照射位置Pからの目標部分の探索手法と同様にして、重心Rを中心とする一定範囲H内にマスク領域が存在するか否かを判断して直近のマスク領域を目標部分として設定すればよく、一定範囲H内にマスク領域が存在しない場合には当該重心Rをそのまま囲みライン画像QC′の中心として合成すればよい。
図22は、前記プレゼンテーションシステムのプレゼンテーション制御においてポインタ照射位置Pを円動作(移動)させた場合の囲み処理に伴う囲みライン画像QC′の生成および合成表示状態(変形例)を示す図である。
すなわち、図22(A)に示すように、ポインタ照射位置P1,P2,…,Pnの円動作(移動)に伴い取得された囲み状軌跡領域の重心Rに直近であるところの目標部分のマスク領域OMについて、図22(B)に示すように、当該目標部分のマスク領域OMの幅および高さに基づいた中心CTに従って囲みライン画像QC′を合成表示させると、この合成表示された囲みライン画像QC′の中心CTは、ポインタ照射位置P1,P2,…,Pnの円動作(移動)に応じた重心Rから大きくずれてしまう。
そこで、図22(C)に示すように、同円動作(移動)の重心Rに対応した目標部分のマスク領域OMの高さのみに基づいた中心CTに従って囲みライン画像QC′を合成表示させることで、ポインタ照射位置P1,P2,…,Pnの軌跡から最もずれの少ない位置で目標部分を囲みライン画像QC′によって指示することができる。
なお、前記強調処理(ステップSD)の囲み処理(ステップDF)に伴いプレゼンテーション用画像データ(G)に囲みライン画像QC′を合成して投影表示する際には、次の図23(A)に示すように、内部領域を半透明に色付けした囲みライン画像QC1′として合成したり、図23(B)に示すように、外部の全領域を半透明に色付けした囲みライン画像QC2′として合成したりすることで、目標部分の強調度合をさらに強くして指示するようにしてもよい。
図23は、前記プレゼンテーションシステム10でスクリーン12上の投影画像(G)に対しポインタ照射し円動作(移動)させた場合の当該画像(G)に対する囲みライン画像QC1′,QG2′の合成表示状態(変形例)を示す図である。
このように、プレゼンテーション用画像(G)の投影されたスクリーン12を撮影した撮影画像の取得処理(ステップS2)、ポインタ照射位置Pの検出処理(ステップSC)、アンダーライン画像QBまたは囲みライン画像QC′(QC)による強調処理(ステップSD)が行われた状態で、ユーザI/F部20のキーボードなどによってページ送り操作が行われると(ステップS3(YES))、前記強調処理が終了されて(ステップS5)、次ページのプレゼンテーション用画像(G)がプロジェクタ13へ出力される(ステップS1)。
この後、プレゼン終了のユーザ指示に応じて前記一連のプレゼンテーション制御の全体処理が終了される(ステップS4→END)。
したがって、前記構成のプレゼンテーションシステムによれば、ノートPC11から出力したプレゼンテーション用画像データ(22a,22b)をプロジェクタ13によってスクリーン12に投影表示させた状態で、カメラ部15によって撮影された投影範囲14の画像データからプレゼン画像(22b)上でのレーザポインタ17によるポインタ照射位置Pを検出する。そして、ポインタ照射位置Pに対応するプレゼン画像(22b)上のテキスト部分やイメージ部分をポインタ指示すべき目標部分Oとして抽出し、この目標部分Oにピッタリと沿わせたアンダーライン画像QBを合成して投影表示させたり、該目標部分Oを囲む囲みライン画像QC(QC′)を合成して投影表示させたりするので、レーザポインタ17によって指示しようとする部分を明確に強調してプレゼンテーション表示できるようになる。
また、前記構成のプレゼンテーションシステムによれば、ノートPC11からプロジェクタ13へ出力するプレゼンテーション用画像データ(22b)をコピー画像メモリ22cへコピーし、テキスト部分やイメージ部分などの描画データが存在する領域を輪郭抽出してマスク領域としたマスク画像を生成し、前記検出されたポインタ照射位置Pから一定範囲H内にマスク領域が存在する場合に当該マスク領域に対応する描画データの領域をポインタ指示すべき目標部分Oとして抽出するので、ユーザが本来ポインタ指示しようとしている目標部分Oを適切に抽出できるようになる。
また、前記構成のプレゼンテーションシステムによれば、一定フレームレートで撮影された投影範囲14の各画像データそれぞれにて検出されるポインタ照射位置P1,P2,…間の軌跡に基づき当該ポインタ照射の円動作を判断し、この円動作の軌跡に囲まれる領域の重心Rから一定範囲H内に存在する前記マスク領域をポインタ指示すべき目標部分Oとして抽出し、この目標部分Oであるマスク領域に対応した描画データの存在領域を囲むようにして楕円形の囲みライン画像QC′を合成して投影表示させるので、ポインタ照射の円囲み操作に適切に対応した目標部分Oを抽出して楕円形の囲みライン画像QC′で囲んで明確に強調表示できるようになる。
さらに、前記構成のプレゼンテーションシステムによれば、前記プレゼン画像(22b)上の目標部分Oに対するアンダーライン画像QBや囲みライン画像QC(QC′)の合成による強調表示は、一定時間のみ合成表示させて消去するので、同一ページ内のプレゼンテーション画像上で複数箇所を次々とポインタ照射して指示する場合など、その都度行った強調表示が雑多に残ってしまうのを適切に防止することができる。
なお、前記実施形態では、テキストやイメージからなるプレゼンテーション用画像データ(22b)に対して、ポインタ照射位置Pに応じたアンダーライン画像QBや囲みライン画像QC(QC′)を合成して投影表示させる構成としたが、次の図24に示すように、プレゼンテーション用画像データ(22b)が表データである場合には、ポインタ照射位置Pが検出されたセルの領域に対して強調用の画像を合成して表示させる構成としてもよい。
図24は、前記プレゼンテーションシステム10のプレゼンテーション用画像データ(22b)が表データである場合のポインタ照射位置Pに応じた強調用画像の合成表示状態を示す図である。
すなわち、図24(A)に示すように、表データのプレゼンテーション用画像データ22b)がスクリーン12上に投影表示された状態で、ポインタ照射位置Pの検出によってそのセル位置を判断し、当該ポインタ照射位置Pとして判断されたセルの領域に対応付けて矢印画像ARを合成し表示させてもよい。
また、図24(B)に示すように、ポインタ照射位置Pとして判断されたセルの領域に対してマーカ状画像QL1を合成し表示させてもよい。
さらに、図24(C)に示すように、ポインタ照射位置Pとして判断されたセルの領域外の全領域に反転画像QL2を合成し表示させてもよい。
これによれば、レーザポインタ17によって指示しようとするセル部分を明確に強調してプレゼンテーション表示できるようになる。
なお、前記各実施形態において、プレゼンテーション用画像データにそのポインタ照射位置Pに応じて合成するポインタ画像は、必ずしもアンダーライン画像QBなどの横棒や囲みライン画像QC(QC′)などの楕円である必要はなく、矢印・指差しマーク・企業名や製品などのロゴマーク・三角形・四角形など、様々な形状の画像であってよい。
また前記各実施形態では、スクリーン12に投影されたプレゼンテーション用画像データ(22b)に対するポインタ照射位置Pを、カメラ部15による前記スクリーン12の撮影画像データ(22d,22e)から検出すると共に、同プレゼンテーション用画像データ(22b)のマスク画像(22c)から本来ポインタ指示すべき最適位置を判断し、アンダーライン画像QBや囲みライン画像QC(QC′)を合成して表示させる構成としたが、プレゼンテーション用画像データ(22b)の表示画面はプロジェクタ13によるスクリーン12に限らず、リアプロジェクションモニタやプラズマディスプレイモニタなどの大画面ディスプレイなどを使用し、レーザポインタ17以外のポインティングデバイスによってポインタを表示させると共に、そのポインタ表示位置を検出して前記同様のマスク画像から本来ポインタ指示すべき最適位置を判断し、強調画像の合成表示を行わせる構成としてもよい。
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。