JP5134409B2

JP5134409B2 - プレゼンテーションシステム

Info

Publication number: JP5134409B2
Application number: JP2008083911A
Authority: JP
Inventors: 雄一郎高井
Original assignee: Nissha Printing Co Ltd
Current assignee: Nissha Printing Co Ltd
Priority date: 2008-03-27
Filing date: 2008-03-27
Publication date: 2013-01-30
Anticipated expiration: 2028-03-27
Also published as: TW200947265A; WO2009119026A1; JP2009237951A

Description

本発明は、スクリーン、ディスプレイなどの表示体に画像を表示し発表者がプレゼンテーションを行うにあたり、指示体を移動させ、表示画像の変更などコマンド操作を行うとともに、表示画像に線などを書き加える描画処理を行うプレゼンテーションシステムにかかるものである。

従来のハンドポインティング装置は、三次元空間を示す画像をディスプレイに表示し、互いに異なる複数の方向から認識対象者を撮影し、認識対象者の手が特定の形になったかを判定し、他の条件が一致した場合に、ディスプレイ画像を拡大縮小するものがある。（例えば、特許文献１参照。）。
特開平１１−１３４０８９号公報特に請求項４

上記従来のハンドポイント装置は手の形を判定するものである。発表者により手の大きさや指に長さなどは個人差がある。従って認識対象を規格化し、その変化を判定する必要があり、装置の演算処理が輻輳する。また、認識対象者の手がどちらの方向にあるかなどにより、撮影画像が変化し、判別が困難になる場合もある。

さらに、プレゼンテーションにあたり、発表者は説明、表示画像の選択、画像特定位置の指示、聴衆の反応追跡など種々の行為を同時に行うものであり、加えて、精神緊張もある。このような状況下に使用する装置は、可能なかぎり、簡便な操作かつ直感に沿った操作であることが好ましい。

本発明は、コマンド操作など所定の第一の処理要求と、描画操作など所定の第二の処理要求の判別を単純化したプレゼンテーションシステムを得ることを課題とする。また、本発明は、操作の習熟が容易で、かつ、発表者の直感に沿った操作方法を備えたプレゼンテーションシステムを得ることを課題とする。

本発明のその他の課題は、本発明の説明により明らかになる。

本発明の一の態様にかかるプレゼンテーションシステムは、
Ｘ軸、Ｙ軸方向にひろがる表示面
前記表示面に表示するための既作成画像を記憶する既作成画像記憶部、
前記既作成画像記憶部に記憶された既作成画像を選択する既作成画像選択手段、
既作成画像選択手段が選択した既作成画像を前記表示面に表示する表示制御手段、
前記表示面を含む三次元座標空間を撮影する２つのカメラ、
前記三次元座標空間内を移動することがある着色指示体、
前記指示体の色データを記憶し、ならびに、前記２つのカメラが撮影するカメラ視野内に位置することがあって、及び、前記カメラ視野内の一部領域である特定背景領域について、前記特定背景領域の色データを記憶する指示体色背景色記憶部、
前記指示体と前記特定背景領域との一定の位置関係を記憶する指示体背景相互位置記憶部、
前記２つのカメラが同時に撮影した撮影画像を各々記憶する撮影画像記憶部、
を有し、
前記撮影画像記憶部に記憶された撮影画像を呼出し、前記指示体色背景色記憶部に記憶された指示体色と同色の指示体画像位置を検出して指示体の三次元座標値を算出し、及び、前記指示体色背景色記憶部に記憶された背景色と同色の特定背景画像を検出して特定背景領域の三次元座標値を算出する座標位置検出手段、
前記指示体の三次元座標値と前記特定背景領域の三次元座標値の相互位置関係が前記指示体背景相互位置記憶部に記憶されている一定の位置関係を満足するか否かを判定する指示体背景相互位置判定手段、
指示体背景相互位置判定手段が一定の位置関係を満足する場合に、所定の第一の処理を行い、
指示体背景相互位置判定手段が一定の位置関係を満足しない場合に、所定の第二の処理を行う。

本発明は、指示体周囲背景の背景色を判定し、背景色が特定色の場合に所定の第一の処理を行い。背景色が特定色以外の場合に所定の第二の処理を行うものである。

所定の処理として、表示面に表示されている画像への描画処理、既作成画像の頁送り頁戻し、表示画像が変化するいわゆるアニメーションの開始停止、音響の発生停止などを例示することができる。

本発明の好ましい実施態様にかかるプレゼンテーションシステムにあっては、前記特定背景領域は、既作成画像が表示される前記表示面の輪郭領域の一部領域であってもよい。

本好ましい実施態様は、背景色として表示面の輪郭部分の色を使用するものである。輪郭部分として、例えば壁の色を使用することができる。発表者は所定の第一の処理を要求する場合に、既作成画像表示面の輪郭（外側）で指示体を移動させる。所定の第二の処理を要求する場合は表示面内で指示体を移動させる。このため、より一層発表者の直感に合致したプレゼンテーションシステムとなる。

本発明の他の好ましい実施態様にかかるプレゼンテーションシステムにあっては、前記特定背景領域は、既作成画像が表示される前記表示面領域の一部領域であってもよい。

本好ましい実施態様は、背景色として表示面内の特定色を使用するものである。例えば、スライド表示面内でスライドの右側に緑色部分を作成しておく。どのスライドが表示されている場合であっても、緑色部分に指示体を置くと、所定の第一の処理が行われることになる。従って、より一層発表者の直感に合致したプレゼンテーションシステムとなる。

本発明のその他の好ましい実施態様にかかるプレゼンテーションシステムは、前記所定の第一の処理が、前記既作成画像選択手段または前記表示制御手段に変更を指示する処理であり、前記所定の第二の処理が前記表示面に表示された画像に描画画像を追加する描画処理であってもよい。

本好ましい実施態様はコマンド処理と描画処理を行うものである。

本発明のその他の好ましい実施態様にかかるプレゼンテーションシステムは、前記所定の第二の処理が描画処理であり、前記プレゼンテーションシステムは、さらに、
前記指示体の三次元座標値を記憶する指示体座標値記憶部、
前記座標値記憶部に記憶された前記三次元座標値を参照し、前記三次元座標値に応じて描画画像を生成する描画手段を有し、
前記表示制御手段は、選択された前記既作成画像と同時に前記描画画像を、前記表示面に表示するものであり、
前記座標値演算手段により、時刻ｔ１における前記指示体の三次元座標値であるｘ１、ｙ１、ｚ１が演算され、前記座標値が前記座標値記憶部に記憶されるとともに、前記座標値演算手段により、時刻ｔ１から所定時間経過後の時刻ｔ２における前記指示体の三次元座標値であるｘ２、ｙ２、ｚ２が演算され、前記座標値が前記座標値記憶部に記憶され、
前記描画手段が生成する描画画像は、時刻ｔ１におけるＺ軸座標値であるｚ１の値に応じて画像種別が定められ、時刻ｔ１におけるＸ軸とＹ軸座標値であるｘ１、ｙ１の値に対応して描画の始点が定められ、時刻ｔ２におけるＸ軸とＹ軸座標値であるｘ２、ｙ２の値に対応して描画の終点が定められることを特徴とするものであってもよい。

本好ましい実施態様によれば、描画処理は、指示体の奥行き位置に依存して、描画画像の修正が行われ、修正後の描画が表示面に追加される。発表者が強調したい部分により顕著な描画がなされるなど、発表者の直感や習性に沿った操作が可能なプレゼンテーションシステムとなる。

以上説明した本発明、本発明の好ましい実施態様、これらに含まれる構成要素は可能な限り組み合わせて実施することができる。

本発明によれば、背景色により所定の第一の処理と所定の第二の処理要求が判別される。よって、処理要求の判別が単純化し、システムの演算が単純となる。ひいては、追随性の向上、システムの安価などが達成される。一方、特定色の部分で指示体を操作すれば所定の第一の処理要求となり、画像上で指示体を操作すれば所定の第二の処理要求となり、発表者の操作は直感に合致したものであり、また操作が単純化する効果を有する。

以下、図面を参照して本発明の実施例にかかるプレゼンテーションシステム１をさらに説明する。本発明の実施例に記載した部材や部分の寸法、材質、形状、その相対位置などは、とくに特定的な記載のない限りは、この発明の範囲をそれらのみに限定する趣旨のものではなく、単なる説明例にすぎない。

図１は、プレゼンテーションシステム１の構成図である。プレゼンテーションシステム１は、スクリーンである表示面２、指示体３、第１カメラ４、第２カメラ５、システム制御器８から構成される。

本実施例における画像表示はプロジェクター６とスクリーンによりなされる。しかし、本発明において表示面２はスクリーンに限られるものではなく、例えば、液晶ディスプレイなどの表示面であってもよい。

表示面２は、Ｘ軸方向とＹ軸方向に広がる平面である。本発明において、平面は幾何学に定義される平面と、プロジェクターやディスプレイの特性に応じた曲面を含む。また、本発明においてＸ軸、Ｙ軸は、表示面との距離を表現するＺ軸との相対的な関係を表すものである。

第一カメラ４と第二カメラ５は、表示面２を含む三次元空間を撮影するカメラであり、動画カメラでもよく、静止画カメラであってもよい。もっとも、スムーズな描画を行うなどのためには、例えば、６０フレーム／秒程度以上の速度で画像を得ることが好ましいので、第一カメラ４と第二カメラ５は動画カメラが好ましい。第一カメラ４と第二カメラ５は例えば、ＣＣＤカメラを使用することができる。

第一カメラ４と第二カメラ５は表示面２の全面を視野にすることが好ましく、図１中に視野７に示すように表示面２の輪郭領域を視野に含むことが好ましい。なお、カメラは２個に限られず、３個以上あってもよい。

指示体３は、例えば赤色や緑色の物体である。物体の形状は例えば、球状体や立方体である。指示体３の移動によるプレゼンテーションシステム１の操作を容易にするために、棒の先端に当該指示体３を付着することが好ましい。また、発表者が例えば赤色や緑色の手袋を片手に装着し、当該手袋を指示体３としてもよい。

指示体３はプレゼンテーションシステム１を操作する手段である。指示体３は第１カメラ４と第２カメラ５の視野内で移動したり、静止したりする。また。当該視野外に出て移動したり、静止したりする。視野内での指示体を検出し、プレゼンテーションシステム１の処理が進行する。

指示体３は、特定背景領域（９１又は９２）の前面に位置付けされることがある。特定背景領域（１）９１は、当該領域を表示面の中に設けた一例である。特定背景領域は、既作成画像であるスライドの一部分を特定に色に着色して設けることができる。この場合、スライドの枚数が複数あれば、全枚のスライドの同一色を着色した特定背景領域を、全枚のスライドに共通する部分（例えば、左上隅）に設けることが好ましい。特定背景領域（２）９２は、当該領域を表示面の外側に設けた一例である。例えば、発表場所の壁を特定背景領域にすることができる。

システム制御器８は、例えば、コンピュータである。システム制御器８は既作成画像記憶部１１、指示体色背景色記憶部である指示体色背景色ＬＵＴ１２（ルックアップテーブル）、三次元座標記憶部１３、レンズ補正係数記憶部１４、画像−空間変換係数記憶部１５、移動距離値記憶部１６、描画画種記憶部１７、描画修正記憶部１８、奥行値記憶部１９、指示体背景相互位置記憶部２０、撮影画像記憶部３１、レンズ補正済画像記憶部３２、指示体座標値記憶部３３、背景座標値記憶部３４の各記憶部、既作成画像選択手段２１、表示制御手段２２、座標値演算手段２３、描画手段２４、第一操作判定手段２５、コマンド制御手段２７、対象色判定手段２７、奥行判定手段３０、指示体背景相互位置判定手段５１の各手段、さらに主制御部２８、周辺機器制御部２９を有している。

上記の各手段は、コンピュータに組み込まれたプログラムとＣＰＵ、ＲＡＭ、ＲＯＭなどにより実現できる。上記の各記憶部は、例えば、コンピュータのハードメモリー内の一定部分を割り当てることで実現できる。さらに、既作成画像選択手段２１は、例えば、市販のプレゼンテーションシステム用プログラムを使用することができる。

主制御部２８はシステム制御器８の全体の動作制御などを行う。周辺機器制御部２９は、第１カメラ４、第２カメラ５の動作、画像処理、プロジェクター６の制御などを行う。また、システム制御器８は、システム表示装置４１、入力デバイス４２を有する。システム表示装置４１はコンピュータに付属する液晶ディスプレイであり、入力デバイス４２はキーボードとポインター、例えばマウスである。

本実施例で使用している、指示体色背景色ＬＵＴとカメラ撮影画像中での指示体または背景色の判別手法は、
和田俊和：最近傍識別器を用いた色ターゲット検出
情報処理学会トランザクション「コンピュータビジョンとイメージメディア」Vol. 44, No. SIG17-014, 2002
に報告されている。

（初期設定）
プレゼンテーションシステム１の初期設定その操作などを説明する。

表示面２に表示する既作成画像を作成し、既作成画像記憶部１１に記憶する。既作成画像は、文字、図形、写真、イラスト、動画これらの混合物などである。また、既作成画像は白紙の画像であってもよい。既作成画像の具体例はプレゼンテーション用のスライド原稿である。

描画画種記憶部１７に描画画種を記憶する。描画画種は、例えば、実線、破線、一点鎖線、丸印、三角印、四角印、矢印などである。記憶する描画画種は、単一であってもよい。

描画修正記憶部１８に、描画画像の修正事項を記憶する。修正事項は、例えば、線の太さ、色の濃淡、色相である。そして、ｚ１の値との関係式を記述する。例えば、線の太さを修正するのであれば、０≦ｚ１＜５０の場合に線の太さ１００画素、５０≦ｚ１＜１００の場合に線の太さ７０画素、１００≦ｚ１＜１５０の場合に線の太さ４０画素のように記述する。また、例えば、色相を修正するのであれば、０≦ｚ１＜１００の場合に赤、１００≦ｚ１＜２００の場合に橙、２００≦ｚ１＜３００の場合に黄のように記述する。

指示体背景相互位置記憶部２０には、指示体の検出座標値と特定背景領域の検出座標値の関係を記述する。指示体３を特定背景領域部分に位置づける操作をすれば、両者のＺ軸値は近接し、両者のＸ軸値、Ｙ軸値もまた近接する。このような近接の関係などの位置関係を当該記憶部に記述すればよい。

例えば、表示面をＺ＝０の基準平面とし、基準平面と平行な平面であるＺ＝ｎの特定背景領域平面内に特定背景領域が存在する場合には、指示体背景相互位置記憶部２０には、指示体の検出座標値のＸ軸値、Ｙ軸値が特定背景領域内にあり、指示体の検出座標値のＺ軸値と特定背景領域の検出座標値のＺ軸値とが予め定められた一定値以内に近接すれば位置関係を満たすとの関係を記憶させる。

また、指示体背景相互位置記憶部２０には、指示体の検出座標値と特定背景領域の検出座標値との距離である一定値だけを記憶させておく事もできる。この場合は特定背景領域内に指示体が存在するか否かの厳密な判断ではないが、十分に近接した場合に位置関係を満足したと判定するよう設定すれば操作に支障は無い。

（環境設定）
次に、環境設定を行う。環境設定は、プレゼンテーションシステム１を実際の使用場所に設置して、照明状態、指示体移動範囲などに応じて、プレゼンテーションシステム１に必要なデータを入力する設定である。

プレゼンテーションシステム１を発表場所に設置し、表示面２、プロジェクター６を配置する。第１カメラ４と第２カメラ５を配置し、カメラ視野７を調節する。カメラ視野は、環境設定中と引き続く定常運転中固定される。

次に、プレゼンテーションシステム１に認識対象色の教示を行う。

図２は指示体色背景色ＬＵＴ１２の内容説明図であり、図３は認識対象色教示処理のフローチャートである。

指示体色背景色ＬＵＴ１２は、複数の色チャンネルを有している。第１カメラ撮影画像用として指示体色判別に用いる色チャンネルＣｈ１−１と背景色判別に用いる色チャンネルであるＣｈ１−２を有し、各チャンネルについて各々認識対象色と非認識対象色を記憶する。また、第２カメラ撮影画像用として指示体色判別に用いる色チャンネルＣｈ２−１と背景色判別に用いる色チャンネルであるＣｈ２−２を有し、各チャンネルについて各々認識対象色と非認識対象色を記憶する。

Ｓ１１で指示体３をカメラ視野７内に位置付け、また、特定背景領域（１）９１を表示面２に表示して、第１カメラ４、第２カメラ５で指示体３を含む画像を撮影する。特定背景領域（２）９２を使用する場合は、指示体３をカメラ視野７内に位置付けてカメラ視野７を撮影すればよい。Ｓ１２で第１カメラ４の撮影画像と第２カメラ５の撮影画像を撮影画像記憶部３１に記憶する。

Ｓ１３で第１カメラ４の撮影画像を撮影画像記憶部３１から呼び出し、システム表示装置４１に表示する。Ｓ１４で、入力デバイス４２にてシステム表示装置上の指示体３領域を指定する。この操作により第１の指示体色Ｃ１−１が教示される。Ｓ１５で第１の指示体色Ｃ１−１を指示体色背景色ＬＵＴ１２に記憶する。

Ｓ１６で、システム表示装置４１に表示されている同一画像に対して、非指示体領域を指定する。この操作により第１の非認識対象色ＮＣ１−１−１が教示される。Ｓ１７で第１の非認識対象色ＮＣ１−１−１を指示体色背景色ＬＵＴ１２に記憶する。Ｓ１６とＳ１７を繰り返して他の非認識対象色ＮＣ１−１―ｎを教示する。

ここで、Ｓ１６においてシステム表示装置４１に表示されている同一画像に教示すべき非認識対象色がない場合には、以下の撮影操作から繰り返す。すなわち、当該特定の非認識対象色を含む画像を表示面２に表示し、あるいは、当該特定の非認識対象色の物をカメラ視野７内に位置づけて、第１カメラで撮影し、Ｓ１２、Ｓ１３、Ｓ１６、Ｓ１７を行う。

以上により、第１カメラ撮影画像について指示体の認識対象色Ｃ１−１、指示体の非認識対象色ＮＣ１−１−１、ＮＣ１−１−２ −−− ＮＣ１−１−ｎが教示され、指示体色背景色ＬＵＴ１２に記憶される。図２中では色チャンネルＣｈ１−１で表示している。

次にＳ１８１に移行し、第１カメラ撮影画像について、背景色に関してＳ１４〜Ｓ１８の同様の処理を繰りかえす。この処理により、第１カメラ撮影画像について背景の認識対象色Ｃ１−２、背景の非認識対象色ＮＣ１−２−１、ＮＣ１−２−２ −−− ＮＣ１−２−ｎが教示され、指示体色背景色ＬＵＴ１２に記憶される。図２中では色チャンネルＣｈ１−２で表示している。

Ｓ１９で第２カメラ撮影画像について、Ｓ１３〜Ｓ１８と同様の処理を繰り返す。Ｓ１４で指定される第２の指示体色Ｃ２−１と、上述した第１の指示体色Ｃ１−１は略同一であるが、それぞれ第２カメラと第１カメラの色特性が反映された色データである。背景色Ｃ２−２と背景色Ｃ１−２についても同様の関係にある。

以上の認識対象色教示が終了すると、図２に示すように、色チャンネルＣｈ２−１とＣｈ２−２について、それぞれ認識対象色と非認識対象色が記憶される。

カメラを３台以上含むプレゼンテーションシステムにあっては、第３カメラ撮影画像などについて、指示体色と非認識対象色、背景色と非認識対象色を教示する。

次に図４を参照して、画像―空間変換にかかる環境設定を説明する。

Ｓ２１で補正用基準点が描かれた画像を表示面２に表示する。画像表示に替えて同様の印刷物を表示面に貼り付けてもよい。補正用基準点が描かれた画像は、例えば、方眼画像、市松模様画像である。そして、当該表示を第１カメラ４、第２カメラ５で撮影する。

Ｓ２２で第１カメラ４の撮影画像と第２カメラ５の撮影画像を撮影画像記憶部３１に記憶する。Ｓ２３で第１カメラ４の撮影画像を撮影画像記憶部３１から呼び出し、システム表示装置４１に表示する。表示画像上の補正用基準点の画像座標値を検出する。

Ｓ２４で三次元座標（ワールド座標）における補正用基準点と、Ｓ２３で検出した画像座標値を関連付ける。Ｓ２５で三次元座標値と画像座標値を一時メモリーに記憶する。他の補正用基準点について、Ｓ２３〜Ｓ２５の操作を繰り返す。

Ｓ２６で一時メモリーから三次元座標値群と各々１対１に対応する画像座標値群を呼び出し、両群から第１カメラ撮影画像のレンズ補正係数と第１カメラ撮影画像の画像−空間変換係数を算出する。レンズ補正係数は係数値であり、画像−空間変換係数は行列値である。

Ｓ２７で、第１カメラ撮影画像のレンズ補正係数をレンズ補正係数記憶部１４に記憶する。Ｓ２８で、第１カメラ撮影画像の画像−空間変換係数を画像−空間変換係数記憶部１５に記憶する。

Ｓ２９で第２カメラ撮影画像に対して、Ｓ２３〜Ｓ２８と同様の操作を行う。当該操作により、第２カメラ撮影画像のレンズ補正係数がレンズ補正係数記憶部１４に記憶され、第２カメラ撮影画像の画像−空間変換係数が画像−空間変換係数記憶部１５に記憶される。

（定常運転−１）
次に図５に示す定常運転のフローチャート、図６と図７に示す指示体３の三次元座標と特定背景領域の三次元座標決定処理フローチャートを参照しつつ、定常運転処理を説明する。

Ｓ４０で定常運転を開始する。定常運転中、指示体３は発表者の操作に従って、移動したり静止したりする。

Ｓ４１で既作成画像選択手段２１は、既作成画像記憶部１１から一の画像を選択する。

Ｓ４２で、表示制御手段２１は当該画像を表示面２に表示する。Ｓ４４０で、第１カメラ４と第２カメラ５は各々の視野内を同時に撮影し、撮影画像中の指示体３の位置から指示体３の三次元座標値を算出し、また、撮影画像中の特定背景領域の位置から特定背景領域の三次元座標値を算出する。Ｓ４４０の詳細な処理は、以下で別途説明する。

当該算出により、時刻ｔ１における指示体３の三次元座標値ｘ１、ｙ１、ｚ１と特定背景領域の三次元座標値、時刻ｔ２における座標値ｘ２、ｙ２、ｚ２が算出される。これら指示体３の三次元座標値は指示体座標値記憶部３３に記憶される。また、特定背景領域の三次元座標値は背景座標値記憶部３４に記憶される。

Ｓ４４１で、指示体背景相互位置判定手段５１が、指示体座標値記憶部３３から時刻ｔ１における指示体３の三次元座標値を呼び出す。また、背景座標値記憶部３４から時刻ｔ１における特定背景領域の三次元座標値を呼び出す。そして、指示体背景相互位置判定手段５１は、これら２の三次元座標値の関係と、指示体背景相互位置記憶部２０に記憶された位置関係を比較する。

指示体背景相互位置判定手段５１が行う判定は、例えば、全ての検出背景座標値群を背景領域として背景座標値記憶部３４に記憶させた場合は、指示体座標値記憶部３３に記録された確定した検出指示体座標点と検出背景座標値との位置関係を全ての点の組み合わせで計算し、指示体背景相互位置記憶部２０に記憶された位置関係を満足させる座標の組み合わせが存在するか否かを判定する。単純に指示体の検出座標値と特定背景領域の検出座標値との間の距離の一定値だけで判定する場合はこの手法で良い。

または、表示面が基準面であり、背景領域が存在する特定背景領域平面は基準面に平行に存在すると判っている場合には、検出背景座標値群のＸ軸値、Ｙ軸値の最大値、最小値を計算で求めておけば、確定した検出指示体座標点が検出背景座標値群のＸ軸値、Ｙ軸値の最大値、最小値の間に存在するか否か、確定した検出指示体座標点のＺ軸値と特定背景領域平面のＺ軸値との間の距離が位置関係を満足するか否かの判定などによって、指示体背景相互位置記憶部２０に記憶された位置関係を満足するか否かを判定できる。

また、座標値演算手段により検出背景座標値群の最外部にあたる背景領域境界点を確定し、背景領域境界点で囲まれ形成される平面を特定背景領域として確定した場合には、背景領域境界点より特定背景領域の存在する特定背景領域平面を空間ベクトルの手法などを用いて計算で求め、特定背景領域平面と確定した検出指示体座標点との間の距離、特定背景領域平面上の特定背景領域の境界の法線を連ねた領域の内側に確定した検出指示体座標点が存在するか否かなどから、指示体背景相互位置記憶部２０に記憶された位置関係を満足させるか否かを判定する。この手法は、特定背景領域平面が基準平面に水平でない場合に有効である。

時刻ｔ１における２の三次元座標値の関係が、記憶された位置関係を満足する場合には
Ｓ４４２に進む。時刻ｔ１における２の三次元座標値の関係が、記憶された位置関係を満足しない場合にはＳ５００に進む。

Ｓ４４２は、所定の第一の処理の開始処理であり、本実施例では、所定の第一の処理はコマンド制御処理である。すなわち、Ｓ４４３では、コマンド制御手段２６は現在表示中の既作成画像、または、既作成画像選択手段に所定の処理を施す。所定の処理は、例えば、表示中の既作成画像に替わって次の既作成画像が表示制御手段２２により表示面２に表示さる処理であってもよい。また、例えば、表示中の画像が拡大あるいは縮小される処理であってもよい。

Ｓ５００は、所定の第二の処理の開始処理であり、本実施例では、所定の第二の処理は描画処理である。

Ｓ５１で描画手段２４が描画画種記憶部１７から、一の描画画種を選択する。描画画種は、例えば、一の定常運転中は、常時、同一描画画種が選択されるように予めプログラムしておいてもよく、また、ｘ１、ｙ１、ｚ１の値に応じて描画画種が選択されるようにプログラムしておいてもよい。

Ｓ５２で描画手段２４が指示体座標値記憶部３３を参照し、ｚ１の値に応じて描画画像を修正する。描画画種が線の場合に、例えば、ｚ１の値が前記表示面に相対的に近いものである場合に相対的に太い線とする画像修正を行い、ｚ１の値が前記表示面に相対的に遠いものである場合に相対的に細い線とする画像修正を行う。

Ｓ５３で、描画手段２４が指示体座標値記憶部３３のｘ１、ｙ１の値を参照して、描画画像の始点を決定する。Ｓ５４で、描画手段２４が指示体座標値記憶部３３のｘ２、ｙ２の値を参照して、描画画像の終点を決定する。

Ｓ５５で、描画手段は、Ｓ４１で選択され、現在表示面２に表示されていると同一の既作成画像を既作成画像記憶手段１１から呼び出す。当該既作成画像にＳ５１〜Ｓ５４で作成修正された描画画像を重ねる処理を行う。当該描画処理は、描画画像が最前面に表示され、重なった既作成画像は見えない態様であってもよく、描画画像が、たとえば、５０％の透過度で描かれるものであってもよい。そして当該画像を表示制御手段２２に送付する。

Ｓ５６で、表示制御手段２２は、重ね合わされた画像を表示面２に表示する。

Ｓ５６が終了すれば、指示体座標値記憶部３３中のｘ２、ｙ２、ｚ２のデータは、新たなｘ１、ｙ１、ｚ１と定義される。

（定常運転−２、三次元座標決定処理）
Ｓ４４０における指示体３の三次元座標及び特定背景領域の三次元座標決定処理を説明する。

Ｓ６１において、第１カメラ４、第２カメラ５で固定視野を同時に撮影する。Ｓ６２で第１カメラ４の撮影画像と第２カメラ５の撮影画像を撮影画像記憶部３１に記憶する。

Ｓ６３で第１カメラ４の撮影画像を撮影画像記憶部３１から呼び出す。Ｓ６４でレンズ補正係数記憶部１４に記憶された第１カメラ撮影画像のレンズ補正係数を用いて、第１カメラ撮影画像にレンズ補正を行う。Ｓ６５で第１カメラレンズ補正済画像をレンズ補正済画像記憶部３２に記憶する。

Ｓ６６で第２カメラ撮影画像に対して、Ｓ６１〜Ｓ６５と同様の処理を行う。当該処理に用いるレンズ補正係数は、第２カメラ撮影画像のレンズ補正係数である。これにより第２カメラレンズ補正済画像もレンズ補正済画像記憶部３２に記憶される。

Ｓ６７で三次元座標記憶部１３に記憶された三次元座標空間の第１の点を抽出する。抽出された点の座標値を「抽出三次元座標値」と呼ぶ。三次元座標空間は、表示面２（Ｘ軸とＹ軸方向に広がる）を含み、表示面から前方（発表者、聴衆が位置する方向（Ｚ軸））と後方に広がる空間である。同時に、三次元座標空間はカメラ視野７で撮影される空間である。三次元座標記憶部１３には、三次元座標空間を微小立方体、または微小直方体に区画した空間上の各座標点が記憶されている。三次元座標値のＺ軸正負は右手座標系で定義するが、必要に応じてＺ軸の正負を補正すればよい。

Ｓ６８で、座標値演算手段２３は、画像−空間変換係数記憶部１５に記憶された第１カメラ撮影画像の画像−空間変換係数を用いて、抽出三次元座標値を第１カメラ撮影画像の画像座標値に変換する。変換された画像座標値を「抽出画像座標値」と呼ぶ。

Ｓ６９で、対象色判定手段は第１カメラレンズ補正済画像を呼び出し、指示体色背景色ＬＵＴ１２の第１カメラ撮影画像用の色チャンネルであるＣｈ１−１、Ｃｈ１−２を参照しながら、抽出画像座標値の画素が認識対象色に該当するか否かを判定する。認識対象色に該当する場合には、Ｓ７０に移行する。認識対象色に該当しない場合には、Ｓ６７に戻り、三次元座標記憶部１３に記憶された三次元座標空間の第２の点を抽出し、Ｓ６８、Ｓ６９の同様の処理を行う。

Ｓ７０では、第２カメラレンズ補正済画像に対してＳ６８、Ｓ６９と同様の処理を行う。このとき、抽出画像座標値の変換に使用される画像−空間変換係数は、第２カメラ撮影画像の画像−空間変換係数である。また、対象色判定手段が参照する指示体色背景色ＬＵＴ１２中の色データは、第２カメラ撮影画像用の色チャンネルであるＣｈ２−１、Ｃｈ２−２である。

Ｓ７１で、対象色判定手段２７は、第１カメラ撮影画像と第２カメラ撮影画像で認識対象色が検出されたか否かを判定する。すなわち、第２カメラ撮影画像における抽出画像座標値の画素が認識対象色と判定した場合には、抽出三次元座標値を指示体３または特定背景領域の検出座標点とみなす。そして、指示体色の場合には、指示体座標値記憶部３２に検出指示体座標点として抽出三次元座標値を記憶する。背景色の場合には、背景座標値記憶部３３に検出背景座標点として抽出三次元座標値を記憶する。第２カメラ撮影画像で認識対象色が検出されない場合には、Ｓ６７に戻り、三次元座標記憶部１３に記憶された三次元座標空間の第２の点を抽出し、Ｓ６８、Ｓ６９と同様の処理を行う。

Ｓ７２で、Ｓ６７〜Ｓ７１までの処理を繰り返して、三次元座標空間の全ての点で、認識対象色検出処理を行う。

Ｓ７３で、上記の処理で対象色の検出があれば、Ｓ７４に進む。上記の処理で対象色の検出がなければ、Ｓ７６に進む。

Ｓ７４では、指示体座標値記憶部３３に記憶された検出指示体座標値群を座標値演算手段により一点に確定する。当該一点への確定は、例えば、検出座標値群の重心を求めてもよく、また、検出座標値群の中で、表示面に最近接している点の座標を選択してもよい。

次に、背景座標値記憶部３４に記憶された検出背景座標値群より背景領域を確定する。背景座標値記憶部３４に記憶された全ての検出背景座標値群を背景領域として記憶させてもよく、また、座標値演算手段により検出背景座標値群の最外部にあたる背景領域境界点を確定し、背景領域境界点で囲まれ形成される平面を特定背景領域として確定してもよい。背景領域境界点は背景領域頂点を含み、３点以上よりなる。

Ｓ７５で、確定した検出指示体座標点を指示体座標値記憶部３３に、時刻ｔ１におけるｘ１、ｙ１、ｚ１として記憶する。また、確定した背景領域を背景座標値記憶部３４に記憶する。

Ｓ７６では、Ｓ６１に戻り、次フレーム（時刻ｔ２）での撮影画像について、指示体座標検出を行う。これにより、時刻ｔ２における指示体の座標点ｘ２、ｙ２、ｚ２が指示体座標値記憶部３３に記憶され、時刻ｔ２における背景領域が、背景座標値記憶部３４に記憶される。

なお、カメラが３台以上のプレゼンテーションシステムにあっては、Ｓ７０の第２カメラレンズ補正済画像に対するＳ６８、Ｓ６９と同様の処理に引き続き、第３カメラレンズ補正済画像に対するＳ６８、Ｓ６９と同様の処理等等を行う。

巨大な表示面２を使用するプレゼンテーションシステムにあっては、画像−空間変換にかかる環境設定は上述の操作を行い、定常運転時の指示体三次元座標値算出にあって、抽出する三次元座標値の範囲を指示体が移動する範囲に限ればよい。このようにすれば、演算速度が向上するなどの効果を得ることができる。

（第一の変形実施例）
好ましい実施態様である指示体の奥行位置判断を付加したプレゼンテーションシステム１（第一の変形実施例）について説明する。付加される奥行位置判断は、三次元空間における指示体の奥行位置により、所定の第二の処理を行うか否かを判断する処理である。

本好ましい実施態様によれば、指示体が一定範囲の奥行に位置する場合に、所定の第二の処理が行われる。例えば、発表者が表示面に接近し指示体を移動する場合には、描画がおこなわれる。一方、発表者が表示面を離れ、例えば演壇付近で指示体を移動する場合には、描画は行われない。

一般に、発表者はスライドなど既作成画像の説明時には、表示面に近づいて指示体で表示面をなぞるなど一定奥行方向に移動する習性がある。よって、本好ましい実施態様は、所定の第二の処理が描画処理である場合に、より一層、発明者の習性に沿ったプレゼンテーションシステムとなる。

もっとも、本発明において奥行位置判断の後に行われる処理は、描画処理に限られることはない。

図８は第一の変形実施例を説明するフローチャートである。第一の変形実施例にあっては、上記で説明した定常運転において、Ｓ５００（所定の第二の処理開始）とＳ５１（描画開始）の間に、Ｓ８１〜Ｓ８２の処理が挿入される。

奥行値記憶部１９に、予め、指示体のＺ軸の閾値を記憶しておく。あるいはＺ軸の両端値を記憶しておく。閾値の場合には、閾値よりもｚ１が大きい（あるいは小さい場合）に描画処理に進む旨を記述する。両端値の場合には、ｚ１が両端値の間にある場合（あるいは外れる場合）に描画処理に進む旨を記述する。以上奥行値記憶部１９に記憶された値と条件を総称して「閾値条件」と呼ぶ。

Ｓ８１で奥行判定手段３０が奥行値記憶部１９に記憶された値と、指示体座標値記憶部３３に記憶されたｚ１の値を比較する。Ｓ８２でｚ１が閾値条件を満足する場合には、Ｓ５１に進み描画処理を行う。また、ｚ１値が閾値条件を外れる場合にはＳ４４０に戻る。

（第二の変形実施例）
他の好ましい実施態様である指示体の移動速度判断を付加したプレゼンテーションシステム１（第二の変形実施例）について説明する。付加される移動速度判断は、三次元空間における指示体の移動速度により、所定の第二の処理を行うか否かを判断する処理である。

本好ましい実施態様によれば、指示体が特定の速度で移動をした場合に、所定の第二の処理が行われる。一般に、発表者はスライドなど既作成画像の説明及び描画要求時には指示体をゆっくり動かす習性がある。一方、スライド送りなどを要求する場合に指示体をす早く移動させる習性がある。

よって、本好ましい実施態様では、所定の第二の処理が、描画処理である場合に、より一層、発明者の習性に沿ったプレゼンテーションシステムとなる。もっとも、本発明において奥行位置判断の後に行われる処理は、描画処理に限られることはない。

図９は、第二の変形実施例を説明するフローチャートである。第二の変形実施例にあっては、上記で説明した定常運転において、Ｓ５００（所定の第二の処理開始）とＳ５１（描画開始）の間に、Ｓ９１〜Ｓ９２の処理が挿入される。

移動距離値記憶部１６に予め指示体の移動距離値を記憶しておく。

Ｓ９１で第一操作判定手段２５が、指示体座標値記憶部３３に記憶された時刻ｔ１における指示体の位置と時刻ｔ２における指示体の位置の距離（算出移動距離）を算出する。Ｓ９２で第一操作判定手段２５は、移動距離値記憶部１６に記憶された移動距離値と算出された算出移動距離を比較する。

算出移動距離が記憶された距離値よりも小さい場合には、Ｓ５１に進み描画処理を開始する。算出移動距離が記憶された距離値よりも小さい場合にはＳ４４０に戻る。

移動距離記憶部１６に記憶する値と第一操作判定手段２５が行う判定は、例えば、
(1) 単一閾値を記憶して算出移動距離との大小比較判定、
(2) 単一範囲の両端値を記憶して、算出移動距離が範囲に入るか外れるかの比較判定、
(3) ２範囲の２の両端値を記憶して、算出移動距離がいずれの範囲に入るかの比較判定、
などであってもよい。

プレゼンテーションシステム１の構成図である。指示体色背景色ＬＵＴ１２の内容説明図である。認識対象色教示処理のフローチャートである。画像―空間変換にかかる環境設定のフローチャートである。定常運転のフローチャートである。指示体３と特定背景領域の三次元座標決定処理フローチャートその１である。指示体３と特定背景領域の三次元座標決定処理フローチャートその２である。指示体３の奥行位置判断付加部分のフローチャートである。指示体３の移動速度判断付加部分のフローチャートである

符号の説明

１プレゼンテーションシステム
２表示面
３指示体
４第１カメラ
５第２カメラ
７カメラ視野
８システム制御器
１２指示体色背景色記憶部である指示体色背景色ＬＵＴ
９１特定背景領域（１）
９２特定背景領域（２）

Claims

Ｘ軸、Ｙ軸方向にひろがる表示面
前記表示面に表示するための既作成画像を記憶する既作成画像記憶部、
前記既作成画像記憶部に記憶された既作成画像を選択する既作成画像選択手段、
既作成画像選択手段が選択した既作成画像を前記表示面に表示する表示制御手段、
前記表示面を含む三次元座標空間を撮影する２つのカメラ、
前記三次元座標空間内を移動することがある指示体、
前記指示体の色データを記憶し、ならびに、前記２つのカメラが撮影するカメラ視野内に位置することがあって、及び、前記カメラ視野内の一部領域である特定背景領域について、前記特定背景領域の色データを記憶する指示体色背景色記憶部、
前記指示体と前記特定背景領域との一定の位置関係を記憶する指示体背景相互位置記憶部、
前記２つのカメラが同時に撮影した撮影画像を各々記憶する撮影画像記憶部、
を有し、
前記撮影画像記憶部に記憶された撮影画像を呼出し、前記指示体色背景色記憶部に記憶された指示体色と同色の指示体画像位置を検出して前記指示体の三次元座標値を算出し、及び、前記指示体色背景色記憶部に記憶された背景色と同色の特定背景画像を検出して特定背景領域の三次元座標値を算出する座標値演算手段、
前記指示体の三次元座標値と前記特定背景領域の三次元座標値の相互位置関係が前記指示体背景相互位置記憶部に記憶されている一定の位置関係を満足するか否かを判定する指示体背景相互位置判定手段、
指示体背景相互位置判定手段が一定の位置関係を満足する場合に、所定の第一の処理を行い、
指示体背景相互位置判定手段が一定の位置関係を満足しない場合に、所定の第二の処理を行う、プレゼンテーションシステム。
前記特定背景領域は、既作成画像が表示される前記表示面の輪郭領域の一部領域であることを特徴とする請求項１に記載したプレゼンテーションシステム。
前記特定背景領域は、既作成画像が表示される前記表示面の一部領域であることを特徴とする請求項１に記載したプレゼンテーションシステム。
前記所定の第一の処理が、前記既作成画像選択手段または前記表示制御手段に変更を指示する処理であり、前記所定の第二の処理が前記表示面に表示された画像に描画画像を追加する描画処理であることを特徴とする請求項１に記載したプレゼンテーションシステム。
前記所定の第二の処理が描画処理であり、前記プレゼンテーションシステムは、さらに、
前記指示体の三次元座標値を記憶する指示体座標値記憶部、
前記指示体座標値記憶部に記憶された前記三次元座標値を参照し、前記三次元座標値に応じて描画画像を生成する描画手段を有し、
前記表示制御手段は、選択された前記既作成画像と同時に前記描画画像を、前記表示面に表示するものであり、
前記座標値演算手段により、時刻ｔ１における前記指示体の三次元座標値であるｘ１、ｙ１、ｚ１が演算され、前記三次元座標値が前記指示体座標値記憶部に記憶されるとともに、前記座標値演算手段により、時刻ｔ１から所定時間経過後の時刻ｔ２における前記指示体の三次元座標値であるｘ２、ｙ２、ｚ２が演算され、前記三次元座標値が前記指示体座標値記憶部に記憶され、
前記描画手段が生成する描画画像は、時刻ｔ１におけるＺ軸座標値であるｚ１の値に応じて画像種別が定められ、時刻ｔ１におけるＸ軸とＹ軸座標値であるｘ１、ｙ１の値に対応して描画の始点が定められ、時刻ｔ２におけるＸ軸とＹ軸座標値であるｘ２、ｙ２の値に対応して描画の終点が定められることを特徴とする請求項１に記載したプレゼンテーションシステム。